Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Komodo 8.0 x64 @ 1'+1"
- - By GS Date 2014-10-21 09:14

PC          : Intel i5 @ 3.10GHz
Core(s)     : 1
HTs         : 64MB each engine
PB          : off
GUI         : Shredder-Classic
Learning    : none


Level 1'+1"

Die Listung sieht z.Zt. wie folgt aus:

#  Program                      Elo    +    -   Games   Score   Av.Op.  Draws
01 Stockfish 5.0 x64 1CPU      3106   12   12    2400   75.8 %   2891   34.5 %
02 Houdini 4.0 x64 1CPU        3100   11   11    2400   75.1 %   2891   30.6 %

03 Komodo 8.0 x64 1CPU         3097   14   14    1600   76.4 %   2881   30.8 %

04 Gull 3.0 x64 1CPU           3008   10   10    2600   61.9 %   2914   37.8 %
05 Critter 1.6 x64 1CPU        2976   10   10    2600   57.7 %   2916   43.5 %
06 Equinox 3.00 x64 1CPU       2974   10   10    2400   59.5 %   2902   41.3 %
07 Rybka 4.1 x64 1CPU          2936   10   10    2600   52.2 %   2920   40.2 %
08 BlackMamba 2.0 x64 1CPU     2891    9    9    2600   46.1 %   2923   38.7 %
09 Chiron 2.0 x64 1CPU         2832   10   10    2600   38.2 %   2928   34.7 %
10 Protector 1.6.0 x64 1CPU    2814   10   10    2600   35.8 %   2929   37.2 %
11 Hannibal 1.4a x64 1CPU      2809   10   10    2600   35.2 %   2929   34.9 %
12 Hiarcs 14 1CPU              2786   11   11    2400   33.7 %   2917   30.8 %
13 Senpai 1.0 x64 1CPU         2784   10   10    2600   32.1 %   2931   32.4 %
14 Texel 1.04 x64 1CPU         2776   10   10    2400   32.5 %   2918   32.9 %


Komodo 8.0 hält also auch bei sehr sehr kurzen Bedenkzeitvorgaben
und "Sinlge Core" mit, weshalb auch sollte es anders sein ?

Die Liste und mehr wie immer unter:
http://www.pcschach.de
Parent - - By Benno Hartwig Date 2014-10-21 09:22 Edited 2014-10-21 09:35
Richtig, der SF5 konnte sich auch bei kurzen Zeiten nur sehr knapp vor den K8 setzen.
Die aktuellen SF-Dev-Versionen distanzieren K8 aber schon recht deutlich, so ist zumindest mein Eindruck.
Aber ggf. kann K8 dann bei deutlich mehr Kernen wieder etwas aufholen.
Und eben vielleicht noch mehr bei langen Zeiten.

Benno
Parent - - By GS Date 2014-10-21 14:54
Komodo 8.0 vs Stockfish DEV


PC        : Intel i5 @ 3.1 GHz
Core(s)   : 1
HTs       : 64MB each engine
PB        : off
GUI       : Cutechess-cli (3 Instanzen)
TBs       : max. 4-men
Learning  : none

100 Vorgabestellungen = 200 Spiele pro Match


Level 10" + 0.3" (10 Sekunden pro Spiel plus 0.3 Sekunden pro Zug)
(extra kurz gewählt, da dies angeblich nachteilig sein soll für Komodo !)


Komodo 8.0 x64 1CPU               96.0 / out of 200 (+ 52  = 88  - 60)
Stockfish 14102014 x64 1CPU *    104.0 / out of 200 (+ 60  = 88  - 52)


* (stockfish_14101520_x64_modern.exe / 979KB / 1002496 Bytes)

und


...
GUI       : Cutechess-cli (2 Instanzen)
...


Level 15" + 0.5" (15 Sekunden pro Spiel plus 0.5 Sekunden pro Zug)
(also minimal länger als zuvor, sonst identische Konditionen siehe oben)


Komodo 8.0 x64 1CPU               89.5 / out of 200 (+ 48  = 83  - 69)
Stockfish 14102014 x64 1CPU *    110.5 / out of 200 (+ 69  = 83  - 48)


* (stockfish_14101520_x64_modern.exe / 979KB / 1002496 Bytes)

Das sieht meines Erachtens vorerst [sic] nicht danach aus, als wenn die
aktuelle Stockfish DEV Komodo 8.0 an die Wand spielen würde, selbst bei
diesen wahnwitzig kurzen Bedenkzeiten nicht. "Selftests" sind eben doch
nur die eine Seite der Medaille.

Sobald die noch ausstehenden Matches für meine UFRL (1'+1") durch sind,
lasse ich die Stockfish DEV unter diesen Bedingungen gegen Komodo ran.
Parent - - By Benno Hartwig Date 2014-10-21 15:12 Edited 2014-10-21 15:14

> Komodo 8.0 x64 1CPU                    89.5 / out of 200 (+ 48  = 83  - 69)
> Stockfish 14102014 x64 1CPU *    110.5 / out of 200 (+ 69  = 83  - 48)
> Das sieht meines Erachtens vorerst [sic] nicht danach aus, als wenn die aktuelle Stockfish DEV Komodo 8.0 an die Wand spielen würde,


Ggf. sind wir beide Opfer (oder Dummerchen) der kleinen Partienzahl.
Vor wenigen Tagen erhielt ich, motiviert durch Sedats Meldungen, bei ebenfalls 200 Partien bei recht kurzen 1m+0,5s auf 1core ein sehr viel deutlicheres 135,5 zu 64,5 für SF (Version vom 15.10.2014), was wahnwitzigen ca. 125 ELO entspräche. K8 holte hier nicht mal halb so viele Punkte wie SF.
http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=87462

Ein umfangreicherer Test unserer Hobbykollegen mit der großen Ausdauer wird hier ggf. Klarheit bringen können.

Benno
Parent - - By GS Date 2014-10-21 16:13
Deshalb schrieb ich ja "vorerst".

Allerdings, nach nun 300 Spielen hat sich nichts geändert:

Level 15" + 0.5" (15 Sekunden pro Spiel plus 0.5 Sekunden pro Zug)

Komodo 8.0 x64 1CPU              140.5 / out of 300 (+  89  = 103  - 108)
Stockfish 14102014 x64 1CPU *    159.5 / out of 300 (+ 108  = 103  -  89)

* (stockfish_14101520_x64_modern.exe / 979KB / 1002496 Bytes)
Parent - - By Benno Hartwig Date 2014-10-21 17:46 Edited 2014-10-21 17:53
Weiterspielen bedeutet, dass die ersten 200 Partien (mag ein größerer zufälliger Fehler drin sein oder auch nicht) das jetzige Ergebnis immer noch zu 2/3 dominieren.
Aber ist schon interessant: diese letzten 100 Partien hat K8 bei dir dann ja sogar gewonnen!
Faszinierend auch: wo bei den ersten 200 Partien mehr als 40% remis war, sind es bei den letzten 100 Partien nur noch genau 20%.

Auch wenn das Gefühl uns etwas anderes zuflüstert: Testumfänge von wenigen 100 Partien sind wohl verdammt zufallsgesteuert.

Benno
Parent - - By GS Date 2014-10-21 19:33
Komodo hatte auch die erste "100er-Serie" gewonnen,
mit 51-49. Diese grossen Schwankungen, einmal 40%
Remisquote, dann lediglich 20%, danach wieder 40%
ist der dämlichen Bedenkzeitwahl zuzuschreiben.
Wählt man hingegen "vernünftige"  Bedenkzeiten,
und dazu zähle ich z.B. meine 1'+1" für die UFRL
ausdrücklich NICHT, dann erlebt man so etwas
i.d.R. nicht. Die UFRL ist lediglich als Warnung zu
verstehen, nur deshalb führe ich die und pflege sie
auch von Zeit zu Zeit.
Parent - - By Benno Hartwig Date 2014-10-21 22:06 Edited 2014-10-21 22:10

> Diese grossen Schwankungen, einmal 40% Remisquote, dann lediglich 20%, danach wieder 40% ist der dämlichen Bedenkzeitwahl zuzuschreiben.


Diese These lese ich immer mal wieder.
Ich würde gern mal eine ernstzunehmende Begründung dazu hören. Bislang konnte mich keine überzeugen.

Ich denke:
Bei jeder Bedenkzeit gibt es für jedes Enginepaar A,B Wahrscheinlichkeiten für Gewinn(A), Remis und Gewinn(B)
Die sind ggf. unbekannt, und sie sind für verschiedenen Zeiten auch nicht gleich, noch nicht mal unbedingt ähnlich.
Aber wie sehr es in den Serien schwankt, wird dann rein durch die Stochastik beschrieben.
Jede Partie als Zufallsexperiment mit 3 möglichen Ausgängen.
Irgendwelche geheimnisvollen Sondereffekte bei kurzen Zeiten wie beispielsweise Extraschwankungen kann ich mir sicher nicht vorstellen.
So etwas wäre nur vorstellbar, wenn der Ausgang von Partien durch den Ausgang früherer Partien beeinflusst würde.

Allerdings: Serien über kurze Zeiten werden öfters gespielt.
Von daher werden auch unwahrscheinlichere Abläufe hin und wieder gesehen und beschrieben.

Benno
Parent - - By Ralf Mueller Date 2014-10-21 22:46
Hallo Benno,
ich könnte mir folgendes vorstellen: Durch die kürzere Bedenkzeit treten natürlich mehr Fehler auf als bei längerer Bedenkzeit. Mehr Fehler führen zu mehr entschiedenen Partien. (ist auch bei menschlichem Schach so, dass bei Blitzpartien deutlich mehr Partien entschieden werden als bei Langpartien). Mehr entschiedene Partien führen zu mehr Gewinn- bzw. Niederlagenserien (dafür gibt es bei längeren Partien mehr Remisserien).
Wenn du es dir als Zufallsexperiment vorstellst, musst du beachten, dass die Wahrscheinlichkeit für Remis, Gewinn und Verlust nicht gleich hoch ist und zudem noch von der Bedenkzeit abhängt. Bei längeren Bedenkzeiten ist die Remiswahrscheinlichkeit höher als bei kurzen Bedenkzeiten. Demzufolge ist es bei kurzen Bedenkzeiten wahrscheinlicher, dass viele Gewinnpartien innerhalb einer kurzen Zeitspanne auftreten als bei längeren Bedenkzeiten, weil einfach die Wahrscheinlichkeit, dass überhaupt eine Gewinnpartie auftritt höher ist.
Parent - By Benno Hartwig Date 2014-10-21 23:42
Du hast sicher recht.
Mit diesen etwas veränderten Wahrscheinlichkeiten, und auch mit der grundsätzlich größeren Remiswahrscheinlichkeit bei längeren Zeiten,  lassen sich aber nicht z.B. deutlich größere Schwankungen (mal 40% remis mal 20%) begründen.
Darauf wollte ich hinaus.
Benno
Parent - By Chess Player Date 2014-10-21 23:10
Diese These: "Diese grossen Schwankungen, einmal 40% Remisquote, dann lediglich 20%, danach wieder 40% ist der dämlichen Bedenkzeitwahl zuzuschreiben." höre ich immer wieder.

Und glaube ich nicht mal im Entferntesten......
Parent - - By GS Date 2014-10-22 19:04 Edited 2014-10-22 19:41
Benno Hartwig schrieb:

Diese These lese ich immer mal wieder.
Ich würde gern mal eine ernstzunehmende Begründung dazu hören. Bislang konnte mich keine überzeugen.
[...snip...]


Dabei ist alles so einfach wenn denn der "Mann selbst ist" !

Einfach das "alte" 32-Bit-Notebook hernehmen und:
ein Match Houdini vs Stockfish (Komodo fällt bei 32-Bit raus) über 500 Spiele spielen lassen.

1.) mit irrem Level, also z.B. 15" + 0.5"
2.) mit "halb" irrem Level, also z.B. 60" + 1"
3.) eine vernünftige Spielstufe wählen, z.B. 3'+1" oder 40/3' + ..., oder oder oder

Danach vergleichen.
Klar ist, dass die sonstigen Rahmenbedingungen absolut identisch sind und Dinge wie
z.B. Lernen ausgeschaltet sind.

Das alles dauert lediglich ein paar Tage und das alte Notebook wird, so ich es richtig verstanden habe,
sonst eh nicht gebraucht, oder ?
Parent - - By Benno Hartwig Date 2014-10-22 20:06

> Danach vergleichen.


Was könnte sich denn da zeigen, dass zu solch einer These berechtigt, wie du sie geschrieben hattest??

Dass die Ergebnisse unterschiedlich sein könnten, weiß ich.
Das die Wahrscheinlichkeiten für Sieg, Remis und Niederlage unterschiedlich sein können, schrieb ich ja bereits.
Welches Ergebnis aber belegen könnten, dass bei kurzen Zeiten 100-Partien-Phasen mal mit 20% und mal mit 40% Remis häufiger sind, wirst du bitte erklären müssen.

Nach allem was ich über Stochastik weiß, bin ich mir schon sehr sicher:
Die Ergebnisse bei kurzen Zeiten sind genauso vernünftig bestimmt wie die bei langen.
Es gibt da keine größeren Unsicherheiten, Schwankungen, Unsicherheiten, Zufälligkeiten, Willkür (abgesehen von der marginal größeren Varianzen bedingt durch die etwas kleinere Remis-Quote. Aber diese Varianzen sind dann eben gerade 'vernünftig' und entsprechen der interessierenden Realität).
Die Ergebnisse mögen leicht unterschiedlich sein, sie sind aber gleichermaßen vernünftig, nur mag dich das eine eben mehr als das andere interessieren.

Benno
Parent - - By GS Date 2014-10-23 09:00
Also frei nach dem Motto: "Es kann nicht sein, was nicht sein darf".
Dann ist eine weitere Diskussion selbstredend sinnfrei.

Ich bin froh, dass ich mich nicht ausschliesslich von der Theorie
leiten lasse, sondern immer versuche den Dingen auch via praktischen
Versuchen auf den Grund zu gehen.

Meines Erachtens sollten sie mit dieser Einstellung Aussagen in der Art:

"Ich würde gern mal eine ernstzunehmende Begründung dazu hören.
Bislang konnte mich keine überzeugen."

bleiben lassen, da sie überhaupt keine Antwort darauf erwarten resp.
wollen, geschweige denn akzeptieren würden !

Jedoch: Jedem das Seine ...
Parent - - By Benno Hartwig Date 2014-10-23 09:16 Edited 2014-10-23 09:30

> Also frei nach dem Motto: "Es kann nicht sein, was nicht sein darf".
> Dann ist eine weitere Diskussion selbstredend sinnfrei.



Du hast ganz offensichtlich weder verstanden wovon ich rede noch was wenigstens  die Kernaussagen der Stochastik sind.
Und wie nahe eben Engine-Partien an stochastischen Prozessen sind.
Sollte dir dieses Verstehen wirklich weiterhin unmöglich bleiben, dann bliebe eine Diskussion deshalb(!) sicherlich sinnfrei.

> da sie überhaupt keine Antwort darauf erwarten resp. wollen


Oh, ich bin mathematisch genügend vorgebildet, um das hier anstehende stochastische Modell zu verstehen und um deiner Argumentation folgen zu können und auch ehrlich genug, mich ggf. überzeugen zu lassen.
Ich habe aber schon die Erwartung, dass ich in diesem Falle eher auf die Lücken in deiner Argumentation stoßen würde.
Darum fragte ich nach.

Benno
Parent - - By GS Date 2014-10-23 12:50
Benno Hartwig schrieb:


Du hast ganz offensichtlich weder verstanden wovon ich rede noch was wenigstens  die Kernaussagen der Stochastik sind.


Weshalb nur wusste ich, dass solch eine oder
sehr vergleichbare "Antwort" kommen würde ?

:EOD:
Parent - By Benno Hartwig Date 2014-10-23 13:08 Edited 2014-10-23 13:20

> Weshalb nur wusste ich, dass solch eine oder sehr vergleichbare "Antwort" kommen würde ?


Weil dir insgeheim doch bewusst ist, dass man um die Thematik Wahrscheinlichkeitsrechnung nicht herum kommt, wenn man die Sinnhaftigkeit deiner Thesen beleuchten möchte?
Benno
Parent - - By GS Date 2014-10-22 09:24
Benno Hartwig schrieb:

[...snip...]

Vor wenigen Tagen erhielt ich, motiviert durch Sedats Meldungen, bei ebenfalls 200 Partien bei recht kurzen 1m+0,5s auf 1core ein sehr viel deutlicheres 135,5 zu 64,5 für SF (Version vom 15.10.2014), was wahnwitzigen ca. 125 ELO entspräche. K8 holte hier nicht mal halb so viele Punkte wie SF.
<a class='urs' href='http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=87462'>http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=87462</a>

[...snip...]


Ich sehe erst jetzt, dass da Komodo 8.0 w32 am Start war.

Die 32-Bit-Versionen von Komodo sind seit einiger Zeit Crippleware.

Das kann man gut aus unserer CEGT 40/4 Liste heraus lesen:

Komodo 7.0a x64 1CPU      3112
Komodo 7.0a w32 1CPU      3028  -  84

Komodo CCT x64 1CPU       3058
Komodo CCT w32 1CPU       2946  - 112

Komodo 6.0 x64 1CPU       3063
Komodo 6.0 w32 1CPU       2981  -  82


Bei Stockfish hingegen stellt sich das ganz anders dar:

Stockfish 5.0 x64 1CPU    3156
Stockfish 5.0 w32 1CPU    3110  -  46

Stockfish DD x64 1CPU     3105
Stockfish DD w32 1CPU     3072  -  33

Stockfish 4.0 x64 1CPU    3051
Stockfish 4.0 w32 1CPU    3025  -  26


http://www.husvankempen.de/nunn/
Parent - By Benno Hartwig Date 2014-10-22 10:10 Edited 2014-10-22 10:35
Ah, danke für den Hinweis, das war mir nicht bekannt, nie aufgefallen.

Ja, ich hatte diesen Test kurzerhand auf meinem alten Core2duo-Notebook gemacht.
Und das tuckert unter W7 eben mit 32bit vor sich hin.
Für den Hausgebrauch ausreichend, und mehr betreibt das alte Gerät meist auch nicht.

Aber die Werte, die du nanntest, sprechen schon eine deutliche Sprache.
OK, ich habe gelernt: Komodo-gegen-irgendwen-Tests müssen also auf 64bit-Rechnern laufen.

Benno
Parent - - By GS Date 2014-10-22 09:29
Der Testrun ist beendet, hier die aktuelle Listung:

#  Program                       Elo    +    -   Games   Score   Av.Op.  Draws
01 Stockfish 5.0 x64 1CPU       3113   10   10   2600    73.9 %   2913   35.7 %

02 Komodo 8.0 x64 1CPU          3109   11   11   2600    73.5 %   2914   33.1 %

03 Houdini 4.0 x64 1CPU         3100   10   10   2600    72.4 %   2914   31.6 %
04 Gull 3.0 x64 1CPU            3015   10   10   2600    61.9 %   2921   37.8 %
05 Critter 1.6 x64 1CPU         2983    9    9   2600    57.7 %   2923   43.5 %
06 Equinox 3.00 x64 1CPU        2982   10   10   2600    57.5 %   2923   41.6 %
07 Rybka 4.1 x64 1CPU           2943   10   10   2600    52.2 %   2926   40.2 %
08 BlackMamba 2.0 x64 1CPU      2897   10   10   2600    46.1 %   2930   38.7 %
09 Chiron 2.0 x64 1CPU          2839   10   10   2600    38.2 %   2934   34.7 %
10 Protector 1.6.0 x64 1CPU     2821   10   10   2600    35.8 %   2936   37.2 %
11 Hannibal 1.4a x64 1CPU       2816    9    9   2600    35.2 %   2936   34.9 %
12 Hiarcs 14 1CPU               2793   10   10   2600    32.3 %   2938   30.1 %
13 Senpai 1.0 x64 1CPU          2791   10   10   2600    32.1 %   2938   32.4 %
14 Texel 1.04 x64 1CPU          2783   10   10   2600    31.1 %   2939   32.1 %


http://www.pcschach.de
Parent - - By Kurt Utzinger Date 2014-10-22 13:08
Aha, der Gerhard hat seine Homepage farblich umgstellt. Ist nun - gegenüber
früher mit Schwarz - sehr gut lesbar.
Mfg
Kurt
Parent - By GS Date 2014-10-22 14:38
Mal wieder auf "o.t. trip" ?
Parent - By GS Date 2014-10-22 15:16
Hier noch, wie angekündigt, der Vergleich zur Stockfish DEV unter
sonst absolut identischen Bedingungen.


Komodo 8.0 x64 1CPU vs Stockfish 5.0 x64 1CPU  97.5-102.5  (+ 47 = 101 - 52)

Komodo 8.0 x64 1CPU vs Stockfish DEV 14102015  94.0-106.0  (+ 44 = 100 - 56)


Natürlich ist auch der Level 1'+1" (wie bereits erwähnt) viel zu
kurz um etwas Vernünftiges zu messen. Besser als 10"+0.3" oder
15"+0.5" ist diese Zeitvorgabe in diesem Sinne jedoch allemal !

Nun sind es bereits 500 Spiele zwischen Komodo 8 und Stockfish DEV,
z.T. unter irren Zeitvorgaben. Von einer grossen Überlegenheit der
Stockfish DEV 14102015 ist hier weit und breit nichts zu sehen !

http://www.pcschach.de
Up Topic Hauptforen / CSS-Forum / Komodo 8.0 x64 @ 1'+1"

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill