Bedenkzeitvergleich

By Andreas Strangmüller Date 2015-01-09 22:11 Edited 2015-01-09 22:20 Upvotes 1

 
   Engine  /   Zeit | 1 Min.  4 Min.  10 Min. 30 Min.    4 Min. 10 Min. 30 Min. 
  ------------------|--------------------------------   ------------------------
   Stockfish 5      |  3148    3105    3110    3147       -43     +5      +37
   Komodo 8         |  3126    3119    3106    3138        -7    -13      +32
   Houdini 4        |  3117    3081    3085    3092       -36     +4       +7
   Gull 3           |  3028    3042    3037    3037       +14     -5        0
   Fire 4           |  3028    3026    3029    3029        -2     +3        0
   Critter 1.6a     |  2998    2981    2977    2947       -17     -4      -30
   Bouquet 1.8      |  2974    2957    2956    2937       -17     -1      -19
   Rybka 4.1        |  2912    2937    2945    2904       +25     +8      -41
   Protector 1.7.0  |  2838    2874    2880    2896       +36     +6      +16
   Chiron 2         |  2831    2879    2874    2872       +48     -5       -2

Stockfish und Houdini verlieren von 1 auf 4 Minuten deutlich, steigern sich dann aber kontinuierlich wieder, insbesondere Stockfish.
Komodo fällt bis 10 Minuten, legt danach aber mächtig zu.
Gull und besonders Fire sind bei allen Bedenkzeiten ziemlich ausgeglichen.
Critter und Bouquet schneiden bei zunehmender Bedenkzeit immer schwächer ab, während Chiron von 1 auf 4 Minuten fast 50 Elopunkte gewinnt, dann aber bis 30 Minuten wieder leicht verliert.
Rybka gewinnt bis 10 Minuten an Elopunkten, fällt bei 30 Minuten aber beachtlich ab.
Protector ist in diesem Feld einzigartig und gewinnt kontinuierlich bis 30 Minuten um fast 60 Elopunkte!

Ebenfalls bemerkenswert ist, dass die ersten 8 Engines bis auf eine Ausnahme (Komodo und Stockfish bei 4 Minuten) bei allen Bedenkzeiten ihren Ranglistenplatz behaupten, lediglich Chiron und Protector tauschen die Plätze 9 und 10.

By Stefan Pohl Date 2015-01-10 08:02

Andreas Strangmüller schrieb:

Vergleich der Spielstärke der Top 10 Engines bei unterschiedlichen Bedenkzeiten.

Als Datenbasis dienen meine vier Ranglisten:
1 Min. + 0.6 Sek. (11250 Partien), 4 Min. + 2.4 Sek. (13500 Partien), 10 Min. + 6 Sek. (13500 Partien) und 30 Minuten (1800 Partien), zu finden unter <a class='ura' href='http://www.fastgm.de'>http://www.fastgm.de</a>, ausgewertet jeweils mit Ordo.
Die durchschnittliche Partiedauer liegt angefangen bei der kürzersten Bedenkzeit bei etwa 3 Minuten dann 12 Minuten, 30 Minuten und schließlich 54 Minuten.

Bemerkenswert ist, dass die ersten 8 Engines bis auf eine Ausnahme (Komodo und Stockfish bei 4 Minuten) bei allen Bedenkzeiten ihren Ranglistenplatz behaupten, lediglich Chiron und Protector tauschen die Plätze 9 und 10.

Hallo Andreas,

Ganz tolle Arbeit - deine Testarbeit und Auswertungen suchen im Web ihresgleichen. Bin immer wieder begeistert.

Schön, daß du mit deinen vielen Partien bei so vielen Bedenkzeitstufen klar aufzeigst, daß sich Ranglistenplätze praktisch nicht ändern, auch wenn die Bedenkeiten immer länger werden. Daß man als Tester also mit kurzen Bedenkzeiten (und dadurch mehr gespielten Partien in gleicher Zeit) schlicht und einfach die statistisch verläßlicheren Ergebnisse erzielt. Und ich bei meinen Stockfishtests z.B. mit meinem 70''+700ms (geeicht an deinen 60''+600ms + etwas schnelleren Cores) diesbzgl. richtig liege.
Schön auch, daß du auf meinen Rat gehört und Elostat über Bord geworfen hast und nun auch Ordo benutzt.

Stefan

PS: Ich warte schon gespannt auf Equinox in deinen Listen mit mehr Bedenkzeit. Bei mir läuft übrigens seit ein paar Stunden der Testrun von Mars 3.35. Und das sieht bisher richtig gut aus! Mars 3.35 könnte evt. sogar leicht besser sein als Equinox 3.3 & Critter 1.6a. Allerdings sind erst sehr wenige Partien durch. Dennoch würde ich mich sehr freuen, wenn du Mars 3.35 (falls CPU-Zeit frei ist) in deine exzellente Bulletliste aufnehmen könntest.

By Peter Martan Date 2015-01-10 08:48 Edited 2015-01-10 08:56

Stefan Pohl schrieb:

P.S. Auch meinerseits ein Dankeschön an Euch beide.

By Frank Brenner Date 2015-01-10 12:52

> Schön, daß du mit deinen vielen Partien bei so vielen Bedenkzeitstufen klar aufzeigst .... daß ich bei meinen Stockfishtests .... richtig liege.

Hochmut kommt vor dem Fall.