Komodo 8 - Stockfish 140904

By Andreas Strangmüller Date 2014-09-09 17:38

Drei Bedenkzeiten:
15+0.15 sec., 60+0.60 sec. und 240+2.40 sec.

Intel i5-750 @ 3.5 GHz, Windows 7 64-Bit
Cutechess, jeweils 1 Core, 128 MB Hash, bei 240+2.40 sec. 256 MB Hash
500 Eröffnungen (fq500.pgn) mit vertauschten Farben
Default settings

Die neueste Stockfish Version vom 04.09.2014 hat unter diesen Bedingungen im direkten Vergleich leicht die Nase vorn.

15+0.15 sec

    Program             Elo    +   -   Games   Score   Av.Op.  Draws
 ----------------------------------------------------------------------
  1 Stockfish 140904  : 3008   16  15  1000    52.3 %   2992   48.3 %
  2 Komodo 8          : 2992   15  16  1000    47.6 %   3008   48.3 %

Wins   = 282
Draws  = 483
Losses = 235
Av.Op. Elo = 3000

Result     : 523.5/1000 (+282,=483,-235)
Perf.      : 52.3 %
Margins    :
 68 %      : (+  1.1,-  1.1 %) -> [ 51.2, 53.5 %]
 95 %      : (+  2.2,-  2.2 %) -> [ 50.1, 54.6 %]
 99.7 %    : (+  3.4,-  3.4 %) -> [ 49.0, 55.7 %]

Elo        : 3016
Margins    :
 68 %      : (+  8,-  8) -> [3008,3024]
 95 %      : (+ 16,- 15) -> [3001,3032]
 99.7 %    : (+ 24,- 23) -> [2993,3040]

Games        :   1000 (finished)

White Wins   :    295 (29.5 %)
Black Wins   :    222 (22.2 %)
Draws        :    483 (48.3 %)

White Perf.  : 53.6 %
Black Perf.  : 46.4 %

-----------------------------------------------------------------------

60+0.60 sec.

    Program             Elo    +   -   Games   Score   Av.Op.  Draws
 -----------------------------------------------------------------------
  1 Stockfish 140904  : 3014   15  15  1000    53.9 %   2986   52.6 %
  2 Komodo 8          : 2986   15  15  1000    46.1 %   3014   52.6 %

Wins   = 276
Draws  = 526
Losses = 198
Av.Op. Elo = 3000

Result     : 539.0/1000 (+276,=526,-198)
Perf.      : 53.9 %
Margins    :
 68 %      : (+  1.1,-  1.1 %) -> [ 52.8, 55.0 %]
 95 %      : (+  2.1,-  2.1 %) -> [ 51.8, 56.0 %]
 99.7 %    : (+  3.2,-  3.2 %) -> [ 50.7, 57.1 %]

Elo        : 3027
Margins    :
 68 %      : (+  8,-  8) -> [3020,3035]
 95 %      : (+ 15,- 15) -> [3012,3042]
 99.7 %    : (+ 23,- 22) -> [3005,3050]

Games        :   1000 (finished)

White Wins   :    296 (29.6 %)
Black Wins   :    178 (17.8 %)
Draws        :    526 (52.6 %)

White Perf.  : 55.9 %
Black Perf.  : 44.1 %

-----------------------------------------------------------------------

240+2.40 sec.

    Program             Elo    +   -   Games   Score   Av.Op.  Draws
 ----------------------------------------------------------------------
  1 Stockfish 140904  : 3009   19  19   540    52.5 %   2991   57.2 %
  2 Komodo 8          : 2991   19  19   540    47.5 %   3009   57.2 %

Wins   = 129
Draws  = 309
Losses = 102
Av.Op. Elo = 3000

Result     : 283.5/540 (+129,=309,-102)
Perf.      : 52.5 %
Margins    :
 68 %      : (+  1.4,-  1.4 %) -> [ 51.1, 53.9 %]
 95 %      : (+  2.7,-  2.8 %) -> [ 49.7, 55.2 %]
 99.7 %    : (+  4.2,-  4.2 %) -> [ 48.3, 56.7 %]

Elo        : 3017
Margins    :
 68 %      : (+ 10,- 10) -> [3008,3027]
 95 %      : (+ 19,- 19) -> [2998,3037]
 99.7 %    : (+ 29,- 29) -> [2988,3047]

Games        :    540 (finished)

White Wins   :    137 (25.4 %)
Black Wins   :     94 (17.4 %)
Draws        :    309 (57.2 %)

White Perf.  : 54.0 %
Black Perf.  : 46.0 %

By Thomas Lagershausen Date 2014-09-09 21:34

Habe ich das richtig verstanden?

Die Parteien bekommen 15 Sekunden für eine komplette Schachpartie + plus einem Aufschlag von einer Sechzehntel Sekunde pro Zug?

By Andreas Strangmüller Date 2014-09-09 22:00

Hallo Thomas,

ja, die niedrigste Bedenkzeit dieses Tests ist 15 Sekunden für die Partie + 0.15 Sekunden pro Zug.

Dann folgt jeweils eine Vervierfachung auf 60 Sekunden pro Partie + 0.60 Sekunden pro Zug bzw. 240 Sekunden pro Partie + 2.40 Sekunden pro Zug.

Selbst die niedrigste Bedenkzeit ist aktuell ein Standard um Engines zu testen, siehe Stockfish Framework.
Mich hat es anfangs auch überrascht, dass Engines diese äußerst niedrigen Bedenkzeiten ohne Zeitüberschreitung überhaupt beherrschen und dabei sogar noch vernünftige Partien spielen.
Die aktuelle schnelle Hardware machts möglich!

Viele Grüße,
Andreas

By Michael Scheidl Date 2014-09-09 22:17

Konnte ich zufällig gerade heute bei mir in ähnlicher Weise feststellen: Ich ließ ein Singlecore-Turnier, ponder off, auf 12 Sek. Basiszeit + (allerdings) eine volle Sekunde Zugbonus laufen. Die 21 Engines waren von Stockfish bis Tornado gestreut, "Autoflag" in Arena 3.5 aktiviert. Über 420 Partien keine einzige Zeitüberschreitung feststellbar.

(Ich überprüfe das immer per Textsuche direkt in der PGN.)

Aber vor allem: Auf meinem (etwas langsameren) i5 werden unter diesen Bedingungen zweistellige Rechentiefen erreicht, typischerweise 13 Plies. An prinzipiellen Problemen konnte ich nur eine krasse Unterperformance von Tornado 5 beta (ca. -250 Elo) erkennen, was offensichtlich an einer zu unflexiblen und zu sparsamen Zeiteinteilung lag.