SF 171212 vs K 11.2.2

By Klaus S. Date 2017-12-30 11:24 Edited 2017-12-30 11:27

Hallo,
ich weiß nicht ob Andreas folgendes auch hier posten wird, aber ich stelle
mal sein neuestes Match hier ein.

Großartige Arbeit, Danke Andreas

gefunden im CCC: http://www.talkchess.com/forum/viewtopic.php?topic_view=threads&p=745718&t=66180

Code:

Depth     : Average search depth
Time      : Total time engine used
Moves     : Total moves engine played
Average   : Average time per move in centi-seconds

Time in seconds

TC = 120" + 1.2"

    Program                Elo    +   -   Games   Score   Av.Op.  Draws       Depth       Time   Games     Moves  Average
 ------------------------------------------------------------------------    ---------------------------------------------
  1 Stockfish 171212 T1  : 3039   50  49   100    61.0 %   2961   48.0 %      27.59    5:32:48     100      8176    2.44
  2 Komodo 11.2.2 T1     : 2961   49  50   100    39.0 %   3039   48.0 %      22.54    5:36:09     100      8162    2.47

Individual statistics:

1 Stockfish 171212 T1  : 3039  100 (+ 37,= 48,- 15), 61.0 %
2 Komodo 11.2.2 T1     : 2961  100 (+ 15,= 48,- 37), 39.0 %

-------------------------------------------------------------------------------------------------------------------------

TC = 240" + 2.4"

    Program                Elo    +   -   Games   Score   Av.Op.  Draws       Depth       Time   Games     Moves  Average
 ------------------------------------------------------------------------    ---------------------------------------------
  1 Stockfish 171212 T1  : 3048   47  46   100    63.5 %   2952   53.0 %      28.67   10:35:59     100      7510    5.08
  2 Komodo 11.2.2 T1     : 2952   46  47   100    36.5 %   3048   53.0 %      23.58   10:50:13     100      7495    5.21

Individual statistics:

1 Stockfish 171212 T1  : 3048  100 (+ 37,= 53,- 10), 63.5 %
2 Komodo 11.2.2 T1     : 2952  100 (+ 10,= 53,- 37), 36.5 %

-------------------------------------------------------------------------------------------------------------------------

TC = 480" + 4.8"

    Program                Elo    +   -   Games   Score   Av.Op.  Draws       Depth       Time   Games     Moves  Average
 ------------------------------------------------------------------------    ---------------------------------------------
  1 Stockfish 171212 T1  : 3039   41  39   100    61.0 %   2961   64.0 %      32.33   21:21:00     100      7732     9.94
  2 Komodo 11.2.2 T1     : 2961   39  41   100    39.0 %   3039   64.0 %      26.26   21:53:13     100      7719    10.21

Individual statistics:
 
1 Stockfish 171212 T1  : 3039  100 (+ 29,= 64,-  7), 61.0 %
2 Komodo 11.2.2 T1     : 2961  100 (+  7,= 64,- 29), 39.0 %

-------------------------------------------------------------------------------------------------------------------------

TC = 960" + 9.6"

    Program                Elo    +   -   Games   Score   Av.Op.  Draws       Depth       Time   Games     Moves  Average
 ------------------------------------------------------------------------    ---------------------------------------------
  1 Stockfish 171212 T1  : 3043   40  37   100    62.0 %   2957   66.0 %      34.82   43:50:08     100      8034    19.64
  2 Komodo 11.2.2 T1     : 2957   37  40   100    38.0 %   3043   66.0 %      28.24   44:42:27     100      8018    20.07

Individual statistics:

1 Stockfish 171212 T1  : 3043  100 (+ 29,= 66,-  5), 62.0 %
2 Komodo 11.2.2 T1     : 2957  100 (+  5,= 66,- 29), 38.0 %

-------------------------------------------------------------------------------------------------------------------------

TC = 1920" + 19.2"

    Program                Elo    +   -   Games   Score   Av.Op.  Draws       Depth       Time   Games     Moves  Average
 ------------------------------------------------------------------------    ---------------------------------------------
  1 Stockfish 171212 T1  : 3028   42  41   100    58.0 %   2972   62.0 %      37.34   89:33:14     100      8366    38.54
  2 Komodo 11.2.2 T1     : 2972   41  42   100    42.0 %   3028   62.0 %      29.81   91:00:16     100      8359    39.19

Individual statistics:

1 Stockfish 171212 T1  : 3028  100 (+ 27,= 62,- 11), 58.0 %
2 Komodo 11.2.2 T1     : 2972  100 (+ 11,= 62,- 27), 42.0 %

-------------------------------------------------------------------------------------------------------------------------

TC = 3840" + 38.4"

    Program                Elo    +   -   Games   Score   Av.Op.  Draws       Depth       Time   Games     Moves  Average
 ------------------------------------------------------------------------    ---------------------------------------------
  1 Stockfish 171212 T1  : 3035   34  29   100    60.0 %   2965   76.0 %      39.86  177:19:00     100      8172    78.11
  2 Komodo 11.2.2 T1     : 2965   29  34   100    40.0 %   3035   76.0 %      33.12  178:11:51     100      8164    78.58

Individual statistics:

1 Stockfish 171212 T1  : 3035  100 (+ 22,= 76,-  2), 60.0 %
2 Komodo 11.2.2 T1     : 2965  100 (+  2,= 76,- 22), 40.0 %

-------------------------------------------------------------------------------------------------------------------------

TC = 7680" + 76.8"

    Program                Elo    +   -   Games   Score   Av.Op.  Draws       Depth       Time   Games     Moves  Average
 ------------------------------------------------------------------------    ---------------------------------------------
  1 Stockfish 171212 T1  : 3003   39  39   100    51.0 %   2997   68.0 %      41.26  368:44:04     100      8567   154.95
  2 Komodo 11.2.2 T1     : 2997   39  39   100    49.0 %   3003   68.0 %      34.42  367:09:36     100      8561   154.40

Individual statistics:

1 Stockfish 171212 T1  : 3003  100 (+ 17,= 68,- 15), 51.0 %
2 Komodo 11.2.2 T1     : 2997  100 (+ 15,= 68,- 17), 49.0 %

-------------------------------------------------------------------------------------------------------------------------

TC = 15360" + 153.6"

    Program                Elo    +   -   Games   Score   Av.Op.  Draws       Depth       Time   Games     Moves  Average
 ------------------------------------------------------------------------    ---------------------------------------------
  1 Stockfish 171212 T1  : 3033   33  27   100    59.5 %   2967   79.0 %      44.43  733:33:24     100      8698   303.61
  2 Komodo 11.2.2 T1     : 2967   27  33   100    40.5 %   3033   79.0 %      37.32  729:44:54     100      8680   302.66

Individual statistics:

1 Stockfish 171212 T1  : 3033  100 (+ 20,= 79,-  1), 59.5 %
2 Komodo 11.2.2 T1     : 2967  100 (+  1,= 79,- 20), 40.5 %

By guest171218 Date 2017-12-30 11:58

Da scheinen alle, die immer wieder predigen daß 100 spiele
einfach viel zu wenige sind um etwas essentielles darzustellen,
recht zu behalten. Wie sonst könnte man diese delle erklären?

Code:


TC = 7680" + 76.8"

    Program                Elo    +   -   Games   Score   Av.Op.  Draws       Depth       Time   Games     Moves  Average
 ------------------------------------------------------------------------    ---------------------------------------------
  1 Stockfish 171212 T1  : 3003   39  39   100    51.0 %   2997   68.0 %      41.26  368:44:04     100      8567   154.95
  2 Komodo 11.2.2 T1     : 2997   39  39   100    49.0 %   3003   68.0 %      34.42  367:09:36     100      8561   154.40

Gruß MiKa.

By Michael Scheidl Date 2017-12-30 12:02

Interessant, danke... Komischer statistischer Ausreißer bei 7680" + 76.8" (2h08m+1m16,8s) mit nur 51,0% was bei je 100 Partien verwundert. Die Remisquote zeigt keinen ganz kontinuierlichen Verlauf über die Bedenkzeiten hinweg, aber die bekannte Tendenz daß längere Zeiten mehr Remis bewirken.

Insgesamt zeigt sich hier die neue Stockfishversion als ganz großes Kaliber, zumindestens head-to-head gegen Komodo 11. Offenbar +70...80 Elo je nach Bedingungen.

By Ulf Flörsheimer Date 2017-12-30 21:19

Die Seite https://nextchessmove.com/dev-builds deutet hingegen auf totale Stagnation bei zugegebenermaßen höchstem Niveau hin.

Im direkten Vergleich haben auch bei mir die neueren SF-Versionen gegenüber K11.2.2 einen Vorsprung von 80-100 ELO-Punkten (bei typischerweise 10'+5" bis 30'+15", jeweils 2 Threads und ponder on).

By Guenter Stertenbrink Date 2017-12-31 09:16 Edited 2017-12-31 09:29

TC=00120+001.2,61.0,48.0
TC=00240+002.4,63.5,53.0
TC=00480+004.8,61.0,64.0
TC=00960+009.6,62.0,66.0
TC=01920+019.2,58.0,62.0
TC=03840+038.4,60.0,76.0
TC=07680+076.8,51.0,68.0
TC=15360+153.6,59.5,79.0

lineare Approximation gibt Remistod bei 800563"+8005.6" oder 38048m=634h=26.4d pro Engine pro Partie
und Komodo gewinnt 5.7 Elo pro Bedenkzeitverdopplung

By Stefan Pohl Date 2017-12-31 12:58 Edited 2017-12-31 13:10

Guenter Stertenbrink schrieb:

Wobei man bedenken muß, daß die 50 Superfinal Eröffnungen der Season 10 ja alles andere als "normal" waren. Es wurde ja gezielt versucht, die Remisqoute zu senken u.a. mit Königsgamit etc.
Mit "normalen", ausgewogenen Eröffnungen wäre im Superfinal der Season 10 sicher etwa 90% Remisen herausgekommen. Das hatten wir ja schon in früheren Seasons.
Auch tritt der Remistod ja nicht erst bei 100% Remisen ein. Zumindest nicht für mich. Ich empfinde schon 85% oder mehr Remisen als als "Langeweile-Tod". Insofern ist für mich der Remistod schon bei den aktuellen TCEC-Superfinal Bedingungen (Zeit/Hardware) locker erreicht, sofern "normale" Eröffnungen vorgegeben werden bzw. würden. Und das sehen die TCEC-Macher ja offensichtlich ebenso, sonst wären nicht solche unkonventionellen Eröffnungen in Season 9 und 10 benutzt worden.
Es wird dringend Zeit, daß alle Computerschach-Begeisterten sich endlich mal klarmachen, daß der Remistod des Computerschachs keine Science-Fiction mehr ist! Sondern bei TCEC-Superfinal Bedingungen bereits eingetreten ist (sehr teure Hardware, relativ lange Bedenkzeit, nur sehr starke Engines unter sich), sofern nicht mit "speziellen" Eröffnungsvorgaben schon aktiv gegengesteuert wird!!! Und, daß es nur eine Frage der Zeit ist, daß mit sich verbessernder Hardware und noch stärkeren Engines, der Remistod unweigerlich auch schon bei kürzeren Bedenkzeiten, nicht so teurer Hardware und größerer Engine-Spielstärkebandbreite eintreten wird. Das ist unausweichlich. Wenn wir nicht mit speziellen Eröffnungsvorgaben gegensteuern.

By Stefan Pohl Date 2017-12-31 13:42

Stefan Pohl schrieb:

Guenter Stertenbrink schrieb:

Aber es gibt ja Hoffnung: Die komplette Neuentwicklung meiner SALC-Eröffnungen mit deutlich verfeinerten Filterkriterien (half-closed bzw. full-closed Stellungen, aber das erkläre ich beim Release alles noch genauer!) und auch deutlich mehr Stellungen/Linien ist in vollem Gange. Wenn alles wie geplant läuft, hoffe ich, noch im ersten Quartal 2018 den Release zu schaffen, vielleicht sogar noch im Januar. Aber dann müßte es optimal laufen. Zeitangaben wie immer ohne Gewähr.

By Andreas Strangmüller Date 2017-12-31 10:41

  Program                Elo    +   -   Games   Score   Av.Op.  Draws
-----------------------------------------------------------------------
1 Stockfish 171212 T1  : 3033   14  14   800    59.5 %   2967   64.5 %
2 Komodo 11.2.2 T1     : 2967   14  14   800    40.5 %   3033   64.5 %

Individual statistics:

1 Stockfish 171212 T1  : 3033  800 (+218,=516,- 66), 59.5 %
2 Komodo 11.2.2 T1     : 2967  800 (+ 66,=516,-218), 40.5 %

Interessant finde ich bei der Auswertung die durchschnittliche Suchtiefe (Depth).
Selbst bei den höheren Bedenkzeiten gab es noch einen Zuwachs von 2-3 Halbzüge.
Anfänglich lag die Differenz bei 5,05 Halbzüge (120+1.2), stetig steigend und zum Schluss (15360+153.6) bei 7,11 Halbzüge zugunsten von Stockfish.

By Clemens Keck Date 2017-12-31 13:16

Hallo zusammen

Angeregt durch dieses Thema habe ich ein engine match am laufen seit gestern.
Wollte es gar nicht glauben das der Unterschied zwischen Komodo und Stockfish in so kurzer Zeit so massiv zugenommen hat.
Anfang Dezember sah es so aus:

Allerdings engines 11 cpu und 60m+15sec, und eine nicht ganz aktuelle Komodo beta.

Im aktuellen match, 1cpu, 1024hash, 6men egtb, 10m+10s , HERT opening suite, sieht es nach 389 Spielen schlecht aus für Komodo beta

Code:

    Program                          Elo    +   -   Games   Score   Av.Op.  Draws

  1 Stockfish 261217 64 POPCNT T1  : 3029   18  18   389    58.2 %   2971   71.7 %
  2 Komodo 1973.00 64-bit T1       : 2971   18  18   389    41.8 %   3029   71.7 %

Andreas Strangmüller schrieb:

Hier nochmal die Bedingungen des Wettkampfes:

50 Eröffnungen des TCEC 10 Superfinales, Stockfish 171212 - Komodo 11.2.2, Contempt=0, 1 thread
Dual Intel Xeon X5670 @ 2.93 GHz, Cutechess-Cli, no adjudication rules
Jeweils 100 Partien, dann Verdopplung der Bedenkzeit

Alle Partien: <a class='urs' href='http://www.fastgm.de/schach/SF171212-T1-K11.2.2-T1-TCEC10-Superfinal.7z'>http://www.fastgm.de/schach/SF171212-T1-K11.2.2-T1-TCEC10-Superfinal.7z</a>

In erster Linie ging es mir darum zu sehen wie ein aktueller Stockfish die 50 Eröffnungsvorgaben des TCEC 10 Superfinales gegen Komodo spielt.
100 Partien sind selbstverständlich zu wenig um einen genauen Elounterschied zwischen den beiden Engines zu ermittlen.
Die Fehlertoleranz lag hier immerhin bei +- 50 bis +-27 Elo.

Hier noch die Auswertung aller 800 Partien:

<code> Program Elo +   -   Games   Score   Av.Op. Draws
-----------------------------------------------------------------------
1 Stockfish 171212 T1 : 3033   14 14   800 59.5 %   2967   64.5 %
2 Komodo 11.2.2 T1    : 2967   14 14   800 40.5 %   3033   64.5 %

Individual statistics:

1 Stockfish 171212 T1 : 3033 800 (+218,=516,- 66), 59.5 %
2 Komodo 11.2.2 T1    : 2967 800 (+ 66,=516,-218), 40.5 %</code>

Interessant finde ich bei der Auswertung die durchschnittliche Suchtiefe (Depth).
Selbst bei den höheren Bedenkzeiten gab es noch einen Zuwachs von 2-3 Halbzüge.
Anfänglich lag die Differenz bei 5,05 Halbzüge (120+1.2), stetig steigend und zum Schluss (15360+153.6) bei 7,11 Halbzüge zugunsten von Stockfish.

By Stefan Pohl Date 2017-12-31 13:33

Clemens Keck schrieb:

Code:

    Program                          Elo    +   -   Games   Score   Av.Op.  Draws

  1 Stockfish 261217 64 POPCNT T1  : 3029   18  18   389    58.2 %   2971   71.7 %
  2 Komodo 1973.00 64-bit T1       : 2971   18  18   389    41.8 %   3029   71.7 %

Da würde ich jetzt nicht zu schwarz für Komodo sehen wollen. Man muß immer sehen: Remisen sind nicht nur langweilig, sondern auch Gift für die Ergebnisqualität. Denn jedes Remis drück die Ergebnisbandbreite zusammen (Richtung 50% Erfolgsqoute für alle Engines in einem Wettkampf). Und in deinem 11cpu Match ist die Remsiqoute (logischerweise (mehr durchgerechnete Knoten = mehr Remisen)) viel höher, als in deinem 1 CPU Match, was gerade läuft (82% Remisen zu knapp 72% Remisen sind ein großer Unterschied für die Ergebnisbandbreite!!!). Insofern ist völlig klar, daß Komodo bei einer geringeren Remisqoute in einem Wettkampf als schwächere der beiden Engines, auch einen schlechteren Erfolgsscore erzielt.

By Peter Martan Date 2017-12-31 13:37 Edited 2017-12-31 13:41

Clemens Keck schrieb:

Anfang Dezember sah es so aus:

Code:

    Program                          Elo    +   -   Games   Score   Av.Op.  Draws

  1 Stockfish 261217 64 POPCNT T1  : 3029   18  18   389    58.2 %   2971   71.7 %
  2 Komodo 1973.00 64-bit T1       : 2971   18  18   389    41.8 %   3029   71.7 %

Danke, Clemens, danke Andreas!

Mich persönlich interessieren an reinen Eng-Eng-Matches eigentlich, wenn überhaupt noch, dann auch nur noch direkte 1:1- Begegnungen unter den paar obersten Spitzenreitern, dafür lasse ich wieder gern mehr einzelne Eröffnungsstellungen als Thementurniere unter Beteiligung von Settings von SF, Komodo und H6 spielen.

Das interessiert zwar außer mir niemanden, aber es ist für mich der fließende Übergang zu ausgespielten Stellungstests und die Anfänge der so zustande kommenden Partien (ich hab' auch immer ziemlich lange TCs, im Schnitt von frühen Eröffnungsstellungen aus 180'+30" auf je 12 Threads ponder on) können durchaus auch als Ideenlieferanten für Eröffnungstheorie- Lines herhalten, da hat das Backward im Anschluss viel mehr Sinn.

So kriegt man keine Wertungen für Ranglisten heraus, aber die Partien sind oft interessant.

Schade, dass sich Google nicht wirklich fürs Schach interessiert, da wär sonst sicher noch viel mehr drin für Stockfish- Programmierer und für die Eröffnungsbücher.

Einen guten Rutsch auch Euch Beiden extra.

By Andreas Strangmüller Date 2018-01-28 08:45 Upvotes 4

Für Freunde langer Bedenkzeiten habe ich auf einem anderen Rechner noch eine zusätzliche Bedenkzeit gespielt.

50 Eröffnungen des TCEC 10 Superfinales, Stockfish 171212 - Komodo 11.2.2, Contempt=0, 1 thread
Dual Intel Xeon E5-2670 @ 2.6 GHz, Cutechess-Cli, adjudication rules, 5-men Syzygy Tablebases
100 Partien, 30720 Sekunden + 307.2 Sekunden ~ 8,5 Stunden + 5 Minuten

    Program                Elo    +   -   Games   Score   Av.Op.  Draws       Depth        Time   Games     Moves  Average
 ------------------------------------------------------------------------    ----------------------------------------------
  1 Stockfish 171212 T1  : 3010   38  37   100    53.0 %   2990   70.0 %      45.63  1160:31:16     100      6225   671.14
  2 Komodo 11.2.2 T1     : 2990   37  38   100    47.0 %   3010   70.0 %      37.98  1199:15:04     100      6225   693.54

  Result     : 53.0/100 (+18,=70,-12)
  Perf.      : 53.0 %
  Margins    :
   68 %      : (+  2.7,-  2.7 %) -> [ 50.3, 55.7 %]
   95 %      : (+  5.4,-  5.3 %) -> [ 47.7, 58.4 %]
   99.7 %    : (+  8.1,-  8.0 %) -> [ 45.0, 61.1 %]

  Elo        : 3021
  Margins    :
   68 %      : (+ 19,- 19) -> [3002,3040]
   95 %      : (+ 38,- 37) -> [2984,3059]
   99.7 %    : (+ 58,- 56) -> [2965,3079]

  Games        :    100 (finished)

  White Wins   :     23 (23.0 %)
  Black Wins   :      7 ( 7.0 %)
  Draws        :     70 (70.0 %)

  White Perf.  : 58.0 %
  Black Perf.  : 42.0 %

  Individual statistics:

  1 Stockfish 171212 T1  : 3010  100 (+ 18,= 70,- 12), 53.0 %
  2 Komodo 11.2.2 T1     : 2990  100 (+ 12,= 70,- 18), 47.0 %

Alle Partien: http://www.fastgm.de/schach/SF171212-T1-K11.2.2-C0-T1-TB5-TCEC10-Final-30720+307.2.pgn