Bedenkzeitvergleich - H4, SF, K-TCECr

By Andreas Strangmüller Date 2014-01-17 19:16 Upvotes 2

Intel i5-3320M, 2.6 GHz
Jeweils 1 Core, Default settings
EloStat Start Elo: 3000

15 sec. + 0.15 sec. / Game

Games Completed = 2004 of 2004 (Avg game length = 48.706 sec)
Settings = RR/128MB/15000ms+150ms/M 800cp for 6 moves, D 350 moves/PGN:C:\8moves_v3.pgn(32000)
Time = 49265 sec elapsed, 0 sec remaining

 1. Houdini 4 x64                587.0/1002  (+408,=358,-236)
 2. Stockfish 020114 64 SSE4.2   493.5/1002  (+260,=467,-275)
 3. Komodo TCECr 64-bit          477.0/1002  (+273,=408,-321)
 4. Stockfish DD 64 SSE4.2       446.5/1002  (+208,=477,-317)

   Program                       Elo    +   -   Games   Score   Av.Op.  Draws
--------------------------------------------------------------------------------
 1. Houdini 4 x64               : 3045   17  17  1002    58.6 %   2985   35.7 %
 2. Stockfish 020114 64 SSE4.2  : 2996   16  16  1002    49.3 %   3001   46.6 %
 3. Komodo TCECr 64-bit         : 2987   17  17  1002    47.6 %   3004   40.7 %
 4. Stockfish DD 64 SSE4.2      : 2971   16  16  1002    44.6 %   3009   47.6 %

   White Wins   :    647 (32.3 %)
   Black Wins   :    502 (25.0 %)
   Draws        :    855 (42.7 %)

   White Perf.  : 53.6 %
   Black Perf.  : 46.4 %

----------------------------------------------------------------------------------------------

60 sec. + 0.60 sec. / Game

Games Completed = 2004 of 2004 (Avg game length = 197.142 sec)
Settings = RR/128MB/60000ms+600ms/M 800cp for 6 moves, D 350 moves/PGN:C:\8moves_v3.pgn(32000)
Time = 196984 sec elapsed, 0 sec remaining

 1. Houdini 4 x64               549.0/1002  (+336,=426,-240)
 2. Stockfish 020114 64 SSE4.2  521.5/1002  (+246,=551,-205)
 3. Stockfish DD 64 SSE4.2      482.5/1002  (+216,=533,-253)
 4. Komodo TCECr 64-bit         451.0/1002  (+224,=454,-324)

   Program                       Elo    +   -   Games   Score   Av.Op.  Draws
--------------------------------------------------------------------------------
 1. Houdini 4 x64               : 3025   16  16  1002    54.8 %   2992   42.5 %
 2. Stockfish 020114 64 SSE4.2  : 3011   14  14  1002    52.0 %   2996   55.0 %
 3. Stockfish DD 64 SSE4.2      : 2990   15  15  1002    48.2 %   3003   53.2 %
 4. Komodo TCECr 64-bit         : 2974   16  16  1002    45.0 %   3009   45.3 %

   White Wins   :    608 (30.3 %)
   Black Wins   :    414 (20.7 %)
   Draws        :    982 (49.0 %)

   White Perf.  : 54.8 %
   Black Perf.  : 45.2 %

------------------------------------------------------------------------------------------------

240 sec. + 2.40 sec. / Game

Games Completed = 2004 of 2004 (Avg game length = 779.616 sec)
Settings = RR/256MB/240000ms+2400ms/M 800cp for 6 moves, D 350 moves/PGN:C:\8moves_v3.pgn(32000)
Time = 778991 sec elapsed, 0 sec remaining

 1. Stockfish 020114 64 SSE4.2   537.5/1002  (+262,=551,-189)
 2. Houdini 4 x64                524.5/1002  (+288,=473,-241)
 3. Stockfish DD 64 SSE4.2       487.5/1002  (+221,=533,-248)
 4. Komodo TCECr 64-bit          454.5/1002  (+209,=491,-302)

   Program                       Elo    +   -   Games   Score   Av.Op.  Draws
--------------------------------------------------------------------------------
 1. Stockfish 020114 64 SSE4.2  : 3019   14  14  1002    53.6 %   2994   55.0 %
 2. Houdini 4 x64               : 3012   16  16  1002    52.3 %   2996   47.2 %
 3. Stockfish DD 64 SSE4.2      : 2993   15  15  1002    48.7 %   3002   53.2 %
 4. Komodo TCECr 64-bit         : 2976   15  15  1002    45.4 %   3008   49.0 %

                                     +-----------------------------------------------------------+
   White Wins   :    579 (28.9 %)    |                                15     60     240   15-240 |
   Black Wins   :    401 (20.0 %)    |  Program                       Elo    Elo    Elo    Diff  |
   Draws        :   1024 (51.1 %)    |-----------------------------------------------------------|
                                     |  Houdini 4 x64               : 3045   3025   3012   -33   |
   White Perf.  : 54.4 %             |  Stockfish 020114 64 SSE4.2  : 2996   3011   3019   +23   |
   Black Perf.  : 45.6 %             |  Stockfish DD 64 SSE4.2      : 2971   2990   2993   +22   |
                                     |  Komodo TCECr 64-bit         : 2987   2974   2976   -11   |
                                     +-----------------------------------------------------------+

By Frank Quisinsky Date 2014-01-17 22:14

Hi Andreas,

das bestätigt den Vergleich der verschiedenen Ratinglisten.
Wenn gleich SF z. B. deutlich mehr Remis abgibt gegen schwächere als Houdini und Houdini besser gegen schwächere punktet. Aber ich glaube auch, dass Stockfish bei mir und 22 Minuten Partien in der aktuellen Version die Nummer 1 wäre. Werde das auch bald testen. Dachte eigentlich nach Hochrechnung das dies erst im Februar passiert aber das war wahrscheinlich schon im Januar der Fall.

Ist für mich auch kein wirkliches Thema mehr weil eindeutig. Interessanter finde ich vielmehr ob Komodo mit Mark Lefler & Larry Kaufmann die Verfolgung aufnehmen können. Auch GullChess in R600 ist sehr stark geworden. Noch interessanter ist die Frage ob wenn wir von einem Vierergespann reden und mal die ganzen IPPs weglassen andere da in diesem Jahr überhaupt noch annähernd ran kommen. Bin mir sicher da werden sich Teams bilden und versuchen der genialen Stockfish Idee zu folgen.

Danke für Deinen Testaufwand, ein weiteres Mosaiksteinchen welches ins Bild passt.

Gruß
Frank

By Andreas Strangmüller Date 2014-01-17 23:36

Hallo Frank,

apropos Gull R600. Nachfolgend ein aktueller Test bei zwei Bedenkzeiten (15+0.15 + 60+0.60), der die Anwartschaft auf Platz 4 bestätigt.
Komodo ist nicht weit von der Spitze entfernt. Bin auch gespannt ob Larry und Mark den Rückstand verkürzen können.

Gruß,
Andreas

Games Completed = 5040 of 5040 (Avg game length = 47.672 sec)
Settings = RR/128MB/15000ms+150ms/M 800cp for 8 moves, D 350 moves/PGN:H:\Schach\LittleBlitzer-2.74\8moves_v3.pgn(32000)
Time = 78420 sec elapsed, 0 sec remaining

   1.  Houdini 4 x64               705.5/1008  544-141-323    (L: m=30 t=0 i=0 a=111)  (D: r=122 i=116 f=79 s=6 a=0)  (tpm=287.6 d=15.66 nps=2794319)
   2.  Stockfish 080114 64 SSE4.2  625.0/1008  437-195-376    (L: m=32 t=0 i=0 a=163)  (D: r=207 i=90 f=69 s=10 a=0)  (tpm=326.8 d=20.21 nps=2297762)
   3.  Stockfish DD 64 SSE4.2      611.0/1008  409-195-404    (L: m=20 t=0 i=0 a=175)  (D: r=244 i=104 f=52 s=4 a=0)  (tpm=329.6 d=19.86 nps=2268279)
   4.  Komodo TCECr 64-bit         581.5/1008  376-221-411    (L: m=45 t=0 i=0 a=176)  (D: r=183 i=170 f=48 s=10 a=0) (tpm=320.3 d=14.96 nps=1967418)
   5.  Gull R600 x64               525.5/1008  330-287-391    (L: m=51 t=3 i=0 a=233)  (D: r=209 i=107 f=70 s=5 a=0)  (tpm=312.1 d=14.20 nps=2502393)
   6.  Critter 1.6a 64-bit         515.5/1008  301-278-429    (L: m=22 t=0 i=0 a=256)  (D: r=261 i=91 f=70 s=7 a=0)   (tpm=310.3 d=15.78 nps=2894067)
   7.  Bouquet 1.8 x64             499.5/1008  303-312-393    (L: m=41 t=0 i=0 a=271)  (D: r=235 i=82 f=74 s=2 a=0)   (tpm=307.1 d=15.70 nps=2793277) 
   8.  Deep Rybka 4.1 SSE42 x64    447.0/1008  248-362-398    (L: m=63 t=0 i=0 a=299)  (D: r=224 i=81 f=80 s=13 a=0)  (tpm=337.2 d=12.57 nps=165416)
   9.  Chiron 2 64bit              288.0/1008  146-578-284    (L: m=282 t=0 i=0 a=296) (D: r=167 i=72 f=39 s=6 a=0)   (tpm=337.6 d=20.84 nps=2231074)
  10.  Hannibal 1.4b x64           241.5/1008  101-626-281    (L: m=143 t=1 i=0 a=482) (D: r=152 i=71 f=51 s=7 a=0)   (tpm=332.9 d=16.08 nps=2064177)

     Program                       Elo    +   -   Games   Score   Av.Op.  Draws
  -------------------------------------------------------------------------------
   1 Houdini 4 x64               : 3134   18  18  1008    70.0 %   2987   32.0 %
   2 Stockfish 080114 64 SSE4.2  : 3078   17  17  1008    62.0 %   2993   37.3 %
   3 Stockfish DD 64 SSE4.2      : 3069   17  17  1008    60.6 %   2994   40.1 %
   4 Komodo TCECr 64-bit         : 3050   17  17  1008    57.7 %   2996   40.8 %
   5 Gull R600 x64               : 3015   17  17  1008    52.1 %   3000   38.8 %
   6 Critter 1.6a 64-bit         : 3009   16  16  1008    51.1 %   3001   42.6 %
   7 Bouquet 1.8 x64             : 2999   17  17  1008    49.6 %   3002   39.0 %
   8 Deep Rybka 4.1 SSE42 x64    : 2966   17  17  1008    44.3 %   3006   39.5 %
   9 Chiron 2 64bit              : 2858   19  19  1008    28.6 %   3018   28.2 %
  10 Hannibal 1.4b x64           : 2821   20  20  1008    24.0 %   3022   27.9 %

     Games        :   5040 (finished)

     White Wins   :   1772 (35.2 %)
     Black Wins   :   1423 (28.2 %)
     Draws        :   1845 (36.6 %)

     White Perf.  : 53.5 %
     Black Perf.  : 46.5 %

------------------------------------------------------------------------------------------------------------------------------------------------------

Games Completed = 5040 of 5040 (Avg game length = 194.731 sec)
Settings = RR/128MB/60000ms+600ms/M 800cp for 8 moves, D 350 moves/PGN:H:\Schach\LittleBlitzer-2.74\8moves_v3.pgn(32000)
Time = 271917 sec elapsed, 0 sec remaining

   1.  Houdini 4 x64               670.0/1008  475-143-390    (L: m=4 t=0 i=0 a=139)   (D: r=145 i=139 f=99 s=7 a=0)  (tpm=1089.0 d=18.57 nps=2809616)
   2.  Stockfish 080114 64 SSE4.2  633.0/1008  411-153-444    (L: m=16 t=0 i=0 a=137)  (D: r=257 i=106 f=74 s=7 a=0)  (tpm=1256.7 d=24.76 nps=2326203)
   3.  Stockfish DD 64 SSE4.2      608.5/1008  378-169-461    (L: m=14 t=0 i=0 a=155)  (D: r=276 i=105 f=72 s=8 a=0)  (tpm=1298.2 d=24.32 nps=2279984)
   4.  Komodo TCECr 64-bit         592.0/1008  373-197-438    (L: m=14 t=0 i=0 a=183)  (D: r=196 i=178 f=52 s=12 a=0) (tpm=1243.7 d=17.82 nps=2034176)
   5.  Gull R600 x64               534.0/1008  311-251-446    (L: m=39 t=1 i=0 a=211)  (D: r=244 i=112 f=84 s=6 a=0)  (tpm=1249.6 d=16.73 nps=2544382)
   6.  Critter 1.6a 64-bit         505.0/1008  274-272-462    (L: m=19 t=0 i=0 a=253)  (D: r=254 i=119 f=82 s=7 a=0)  (tpm=1221.9 d=18.11 nps=2744732)
   7.  Bouquet 1.8 x64             463.0/1008  237-319-452    (L: m=28 t=0 i=0 a=291)  (D: r=260 i=113 f=73 s=6 a=0)  (tpm=1222.3 d=18.50 nps=2898603) 
   8.  Deep Rybka 4.1 SSE42 x64    444.0/1008  234-354-420    (L: m=28 t=0 i=0 a=326)  (D: r=236 i=82 f=91 s=11 a=0)  (tpm=1328.0 d=15.53 nps=173855)
   9.  Chiron 2 64bit              307.5/1008  147-540-321    (L: m=174 t=0 i=0 a=366) (D: r=175 i=84 f=54 s=8 a=0)   (tpm=1307.7 d=25.25 nps=2004602)
  10.  Hannibal 1.4b x64           283.0/1008  115-557-336    (L: m=65 t=0 i=0 a=492)  (D: r=187 i=78 f=67 s=4 a=0)   (tpm=1304.5 d=19.39 nps=2117285)

     Program                       Elo    +   -   Games   Score   Av.Op.  Draws
  -------------------------------------------------------------------------------
   1 Houdini 4 x64               : 3108   17  17  1008    66.5 %   2989   38.7 %
   2 Stockfish 080114 64 SSE4.2  : 3083   16  16  1008    62.8 %   2992   44.0 %
   3 Stockfish DD 64 SSE4.2      : 3067   16  16  1008    60.4 %   2994   45.7 %
   4 Komodo TCECr 64-bit         : 3056   16  16  1008    58.7 %   2995   43.5 %
   5 Gull R600 x64               : 3020   16  16  1008    53.0 %   2999   44.2 %
   6 Critter 1.6a 64-bit         : 3002   16  16  1008    50.1 %   3001   45.8 %
   7 Bouquet 1.8 x64             : 2975   16  16  1008    45.9 %   3004   44.8 %
   8 Deep Rybka 4.1 SSE42 x64    : 2964   16  16  1008    44.0 %   3005   41.7 %
   9 Chiron 2 64bit              : 2872   18  18  1008    30.5 %   3015   31.8 %
  10 Hannibal 1.4b x64           : 2854   18  18  1008    28.1 %   3017   33.3 %

     Games        :   5040 (finished)

     White Wins   :   1636 (32.5 %)
     Black Wins   :   1319 (26.2 %)
     Draws        :   2085 (41.4 %)

     White Perf.  : 53.1 %
     Black Perf.  : 46.9 %

By Frank Quisinsky Date 2014-01-18 01:05

Hi Andreas,

Avg. game length ist in der SWCR2 ca. 1.350 Sekunden.
Das wäre ca. Faktor 7 zu Deiner unten aufgeführten Liste (nun kommt ja Ponder hinzu und das ich ohne Aufgabefaktor spiele).
Spielst mit Ponder = off und wahrscheinlich auch mit Aufgeben.
Deine Hardware wird wahrscheinlich einen Fritz Bench von ca. 6.0 haben (schätze ich mal).

Sagen wir mal Faktor 7

Wenn ich jetzt mal Deine Ergebnisse mit denen der SWCR2 vergleiche (Rybka mit ca. 14 ELO weniger) dann sind die Ergebnisse fast gleich.
Na ja, ist immer schwierig zu vergleichen, sind einfach zu unterschiedliche Bedingungen, Anzahl der Gegner aber grob ...

So viel Punkte werden die Programme im Verhältnis untereinander nicht mehr abweichen.

Bin am Überlegen ob ich nach Chiron 2.0 x64 dann GullChess 2.3 oder GullChess R600 teste. Die R600 ist keine offizielle Version lt. Autor wenn ich das richtig verstanden habe (Open Chess Forum).
Habe die Version seinerzeit auch runter geladen. Ist vom 09.11.2013 mit 468.992 Byte (x64). Hast Du diese Version getestet?

Sedat testet die Version auch.
Eigentlich wolle ich die 2.4 abwarten aber die 2.3 testen macht so richtig auch keinen Sinn wenn es die R600 gibt. Habe auch eine R601 aber die ist fehlerhaft. So lange keine Ponder Version von DiscoCheck kommt ... könnte ja nach Chiron 2.0 x64 auch GullChess R600 x64 aufnehmen. Wobei ich bin der Engine sehr kritisch eingestellt. Ist zwar Open Source aber irgendwie ... IPP Code? ... will nicht so viele davon in meiner Liste haben. Auf der anderen Seite die Stats von GullChess 2.2 weichen schon deutlicher ab zu denen von Bouquet 1.8.

Sehr übersichtliche Darstellungen kommen von Dir.
Mir gefällt das wie Du etwas darstellst.

Beschäftige mich gerade mit den Darstellungen von SwissChess 8.88. Bin da registriert aber bei Rundenturnieren kann ich max. nur 4 Durchläufe einstellen. Echt schade denn ich lasse 50x gegeneinander spielen.

Beschäftige mich derzeit auch mit den Wertungssystemen und da ist einiges interessantes drin in SwissChess 8.88. Die Software ist wirklich gut und auch die Ausgaben und im Grunde alles. Aber für diese Extremanwendungen hier muss dann dort auch ein wenig getrixt werden.

Viele Grüße
Frank

By Andreas Strangmüller Date 2014-01-18 02:34

Hallo Frank,

die Tests mit Gull R600 x64 wurden auf einem Intel i5-750 @ 3.5 GHz durchgeführt.
Ponder = off, Aufgabe 800 CP nach 8 Zügen.
Gut geschätzt, der Fritz Schach Benchmark liefert auf 1 Kern: 5.41 / 2594

Ja, die Gull-Version (x64) ist vom 09.11.2013 mit 468.992 Byte.
Für meine Rangliste warte ich auf die offizielle neue Version, die hoffentlich bald kommt.

Füge derzeit ältere Versionen in meine Rangliste ein, z. B. Stockfish 3 und Komodo 5, da es derzeit ja keine neuen Versionen der stärkeren Engines gibt.
Shredder 12, Hiarcs 14, Junior Yokohama und Sjeng c't 2010 kommen Zug um Zug wohl auch noch dazu. Bei 240 Sek. + 2.40 Sek. sind es auf drei Kernen etwa 300 Partien pro Tag.
Bin auch auf die erste kommerzielle Version von Equinox gespannt, vielleicht gibt's auch mal Jonny zum Testen.

SwissChess kenne ich nur vom Namen her. Werde mir mal die Demo-Version installieren.

Viele Grüße,
Andreas

By Frank Quisinsky Date 2014-01-18 03:46

Hi,

also kommerziell wird Equinox nicht direkt bzw. sind die Programmierer sich da was am überlegen. Aber ich will dem nicht vorgreifen und ob das dann bei der Überlegung bleibt oder nicht ist ja auch fraglich. Habe ja Kontakte zu Giancarlo auch schon zu SWCR1 Zeiten spielten die Equinox Versionen. Nun habe ich in TalkChess gelesen, dass auch Equinox IPP sein könnte. So genau beschäftige ich mich mit den Clone Vergleichen nicht, eher mit dem was bei meinen Statistiken raus kommt. Also es sind schon hier und da auch von IPP bekannte Stats aber auch in vielen Auswertungen ganz unterschiedliche Ergebnisse.

Bin nach dem was ich TalkChess gelesen habe gar am Überlegen ob ich die Engine sehr bald herausnehme. Auf der anderen Seite, neben Houdini eine zweite Engine wäre schon OK, will nur nicht zu viele in der Liste haben und habe ja schon Bouquet herausgenommen. Critter wird folgen und dann sind zunächst mal 2 weg. Dann lieber spannende aufsteigende Entwicklungen wie DiscoChess oder SmarThink. Auch brauche ich schon ein paar starke Gegner im Turnier für die TOP3. Und insofern muss GullChess (bin mir hier auch uneinig) und Equinox drin bleiben. Mag Equinox und habe in den letzten Tagen sehr viele Vergleiche mit GullChess und Bouquet gemacht. Also es sind schon klar Unterschiede drin. Vergleiche ich aber Bouquet mit IvanHoe, PanChess etc. sehe ich kaum etwas. Ausserdem glaube ich nach dem was ich von GianCarlo weiß, dass er sehr wohl in der Lage ist Equinox weiter nach vorne zu peitschen.

SwissChess ist spannend, aber eher wenn Du z. B. kleinere Turniere spielen lässt. Oder Schweizer System, Scheveninger, Amsterdamer oder Keizer. Auch die ganzen Bewertungssysteme wie Sonneborn Berger werden beherrscht. Es gibt eigentlich nichts was dieses Programm nicht kann bis auf ... das was wir so treiben mit den wahnsinningen Rundenturnieren. Das ist eine 1a Software für Turnierleiter.

Gibt auch ein schönes Buch für Turnierleiter aus dem viele Infos ersichtlich sind:
Turnierleiterhandbuch des Deutschen Schachbundes von Ernst Schubert und Helmut Nöttger.
Ist leider seit vielen Jahren total vergriffen und zumindest ein wenig vergleichbar von diesbezüglichen Infos ist noch Schachlehre - Schachtraining (methodisches Handbuch für Lehrende und Lernende) von Ernst Bönsch / Uwe Bönsch. Dickes Ding aber auch mit sehr guten Informationen zu Rating Systemen etc.. Ist so mein Thema, recherchiere derzeit ein wenig und lese nach und mache mir Gedanken wie für Computerschach interessante Auswertungen gestaltet werden können. Habe mir auch schon einiges an Statistik Tools heruntergeladen aber ich bin kein Mathematiker oder Statistiker und die Materie ist heftig kompliziert aber was solls. Einmal damit angefangen ...

Gruß
Frank