Neue LightSpeed-Rangliste (LS-Liste)

By Stefan Pohl Date 2012-07-10 13:16

Hallo zusammen,

nachdem ich festgestellt habe, daß sich die Ergebnisse in meiner TEB-Rangliste (60''+750ms) nur innerhalb der Errorbar von den Ergebnissen der LightSpeed-Rangliste (20''+250ms) unterschieden, habe ich mich dazu entschlossen, die TEB-Liste einzustellen und dafür lieber eine neue LightSpeed-Rangliste mit sehr viel mehr gespielten Partien zu erstellen, um die Errorbar der Ergebnisse auf ein noch nie dagewesenes Niveau zu drücken. Zu diesem Zweck habe ich 500 Vorgabestellungen aus der Frank Q.-Datenbank ausgewählt, sodaß jede Engine nunmehr 1000 Partien gegen jede Engine absolvieren kann! Dies hat den großen Vorteil, daß nun auch die Einzelergebnisse zwischen 2 Engines schon statistisch aussagekräftig sind, daher wird nun auch ab sofort eine Kreuztabelle der besten Engineversionen gepostet. Wer also meine LS-Liste zu Ippolit-lastig findet, kann sich nun immerhin die für ihn interessanten Einzelbegegnungen anschauen (z.B. Houdini gegen Stockfish). Ich werde darüberhinaus ab sofort immer 2 Listen posten. Eine mit den aktuell besten Engineversionen und eine, in der alle bis dato von mir getesteten Engines/Versionen/Settings verzeichnet sind.

Testbedingungen: Notebook mit Intel i7-2630QM Prozessor (4 Kerne, 2GHz Takt, Windows 7 64bit Home Premium). Geschwindigkeit der Hardware: Houdini 2.0c auf einem Core etwa 2.1 Mio Kn/s, auf 4 Cores etwa 7.5 Mio Kn/s (bei vollem Brett), FritzMark=20.2. HyperThreading off.
Bedenkzeit: 20''+250ms Fischerbonus (ca. 40 Sekunden pro Partie je Engine), keine Tablebases, 1 Core/Thread und 64 MB Hash pro Engine, kein Pondern, 500 Vorgabestellungen aus der Frank Q. Datenbank (von mir handverlesen, nur Hauptsysteme (kein Holländisch etc.)). Gespielt wird bis zum Matt oder bis zum Remis, die GUI gibt keine Partie auf und auch Remis erst bei 500 Zügen - also gar nicht). Benutzt wird die LittleBlitzerGUI. Dazu merke ich hier nochmal an: Alle Partien wurden/werden im Gauntlet-Modus gespielt, weil nur so die Vorgabestellungen auch alle sequentiell und mit vertauschten Farben korrekt abgespielt werden. Die Ranglisten werden mit bayeselo (mm 0 1) erstellt und die Ergebnisse an Robbolito 0.085g3 x64 mit 3000 Elo gefixt.

Hier nun zunächst die LS-Rangliste mit den besten Engineversionen (jeder gegen jeden, je 1000 Partien):


Rank Name                    Elo    +    - games score oppo. draws 
   1 Houdini 2.0c x64       3120    6    5  9000   64%  3020   40% 
   2 Strelka 5.5 x64        3078    5    5  9000   58%  3024   48% (singlecore)
   3 Critter 1.6a x64       3066    5    5  9000   56%  3026   50% 
   4 Ivanhoe 46h x64        3028    5    5  9000   50%  3030   52% 
   5 Robbolito 0.10 x64s    3025    5    5  9000   49%  3030   53% 
   6 Rybka 4.1 x64s         3012    5    5  9000   47%  3032   43% 
   7 Robbolito 0.085g3 x64  3000    5    5  9000   45%  3033   49% (singlecore)(Ippolit 2009)
   8 Komodo 4 x64s          3000    6    5  9000   46%  3033   39% (singlecore)
   9 Saros 3.0 x64          2995    5    5  9000   45%  3033   45% 
  10 Stockfish 2.2.2 x64s   2973    6    5  9000   41%  3036   40%

Dazu die passende Kreuztabelle:


                                |     01    |     02    |     03    |     04    |     05    |     06    |     07    |     08    |     09    |     10    |
                                +-----------+-----------+-----------+-----------+-----------+-----------+-----------+-----------+-----------+-----------+--------------          
01) Houdini 2.0c x64            |     **    |548.5-451.5|563.0-437.0|619.0-381.0|642.5-357.5|644.0-356.0|668.5-331.5|685.5-314.5|674.5-325.5|692.5-307.5| 5738.0/9000    
02) Strelka 5.5 x64             |451.5-548.5|     **    |498.5-501.5|586.0-414.0|565.5-434.5|597.0-403.0|614.0-386.0|610.0-390.0|638.0-362.0|635.5-364.5| 5196.0/9000
03) Critter 1.6a x64            |437.0-563.0|501.5-498.5|     **    |566.5-433.5|554.0-446.0|569.5-430.5|584.5-415.5|593.5-406.5|587.0-413.0|630.0-370.0| 5023.5/9000
04) Ivanhoe 46h x64             |381.0-619.0|414.0-586.0|433.5-566.5|     **    |505.0-495.0|527.0-473.0|549.5-450.5|543.0-457.0|550.5-449.5|564.5-435.5| 4468.0/9000
05) Robbolito 0.10 x64s         |357.5-642.5|434.5-565.5|446.0-554.5|495.0-505.0|     **    |507.0-493.0|521.0-479.0|555.0-445.0|543.0-457.0|566.0-434.0| 4425.0/9000
06) Rybka 4.1 x64s              |356.0-644.0|403.0-597.0|430.5-569.5|473.0-527.0|493.0-507.0|     **    |520.5-479.5|502.5-497.5|521.5-478.5|555.5-444.5| 4255.5/9000
07) Komodo 4 x64s               |331.5-668.5|386.0-614.0|415.5-584.5|450.5-549.5|479.0-521.0|479.5-520.5|     **    |514.4-485.5|505.0-495.0|536.5-463.5| 4098.0/9000
08) Robbolito 0.085g3 x64       |314.5-685.5|390.0-610.0|406.5-593.0|457.0-543.0|445.0-555.0|497.5-502.5|485.5-514.4|     **    |521.0-479.0|545.0-455.0| 4062.0/9000
09) Saros 3.0 x64               |325.5-674.5|362.0-638.0|413.0-587.0|449.5-550.5|457.0-543.0|478.5-521.5|495.0-505.0|479.0-521.0|     **    |553.0-447.0| 4012.5/9000
10) Stockfish 2.2.2 x64s        |307.5-692.5|364.5-635.5|370.0-630.0|435.5-564.5|434.0-566.0|444.5-555.5|463.5-536.5|455.0-545.0|447.0-553.0|     **    | 3721.5/9000
                                +-----------+-----------+-----------+-----------+-----------+-----------+-----------+-----------+-----------+-----------+--------------

Dann noch die LS-Rangliste mit allen bis dato getesteten Engineversionen:


Rank Name                    Elo    +    - games score oppo. draws 
   1 Houdini 2.0c x64       3122    5    5 10000   63%  3028   40% 
   2 Houdini 1.5a x64       3087    5    5 10000   58%  3031   42% (best freeware (multicore))
   3 Strelka 5.5 x64        3080    5    5 10000   57%  3032   48% (singlecore)
   4 Critter 1.6a x64       3069    5    5 10000   55%  3033   50% 
   5 Ivanhoe 46h x64        3029    5    5 10000   49%  3037   51% 
   6 Robbolito 0.10 x64s    3026    5    5 10000   48%  3037   52% 
   7 Rybka 4.1 x64s         3013    5    5 10000   46%  3039   42% 
   8 Komodo 4 x64s          3002    5    5 10000   45%  3040   38% (singlecore)
   9 Robbolito 0.085g3 x64  3000    5    5 10000   44%  3040   49% (singlecore)(Ippolit 2009)
  10 Saros 3.0 x64          2997    5    5 10000   44%  3040   45% 
  11 Stockfish 2.2.2 x64s   2974    5    5 10000   41%  3042   39%

Wer die Partien der LS-Rangliste haben will, kann mir seine eMail-Adresse per PM hier oder auf talkchess mitteilen, ich schicke dann in Kürze die Partien als PGN-File. Dieses Angebot erfolgt, damit Transparenz und Glaubwürdigkeit der Rangliste gewährleistet ist.

Grüße an alle - Stefan

By marsell Date 2012-07-10 13:57

Vielen Dank, hast dir echt ne tolle Arbeit angetan, Respekt. Das "Z" Setting und die stärkste Stockfish- Version fehlen noch, damit wäre die Diskussion um dieses Setting meiner Meinung nach endlich erledigt bei einer so großen Partieanzahl. Bester Stocki deshalb, weil die Offizielle ja eindeutig die Schwächste ist. Ich persönlich finde es Klasse.
Martin Steinwandter

By Stefan Pohl Date 2012-07-11 10:25

[quote="marsell"]
Vielen Dank, hast dir echt ne tolle Arbeit angetan, Respekt. Das "Z" Setting und die stärkste Stockfish- Version fehlen noch, damit wäre die Diskussion um dieses Setting meiner Meinung nach endlich erledigt bei einer so großen Partieanzahl. Bester Stocki deshalb, weil die Offizielle ja eindeutig die Schwächste ist. Ich persönlich finde es Klasse.
Martin Steinwandter
[/quote]

Das z-Setting hatte ich schon mal getestet, das war nur innerhalb der Errorbar. Zudem hat R.Houdart ja selber z, s und T3 getestet - war alles nix. Sollte das s-Setting mal öffentlich werden, denke ich mal drüber nach.
Stocki muß ich mal sehen. Zur Zeit läuft erst mal noch Saros 3.2. Dann wollte ich evt. auch noch Critter 1.6 noch durchlaufen lassen, nach dem schwachen Ergebnis der 1.6a in der IPON. Danach würde ich evt. mal Stocki rannehmen...

Gruß - Stefan

By Stefan Pohl Date 2012-07-11 12:48

[quote="marsell"]
die stärkste Stockfish- Version fehlen noch
[/quote]

Tja, die Frage ist ja, welches die stärkste ist. Bisher halte ich eigentlich die 120329 für am besten, allerdings ist die ja schon relativ alt. Die aktuellste (mit 64bit Compile) wäre die 120622, die bei Kurztests bei mir auch ganz OK war, aber nicht ganz das Niveau der 120329 zu erreichen schien. Das ist allerdings nicht ganz gesichert... Wahrscheinlich werde ich dann wohl doch die aktuellste Version nehmen, das ist wohl für die meisten Leute interessanter, denke ich. Vielleicht kommt ja bis nächste Woche schon wieder was Neues bei Stocki - die 120625 gibt es ja schon, aber leider bisher nicht als 64bit Compile.

Stefan

By Michael Scheidl Date 2012-07-11 14:08

Wo findet man diese Stockfische, sind sie auf einer Webseite versammelt? Danke.

By Günther Höhne Date 2012-07-11 15:42

Hier z.B. http://www.chess2u.com/t4410p240-stockfish

By marsell Date 2012-07-11 15:31

Ich würd ja auch sagen, dass die 120329 die Stärkste Version ist, wurde auch vom Stocki Team bestätigt, glaube die Rede war von 10+zu jener Zeit, aber wie du sagst liegt das schon länger zurück(120329, also vom März dieses Jahres und es erscheinen ja fast wöchentlich "Neue Compiles" mit kleinen Änderungen, letzte 64 bit-fähige wäre ja Stockfish 120622P 64 bit SSE4.2). Hier wäre es eben an der Zeit was Offizielles zu hören, welche Version denn nun wirklich einem Test unterzogen werden sollte, oder ob überhaupt noch was kommt. Jedenfalls schade drum.