TEB-Rangliste: Strelka 5.5 x64

By Stefan Pohl Date 2012-05-25 15:18

Hallo zusammen,

Ich habe Strelka 5.5 x64 in die TEB-Liste aufgenommen. Wenn Strelka 5.5 ein Houdini 1.5a Klon ist, dann auf jeden Fall kein 1:1 Klon. Dafür spricht u.a. die deutlich höhere Remisquote. Auch sind im Parallelbetrieb unter der FritzGUI doch oft deutlich andere Hauptvarianten und Bewertungen zu sehen.

Hier nun die neue TEB-Rangliste (TopEngineBullet), erstellt mit bayeselo, gefixt mit 3000 Elo an Robbolito 0.085g3. Obwohl Rangliste eigentlich übertrieben ist, de facto ist es eher so eine Art ChampionsLeague...


Rank Name                    Elo    +    - games score oppo. draws 
   1 Houdini 2.0c x64       3096   10   10  2700   62%  3022   44% 
   2 Strelka 5.5 x64        3076    9    9  3000   58%  3029   53% (singlecore)
   3 Houdini 1.5a x64       3076   10   10  2700   59%  3022   45% (best freeware (multicore))
   4 Critter 1.4a x64s      3057    9    9  3000   54%  3031   53% 
   5 Ivanhoe 46h x64        3023    9    9  3000   48%  3035   55% 
   6 Komodo 4 x64s          3019   10   10  3000   47%  3035   43% (singlecore)
   7 Robbolito 0.10 x64s    3016    9    9  3000   47%  3035   55% 
   8 Rybka 4.1 x64s         3012   10   10  3000   46%  3036   47% 
   9 Stockfish 2.2.2 x64s   3000   10   10  3000   44%  3037   45% 
  10 Robbolito 0.085g3 x64  3000    9   10  3000   44%  3037   53% (singlecore)
  11 Deep Saros 3.0 x64     2994   10   10  3000   43%  3037   48%

Die Engines in der Rangliste haben nach ihrem Namen entweder x64 stehen (=normale 64bit Version) oder ein x64s (=64bit SSE42 Version). Letzteres wird natürlich immer benutzt, wenn eine solche spezielle Version zur Verfügung steht.

Testbedingungen: Notebook mit Intel i7-2630QM Prozessor (4 Kerne, 2GHz Takt, Windows 7 64bit Home Premium). Geschwindigkeit der Hardware: Houdini 2.0c auf einem Core etwa 2.1 Mio Kn/s, auf 4 Cores etwa 7.5 Mio Kn/s (bei vollem Brett), FritzMark=20.2.
Bedenkzeit: 60''+750ms Fischerbonus (ca. 2 Minuten pro Partie je Engine), keine Tablebases, 1 Core/Thread und 256 MB Hash pro Engine, kein Pondern, 150 Vorgabestellungen aus der Frank Q. Datenbank (von mir handverlesen, nur Hauptsysteme (kein Aljechin, Holländisch etc.)). Gespielt wird bis zum Matt oder bis zum Remis, die GUI gibt keine Partie auf und auch Remis erst bei 500 Zügen - also gar nicht). Benutzt wird die LittleBlitzerGUI. Dazu merke ich hier nochmal an: Alle Partien wurden/werden im Gauntlet-Modus gespielt, weil nur so die Vorgabestellungen auch alle sequentiell und mit vertauschten Farben korrekt abgespielt werden.

Wer die Partien der TEB-Rangliste haben will, kann mir seine eMail-Adresse per PM hier oder auf talkchess mitteilen, ich schicke dann in Kürze die Partien als PGN-File. Dieses Angebot erfolgt, damit Transparenz und Glaubwürdigkeit der Rangliste gewährleistet ist.

Grüße an alle - Stefan

By Stefan Pohl Date 2012-05-26 09:39

Für alle Interessierten und auch wegen der Klondebatte um Strelka hier mal die Einzelergebnisse von Strelka 5.5 im TEB-Testdurchlauf gegen die beiden Houdinis:

Strelka 5.5 x64 - Houdini 2.0c x64: 144-156 (+64 =160 -76) = 48%
Strelka 5.5 x64 - Houdini 1.5a x64: 160-140 (+80 =160 -60) = 53.3%

Daraus folgere ich jetzt mal ganz dreist, daß Strelka 5.5 kein 1:1 Klon von Houdini ist und zwar weder von 1.5a (sonst würde er diesen Wettkampf nicht gewinnen) noch von 2.0c (sonst würde er diesen Wettkampf nicht verlieren). Da die Einzelwettkämpfe in der TEB-Liste ja immer 300 Partien umfassen (mit 150 neutralen Vorgabestellungen) sind diese Ergebnisse durchaus schon recht aussagekräftig.

Grüße - Stefan

By Benno Hartwig Date 2012-05-26 10:02

Zitat:

Daraus folgere ich jetzt mal ganz dreist, daß Strelka 5.5 kein 1:1 Klon von Houdini ist und zwar weder von 1.5a (sonst würde er diesen Wettkampf nicht gewinnen) noch von 2.0c (sonst würde er diesen Wettkampf nicht verlieren).

Bei 300 Partien zwischen gleichstarken Gegnern ist die Wahrscheinlichkeit dafür, dasss irgendeiner der beiden mindestens 160 Punkte bekommt ca 15%. (nur / immerhin)
Eine gewisse Aussagekraft steckt wohl drin. Ein Indiz, ein Hinweis. Überstrapazieren sollte man das Ergebnis aber nicht.
Mal schauen, ob andere Tests betätigen können.

Benno

By Stefan Pohl Date 2012-05-27 08:23

[quote="Benno Hartwig"]

Zitat:

Hi Benno,

allles 100% richtig. Deshalb schrieb ich ja auch, meine Folgerung sei "dreist", eben um klarzumachen, daß diese Ergebnisse keine wirklich Sicherheit bringen.
Anmerken kann ich dazu noch 2 Dinge, nämlich, daß die angezeigten Hauptvarianten und Bewertungen von Strelka und Houdini 1.5a (Kiebitz-Parallelbetrieb unter der FritzGUI) doch teilweise sehr unterschiedlich sind (nicht immer, aber das gilt auch für definitiv nicht geclonte Engines) und daß auch andere Testergebnisse in anderen Foren ergaben, daß Strelka 5.5 x64 gegen Houdini 1.5a x64 etwas über 50% scort. Auch habe ich einen schnell-vorab-Test mit Strelka 5.5 x64 gemacht, bevor ich den über 2 Tage dauernden Testlauf für die TEB-Liste gemacht habe, und auch dort (bei nur 1/3 der TEB-Bedenkzeit) lag Strelka 5.5 x64 bei ca. 53% gegen Houdini 1.5a (und das sind dann insgesamt (mit dem TEB-Ergebnis) schon 600 Partien).

Beste Grüße - Stefan