Hallo zusammen,
Hier nun die neueste Version der NEBB-Ranglisten (Naked Engine Bullet und Blitz). Zur Erinnerung zunächst nochmals die genauen Testbedingungen:
50 Ultrakurzvorgabestellungen (1.a3 a6, 1.a3 b6 etc. (ohne Stellungen mit gezogenem f-Bauer, weil Engines das aufgrund der Königssicherheit als schlecht bewerten, außer der symmetrischen Stellung 1.f3 f6, weil ich sonst nur auf 49 Stellungen gekommen wäre). 256 MB Hash, 1 Core (Intel Q9550 2.83 GHz Quad, no SSE support) pro Engine, LittleBlitzerGUI (keine Partieaufgabe, Remis erst bei 200 Zügen), kein Pondern, keine Tablebases, nur die allerbesten Engines, wobei hier z.Zt. unterhalb von Stockfish eine große Spielstärkelücke besteht, was sich aber in der Zukunft natürlich ändern kann.
Als Bedenkzeiten habe ich für die Bulletliste 1 Minute Basiszeit + 500 ms Fischerbonus gewählt. Die Blitzliste spielt unter identischen Bedingungen, aber mit der 4fachen Zeit, nämlich 4 Minuten Basis + 2 Sekunden Fischerbonus. Beide Ranglisten werden mit bayeselo erstellt und an der schwächsten Engine der Blitzliste gefixt (z.Zt. Stockfish 2.1.1), weil ja die möglichen Elo-Abweichungen in den zwei Listen natürlich auf den Spitzenplätzen besonders interssant sind. Der Fixpunkt wurde auf 3000 Elo gesetzt, einfach weil man damit unten in der Liste mit einer glatten 000er-Zahl beginnt, was besonders den Vergleich beider Listen vereinfacht. Entscheidend sind aber natürlich nicht die Absolutwerte, sondern die Differenzen...
Die beste Freeware-Engine wird als solche gekennzeichnet, außerdem werden alle Engines, die nicht Multi-Core fähig sind, gekennzeichnet, weil letzteres in der heutigen Zeit der Multicoreprozessoren m.E. einen schwerwiegenden Mangel darstellt.
Hier nun die NEBB-Ranglisten mit den Ergebnissen von Komodo 4 (leider z.Zt. noch immer singlecore):
Blitzliste (4'+2'')
Rank Name Elo + - games score oppo. draws
1 Houdini 2.0c x64 3102 19 19 700 61% 3034 38%
2 Houdini 1.5a x64 3099 19 19 700 60% 3034 40% (best freeware)
3 Komodo 4 x64 3072 19 19 700 54% 3048 42% (singlecore)
4 Critter 1.2 64-bit 3054 17 17 800 51% 3048 45%
5 Ivanhoe B46fa x64 3040 17 17 800 49% 3050 51%
6 Komodo 3 x64 3030 19 19 700 47% 3048 46% (singlecore)
7 Rybka 4.1 x64 3026 17 17 800 46% 3051 47%
8 RobboLito 0.09 x64 3015 17 17 800 44% 3053 50% (singlecore)
9 Stockfish 2.1.1 JA 64bit 3000 18 18 800 42% 3055 41%
Bulletliste (1'+500 ms)
Rank Name Elo + - games score oppo. draws
1 Houdini 2.0c x64 3123 20 19 700 64% 3031 35%
2 Houdini 1.5a x64 3098 19 19 700 60% 3031 36% (best freeware)
3 Critter 1.2 64-bit 3067 18 17 800 53% 3047 43%
4 Komodo 4 x64 3055 19 19 700 51% 3052 38% (singlecore)
5 Ivanhoe B46fa x64 3044 17 17 800 49% 3049 47%
6 Komodo 3 x64 3023 19 19 700 46% 3052 37% (singlecore)
7 Rybka 4.1 x64 3021 18 18 800 45% 3052 39%
8 RobboLito 0.09 x64 3009 17 18 800 43% 3054 45% (singlecore)
9 Stockfish 2.1.1 JA 64bit 3000 18 18 800 42% 3055 38%
Man sieht nun, daß sich jetzt erstmals beide Ranglisten auch in den Platzierungen unterscheiden: Komodo 4 kann mit längerer Bedenkzeit wirklich signifikant zulegen (im Gegensatz zum Vorgänger Komodo 3) und so Critter 1.2 in der Blitzliste überholen, nicht jedoch in der Bulletliste. In beiden Listen konnte sich die neue Komodoversion allerdings im Vergleich zum Vorgänger erheblich steigern, im Blitz sogar um satte 42 Elo bzw. 7% höhere Erfolgsquote. Das ist ein starker Zuwachs, allerdings ist die Spitzenposition von Houdini keinesfalls schon gefährdet.
Grüße an alle - Stefan
P.S: Der Critter 1.4 Test läuft. Ergebnisse wahrscheinlich am Montag. Danach dann den neuen Stockfish.
[quote="Stefan Pohl"]
Man sieht nun, daß sich jetzt erstmals beide Ranglisten auch in den Platzierungen unterscheiden: Komodo 4 kann mit längerer Bedenkzeit wirklich signifikant zulegen (im Gegensatz zum Vorgänger Komodo 3) und so Critter 1.2 in der Blitzliste überholen, nicht jedoch in der Bulletliste. In beiden Listen konnte sich die neue Komodoversion allerdings im Vergleich zum Vorgänger erheblich steigern, im Blitz sogar um satte 42 Elo bzw. 7% höhere Erfolgsquote. Das ist ein starker Zuwachs, allerdings ist die Spitzenposition von Houdini keinesfalls schon gefährdet.
Grüße an alle - Stefan
[/quote]
Hallo Stefan
Freut mich zu sehen, dass es eben doch Engines gibt, die bei etwas höheren
Bedenkzeiten vergleichsweise besser abschneiden. Interessant aber auch, dass
bei Houdini ein ähnlicher Effekt zu beobachten ist, indem die v1.5a sich bei
steigender Bedenkzeit der v2.0c annähert. Ein Indiz dafür - wie auch schon
berichtet - dass die v2.0 nicht wirklich besser ist?
Mfg
Kurt
[quote="Kurt Utzinger"]
[quote="Stefan Pohl"]
Man sieht nun, daß sich jetzt erstmals beide Ranglisten auch in den Platzierungen unterscheiden: Komodo 4 kann mit längerer Bedenkzeit wirklich signifikant zulegen (im Gegensatz zum Vorgänger Komodo 3) und so Critter 1.2 in der Blitzliste überholen, nicht jedoch in der Bulletliste. In beiden Listen konnte sich die neue Komodoversion allerdings im Vergleich zum Vorgänger erheblich steigern, im Blitz sogar um satte 42 Elo bzw. 7% höhere Erfolgsquote. Das ist ein starker Zuwachs, allerdings ist die Spitzenposition von Houdini keinesfalls schon gefährdet.
Grüße an alle - Stefan
[/quote]
Hallo Stefan
Freut mich zu sehen, dass es eben doch Engines gibt, die bei etwas höheren
Bedenkzeiten vergleichsweise besser abschneiden. Interessant aber auch, dass
bei Houdini ein ähnlicher Effekt zu beobachten ist, indem die v1.5a sich bei
steigender Bedenkzeit der v2.0c annähert. Ein Indiz dafür - wie auch schon
berichtet - dass die v2.0 nicht wirklich besser ist?
Mfg
Kurt
[/quote]
Hallo Kurt,
ja Houdini ist diesbzgl. etwas seltsam. Während die 1.5a in beiden NEBB-Listen praktisch identisch scort, baut die 2.0c bei längeren Bedenkzeiten ab (oder legt im Bullet zu - wie man das betrachtet ist Geschmackssache). Bei wirklich langen Bedenkzeiten könnte die 1.5a damit die 2.0 durchaus überholen und Komodo 4 könnte ggf. zu Houdini 2.0c aufschließen. Leider gibt es ja von Komodo immer noch keine multicore-Version, somit ist Komodo noch keine ernsthafte Gefahr für Houdini auf playchess...
Gruß - Stefan
Hallo Stefan
Trotz allem: wenn man bedenkt, dass Komodo nur singlecore ist, dann
muss diese super Leistung speziell gewürdigt werden. Bestimmt haben
Don und Larry schon eine MP-Version, aber vermutlich ist sie noch nicht
optimiert genug, dass man sie auf die Menschheit loslassen kann, denn
eine spürbare Leistungssteigerung müsste schon drinliegen.
Mfg
Kurt