Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / NEBB-Ranglisten: Komodo 4
- - By Stefan Pohl Date 2011-12-30 08:13
Hallo zusammen,

Hier nun die neueste Version der NEBB-Ranglisten (Naked Engine Bullet und Blitz). Zur Erinnerung zunächst nochmals die genauen Testbedingungen:
50 Ultrakurzvorgabestellungen (1.a3 a6, 1.a3 b6 etc. (ohne Stellungen mit gezogenem f-Bauer, weil Engines das aufgrund der Königssicherheit als schlecht bewerten, außer der symmetrischen Stellung 1.f3 f6, weil ich sonst nur auf 49 Stellungen gekommen wäre). 256 MB Hash, 1 Core (Intel Q9550 2.83 GHz Quad, no SSE support) pro Engine, LittleBlitzerGUI (keine Partieaufgabe, Remis erst bei 200 Zügen), kein Pondern, keine Tablebases, nur die allerbesten Engines, wobei hier z.Zt. unterhalb von Stockfish eine große Spielstärkelücke besteht, was sich aber in der Zukunft natürlich ändern kann.
Als Bedenkzeiten habe ich für die Bulletliste 1 Minute Basiszeit + 500 ms Fischerbonus gewählt. Die Blitzliste spielt unter identischen Bedingungen, aber mit der 4fachen Zeit, nämlich 4 Minuten Basis + 2 Sekunden Fischerbonus. Beide Ranglisten werden mit bayeselo erstellt und an der schwächsten Engine der Blitzliste gefixt (z.Zt. Stockfish 2.1.1), weil ja die möglichen Elo-Abweichungen in den zwei Listen natürlich auf den Spitzenplätzen besonders interssant sind. Der Fixpunkt wurde auf 3000 Elo gesetzt, einfach weil man damit unten in der Liste mit einer glatten 000er-Zahl beginnt, was besonders den Vergleich beider Listen vereinfacht. Entscheidend sind aber natürlich nicht die Absolutwerte, sondern die Differenzen...
Die beste Freeware-Engine wird als solche gekennzeichnet, außerdem werden alle Engines, die nicht Multi-Core fähig sind, gekennzeichnet, weil letzteres in der heutigen Zeit der Multicoreprozessoren m.E. einen schwerwiegenden Mangel darstellt.

Hier nun die NEBB-Ranglisten mit den Ergebnissen von Komodo 4 (leider z.Zt. noch immer singlecore):

Blitzliste (4'+2'')

Rank Name                       Elo    +    - games score oppo. draws
   1 Houdini 2.0c x64          3102   19   19   700   61%  3034   38%
   2 Houdini 1.5a x64          3099   19   19   700   60%  3034   40% (best freeware)
   3 Komodo 4 x64              3072   19   19   700   54%  3048   42% (singlecore)
   4 Critter 1.2 64-bit        3054   17   17   800   51%  3048   45%
   5 Ivanhoe B46fa x64         3040   17   17   800   49%  3050   51%
   6 Komodo 3 x64              3030   19   19   700   47%  3048   46% (singlecore)
   7 Rybka 4.1 x64             3026   17   17   800   46%  3051   47%
   8 RobboLito 0.09 x64        3015   17   17   800   44%  3053   50% (singlecore)
   9 Stockfish 2.1.1 JA 64bit  3000   18   18   800   42%  3055   41%

Bulletliste (1'+500 ms)

Rank Name                       Elo    +    - games score oppo. draws
   1 Houdini 2.0c x64          3123   20   19   700   64%  3031   35%
   2 Houdini 1.5a x64          3098   19   19   700   60%  3031   36% (best freeware)
   3 Critter 1.2 64-bit        3067   18   17   800   53%  3047   43%
   4 Komodo 4 x64              3055   19   19   700   51%  3052   38% (singlecore)
   5 Ivanhoe B46fa x64         3044   17   17   800   49%  3049   47%
   6 Komodo 3 x64              3023   19   19   700   46%  3052   37% (singlecore)
   7 Rybka 4.1 x64             3021   18   18   800   45%  3052   39%
   8 RobboLito 0.09 x64        3009   17   18   800   43%  3054   45% (singlecore)
   9 Stockfish 2.1.1 JA 64bit  3000   18   18   800   42%  3055   38%

Man sieht nun, daß sich jetzt erstmals beide Ranglisten auch in den Platzierungen unterscheiden: Komodo 4 kann mit längerer Bedenkzeit wirklich signifikant zulegen (im Gegensatz zum Vorgänger Komodo 3) und so Critter 1.2 in der Blitzliste überholen, nicht jedoch in der Bulletliste. In beiden Listen konnte sich die neue Komodoversion allerdings im Vergleich zum Vorgänger erheblich steigern, im Blitz sogar um satte 42 Elo bzw. 7% höhere Erfolgsquote. Das ist ein starker Zuwachs, allerdings ist die Spitzenposition von Houdini keinesfalls schon gefährdet.

Grüße an alle - Stefan

P.S: Der Critter 1.4 Test läuft. Ergebnisse wahrscheinlich am Montag. Danach dann den neuen Stockfish.
Parent - - By Kurt Utzinger Date 2011-12-30 09:21
[quote="Stefan Pohl"]

Man sieht nun, daß sich jetzt erstmals beide Ranglisten auch in den Platzierungen unterscheiden: Komodo 4 kann mit längerer Bedenkzeit wirklich signifikant zulegen (im Gegensatz zum Vorgänger Komodo 3) und so Critter 1.2 in der Blitzliste überholen, nicht jedoch in der Bulletliste. In beiden Listen konnte sich die neue Komodoversion allerdings im Vergleich zum Vorgänger erheblich steigern, im Blitz sogar um satte 42 Elo bzw. 7% höhere Erfolgsquote. Das ist ein starker Zuwachs, allerdings ist die Spitzenposition von Houdini keinesfalls schon gefährdet.

Grüße an alle - Stefan
[/quote]

Hallo Stefan
Freut mich zu sehen, dass es eben doch Engines gibt, die bei etwas höheren
Bedenkzeiten vergleichsweise besser abschneiden. Interessant aber auch, dass
bei Houdini ein ähnlicher Effekt zu beobachten ist, indem die v1.5a sich bei
steigender Bedenkzeit der v2.0c annähert. Ein Indiz dafür - wie auch schon
berichtet - dass die v2.0 nicht wirklich besser ist?
Mfg
Kurt
Parent - - By Stefan Pohl Date 2011-12-30 12:13
[quote="Kurt Utzinger"]
[quote="Stefan Pohl"]

Man sieht nun, daß sich jetzt erstmals beide Ranglisten auch in den Platzierungen unterscheiden: Komodo 4 kann mit längerer Bedenkzeit wirklich signifikant zulegen (im Gegensatz zum Vorgänger Komodo 3) und so Critter 1.2 in der Blitzliste überholen, nicht jedoch in der Bulletliste. In beiden Listen konnte sich die neue Komodoversion allerdings im Vergleich zum Vorgänger erheblich steigern, im Blitz sogar um satte 42 Elo bzw. 7% höhere Erfolgsquote. Das ist ein starker Zuwachs, allerdings ist die Spitzenposition von Houdini keinesfalls schon gefährdet.

Grüße an alle - Stefan
[/quote]

Hallo Stefan
Freut mich zu sehen, dass es eben doch Engines gibt, die bei etwas höheren
Bedenkzeiten vergleichsweise besser abschneiden. Interessant aber auch, dass
bei Houdini ein ähnlicher Effekt zu beobachten ist, indem die v1.5a sich bei
steigender Bedenkzeit der v2.0c annähert. Ein Indiz dafür - wie auch schon
berichtet - dass die v2.0 nicht wirklich besser ist?
Mfg
Kurt
[/quote]

Hallo Kurt,

ja Houdini ist diesbzgl. etwas seltsam. Während die 1.5a in beiden NEBB-Listen praktisch identisch scort, baut die 2.0c bei längeren Bedenkzeiten ab (oder legt im Bullet zu - wie man das betrachtet ist Geschmackssache). Bei wirklich langen Bedenkzeiten könnte die 1.5a damit die 2.0 durchaus überholen und Komodo 4 könnte ggf. zu Houdini 2.0c aufschließen. Leider gibt es ja von Komodo immer noch keine multicore-Version, somit ist Komodo noch keine ernsthafte Gefahr für Houdini auf playchess...

Gruß - Stefan
Parent - By Kurt Utzinger Date 2011-12-30 12:22
Hallo Stefan
Trotz allem: wenn man bedenkt, dass Komodo nur singlecore ist, dann
muss diese super Leistung speziell gewürdigt werden. Bestimmt haben
Don und Larry schon eine MP-Version, aber vermutlich ist sie noch nicht
optimiert genug, dass man sie auf die Menschheit loslassen kann, denn
eine spürbare Leistungssteigerung müsste schon drinliegen.
Mfg
Kurt
Up Topic Hauptforen / CSS-Forum / NEBB-Ranglisten: Komodo 4

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill