Hallo zusammen,

Die Kritik an den sehr kurzen Bedenkzeiten und das damit einhergehende recht geringe Interesse an meiner TEB-Rangliste hat mich dazu animiert, selbige grundlegend zu überdenken und zu reformieren. Besonders zu denken gab mir der Einwand, daß bestimmte Engines (genannt wurde Komodo 3) mit sehr kurzen Bedenkzeiten nicht zurechtkommen und mit mehr Bedenkzeit deutlich und überproportional an Spielstärke zulegen würden. Ähnliches wurde schon zu früheren Zeitpunkten immer wieder von einzelnen Engines behauptet. Mir fiel nun auf, daß das bisher immer nur subjektive Einschätzungen ohne solide statistische Grundlage waren, da die allermeisten Ranglisten nur mit einer festen Bedenkzeitstufe erstellt wurden und werden. Für die CEGT-Liste gilt das zwar nicht, allerdings sind hier die Testbedingungen bzgl. Gegnerauswahl etc. nicht einheitlich, sodaß Vergleiche zwischen den verschiedenen CEGT-Listen mit ihren unterschiedlichen Bedenkzeiten problematisch sind.
Also habe ich mir überlegt, zwei Ranglisten zu erstellen, die sich nur in genau einem Punkt voneinander unterscheiden, nämlich in der Bedenkzeit. Eine Liste soll nach wie vor mit sehr kurzen Bedenkzeiten erstellt werden, schon damit ich auf diese Weise eine Datenbasis erhalte, um neue Compiles oder experimentelle Settings schnell beurteilen zu können. Eine zweite Liste soll genau identisch sein, was Engines, Vorgabestellungen etc. angeht, aber mit deutlich längerer Bedenkzeit. Hier tat sich nun das Problem auf, daß mit nur einem PC eine Rangliste mit längerer Bedenkzeit einfach zu viel Zeit in Anspruch nehmen würde, wenn ich die bisherigen Testbedingungen der TEB-Liste beibehalten würde (zwar nur 7-10 Topengines, aber je 300 Partien je Einzelvergleich). Würde man nun mit normalen Vorgabestellungen auf 100 Partien je Einzelvergleich reduzieren und kämen die Engines dann somit insgesamt nur auf 700-1000 Partien, wäre das Rating noch etwas wackelig. Diese Problematik, sowie die Tatsache, daß ich in der TEB-Liste komplett ohne Tablebases getestet habe, weil die Bases-Zugriffe bei solch extrem kurzen Bedenkzeiten selbst auf Flashmemory zu langsam wären, brachten mich auf die Idee meine Ultrakurz-Vorgabestellungen wieder auszugraben, die ich vor einigen Jahren erstellt hatte. Diese bestehen nur aus je einem einschrittigen Bauernzug pro Seite, also z.B. 1.a3 a6, 1.a3 b6, 1.a3 c6 usw. Dies ergibt maximal 64 Stellungen, die im Prinzip nur minimal-Variationen der Grundstellung sind. Somit wären dann die Engines nicht nur im Endspiel, sondern auch in der Eröffnung komplett auf sich gestellt. Dieses "Naked Engines"-Konzept hat den Vorteil, daß sich die Ergebnisse eines Enginevergleichs deutlich schneller auf einen Prozentwert einpendeln, als wenn man klassische Vorgabestellungen verwendet, die die Partien in bestimmte Eröffnungssysteme leiten. Warum das so ist, weiß ich selbst nicht so genau, aber in meinen früheren Experimenten mit diesen Kurzvorgaben war das eindeutig der Fall. Daher reichen mit diesen Kurzvorgaben 100 Partien pro Einzelvergleich und 700-1000 Partien pro Engine insgesamt für ein stabiles Ranking vollkommen aus. Allerdings ist es sinnvoll die Basiszeit im Verhältnis zum Fischerbonus auf mindestens 100:1 zu erhöhen, damit für die allerersten Züge und somit für den Eröffnungsaufbau genügend Rechenzeit zur Verfügung steht.
Aus diesen Überlegungen habe ich nun folgende Testbedingungen für die NEBB-Ranglisten (Naked Engine Bullet und Blitz) gefolgert:
50 Ultrakurzvorgabestellungen (1.a3 a6, 1.a3 b6 etc. (ohne Stellungen mit gezogenem f-Bauer, weil Engines das aufgrund der Königssicherheit als schlecht bewerten, außer der symmetrischen Stellung 1.f3 f6, weil ich sonst nur auf 49 Stellungen gekommen wäre). 256 MB Hash, 1 Core (Intel Q9550 2.83 GHz Quad) pro Engine, LittleBlitzerGUI (keine Partieaufgabe, Remis erst bei 200 Zügen), kein Pondern, keine Tablebases, nur die allerbesten Engines, wobei hier z.Zt. unterhalb von Stockfish eine große Spielstärkelücke besteht, was sich aber in der Zukunft natürlich ändern kann. Hier werde ich andere Ranglisten zur Orientierung heranziehen, sowie ggf. eigene Schnelltests.
Als Bedenkzeiten habe ich für die Bulletliste 1 Minute Basiszeit + 500 ms Fischerbonus gewählt. Die Blitzliste spielt unter identischen Bedingungen, aber mit der 4fachen Zeit, nämlich 4 Minuten Basis + 2 Sekunden Fischerbonus. Beide Ranglisten werden mit bayeselo erstellt und an der schwächsten Engine der Blitzliste gefixt (Stockfish 2.1.1), weil ja die möglichen Elo-Abweichungen in den zwei Listen natürlich auf den Spitzenplätzen besonders interssant sind. Der Fixpunkt wurde auf 3000 Elo gesetzt, einfach weil man damit unten in der Liste mit einer glatten 000er-Zahl beginnt, was besonders den Vergleich beider Listen vereinfacht. Entscheidend sind aber natürlich nicht die Absolutwerte, sondern die Differenzen...
Die beste Freeware-Engine wird als solche gekennzeichnet, außerdem werden alle Engines, die nicht Multi-Core fähig sind, gekennzeichnet, weil letzteres in der heutigen Zeit der Multicoreprozessoren m.E. einen schwerwiegenden Mangel darstellt.

Fire 2.2 wurde nicht berücksichtigt, weil Norman nach eigener Aussage die Arbeit an Fire zugunsten einer neuen Robbolito-Version (soll zum Jahreswechsel kommen) eingestellt hat und Fire auch nicht mehr downloadbar ist. Den experimentellen 111026-Stockfish habe ich ebenfalls weggelassen, obwohl er deutlich besser als die 2.1.1.-Version ist, weil ich den Testaufwand reduzieren und daher lieber auf das offizielle Update der Autoren warten will. Solche inoffiziellen Versionen werde ich in Zukunft auch nur noch inoffiziell unter meinen Bulletliste Bedingungen testen und nicht in beide Listen aufnehmen. Die Resultate dieser Schnelltests werden dann eben ggf. hier im Forum gepostet, aber eben nicht gelistet.

Hier nun die erste offizielle Ausgabe der NEBB-Listen:

Blitzliste (4'+2'')

Rank Name                       Elo    +    - games score oppo. draws
   1 Houdini 2.0c x64          3104   20   20   600   61%  3031   38%
   2 Houdini 1.5a x64          3102   20   20   600   61%  3031   41% (best freeware)
   3 Critter 1.2 64-bit        3061   18   18   700   52%  3047   46%
   4 Ivanhoe B46fa x64         3042   18   18   700   49%  3050   52%
   5 Komodo 3 x64              3033   18   18   700   47%  3051   46% (singlecore)
   6 Rybka 4.1 x64             3028   18   18   700   46%  3052   45%
   7 RobboLito 0.09 x64        3023   18   18   700   45%  3053   52% (singlecore)
   8 Stockfish 2.1.1 JA 64bit  3000   18   19   700   41%  3056   42%


Bulletliste (1'+500 ms)

Rank Name                       Elo    +    - games score oppo. draws
   1 Houdini 2.0c x64          3126   21   21   600   65%  3026   34%
   2 Houdini 1.5a x64          3096   20   20   600   61%  3026   37% (best freeware)
   3 Critter 1.2 64-bit        3067   18   18   700   54%  3044   44%
   4 Ivanhoe B46fa x64         3042   18   18   700   49%  3048   47%
   5 Komodo 3 x64              3022   19   19   700   46%  3051   37% (singlecore)
   6 Rybka 4.1 x64             3021   19   19   700   46%  3051   40%
   7 RobboLito 0.09 x64        3003   18   18   700   42%  3053   47% (singlecore)
   8 Stockfish 2.1.1 JA 64bit  3000   19   19   700   42%  3054   37%


Man sieht nun, daß Komodo 3 wirklich besser scort, wenn mehr Bedenkzeit zur Verfügung steht und Houdini 2 stark abbaut. Allerdings ist die Rangfolge in beiden Listen identisch und Houdini 1.5a scort in beiden etwa gleich gut, baut also mit längeren Bedenkzeiten nicht ab (!). Daß bei Komodo also so eine Art Elo-Wunder eintritt, nur weil die Bedenkzeiten länger oder die Hardware schneller wird, ist also - wie ich schon vermutet habe - reines Wunschdenken von Leuten, die Komodo mögen (dieses Wunschdenken gibt es für die eigene Lieblingsengine ja schon seit es Computerschach gibt...). Er legt zwar mit 4-facher Bedenkzeit zu, aber nur von 46% auf 47% bzw. um 11 Elo. Den größten Zuwachs mit mehr Bedenzeit erzielt ausgerechnet der böse, böse Robbolito, wo doch angeblich die Ippolits am meisten von kurzen Bedenkzeiten profitieren - schon wieder: reines Wunschdenken, nur diesmal in der anderen Richtung. Ivanhoe - der zweite Ippolit - ist dagegen ein Muster an Konstanz und scort genau gleich, was auch interessant ist, weil ja mit den Ivans angeblich  nur immer neue Compiles von Ippolit mit leicht veränderten Figurenwerten produziert wurden. Auch hier ist damit der Beweis erbracht, daß das einfach nicht stimmt, sonst müßte Ivanhoe hier ebenso wie Robbolito mit mehr Zeit auch zulegen.

Grüße an alle - Stefan