LS-Rangliste: Kontrolltest Black Mamba mit cutechess

By Stefan Pohl Date 2014-02-20 13:06

Hallo,

Der Kontroll-Testlauf mit cutechess-cli ist durch. Da wir ja nun wissen, daß die LittleBlitzerGUI einen Bug in der 50-Zug-Remis-Regel hat, bin ich ja leider gezwungen, die GUI zu wechseln. Daher soll nun ab sofort mit Cutechess getestet werden. Daher habe ich nun einen zweiten Testrun mit Black Mamba 2 gemacht, um das Ergebnis mit dem Testlauf mit der LittleBlitzerGUI zu vergleichen. Black Mamba 2 ist auch insofern als Test gut geeignet, weil die Engine im Testlauf unter LittleBlitzerGUI 22 Crashes fabriziert hat. Das ist dadurch ein schöner Härtetest für cutechess.
Und auch unter Cutechess gabe es Crashes und zwar 21. Auch cutechess störte das nicht im Ablauf und die Partien wurden als verloren gewertet.
Das Ergebnis war wie folgt:

LBG:
Black Mamba 2 x64: 11000 (+1210,=5172,-4618), 34.5 % (22 Crashes von Black Mamba 2)

cutechess-cli:
Black Mamba 2 x64: 11000 (+1218,=5113,-4669), 34.3 % (21 Crashes von Black Mamba 2)

Man sieht, das das Ergebnis prozentual praktisch identisch ist, ebenso die Remisquote. Auch die Crashes von Black Mamba 2 waren praktisch identisch.
Daraus folgt für mich
a) Ich kann guten Gewissens ab sofort mit cutechess-cli testen.
b) Der Bug in der LittleBlitzerGUI ist zwar unschön, hat aber in der Testpraxis (zumindest bei so vielen Partien) keine nennenswerte Auswirkung auf das Testergebnis, sodaß ich nicht gezwungen bin, alle alten Testergebnisse wegzuschmeissen.

Gut zu wissen.
Ich möchte aber nochmal ausdrücklich betonen, daß bei weniger gespielten Partien, der Bug in der LBG durchaus weit grössere Ergebnisverzerrungen produzieren kann. Nur bei sehr vielen Partien gleichen sich die unberechtigten Verlust- und Gewinnpartien jenseits des 50-Züge-Remis so weit aus, wie eben hier bei mir. Wer nur ein paar Hundert Testpartien spielt, sollte also auf gar keinen Fall weiterhin die LBG benutzen.

Stefan

P.S: Nochmal ein dickes Dankeschön an Thomas Zipproth, der diesen LBG-Bug entdeckt hat!

By Joe Boden Date 2014-02-20 13:24

Gibt's cutechess nur als 32bit Anwendung für Windows? oder benutzt Du eine andere Version?

By Stefan Pohl Date 2014-02-20 13:26

Joe Boden schrieb:

Gibt's cutechess nur als 32bit Anwendung für Windows? oder benutzt Du eine andere Version?

Es gibt nur die 32bit-Version.
Soweit mir bekannt.
Das macht aber nix. Die 64bit-Engine-Versionen laufen trotzdem. Auch die SSE-compiles und auch die AVX-compiles.
LittleBlitzer gibt es auch nur als 32bit. Die FritzGUI gab es bis vor kurzem auch nur als 32bit-Version.

Stefan

By Stefan Pohl Date 2014-02-20 13:25

Kleine Ergänzung:
Da man bei cutechess-cli eine extrem lange, komplizierte Kommando-Zeile in die Windoofs-Konsole eingeben muß, insbesondere wenn man in einem Testrun viele Engines beteiligen will, habe ich in der "Settings & Links"-Sektion meiner LS-Website ab sofort eine Hilfe-Textfile im Downloadangebot (bekommt man, wenn man meine 500 Vorgabestellungen runterlädt mit dazu). In diesem gibt es vorgefertigte Textblöcke mit Kommandos für einzelne Engines und für sonstige Settings für Tests mit LS-Bedingungen und eine Step-By-Step-Anleitung wie man diese zusammenfügt und schließlich an cutechess übergibt.
Damit sollte jeder cutechess-cli recht leicht benutzen können. Die eigentliche Dokumentation ist nämlich eine Katastrophe...

Es gibt noch eine Besonderheit bei cutechess-cli bezgl. der UCI-Option "Ponder", einer Option, die eigentlich alle Engines kennen. Diese kann man unter cutechess nicht setzen, dann wirft cutechess eine Fehlermeldung aus. Das Setzen dieser Option ist aber auch überflüssig, da cutechess sowieso nicht pondern kann!

Stefan

By Joe Boden Date 2014-02-20 13:30

Mir ist die Handhabung zu kompliziert. Ich überlasse Dir die Arbeit, Stefan.

Aber da ich Deine Liste gerne nutze, um eine verlässliche Eloangabe zu bekommen, wäre ich bereit, mich mit 10 Euro an Deinen Stromkosten zu beteiligen.
Keine Ahnung, wie ich Deine Kontonummer erfahren kann und ob Du überhaupt finanzielle Unterstützung animmst, denn ich weiss, dass Dir Deine Unabhängikeit sehr wichtig ist.

By Stefan Pohl Date 2014-02-20 13:37

Joe Boden schrieb:

Bedaure, Geld nehme ich nicht (noch so ein Satz von dem ich nie gedacht hätte, daß ich ihn mal sage...). Ich will komplett unabhängig sein und bleiben.
Und die Handhabung von cutechess-cli ist ohne ein Texfile mit vorgefertigten Kommando-Teilen für Engine-Parameter und Turnierparameter sicher sehr kompliziert und hat mich seinerzeit auch abgeschreckt, sodaß ich zur LittleBlitzerGUI gegriffen habe. Aber wenn du dir das Textfile von meiner Website runterlädst und um die Engines und ihre Kommandos für die Parameter ergänzt, die du fürs Testen nutzen willst, und dann dieses Textfile benutzt, um die Kommandozeile für cutechess per drag&drop zusammenzusetzen, dann ist die Benutzung gar nicht sooo schwierig. Nur die Kommandozeile, die schlußendlich rauskommt, ist monströs. Aber das sieht dann ja nur schlimm aus. Ist es aber eigentlich gar nicht. Am besten machst du erst mal nur einen Engine-Zweikampf, dann ist das Ganze noch halbwegs übersichtlich, und du gewöhnst sich so an cutechess. Dann wirds schon gehen!

Stefan