Das Neuausspielen meiner Gamebase für meine Stockfish-Testruns ist nun (endlich) abgeschlossen. Nunmehr ist alles neu: +30% schnellere CPU (i7-6700HQ Intel Skylake, 2.6 GHz), deutlich längere Bedenkzeit (180“+1000ms (= 3'+1“) statt 70“+700ms), 4x mehr Hash (512MB pro Engine). Und es kommen neue Eröffnungs Vorgabestellungen zum Einsatz: Thomas Zipproth hat ein neues 500-Stellungen Vorgabeset entwickelt: Das HERT Schachengine Test-Set (“H“uman and “E“ngine “R“elevant “T“heory.). Es kann ab sofort auf meiner Website heruntergeladen werden.

http://spcc.beepworld.de/downloads--links.htm

Hier die Erläuterungen zum HERT Set aus dem ReadMe-File:

500 Teststellungen, ausgewählt aus den am häufigsten gespielten Eröffnungsvarianten in Engine- und Mensch-Turnieren.

Welche Eigenschaften sollte ein gutes Test-Set haben?

1.) Es sollte alle Aspekte einer Engine testen, also Eröffnungen enthalten, die zu verschiedenen positionellen und taktischen Problemen führen.
2.) Um die Eignung der Engine für die Analyse menschlicher Partien zu testen, sollten einigevon Menschen häufig gespielte Varianten enthalten sein (auch einige Gambits).
3.) Die Teststellungen sollten mit den aktuell besten Engines eine nicht zu hohe Remisqoute aufweisen.
4.) Es sollte möglichst wenige Überschneidungen durch mögliche Zugumstellungen in den Teststellungen geben, sodaß möglichst alle Partien unterschiedlich verlaufen.
5.) Die Teststellungen sollten einen möglichst guten Querschnitt abbilden, von dem, was momentan in Engine-  und Mensch-Turnieren tatsächlich gespielt wird.

Punkt 5 ist der wichtigste Aspekt des Hert Test-Sets und auch das Besondere an diesem Set. Denn viele andere Test-Sets enthalten Stellungen, die nur 5 Mal (oder weniger) in Engine-oder Mensch-Turnieren gespielt wurden.

Der Grundgedanke des Hert Sets ist, daß Stellungen, die einige tausend Mal in Engine- oder Mensch-Turnieren gespielt wurden, per se interessante Eigenschaften haben. Es ist zum Beispiel höchst unwahrscheinlich, daß solche Stellungen sehr remislastig oder fast verloren sind, denn dann wären solche Eröffnungen nie so häufig gespielt worden. Natürlich gab es einige Ausnahmen und einige Stellungen führten in Vorabtests zu schnellen Remisen. Diese wurden entfernt.

Zusätzlich wird mit dem Hert Set versucht, die Häufigkeit und Bedeutung der verschiedenen Eröffnungssysteme abzubilden. Eine in Engine-Partien sehr häufig vorkommende Eröffnung wie Giuoco Piano, die über 300.000 Mal gespielt wurde, wurde in mehreren Abspielen im Hert Set berücksichtigt, die jeweils 5000 - 20000 Mal gespielt wurden. So prüft das Hert Set, ob eine Engine mit allen möglichen Abspielen einer weit verbreiteten Eröffnung zurecht kommt.

Die Eröffnungen im Hert Set wurden gemischt (sie sind also nicht nach ECO-Code sortiert). Somit ist es möglich, auch nur einen Teil der 500 Hert-Stellungen für eigene Tests und Turniere zu benutzen, ohne verzerrte Ergebnisse befürchten zu müssen. Denn alle 500 Stellungendes Hert-Sets durchzuspielen, bedeutet ja, 1000 Partien in einem Engine Zweikampf zu spielen. Allerdings sollte man dabei bedenken, daß die Errorbar der Testergebnisse ansteigt, wenn man weniger Partien absolvieren läßt!

Keine Eröffnung des Hert-Sets enthält einen En Passant Zug. Damit kann das Hert Set auch bedenkenlos in der LittleBlitzerGUI verwendet werden (die LittleBlitzerGUI hat leider einen En Passant Bug (gibt es einen En Passant Zug in der PGN-Eröffnungsvorgabe, so wird der geschlagene Bauer nicht vom Brett genommen!))

Idee und Erstellung der Hert Sets: Thomas Zipproth
Tests und Dokumentation: Thomas Zipproth & Stefan Pohl