SPCC: Erster Testrun mit 3000 Partien von Lc0 durch

By Stefan Pohl Date 2019-07-12 13:11 Edited 2019-07-12 13:18 Upvotes 1

https://www.sp-cc.de/lc0-testing.htm

Nachdem nun das Netz des letzten TCEC Superfinals getestet ist, folgt ein brandaktuelles mit 42737. Ältere Nets (wie 32390 etc.) werden peu a peu nachgetestet, wenn sich die Gelegenheit ergibt, bzw. wenn die Lernerei für die 60xxx-Netze begintt, weil es dann ja ca. 1-2 Monate dauert, bis diese Nets halbwegs stark geworden sind. Das muß man dann sehen.

Generell ist das Ergebnis von Net Lc0 0.21.2 N: T40.T8.610 ziemlich gut, obwohl die Bedenkzeit auf 1/3 reduziert wurde und die im Schnitt doch tieferen HERT-Eröffnungen benutzt wurden. Lc0 scheint auch sehr kurze Bedenkzeiten besser zu vertragen, als ich dachte, zumindest auf einer RTX-Karte...


      Program                    Elo    +    -   Games   Score   Av.Op.  Draws
   1 Stockfish 190622 bmi2    : 3533    7    7  5500    73.6 %   3344   43.1 %
   2 Stockfish 10 181129      : 3508    7    7  6000    73.8 %   3320   44.8 %
   3 Lc0 0.21.2 T40.T8.610    : 3492    9    9  3000    66.1 %   3366   46.0 %
   4 Houdini 6 pext           : 3431    5    5  7500    58.0 %   3370   53.5 %
   5 Komodo 13.01 bmi2        : 3406    5    5  7500    54.3 %   3373   51.6 %
   6 Fire 7.1 popc            : 3283    5    5  7500    36.5 %   3390   51.2 %
   7 Xiphos 0.5.3 bmi2        : 3274    5    5  7500    35.2 %   3391   50.1 %
   8 Ethereal 11.53 pext      : 3272    7    7  5500    34.6 %   3391   50.0 %
   9 Ethereal 11.25 pext      : 3253    6    6  6000    30.7 %   3406   46.7 %

Durch die nun 3000 Partien schrumpfte die Errorbar immerhin auf einen einstelligen Wert (+/-9). Hier noch die Einzelresultate:


3 Lc0 0.21.2 T40.T8.610  : 3492 3000 (+1294,=1379,-327), 66.1 %

Stockfish 190622 bmi2    : 500 (+ 85,=310,-105), 48.0 %
Komodo 13.01 bmi2        : 500 (+216,=228,- 56), 66.0 %
Houdini 6 pext           : 500 (+141,=296,- 63), 57.8 %
Fire 7.1 popc            : 500 (+275,=185,- 40), 73.5 %
Xiphos 0.5.3 bmi2        : 500 (+277,=185,- 38), 73.9 %
Ethereal 11.53 pext      : 500 (+300,=175,- 25), 77.5 %

Hier die kürzeste Gewinnpartie gegen Stockfish 190622 (Ende der Eröffnungsvorgabe war 6...a6), kurz und schmerzhaft (für Stockfish, der immerhin gut 10 MN/s auf meiner mobile-Hexacore CPU rechnete):
Sobald Stockfish kurz rochiert hatte, schaltete Lc0 sofort auf bedingungslosen Angriff und faltete Stockfish mal richtig zusammen.

Event:

Ort:

Datum:

Weiss:

Schwarz:

Ergebnis

Board

By Eduard Nemeth Date 2019-07-12 14:28

Danke! An dieser Partie sieht man wie dumm Stockfish eigentlich ist. Er berechnet eine Milliarde Stellungen und ist doch wie ein ahnungsloses Huhn. Bei mir auf dem Handy jedenfalls sinnt Stockfish bei Zug 14 über 14. Na4 nach. Dabei hat Weiss doch alles Richtung schwarzer König mobilisiert, so dass der Vorstoss 14. f5! auf der Hand liegt. Nein, Eröffnungen sind nicht die Stärke von Stockfish. Wenn man Stockfish jedoch mindestens 20 Buchzüge geben kann, und möglichst keine Seeschlangen, dann wird dieses Huhn plötzlich zum Raubtier.

By Stefan Pohl Date 2019-07-12 14:36

Noch kurz zur Info, was Bedenkzeiten und Knoten bei Stockfish angeht:

Die LittleBlitzerGUI zeigt ja den durchschnittlichen Bedenkzeitverbrauch pro Zug an. Gemittelt über alle Züge aller Partien einer Engine. Bei meinem jetzigen Testsetting ist das ca. 1.1“/Zug. Hier werden aber alle Endspielzüge, die nur noch mit den 500ms Inkrement gespielt werden mit reingerechnet. Daher ist die Bedenkzeit im Mittelspiel bedeutend höher, und zwar so ca. 2.5“ bis 3“/Zug. Das bedeutet, daß Stockfish im Mittelspiel so 25-30 Millionen Knoten pro gespieltem Zug gerechnet hat.

By Eduard Nemeth Date 2019-07-12 15:42

Ich habe mir den Spass erlaubt das aktuell neuste Netz 42738 unter Android zu installierten. Es schafft auf 4 (von 8) Kernen bei Zug 23, 14 nps nach einer Minute. Ich habe die Partie ab Zug 14 nachgespielt und Netz 42738 würde alle Lc0 Züge (getestet bis Zug 23) in den Suchtiefen 5 bis 6 ausspielen! Die Partie also positionell für sich entscheiden. Das Handy genügt Leela, das ist beeindruckend.

By Stefan Pohl Date 2019-07-12 15:43

Eduard Nemeth schrieb:

OK. Interessant!

By Reinhold Stibi Date 2019-07-12 15:57 Upvotes 1

Die Bedenkzeit von 50 Sek. + 500 Millisekunden finde ich doch sehr gering,
besonders wenn im Endspiel für einen Zug oft nur 500 Millisekunden übrig bleiben.
Zu bedenken ist dass bei Ponder off (Ponder on würde den Computer auf Dauer zu
sehr belasten) die Engine immer wieder neu hochgefahren werden muss was ja auch
Zeit kostet und eine gewisse Zeit vergeht bis die Engine in die Gänge kommt.

Insofern besteht schon die Gefahr dass bei der äußerst kurzen Bedenkzeit manche
Partie verhunzt wird und dadurch auch das Ergebnis verfälscht wird. Dann bringen
die vielen Partien auch keine besseren Ergebnisse..

By Stefan Pohl Date 2019-07-12 16:08 Edited 2019-07-12 16:21

Eine Hexacore CPU ist kein Mensch. 500ms sind für so eine CPU eine sehr, sehr lange Zeit. Initialisierungen von Programmen (und damit Engines) bewegen sich im Bereich weniger Millisekunden, seit die Hashtables persistent geworden sind und nicht mehr komplett mit Leerzeichen überschrieben werden müssen, bevor die Engine anfängt zu rechnen. Das konnte bei Fritz 5 etc. durchaus mal etwas dauern. Aber nicht bei modernen Engines.
Die durchschnittliche Suchtiefe, die Stockfish hier bei 50''+500ms auf 5.5 cores (von 6, also 11 Threads) laut LittleBlitzerGUI erreicht, ist übrigens knapp 28 Hz (also 28. Iterationen, selektive Spitzen NICHT eingerechnet)... Wenn das nicht reicht, um Patzer zu vermeiden, dann gute Nacht.