Stürzt Net 42668 Stockfish vom Thron?

By Reinhold Stibi Date 2019-07-09 05:26

Habe nun ein weitere großes Turnier mit 22 Engines durchgeführt.

Erstmalig konnte Lc0 und zwar mit Net 42688 Platz 1 belegen.

Bei einem Zweikampf gegen Stockfish schnitt Lc0 42688 nicht so gut ab,
aber hervorragend gegen andere Engines.

Mir scheint dass Stefan Pohl mit Net 42688 das beste Net für Lc0 gefunden hat
und dieses das Zeug hat Platz 1 in den Ranglisten zu erreichen.

By Stefan Pohl Date 2019-07-09 05:37

Reinhold Stibi schrieb:

Mir scheint dass Stefan Pohl mit Net 42688 das beste Net für Lc0 gefunden hat
und dieses das Zeug hat Platz 1 in den Ranglisten zu erreichen.

Toll, was ich so alles finde. Schade, daß ich Net 42688 nie getestet habe...

By Reinhold Stibi Date 2019-07-09 08:24

Entschuldigung, habe mich verschrieben muss natürlich Net 42668 heißen !

By Stefan Pohl Date 2019-07-09 12:41

Reinhold Stibi schrieb:

Entschuldigung, habe mich verschrieben muss natürlich Net 42668 heißen !

Kann passieren.

Nichtdestotrotz lief der Testrun von 42668 bei mir ja nicht so berauschend und Netz 42595 war deutlich besser.
Instruktiv war aber die Tatsache, daß bis zu Partie 190-200 (von 700) das Net 42668 sogar ca. +7 Elo vor 42595 lag. Ich hatte den Zwischenstand auch an die CEGT weitergegeben, weswegen diese ja auch dann dieses Net für ihren Testrun benutzt haben. Und danach wurde es suksessive immer schlechter und kam dann nach über 700 Partien bei -20 Elo zu Net 42595 raus... Also -27 Elo von Partie 200 bis Partie 784. Ein schönes Beispiel dafür, daß eben bei nur 200 Partien das Ergebnis noch sehr unsicher ist. Leider.
Deswegen stelle ich meine Testruns von lc0 jetzt ja auch auf 3000 Partien pro Testrun um. Wenn man alle 6-7 Tage ein neues Net testet, sind (ähnlich wie bei meinen vielen Stockfish-Testruns) die Unterschiede zwischen den Nets so geringfügig, daß man mit nur 700 Partien einfach nicht sagen kann, ob ein neues Net wirklich ein Fort- oder Rückschritt ist, oder ob es schlicht Zufallsschwankungen sind.

By Stefan Pohl Date 2019-07-09 13:08

https://www.twitch.tv/potato_chess

Bei diesen Testruns, die leider auch nur 200 Partien umfassen, liegt Net 42716 momentan an der Spitze. Aber eben mit einer Errorbar von +/-35 Elo (!). Aber, wer ein neues Net probieren will, ist damit sicher nicht ganz schlecht beraten.