Turnier mit den besten 18 Engines - davon die besten 7 Lc0s

By Reinhold Stibi Date 2019-02-01 10:29

Nun ist das Mammutturnier mit 306 Partien abgeschlossen.

Lc0 v0.20.1 Net 32742 hat das Turnier knapp vor Stockfish 10 mit einem halben Punkt Vorsprung gewonnen.

TCEC wählte auch das Net 32742, vielleicht gar nicht zu unrecht.

Ein weiterer Beweis, dass nun Lc0 von der Spielstärke mit Stockfish 10 gleichgezogen hat.

Test mit den besten 18 Engines - davon 7 der besten Lc0s   - 306 Partien

mit Xeon E5345 3 CPUs, GTX 1050 Ti,   2 Min.+6 Sek.Zug, ohne Buch

1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8
1   Lc0 v0.20.1 32742 ** ½½ 1½ ½½ ½½ ½½ ½½ ½½ ½½ ½1 10 11 ½1 11 11 ½1 11 11 24.0/34
2   Stockfish 10 64    ½½ ** ½½ 01 ½½ 10 ½½ ½½ 1½ ½½ ½1 1½ ½1 11 ½1 11 11 11 23.5/34
3   Stockfish 9 64 0½ ½½ ** ½½ ½½ ½½ ½1 ½½ ½½ ½½ 1½ 01 1½ 11 11 11 ½1 11    22.5/3
4   Lc0 v0.20.1 32350 ½½ 10 ½½ ** 0½ ½½ ½½ ½½ 1½ 1½ 11 ½½ ½1 11 ½½ 11 ½1 ½1 22.0/34
5   Lc0 v0.20.1 32845 ½½ ½½ ½½ 1½ ** ½1 ½½ ½½ ½½ ½½ 0½ 1½ ½0 ½1 11 11 11 1½    21.5/34
6   Lc0 v0.20.1 11150 ½½ 01 ½½ ½½ ½0 ** ½½ ½1 ½1 0½ ½½ 1½ 1½ ½1 ½½ ½1 11 ½1    20.5/34 321.00
7   Lc0 v0.20.1 32877 ½½ ½½ ½0 ½½ ½½ ½½ ** ½½ ½½ ½½ 0½ 01 ½1 11 11 ½1 ½1 11    20.5/34 305.50
8   Lc0 v0.20.1 32856 ½½ ½½ ½½ ½½ ½½ ½0 ½½ ** ½½ ½½ 1½ ½½ ½1 1½ 1½ 11 11 0½ 20.0/34 314.50
9   Lc0 v0.20.1 32463 ½½ 0½ ½½ 0½ ½½ ½0 ½½ ½½ ** 01 ½½ ½½ 11 01 11 11 ½1 11 20.0/34 295.50
10 Komodo 12.1.1 64-bit ½0 ½½ ½½ 0½ ½½ 1½ ½½ ½½ 10 ** 10 ½0 ½1 11 ½1 ½½ 11 ½1 19.5/34
11 Stockfish 8 64 01 ½0 0½ 00 1½ ½½ 1½ 0½ ½½ 01 ** ½½ ½½ 1½ 11 11 ½½ 11 19.0/34
12 Komodo 12.3 64-bit 00 0½ 10 ½½ 0½ 0½ 10 ½½ ½½ ½1 ½½ ** 1½ ½1 ½½ ½½ 1½ 1½ 17.0/34
13 Fire 7.1 x64 ½0 ½0 0½ ½0 ½1 0½ ½0 ½0 00 ½0 ½½ 0½ ** ½1 1½ ½1 ½½ 1½    14.0/34
14 Booot 6.3.1_x64    00 00 00 00 ½0 ½0 00 0½ 10 00 0½ ½0 ½0 ** 11 01 ½½ 1½    9.5/34
15 Fritz 15 00 ½0 00 ½½ 00 ½½ 00 0½ 00 ½0 00 ½½ 0½ 00 ** 1½ ½1 ½½ 9.0/34
16 Fizbo 2    ½0 00 00 00 00 ½0 ½0 00 00 ½½ 00 ½½ ½0 10 0½ ** 01 11    8.5/34
17 Andscacs 0.94n 00 00 ½0 ½0 00 00 ½0 00 ½0 00 ½½ 0½ ½½ ½½ ½0 10 ** ½½    8.0/34
18 Deep HIARCS 14 WCSC   00 00 00 ½0 0½ ½0 00 1½ 00 ½0 00 0½ 0½ 0½ ½½ 00 ½½ ** 7.0/34

By Peter Martan Date 2019-02-01 12:34

Du machst dir eine Menge Arbeit, Reinhold, danke, auch wenn's natürlich für die einzelne Engine zu wenig Partien sind.

Realistisch (in Hinblick auf die Zukunft nämlich) finde ich auch, dass nicht nur eine NN- Engine gegen eine Menge A-B-Engines antritt, das wär' ja eigentlich auch nicht fair, und bei Leela ist jedes neue Netzwerk eigentlich eh so gut wie eine neue Engine.

Man wird sich in der Testarbeit etwas umgewöhnen müssen.

By Reinhold Stibi Date 2019-02-01 13:56

Peter, als Arbeit würde ich die testerei nicht empfingen; macht ja auch Spaß zwischendurch die Partien zu verfolgen

und ich wollte mir auch einen Überblick insgesamt verschaffen, da die Ranglistentester die Lc0s noch nicht oder sehr
wenig einbezogen haben.

Mein letztes Turnier von insgesamt 5 läuft noch und wird in ca. 2 Tagen fertig sein. Dort spielen 19 Engines davon
2 Lc0s mit insgesamt 380 Partien. Das besondere daran ist, das die älteren Engines wie Deep Junior 13 mit großem Hardwarevorteil
durch 12 CPUs spielen durften.

Durch die Turnierserie habe ich auch einen Überblick insgesamt bekommen.

Die neuesten Networks sind bisher von der Spielstärke rückläufig, vielleicht ist der Horizont von den 32er Nets bereits erreicht.
Das 40er Network ist bisher von der Spielstärke noch weit hinten. Abwarten was dieses noch bringt.