Lc0 T8 610 TCEC im Test und im Vergleich

By Clemens Keck Date 2019-05-16 16:20

Reinhold Stibi schrieb:

Nun ist mein Match Lc0 v0.21.2-rc1 T8 610 TCEC mit RTX 2070 gegen Stockfish 12.04.19 Costalba Xeon X5680 24 Threads je 3,33 GHz abgeschlossen.

Gespielt wurde mit 2 Min. + 5 Sek.je Zug mit Stefan Pohl 4 Züge-Vorgabe-Eröffnungen.

100 Partien +15 =73 -12 =51,5 % = +10 Elo

im Vergleich spielte ich Lc0 v0.21.2-rc1 42307 vom 10.05.19 mit RTX 2070 gegen Stockfish wie oben

interessanterweise und kurios kam genau das gleiche Ergebnis wie oben also 100 Partien mit +10 Elo für Lc0 heraus.

Lc0 TCEC RTX 2070 gegen Houdini 6.3 24 Threads 64 Partien +25 =37 -2 = 68,0 % = + 131 Elo !!

Ich musste die letzten Wochen mit Bedauern feststellen, das bei einem 100 Partien match - sogar bei gleichen 50 Vorgabestellungen,gleiche engines, gleiche engine settings, alles gleich - ein run mit 100 spielen sieht Lc0 mit 30 Elo vorne, der zweite run sieht Lc0 mit 10 Elo im Minus.
Ich verstehe, warum viele mit 1m+1s oder gar weniger testen, einfach um mehr Partien zusammen zu bekommen.
Bei 5m+3s dauert ne partie ca. 18 Minuten... jetzt hab ich schon auf 180 Partien pro match erhöht...immer noch zu wenig. Einmal hab ich schon 360 Spiele gemacht, das dauert über 4 Tage
In der Zeit gibt es 30 neue Lc0 weightfiles

Code:


   # PLAYER                          :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W     D    L  D(%)
   1 Lc0 v0.21.1-42000-x2GPU-mp      :      29     40    54.0     100  54.0      80   22    64   14  64.0
   2 Lc0 v0.21.1-T40.T8.610          :      10     19   185.0     360  51.4      67   67   236   57  65.6
   3 Lc0 v0.21.1-42176               :       2     29    90.5     180  50.3      55   29   123   28  68.3
   4 Stockfish 100419 64 BMI2-x12    :       0   ----  1050.0    2040  51.5      50  363  1374  303  67.4
   5 Lc0 v0.21.1-42000               :       0     28   100.0     200  50.0      61   29   142   29  71.0
   6 Lc0 v0.21.1-42070               :      -5     28    98.5     200  49.3      65   31   135   34  67.5
   7 Lc0 v0.21.1-41997               :     -15     39    48.0     100  48.0      55   16    64   20  64.0
   8 Lc0 v0.21.1-42107               :     -18     39    47.5     100  47.5      53   14    67   19  67.0
   9 Lc0 v0.21.1-42100               :     -20     28    94.5     200  47.3      59   23   143   34  71.5
  10 Lc0 v0.21.1-42029               :     -25     36    46.5     100  46.5      50   12    69   19  69.0
  11 Lc0 v0.21.1-41812               :     -25     37    46.5     100  46.5      56   16    61   23  61.0
  12 Lc0 v0.21.1-41965               :     -29     37    46.0     100  46.0      50   14    64   22  64.0
  13 Lc0 v0.21.1-42043               :     -29     37    46.0     100  46.0      66    8    76   16  76.0
  14 Lc0 v0.21.1-41889               :     -40     37    44.5     100  44.5      70   12    65   23  65.0
  15 Lc0 v0.21.1-41906               :     -55     39    42.5     100  42.5     ---   10    65   25  65.0

C.K.

By Reinhold Stibi Date 2019-05-16 16:30

Der Nachteil bei zu kurzen Bedenkzeiten ist, dass die Qualität der Spiele absinken kann und das Ergebnis
für die Spielstärke einer Engine verfälscht wird.
Damit kann der Vorteil von vielen Spielen für ein aussagekräftiges Ergebnis der Spielstärke zunichte gemacht werden.

By Guenter Stertenbrink Date 2019-05-16 17:53

die "devs" testeten jeweils ~10000 Partien

https://docs.google.com/spreadsheets/d/1XfVXmDx0eU_zT-kVCE-cyjABeumDq_AfoBgMZ2YTf5Y/edit#gid=1192931852

die sollten es doch wissen, welche Konditionen die besten sind.

Die erzielten Elos sehen vernuenftig aus und stimmen mit anderen Tests ganz gut ueberein.

By Reinhold Stibi Date 2019-05-16 16:20

Test Lc0 TCEC mit GTX 1050 Ti gegen Stockfish 12.04.19 Costalba 3 CPU

mit 1 Min.+9 Sek.pro Zug mit Stefan Pohl 4 Zügevorgabe

44 Partien +10 =31 -3 = 58,0 % = +56 Elo für Lc0

Lc0 TCEC mit GTX 1050 Ti gegen Fire 7.1 3 CPU

50 Partien +26 =24 -0 = 76,0 % = + 200 Elo für Lc0

Lc0 scheint mit schwächerer Hardware seinen jetzigen Softwarevorteil noch weiter auszubauen.

Das Lc0 nun bei TCEC nach 31.Partien 4 Punkte Vorsprung hat, verwundert mich doch.
Es bahnt sich ein klarer Sieg für Lc0 an.

Auch scheint mir dass Lc0 nun Platz 1 in der Rangliste erwerben kann.
Bis die Partien allerdings ausgespielt sind, wird es noch eine Weile dauern.

By Reinhold Stibi Date 2019-05-16 17:25 Upvotes 1

Ich spiele bewusst mit meiner RTX 2070 mi 2 Min. + 5 Sek. pro Zug

und bei der GTX 1050 Ti mit 1 Min.+ 9 Sek. pro Zug

damit die Partien im Endspiel nicht "verhuntzt" werden durch Zeitmangel von z.T. unter einer Sek. pro Zug.

Wenn ich ca. 3 Wochen zurückblicke hat inzwischen Lc0 bei allen Nets inzwischen einen Vorsprung vor Stockfish.
Bei keinem einzigen Match hatte Stockfish bei der direkten Begegnung einen Vorsprung.

By Stefan Pohl Date 2019-05-19 11:56 Edited 2019-05-19 12:04

Hab gerade meine Website aktualisiert, mit den Testruns von Komodo 13.01 und Lc0 Net 42350.

https://www.sp-cc.de

Hier ein spektakulärer Schwarzsieg von Lc0 - weil ich jetzt schon öfter mal gelesen hab, daß Lc0 nur mit Weiß gewinnen kann - gegen eine aktuelle Stockfish-Dev. Nach 32 gespielten Zügen (plus 4 Züge Vorgabe) gibt Stockfish auf (Bewertung 4 Züge lang schlechter als -7.00, also war die Stellung laut Stockfish schon nach nur 29 berechneten Zügen hoffungslos). Das sieht man nun wirklich nicht alle Tage. Kann auch auf meiner Website unter "View Lc0 Games" nachgespielt werden, mit Live-Analyse von Fritz (der bis kurz vor Schluß mal so gar nichts peilt...)(gleich die erste Lc0-Schwarzpartie). Und wir reden hier von ca. 5 Sekunden pro Zug Bedenkzeit bei vollem Brett und Stockfish läuft auf einem Hexacore-Prozessor (bei vollem Brett ca. 9-10 MN/s, also ca. 40-50 Millionen berechneter Knoten pro Brett-Zug)...

Event:

Ort:

Datum:

Weiss:

Schwarz:

Ergebnis

Board