Testergebnisse aktueller Lc0 Netze

By Lothar Jung Date 2024-11-21 08:27 Edited 2024-11-21 08:34 Upvotes 1

Das Netz Lc0 Bt4-4520 wird derzeit getestet, ist aber öffentlich noch nicht verfügbar.
Es scheint einen deutlichen Spielstärkeanstieg zu realisieren.

Hier das bisherige Zwischenergebnis:

https://cdn.discordapp.com/attachments/430695662108278784/1309046578077503559/bt4-4520_40g.png?ex=67402821&is=673ed6a1&hm=2bc1674201974b194f24fb4534d4911514c0d94f2b4a3d1de695a1f4ea90edc4&

Verfolgen kann man den Test hier:

https://www.twitch.tv/enginebattle

By Peter Martan Date 2024-11-21 11:16 Edited 2024-11-21 12:11

Lothar, da sind gerade mal 45 Partien von jedem der beiden Lc0- Netze gespielt, und jetzt schon, in der kurzen Zeit seit deinem Posting, ist der Abstand zu SF wieder etwas gewachsen und zwischen den beiden Netzversionen gesunken

By Lothar Jung Date 2024-11-21 13:44 Upvotes 1

Es geht mir im wesentlichen um das Verhältnis zwischen den beiden Lc0 Netzen.

By Peter Martan Date 2024-11-21 14:34 Edited 2024-11-21 14:42

Ja, aber gerade das kannst du mit je 100 Partien gegen einen dritten Gegner nicht bestimmen.
Momentan hast du 5-29-14 fürs ältere Netz und
7-30-12 fürs neuere an W-D-L- Resultaten.

Das wären relativ zu SF -36 und -66 Elo, und jeweils wieder zu SF eine error bar von ca. +- 60 in beiden Fällen.

By Lothar Jung Date 2024-11-21 14:56 Upvotes 1

Es macht keiner auf diesem Hardwareniveau so viele Partien, damit sie aus der Errorbar herausgehen.

By Peter Martan Date 2024-11-21 15:06 Edited 2024-11-21 15:09

Naja, dann ist aber das Ergebnis halt schiere Vermutung, deshalb wäre ja dafür (genug Partien) eine noch (die in diesem Match ist ja auch nicht gerade lang) etwas kürzere Hardware- TC zu empfehlen, wie sie z.B. auf SPCC üblich ist

Wenn sich das neue Netz wenigstens im Selfplay deutlich absetzt, wird's schon auf SPCC auch mal drankommen oder ich mach' ein paar Stellungstests, wenn's erst mal überhaupt veröffentlicht ist. So ein Live- Match dient primär der Unterhaltung, genau so wie auf TCEC und CCC, auf letzterem Server sind aber wenigstens auch die Partiezahlen etwas höher.

By Lothar Jung Date 2024-11-21 15:09 Upvotes 2

Sowohl die SPCC als auch Deine Rangliste sind für mich aus unterschiedlichen Gründen persönlich uninteressant.

By Peter Martan Date 2024-11-21 15:13 Upvotes 1

Lothar, was dich interessiert und was nicht, ist natürlich voll und ganz dir überlassen, ich erlaube mir, es mit meinen Interessen ähnlich zu halten.
Übrigens finde ich das Match, das du verlinkt hast, gar nicht uninteressant, man kann zuschauen und sieht, was Andere gerade so alles probieren, man muss ja nicht gleich wieder aus den Elo, die da raus kommen, die großen Schlüsse über den Fortschritt des Computerschachs schlechthin ziehen, schon gar nicht quantitativ

By Lothar Jung Date 2024-11-23 18:45 Upvotes 1

Hier das Endergebnis des Tests:

 BT4-4520 test result
```
   # PLAYER                   :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)  Wscore  Bscore   Pairs     Speed
   1 Stockfish 17             :      43     22   118.5     200  59.3      97   65  107   28  53.5      80    38.5    46-9  32.0Mnps
   2 Lc0-Bt4-4520             :      -2     36    43.5     100  43.5      87   16   55   29  55.0      32    11.5    5-18  22.0Knps
   3 Lc0-Bt4-6147500-it332    :     -42     36    38.0     100  38.0     ---   12   52   36  52.0    29.5     8.5    4-28  22.8Knps

White advantage = 0.00 +/- 0.00
Draw rate (equal opponents) = 55.84 % +/- 3.58

```
4520 comes out 40 elo better than 6147500-it332 at this tc (5 min + 5 sec)

NEXT TEST:
Same 2 nets v SF at SuFi  time control  (120 min + 12 sec) - so a **PRE-SuFi test**
<https://www.twitch.tv/enginebattle>