T60 schon jetzt fast auf Augenhöhe

By Reinhold Stibi Date 2020-01-10 12:00

Hallo Lothar,

meine Tests sind wie immer bei RTX 2070 gegen Stockfish mit Xeon X5690 12 CPUs

mit einer Bedenkzeit von 1 Min. + 1 Sek. pro Zug mit Eröffnungsvorgabe 4 Züge von Stefan Pohl

bei meiner GTX 1050 Ti gegen Stockfish Ryzen 5 1 CPU
mit einer Bedenkzeit von 1 Min. + 3 Sek. pro Zug.

Grüße

Reinhold

By Lothar Jung Date 2020-01-10 21:26

T60 setzt mit - nicht aktuellen- T60 Net fast gleich:

**Match:** lc0.23.2.61850 vs Stockfish 10 4CPU - 100 rapid games
**LC0-version:** v23.2 cuda
**LC0-options:** --nncache=6000000 --max-collision-events=256 --minibatch-size=256 --cpuct=3.3 --cpuct-base=10000 --backend=multiplexing
**Time control:** 15min + 2s (CCRL 40/40)
**Hardware:** CPU i7-8700 4 cores vs 1070Ti GPU
**Book:** Custom short lines played from both sides ever test (!sheet4 for opening list)
**Tablebase:** 6 piece syzygy (DTZ + WDL) for both engines
**Software:** Arena
**Speed:** Leela ratio ~0.85; Lc0 npm~200K, SF npm~200M (based on 24x256 nets, T60 is slower)
**Context:** !sheet4 for test history
**Comment: First post-LR drop test; best T60 result yet**
**Comment2:** Leela strangely lost game 45 on time - does v23.2 have time mgmt bug?
```# PLAYER    : RATING ERROR POINTS PLAYED   (%) CFS(%) W D L D(%)
1 Stockfish_10_x64_bmi2 : 3466.0   ---- 50.5    100 51 58   14   73   13 73
2 lc0.23.2.61850    : 3462.5   35.8 49.5    100 50    ---   13   73   14 73```
```lc0.23.2.61850 - Stockfish_10_x64_bmi2 : 49.5/100 13-14-73 (=001==10===1=0=1=======0=1======1======10==1=======0==========0=1000=0=0=01=1============1==1=======) 50% -> 3463 ordo score (40/40 rating)```

By Stefan Pohl Date 2020-01-10 12:46

Reinhold Stibi schrieb:

Das 61er Net holt gegen neuen Stockfish kräftig auf nur noch ca. 20 Elo hinter Stockfish.

Lc0 v0.23.1 61879 2834 Net-Elo vom 08.01.20 mit RTX 2070 gegen Stockfish 10.12.19 12 CPUs

124 Partien +15 =87 -22 = 47,2 % = - 20 Elo.

Schätze dass in ca. 10 Tagen das 61er Net Gleichstand mit Stockfish erreichen kann und nach
ca. 1 Monat mit +20 Elo Stockfish überholen kann.

Leelenstein 12.2 oder das kommende Leelenstein 12.3 sowie das Sergio Net werden stärker sein.

Abwarten, ob sich das 61er Net weiter so schnell entwickeln kann oder wieder ein wochenlanger
Stillstand eintritt.

Abwarten. Ich habe den Test von Lc0 0.23.1 384x30-t40-1705 (S.Vieri) mit langer Bedenkzeit beendet. Ergebnis online. Ziemlich gutes Ergebnis, übrigens. Mit der langen Bedenkzeit legt das große Netz schon deutlich zu. Zeigt mir, daß es richtig war, das NN-Testen mit Bullettime nicht weiterzuführen und stattdessen auf eine eher "praxisnahe" Bedenkzeit umzuschwenken. Dank SALC-Armageddon Vorgaben gibt es ja keine Remis-Flut, sodaß die Ergebnisse sich nach 300 Partien schon halbwegs einpendeln. Statistische Wunder kann man natürlich nicht erwarten. Aber mehr geht bei 8'+5'' nicht. Dauert auch so schon 6 Tage.

Seit gestern läuft nun der Testrun von Netz 61894. In knapp 6 Tagen sehen wir dann, wie sich die t60-Netze mit langer Bedenkzeit gegen Stockfish so schlagen. Bzw. wie der Stand ist.

By Tom Paul Date 2020-01-10 13:53

Stefan Pohl schrieb:

Reinhold Stibi schrieb:

Schön wenn die Leute endlich auf mich hören

.
Ich habe schon immer gesagt das große Netze bei der Verwendung von besserer Hardware bzw. mehr Bedenkzeit viel deutlicher zulegen als kleinere Netze.
Deine Bedenkzeit und GPU kennen wir bereits.
Ich warte jetzt auf die 40x512 Netze die auf meiner Hardware deutlich mehr Sinn machen werden.