Trainingsoptimierungen bei Lc0 T60 zahlen sich aus

By Max Siegfried Date 2021-03-12 19:32

Das wäre natürlich schön.
Kann jemand die Grafiken etwas näher erläutern?

By Lothar Jung Date 2021-03-12 21:54

Hier ist der umfassende Zusammenhang von Reinforcement Learning:

http://www.informatikseite.de/neuro/node66.php

Lothar

By Clemens Keck Date 2021-03-13 08:45 Upvotes 1

Moin moin

ich sehe keinerlei Fortschritt beim T60 Training, und das nun schon seit Monaten.
Und weil eben nichts bessers nachkommt, wird in den Turnieren fast immer mit J94-100 gespielt, die ist ebenfalls einige Monate alt
Im aktuellen cccc finale steht es nach 335 Spielen 191 zu 144 für Stockfish. Timer ist immerhin 15min+3sec.

Meine private Lc0-blunder Datei enthält derzeit 7 Spiele mit Lc0 Zügen die direkt eine Partie verlieren.
Alle Fehlzüge werden auch von den neusten Netzen gespielt, auch mit und ohne multigather oder sonstigen settings, oder mit starker GPU-Hardware.

C.K.

By Max Siegfried Date 2021-03-13 09:00 Upvotes 1

Clemens Keck schrieb:

Moin moin

ich sehe keinerlei Fortschritt beim T60 Training, und das nun schon seit Monaten.

Dann wäre es besser gewesen ein größeres Netz zu trainieren, welches natürlich mehr Zeit braucht um besser zu werden, aber die letzten Monate wären wenigstens sinnvoller genutzt worden.

By Lothar Jung Date 2021-03-13 11:17 Edited 2021-03-13 11:22

Moin, Moin

Ja, Clemens, bisher ist das so.

Aber, nach dem Austausch mit der neuen Trainings-GPU (V 100) mit 32GB RAM (anstatt 8) steigen die Testwerte für Policy und Evaluation Q deutlich.

Wir werden sehen.

PS: Vielleicht stellst deine Blunder-Datei bei Discord zur Verfügung.

Grüße

Lothar

By Max Siegfried Date 2021-03-13 12:23

Interessant das sich durch den vierfachen GPU RAM alles so deutlich steigert.
Ich hätte nicht gedacht das der GPU RAM so wichtig ist, auch wenn ich nicht wirklich verstehe warum der GPU RAM so einen starken Einfluss hat.

By Lothar Jung Date 2021-03-15 09:09 Edited 2021-03-15 09:22

Nvidia hat den Speicherzugriff auf GPUs beschleunigt:

https://www.theverge.com/2021/1/12/22226560/nvidia-resizable-bar-support-intel-amd-smart-access-memory-feature

Voraussetzung: AMD-Chipsatz der 400er-Serie, Ryzen 5000er-Prozessor, RTX-3000-Reihe oder RX 6800 XT

Artikel in c‘t 7/21 Seite 126/127

Lothar

By Lothar Jung Date 2021-03-15 09:12

Moin, Moin

Das sieht zumindest nicht schlecht aus:

**Match**: 67850 and J94-100 vs Stockfish-13 20T
**Hardware**: RTX 3080, i9-10900kf @ 3.7 Ghz
**Time control**: 5min + 3s
**Openings**: Morozevich selected games: 250 positions of 10 moves each
**Stockfish 13 bmi2**: threads=20, hash=4096
**Lc0 27.0**: cuda-fp16, nncache=10000000, threads=2, minibatch-size=112, multi-gather=false, max-collision-events=917, max-collision-visits=1000, max-out-of-order-evals-factor=2.4
**Benchmark** (15s starting position): SF-13 = 18 000 knps, Lc0-270-67850 = 25 000 nps.
**TBs and adj.**: syzygy 5-men, draw 5 moves 5cp move 50, resign (two-sided) 5 moves 500cp
**Comment**: Good performance by T60.
```# PLAYER    : RATING ERROR PLAYED (%)   CFS   W D   L   D(%)
1 stockfish-13-20T :   0.0   ----   1000 51.25   74 109 807 84 80.70
2 lc0-270-67850 : -4.3   13.0 500 49.40   84   42 410 48 82.00
3 lc0-270-J94-100 : -13.6   12.8 500 48.10 ---   42 397 61 79.40

White advantage = 47.64 +/- 4.87, Draw rate (equal opponents) = 85.57 % +/- 1.34

Engine    : Depth   MIDG   EARLY ENDG   LATE
lc0-270-67850 : 13.07 15.79 | 15.99 | 11.25 | 8.32
lc0-270-J94-100 : 13.28 15.66 | 15.49 | 11.77 | 9.01
stockfish-13-20T   : 44.84 39.31 | 39.91 | 46.91 | 57.13```

Lothar

By Lothar Jung Date 2021-03-15 14:31

Oder hier:

It's looking that possibly recent T60 nets are meaningfully exceeding j94-100. In a quick test, I found 68064 scores +17 Elo (+/- 14) @10k nodes/move

Lothar

By Lothar Jung Date 2021-03-15 15:53

Dieses Netz erreicht in der Stockfish Testsuite 122 Lösungen in 15 sec..
3 Lösungen mehr als J94-100 mit 119 Lösungen.

By Max Siegfried Date 2021-03-15 16:42

Solange der elo Zuwachs genauso anhält müssen wir uns keine Sorgen machen.
Das dürften aber weniger elo sein wenn deutlich mehr als 10k erreicht werden.

By Reinhold Stibi Date 2021-03-15 19:11 Edited 2021-03-15 19:20

Bei mir erreichte Lc0 v0.27.0 J94-100 mit RTX 2070 115 aus 238 = 48,3 % =2,65 s

Lc0 v0.27.0 67850 " 108 " = 45,3 % =2,30 also 7 Stellungen weniger

Das Netz 67856 vom 04.03.21 soll noch geringfügig besser sein als das Netz 67850 vom 28.02.21

Mal schauen wie da der Testdurchgang ausgeht.

Auch folgt ein Testdurchgang vom 68064 vom 15.03.21.

Danach ist Pause von Lc0, werde aber mit dem bestabschneidenden Netz noch auf Schach.de ca. 50 Partien spielen.

By Reinhold Stibi Date 2021-03-15 21:08

M.E. sind die Testergebnisse von Discord, wie so oft, nicht aussagekräftig.

Es ist keine Hardwareausgeglichenheit gegeben. Bei einer RTX 3080 müsste man Stockfish nicht 20 Threads
sondern 24 echte Kerne geben.

Bei meinen Tests mit 2 RTX 2070 (das entspricht einer RTX 3080) gebe ich Stockfish od. Abkömmlinge
24 Kerne.

Deshalb finde ich die Testergebnisse von Clemens und auch Meine viel aussagekräftiger. Eigene Test mit
ausgeglichener Hardware besagen eben mehr wie diese Fremdtests.

By Reinhold Stibi Date 2021-03-15 21:43 Edited 2021-03-15 21:59

Da bin ich jetzt echt überrascht.
Lc0 v0.27.0 68064 mit 2 RTX 2070 schaffte 116 aus 238 Stockfish Test-Suite 2021 15 Sek. = 48,7 % = 3,25 s

Damit spiele ich nun auf Schach.de ca. 50 Partien, bin gespannt wie sich Lc0 schlägt.

Bin der Einzige auf Schach.de der jetzt gerade mit Lc0 spielt.

By Reinhold Stibi Date 2021-03-15 22:40

Man glaubt es nicht; Lc0 wie oben hat gerade gegen Stockfish 13 gewonnen.
Unglaublich von Stockfish 13 - sein Läufer war doch Bauern total eingesperrt und Lc0 spielte praktisch mit einer
Figur mehr, aber die Bewertung von Stockfish stimmte nicht, wohl aber die von Lc0.

By Daniel Reist Date 2021-03-16 00:43

Ja zeige uns mal diese schöne Partie bitte.
Habe auch noch eine andere von dir mit Schwarz beobachtet,
wo du auch gegen Stockfish 13 gewonnen hast.

By Reinhold Stibi Date 2021-03-16 06:18 Edited 2021-03-16 06:55

Jetzt habe ich über Nacht im Autoplaymodus mit Lc0 v0.27.0 68064 mit 2 RTX 2070 56 Partien gespielt.
Bin mit einer Wertung von 2685 eingestiegen und mit einer Wertung von 2690 ausgestiegen.
Mein Fazit:
Von 56 Partien mit Lc0 54 Partien remis gespielt, 2 gewonnen und keine verloren.
Das ist ein sehr gutes Ergebnis. Mit Stockfish Ryzen 3970X hätte ich wahrscheinlich nicht besser
abgeschnitten.
Lc0 spielte mit dem Netz 68064 sehr sicher; keine taktischen Löcher und keine Endspielschwächen.
Also aus meiner Sicht schon ein Fortschritt zum J94-100 Netz. Dieses Netz hat doch ab-und-zu
gute Ergebnisse mit Verlustpartien wieder kaputt gemacht.
An Lothar meinen Dank für den Hinweis auf das sehr gute Netz von 68064.
Spiele mit diesem Netz jetzt weiter, bis ich die erste Partie verliere.

Nun die zwei Gewinnpartien:

[Event "Wertungspartie, 5 min"]
[Site "Maschinenraum"]
[Date "2021.03.15"]
[Round "?"]
[White "Ravnkel Saga, Stockfish 13"]
[Black "Hippo100, Lc0 v0.27.0 68064 "]
[Result "0-1"]
[ECO "C77"]
[WhiteElo "2694"]
[BlackElo "2688"]
[Annotator "0.00;0.07"]
[PlyCount "176"]
[EventDate "2021.03.15"]
[SourceTitle "playchess.com"]
[TimeControl "300"]

{Stockfish 13 (4 threads): 30.6 plies; 3.823kN/s Intel(R) Core(TM) i3-7100 CPU
@ 3.90GHz 3912MHz, (2 cores, 4 threads), LRT1.ctg, 32768 MB} 1. e4 {B 0} e5 {
B 0} 2. Nf3 {B 0} Nc6 {B 0} 3. Bb5 {B 0} Nf6 {B 0} 4. d3 {B 0} Bc5 {B 0} 5. Ba4
{B 0} a6 {B 0} 6. c3 {B 0} b5 {B 0} 7. Bb3 {B 0} d6 {B 0} 8. Bg5 {B 0} h6 {B 0}
9. Bh4 {B 0} Rb8 {0.07/10 12} 10. Nbd2 {B 0} Bb6 {0.06/11 4} 11. a4 {B 0} g5 {
0.03/11 7} 12. Bg3 {B 0} O-O {0.02/12 3} 13. O-O {B 0} Kg7 {0.02/12 3} 14. Re1
{B 0} Bg4 {0.01/11 4} 15. Nf1 {B 0} b4 {0.00/11 7} 16. Bc4 {B 0} Qc8 {-0.05/12
4} 17. Rc1 {B 0} Re8 {-0.06/12 5} 18. h3 {B 0} Bh5 {-0.05/12 2} 19. Bh2 {B 0}
Bg6 {-0.04/14 10} 20. Ng3 {0.00/29 15} bxc3 {-0.02/1 0} 21. bxc3 {0.00/25 5}
Na5 {-0.04/1 0} 22. Ba2 {B 0} Qd7 {-0.05/11 0} 23. Qc2 {B 0} c5 {-0.10/14 12}
24. Nd2 {B 0} d5 {-0.10/16 1} 25. Rcd1 {B 0} Bc7 {-0.09/15 3} 26. Nf3 {B 0}
Rbd8 {-0.12/15 10} 27. Nf1 {B 0} Nc6 {-0.12/16 0} 28. N1d2 {B 0} Bh5 {-0.15/14
4} 29. exd5 {B 0} Nxd5 {-0.11/14 9} 30. Qb2 {B 0} f5 {-0.24/15 7} 31. Bc4 {B 0}
Qc8 {-0.21/19 1} 32. Rb1 {B 0} f4 {-0.68/19 6} 33. Qb7 {B 0} Qxb7 {-0.67/17 0}
34. Rxb7 {B 0} Re7 {-0.67/19 0} 35. Ne4 {B 0} Bxf3 {-0.80/20 4} 36. gxf3 {B 0}
Nb6 {-0.85/19 0} 37. Nxc5 {B 0} Nxc4 {-0.84/19 1} 38. dxc4 {B 0} Kf7 {-0.87/17
0} 39. Kg2 {B 0} Ra8 {-0.77/18 5} 40. Rd1 {B 0} Nd8 {-0.74/17 3} 41. Rbb1 {B 0}
Ne6 {-0.69/18 3} 42. Ne4 {B 0} Rb8 {-0.67/17 4} 43. Rxb8 {B 0} Bxb8 {-0.94/17
13} 44. Rb1 {B 0} Bc7 {-0.95/19 0} 45. Rb7 {B 0} Bd8 {-0.98/13 2} 46. Rb8 {B 0}
Ra7 {-0.98/15 6} 47. Nd6+ {0.00/37 11} Kf8 {-1.04/17 4} 48. Bg1 {0.00/40 0} h5
{-1.05/16 0} 49. Ne4 {-0.16/37 49} Ke7 {-1.35/16 6} 50. Rb1 {0.00/31 4} h4 {
-1.31/18 4} 51. Rd1 {-0.16/36 7} Rb7 {-1.53/13 4} 52. Bh2 {0.00/37 10} Rb8 {
-1.63/14 2} 53. Kf1 {0.00/36 5} Bc7 {-1.50/18 0} 54. Bg1 {-0.40/34 22} Rb3 {
-1.54/17 4} 55. c5 {-0.54/31 2} Ra3 {-1.70/1 0} 56. c6 {-0.35/30 4} Nf8 {
-1.88/1 0} 57. Ke2 {-0.35/30 4} Rxa4 {-1.96/1 0} 58. Kd3 {-0.92/32 7} Ne6 {
-2.09/1 0} 59. Bh2 {-0.32/32 3} Kd8 {-2.27/1 0} 60. Kc2+ {-1.22/28 8} Kc8 {
-2.27/1 0} 61. Kb3 {-1.26/29 3} Ra5 {-2.23/1 0} 62. Kc4 {-0.86/29 4} Nd8 {
-2.30/1 0} 63. Nxg5 {-1.01/27 3} Nxc6 {-2.48/1 0} 64. Ne4 {-1.23/29 3} Bd8 {
-2.76/1 0} 65. Nd6+ {-1.00/29 3} Kb8 {-2.81/14 0} 66. Kb3 {-0.96/30 3} Be7 {
-3.43/12 4} 67. Nc4 {-1.22/26 2} Rc5 {-3.79/1 0} 68. Ra1 {-1.18/29 3} Kb7 {
-3.98/9 1} 69. Bg1 {-1.43/32 19} Bd8 {-4.48/9 0} 70. Nd6+ {-1.64/26 3} Kb6 {
-4.26/1 0} 71. Nc4+ {-1.71/29 9} Ka7 {-4.56/1 0} 72. Nd2 {-2.63/32 12} Na5+ {
-5.78/1 0} 73. Kc2 {-2.72/27 1} Nc4 {-6.13/1 0} 74. Ne4 {-3.00/30 3} Rd5 {
-6.87/1 0} 75. Ra4 {-2.88/27 1} Nb6 {-7.18/1 0} 76. Ra1 {-3.13/29 1} a5 {
-7.25/1 0} 77. Nd2 {-3.12/32 8} a4 {-11.66/1 0} 78. Bh2 {-3.33/28 3} Ka6 {
-10.11/1 0} 79. Rf1 {-3.37/30 2} a3 {-10.50/1 0} 80. Ra1 {-3.20/25 1} Be7 {
-11.05/1 0} 81. Rb1 {-3.28/30 4} Rb5 {-22.39/1 0} 82. Rxb5 {-5.14/28 7} Kxb5 {
-15.22/1 0} 83. Kb3 {-5.42/23 1} Nd7 {-15.98/1 0} 84. c4+ {-4.29/23 1} Kc6 {
-13.83/10 0} 85. Nb1 {-5.71/26 4} Nf8 {-16.71/1 0} 86. Nc3 {-6.54/25 2} Ne6 {
-32.12/1 0} 87. Ne2 {-7.29/27 3} Bd6 {-26.83/7 2} 88. Ka2 {-7.84/23 1} Nd4 {
-40.34/1 0 Ravnkel Saga,Stockfish 13 resigns} 0-1

35. Se4 ?
35. ..Lf3: !

Stockfish falsche Bewertung 32.Tb1 -0.25 in der Analyse
Lc0 richtige Bewertung 32...f4 -0.68

35.Se4 ?
35...Lf3: !

Sehr schöner Aufbau von Lc0.

Die 2. Gewinnpartie bringe ich später.

Reinhold

By Reinhold Stibi Date 2021-03-16 07:21 Edited 2021-03-16 07:34

Wow !,

gerade wieder eine Partie mit Lc0 gewonnen.

Auch wenn die Remisquote sehr hoch ist kann man sich doch auf dem Server über sehr schöne gehaltvolle
Gewinnpartien erfreuen.

By Reinhold Stibi Date 2021-03-23 09:54

Denke das für Lc0 0.27.0 das beste Netz 68064 ist und damit schon ein kleiner Fortschritt erreicht wurde.

Habe mit 2 RTX 2070 damit auf Schach.de über 50 Partien ohne Niederlage gespielt und 2707 Elo erreicht.

Lothar könnte mit seiner RTX 3080 und RTX 2080 im Verbund das Ergebnis sicher noch toppen.
Leider spielt er damit z.Zt. nicht auf Schach.de

Ceres braucht wahrscheinlich noch ca. 1/2 Jahr Entwicklungszeit.

3 unterschiedliche Grafikkarten im Verbund spielen auf Dauer wahrscheinlich nicht ganz stabil;
aber ich könnte mir vorstellen, dass Lc0 mit zwei RTX 3080er ganz oben mitspielen könnte.