Lc0 nach langer Stagnation ist nun die Nr. 2 im Computerschach

By Klaus S. Date 2019-01-09 15:01

Was genau sind eigentlich LR-drops ?

Learn-Runs? Und warum drop?

Large Rumble ?!

By Guenter Stertenbrink Date 2019-01-09 15:27 Edited 2019-01-09 15:45

learning rate drops. Ein Parameter der runtergesetzt wird fuer "Feineres Detail-Lernen"

ich versuch mal nen link zu finden

hier noch ein paar weite infos :

the devs don't think an extra week of training is going to make test30 stronger than SF.
test30 did recieve its 3rd LR drop before Christmas, they just didn't put it on the graph.
. Now, they might do one more LR drop with it, and it is still progressing, but clearly
it will not reach SF11dev level
No, T30 has only had 2 LR drops up till now
Apparently there will be a TCEC Cup so the Superfinal will be multiple weeks away!
Anton Mihailov confirming the Cup

------------------------------------------------------------------

http://blog.datumbox.com/tuning-the-learning-rate-in-gradient-descent/

stell dir vor, du versuchst, den hoechsten (Spielstaerke-)Gipfel zu finden in einer Gebigslandschaft.
Zunaechst gehst du mit 7meilenstiefeln umher um zu sehen wie gross das Gebirge ist
und wo die hoechsten Auslaeufer sind.
Dann nimmst du etwas kleinere Stiefel und versuchst im hoechsten gefundenen Auslaeufer
den hoechsten Berg zu finden.
Und schliesslich versucht du mit noch kleineren Stiefeln den Gipfel zu finden.
Sind die Stiefel zu gross magst du am naechsten Berg landen,
Sind sie zu klein dann dauert das zu lange und du bleibst
womoeglich an einem lokalen, kleineren Gipfel haengen.

By Klaus S. Date 2019-01-09 18:20

Danke Günter.

By Guenter Stertenbrink Date 2019-01-21 10:43 Edited 2019-01-21 10:55

Lc0-11285 rueckt vor auf Platz 685 in der CCRL40/40 Ratingliste mit 2874 Elo (1CPU)
rechne ich 80 dazu fuer 4CPU, so komme ich auf Platz 526

die alte Liste von mtgostark scheint tod zu sein
https://docs.google.com/spreadsheets/d/1XSJiCcQpCLv0fNwrUn7jXjdkZFU63YFEWpdXv6dSSg0/edit#gid=868347223

Elo(40327)=3010
Elo(32635)=3410
https://docs.google.com/spreadsheets/d/1XSJiCcQpCLv0fNwrUn7jXjdkZFU63YFEWpdXv6dSSg0/edit#gid=312836954

LR-drop ab 32717

By Guenter Stertenbrink Date 2019-01-25 15:25

hier noch ein link mit Tests :

https://docs.google.com/spreadsheets/d/19UL5a9I3M_TjIYwTpJQKdCi2RJHpxDD9YHnRogrwTnc/edit#gid=826157939

+15 seit 32742

By Guenter Stertenbrink Date 2019-01-31 12:13

https://docs.google.com/spreadsheets/d/1XSJiCcQpCLv0fNwrUn7jXjdkZFU63YFEWpdXv6dSSg0/edit#gid=312836954

3435,32910
3435,32876
3417,32848
3388,32742
3410,32635
3383,32595
3439,32585
----------------
3415,(1050 Partien )

By Guenter Stertenbrink Date 2019-02-02 06:47

32890 schlaegt 32987 um 16Elo :
8885 2 32890 32987 test +79 -31 =906 16.4 ±7.0 true 2019-02-01 23:59:37 +00:00

sieht so aus, als wuerde man sicht auf Netz40 konzentrieren und
Netz32 ist schon mehr oder weniger aufgegeben ?!

By Reinhold Stibi Date 2019-02-02 12:03

Manche neuesten 32 Nets waren enttäuschend.

Net 32985 ist aber sehr gut.

Mit GTX 1050 Ti gegen Stockfish 10 3 CPU Xeon E5345 2 Min.+ 6 Sek.Zug mit Stefan Pohl 4 Züge Vorgabe

58 Partien +10 =35 -13 = 47,4 % = -18 bedeutet praktisch Gleichstand mit Stockfish 10

By Reinhold Stibi Date 2019-02-02 14:57

Net 32890 mit GTX 960 sonst wie oben,

12 Partien + 0 =7 - 5 = - 154 Elo gegen Stockfish 10

Test abgebrochen wegen Erfolgslosigkeit.

By Guenter Stertenbrink Date 2019-02-03 09:23

Net 32930 has been chosen for the Superfinal.
Test 40 is evolving fast.

thread , 30 is dead :
https://groups.google.com/forum/#!topic/lczero/Yu9bhlyno90

moeglich dass die Spitze der NNs nun schon erreicht ist.
Geschwindigkeitsverbesserungen der Lernphase
scheinen mir aber noch wahrscheinlich

By Benno Hartwig Date 2019-03-28 05:51 Edited 2019-03-28 05:54

Thanx!
Was ist eigentlich gemeint mit:
- Stockfish 11-dev (TCEC Est)
- AlphaZero (Paper Est)
- Stockfish 8 (Paper Est)

"Est"? Womöglich sowas wie "estimate" = "Schätzung"???
"Paper"? Sowas wie "nach Papierlage"???

Benno

By Guenter Stertenbrink Date 2019-03-28 06:07 Edited 2019-03-28 06:09

ja, Schaetzung

paper = vermutlich Bedingungen wie im a0-paper https://arxiv.org/abs/1712.01815

also grosser Hardware-Vorteil gegenueber den normalen
mtgostark-Konditionen

By Peter Martan Date 2019-03-28 08:13

Guenter Stertenbrink schrieb:

ja, Schaetzung

By Kurt Utzinger Date 2019-03-28 18:04

Guenter Stertenbrink schrieb:

++3505,LeelaFish
3458,41700
3443,41650
..3435, 32335
3432,41450
..3430, 32930
3428,41400
3428,41500
++3418,AntiFish
....3411, 11258
3408,41600
3399,41550

Durchschnitt der 7 letzten Versionen : = 3428 (>1000 Partien , CCRL) , Leela-Ratio=0.58 , 4 kn/s

<a class='ura' href='https://docs.google.com/spreadsheets/d/1XSJiCcQpCLv0fNwrUn7jXjdkZFU63YFEWpdXv6dSSg0/edit#gid=312836954'>https://docs.google.com/spreadsheets/d/1XSJiCcQpCLv0fNwrUn7jXjdkZFU63YFEWpdXv6dSSg0/edit#gid=312836954</a>

zum Vergleich : vor 3 Monaten :
Durchschnitt der letzten fuenf 3er = 3407 (32200-32290)
Durchschnitt der letzten fuenf 1er = 3395 (11248-11258)

Hallo Guenter
Bei diesem Projekt habe ich langsam den Überblick verloren, da ich mich schon längere Zeit
nicht mehr damit befasst habe. Was ist denn Leelafish ID 32585v0.7 für eine Version? Hat
das mit der ursprünglichen Leela-Version noch etwas zu tun?
Gruss
Kurt

By Stefan Pohl Date 2019-03-28 19:04

Ja schon, aber bei Leelafish gibt es die Möglichkeit, eine klassische AB-Engine parallel mitlaufen zu lassen, welche ihre Meinung dann direkt in die Beurteilungen des NN-Nets einer Stellung einfliessen läßt, also eine echte Hybridlösung.

https://github.com/killerducky/lc0/wiki/LeelaFish

By Reinhold Stibi Date 2019-04-02 09:10

Das sehe ich positiver.

Im 40er Net hat schon eine Weiterentwicklung gegenüber dem 32er Net stattgefunden und das 11er Net ist abgehängt.

Nach eigenen Tests hat das 40er Net ca. 50 Elo zugelegt und liegt nun gleichauf mit Stockfish 10.

Allerdings gilt das nicht für alle 40er Nets, auch nicht z.B. für das Netr 41786 vom 30.03.19 das ca. 50 Elo wieder schwächer ist
als Stockfish 10.

Test mit Net 41680 mit GTX 1050 Ti gegen Stockfish 10 3 CPU Xeon E5345

86 Partien +14 = 59 -13 =50,6 % =+4 Elo für Lc0. Das ist doch ein prima Ergebnis für Lc0.

Auch taktisch überzeugt dieses Net. Eigenmann-Test 66 aus 111.

By Guenter Stertenbrink Date 2019-04-02 09:36 Edited 2019-04-02 09:38

meinst du nicht, dass die Schwankungen zufaellig sind ?

durchschnittliche Abweichung bei 86 Partien ~16Elo

immerhin scheint es uebereinzustimmen mit mtgostark, wo 41650 und 41700 die Spitze bilden (je 150 Partien)

By Wolfgang Battig Date 2019-04-02 12:29

Zitat:

durchschnittliche Abweichung bei 86 Partien ~16Elo

Woher hast Du diese Weisheit? Chinesicher Glückskeks?

ELOStat 1.3 (alt, aber immer noch gut nutzbar) sagt da was ganz anderes.
Bei Eingabe einer "single competition", also eines Wettkampfs wie dem von Reinhold und mit den Zahlen von Reinhold (+14/=59/-13) ermittelt es eine Intervall von +/- 41 (mit 95%iger "Sicherheit").

Ich habe in unseren Ranglisten mal nach Engines mit sehr wenig Partien gesucht (Auswertung mit ORDO statt ELOStat):

652 Toga II 1.4.6 JD 2CPU 2710 52 52 100 56.5% (Engine hat 100 Partien verteilt auf zwei Wettkämpfe à 50, Intervall +/- 52!!)

707 Fruit 2.4 Beta B x64 2CPU 2690 82 82 50 27.0% (50 Partien aus einem Wettkampf)

875 Loop 13.6 w32 2CPU 2626 57 57 84 54.2% (84 Partien verteilt auf viele Minimatches, vermutlich aus einem Turnier)

By Guenter Stertenbrink Date 2019-04-02 13:18

die 16 aus Monte Carlo.
95% ist ziemlich viel. Elozahl ist ja kein Arzneimittel

By Peter Martan Date 2019-04-02 13:25 Edited 2019-04-02 13:30

Guenter Stertenbrink schrieb:

95% ist ziemlich viel. Elozahl ist ja kein Arzneimittel

Eine Signifikanz von 95% ist ein Standardwert für statistische Verlässlichkeit, nur deshalb versucht man bei pharmakologischen Untersuchungen auch, wenigstens das zu erreichen.
Hast du eine Idee, was diese wenigstens 95% bei klinischen Studien kosten?

Du kannst daraus ableiten, dass man sich mit weniger einfach nicht zufrieden geben sollten, wenn man mit Statistikern überhaupt über Ergebnisse reden wollte, will man ja aber eben im Computerschach, wo's sehr viel weniger drauf ankäme, eh nicht wirklich, weil sonst müsste man sich auch über Merkmalsdifferenzen unterhalten und über Studiendesigns, ganz zu schweigen über Formeln, die zu beidem passen.

Und über die Eloformel lachen sich die sowieso als erstes einen Ast, wenn du in Wirklichkeit nichts anderes damit tust, als Punkte zählen und die Intransitivität deines Rankings (die auszugleichen, wäre der Sinn der Eloformel bei wenig Einzelpartien mit wenig direkten Begegnungen sehr verschieden in der einzelnen Partie performender Spieler) sowieso absolut nicht in die Statistik eingeht.

By Tom Paul Date 2019-04-02 09:22

Guenter Stertenbrink schrieb:

41725 hat nur 3418 und 41750 hat 3430. Damit sinkt der Durchschnitt der
letzten 9 auf 3427 und es sieht eher nach Zufallsschwankungen aus
denn nach Fortschritt. Es erinnert an den Enthusiasmus der 3-er Serie, (32253)
als dieser Thread gestartet wurde vor 4 Monaten. Es kamen noch etwa 10 Elo dazu,
dann war Schluss mit der 3-er .

11258,3420
32930,3430
41750,3430

ist das das Ende der Fahnenstange ?
Na gut, mit Hybrid etwa 40 Elo mehr.

Und was soll daran das Besondere sein?

Die Spielstärke ergibt sich nun mal fast ausschließlich aus der Größe(Potential) des Netzwerks!!!

Die Entwickler haben Angst vor einem größeren Netzwerk, weil es zu langsam sein könnte für schwache GPUs.
1.Genauso wie sie damals Angst hatten das die 30er Netzwerke niemals besser sein werden als die 10er.
2.Das man auf Dauer an einer RTX GPU nicht vorbei kommt, wurde schon ausführlich erläutert. Wer sich trotzdem eine schwache GPU gekauft hat, wird halt keine ELO-Steigerung durch ein größeres Netz erhalten.

Es ist dringend Zeit für ein 40 x 512 Netzwerk, dann spielt LC0 auf meiner RTX 2080 Ti mit Abstand vorne mit.

By Guenter Stertenbrink Date 2019-04-02 09:42 Edited 2019-04-02 09:48

oder die Bedenkzeit der Trainingspartien erhoehen ?!?

das 50er -auf schwacher hardware- soll ja so gut im Blitzen sein

https://groups.google.com/forum/#!topic/lczero/uPjN857lsjA

By Reinhold Stibi Date 2019-04-02 10:12 Edited 2019-04-02 10:14

Ich verlasse mich lieber auf eigene Tests als von außen, die ich nicht nachprüfen kann.

Klar, je mehr Partien gespielt werden um so geringer sind die Schwankungen.

Aber 86 Partien gegen eine Engine sind schon sehr viel und eine Schwankung von 16 Elo ist recht wenig.

Bei 20 Elo ist der Spielstärkeunterschied recht gering, da kann man kaum von schlechter oder besser reden.

Wenn ich aktuell bei Lc0 sein will kann ich keine 200 Partien gegen eine Engine spielen, denn wenn das Match zu
Ende ist, wäre das Ergebnis von Lc0 überholt.

Längere Bedenkzeiten finde ich bei der heutigen Spitzentechnik nicht angebracht, wäre aber wahrscheinlich von
Vorteil für Lc0.

Habe nachgeschaut, auch das Net 41711 ist sehr gut.

100 Partien +18 =67 -15 = 51,5 % = + 10 Elo für Lc0 gegen Stockfish 10 und das mit meiner GTX 1050 Ti .

Also mehrere 40er Nets haben bei meinen Tests gegen Stockfish 10 gleichgezogen.

Auffallend ist, dass sich die taktische Schwäche und die Endspielschwäche von Lc0 wesentlich verbessert haben
und kaum noch bemerkbar sind

Gerade kam mit DHL meine neue MSI Gaming Z RTX 2070.

Bin schon sehr gespannt was die bringt.

By Lothar Jung Date 2019-04-02 10:34

Glückwunsch Reinhold
zur RTX 2070, bin auf Deine Tests sehr gespannt!
Grüße
Lothar

By Stefan Pohl Date 2019-04-02 11:23

Vor allem muß man lc0 für die RTX Karten richtig konfigurieren, da reicht nicht nur Umstellen auf fp-16 (was natürlich Pflicht ist)

Andreas hat eine gute Konfiguration hier schon gepostet:
backend=cudnn-fp16, NNCacheSize=20000000, MiniBatchSize=1024, MaxCollisionsEvents=1024, Threads=4

Insbesondere der NNCacheSize ist wichtig, da das sozusagen die Hashtables von lc0 sind. Hash per GUI zuzuweisen ist - wie schon mal erwähnt - sinnlos, da lc0 das Kommando Hash nicht kennt.

By Tom Paul Date 2019-04-02 12:28

Stefan Pohl schrieb:

Was halten die LC0 Entwickler von dieser Ansicht???

Müsste nicht so etwas automatisch eingestellt werden, wenn dies wirklich so gut ist?

Gibt es nicht auch Nacheile bei unterschiedlicher Bedenkzeit also auch ELO Verluste?

By Clemens Keck Date 2019-04-02 17:05

nps ist nicht alles bei Lc0.
Im ccc forum wurde ausdrücklich davon abgeraten Parameter wie zB . minibatchsize zu verändern, da sie direkt in die Suche der engine eingreifen und diese nachteilig verändern können.

C.K.

Stefan Pohl schrieb:

By Tom Paul Date 2019-04-02 21:04

Clemens Keck schrieb:

Stefan Pohl schrieb:

Das haben die meisten Leute leider noch nicht begriffen.
Deshalb der Spuk mit: Ein 40 x 512 Netzwerk lässt die NPS in den Keller fallen und die Engine wird super schwach werden.
Die Entwicklung geht nicht annähernd so schnell vorwärts wie es möglich wäre ohne großartig etwas verändern zu müssen.

By Florian Wieting Date 2019-04-02 23:41

Oh, Brian,

gib uns deine Werte, die besten Werte, die Erleuchtung aller Werte.

(sehr frei nach Monty Python)

By Wolfgang Battig Date 2019-04-02 12:31

Zitat:

und eine Schwankung von 16 Elo ist recht wenig.

Wenn es denn stimmen würde...