Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / SPCC: Leela Testruns nun mit Pondering
- - By Stefan Pohl Date 2018-08-26 15:57
Hallo,

das Ergebnis des letzten Leela-Testruns (Net 10860) ist online. Deutliche Regression...

https://www.sp-cc.de

Eigentlich wollte ich keine rc-Version von Leela benutzen, da man nicht weiß, ob diese schon stabil läuft. Aber mir wurde klar, daß es unter meinen speziellen Testbedingungen sinnvoll ist, mit pondering zu testen. In normalen Tests, wenn AB-Engines gegeneinander spielen und sich eine CPU teilen, ist pondering unsinnige Ressourcenvergeudung. Aber, da Leela ja primär die GPU des PCs nutzt und die Gegner-Engines bei mir im singlethread-Modus spielen, gewinnt man in diesem Szenario Computing-Power pro Zeiteinheit, wenn gepondert wird. Insofern probiere ich jetzt mal LC0 v0.17.0-rc2 aus. Hoffentlich läuft sie stabil. Mit Net 11120.
Ich mußte Ethereal aus dem Gegner-Pool herausnehmen, da Version 10.55 nicht pondern kann und Version 10.88 noch kein Rating in der CEGT (40Z/20min)-Rangliste hat. Dafür habe ich Laser 1.6 hineingenommen, was den Gegner Elo-Schnitt geringfügig senkt (von 3208 auf 3201).
Parent - - By Reinhold Stibi Date 2018-08-26 16:29
Hallo Stefan,

herzlichen Dank für deinen aufschlussreichen letzten Test mit Lc0 v0.16.0.

Bei mir läuft Lc0 v0.17.0 ganz stabil.
Beim downloaden konnte ich Lc0 nicht starten. Ladefehleranzeige mit Fritz 15.

Ich tauschte dann aber einfach bei Lc0 v0.16.0 die exe Datei (alte gegen neue) und die .pb Datei
und ich hatte eine lauffähige Lc0 v0.17.0 Version. Die .dll Dateien sind ja gleich geblieben.

In deinem Test hast du einen Rückschritt von 50 Elo, besonders zurückzuführen auf Partien gegen Fritz 9
mit -190 Elo.

Mit Meiner GTX 960  mit Lc0 0.17.0  gegen Stockfish 01.08.18 Costalba  52 Partien  nur 103 Elo für Stockfish.
Beim 2en Testdurchgang nach 14 Partien  191 Elo für Stockfish. Aber nach 32 Partien nur noch 137 Elo für Stockfish.

Networks 11 112  hat 4683 Elo. Network 11045 vom 24.08.18 hat aber 4780 Elo.
Wäre da es nicht besser Network 11045 zu nehmen ?
Parent - - By Stefan Pohl Date 2018-08-26 17:00
Reinhold Stibi schrieb:

Hallo Stefan,

herzlichen Dank für deinen aufschlussreichen letzten Test mit Lc0 v0.16.0.

Bei mir läuft Lc0 v0.17.0 ganz stabil.
Beim downloaden konnte ich Lc0 nicht starten. Ladefehleranzeige mit Fritz 15.

Ich tauschte dann aber einfach bei Lc0 v0.16.0 die exe Datei (alte gegen neue) und die .pb Datei
und ich hatte eine lauffähige Lc0 v0.17.0 Version. Die .dll Dateien sind ja gleich geblieben.


Nein, sind sie nicht

Reinhold Stibi schrieb:

In deinem Test hast du einen Rückschritt von 50 Elo, besonders zurückzuführen auf Partien gegen Fritz 9
mit -190 Elo.


Fritz 9 ????

Reinhold Stibi schrieb:

Networks 11 112  hat 4683 Elo. Network 11045 vom 24.08.18 hat aber 4780 Elo.
Wäre da es nicht besser Network 11045 zu nehmen ?


Ich habe nach dem restart Net 11120 genommen. Dies ist aktuell und hat 4750 im selfplay.
Parent - By Reinhold Stibi Date 2018-08-26 17:14
Fritz 9 war ein Schreibfehler muss natürlich Stockfish 9 heißen.
Parent - - By Achim Müller Date 2018-08-26 20:50
Stefan Pohl schrieb:

Reinhold Stibi schrieb:

Die .dll Dateien sind ja gleich geblieben.

Nein, sind sie nicht


Sicher? Wir reden von cublas, cudart und cudnn? Die heißen zwar etwas anders in dem lc0-package, haben aber exakt die gleiche Größe wie die von Nvidia heruntergeladenen und aus CUDA-9.2.148 bzw. cudnn-9.2-windows10-x64-v7.2.1.38 extrahierten dlls. Oder meinst Du die dlls für die blas-Version?

Ciao

Achim
Parent - By Stefan Pohl Date 2018-08-27 05:25
Achim Müller schrieb:

Stefan Pohl schrieb:

Reinhold Stibi schrieb:

Die .dll Dateien sind ja gleich geblieben.

Nein, sind sie nicht


Sicher? Wir reden von cublas, cudart und cudnn? Die heißen zwar etwas anders in dem lc0-package, haben aber exakt die gleiche Größe wie die von Nvidia heruntergeladenen und aus CUDA-9.2.148 bzw. cudnn-9.2-windows10-x64-v7.2.1.38 extrahierten dlls. Oder meinst Du die dlls für die blas-Version?

Ciao

Achim


Ja. 2 der 3 Cuda 9.2 Dateien, die ich für lc0 v0.16.0 genutzt habe hatten nicht die gleiche Dateilänge.
Parent - - By Guenter Stertenbrink Date 2018-08-26 19:49 Upvotes 1
Grafikkarte zu heiss ?
Parent - By Reinhold Stibi Date 2018-08-26 21:15
Die MSI GTX 960 erzeugt wenig Wärme, hat eine super Kühlung und ist unhörbar.
Parent - - By Stefan Pohl Date 2018-08-27 05:27 Edited 2018-08-27 05:30
Tja. Das ging in die Hose mit dem pondering: lc0 hatte über Nacht einen timeloss (trotz Move Overhead von 800!) und Andscacs hatte eine Exception in einer Partie.
Also hab ich nun nochmal neu gestartet. Mit Net 11141 und ponder wieder aus. Mal sehen, ob die rc2-Leela wenigstens ohne pondering stabil läuft.
Parent - - By Guenter Stertenbrink Date 2018-08-27 09:50 Edited 2018-08-27 10:03
ich meine, kann es vielleicht sein, dass die Grafikkarte nicht mehr richtig funktioniert
(in Zusammenarbeit mit der neuen Software , irgendwelche Parameter , Zeitmanagement )
und dass dadurch die merkwuerdige Performance im letzten Testrun zustande kam ?

die {Intel... - Zeilen im Leela_all.pgn sehen normal aus

Code:


10555                       10860
------------------------------------------------
   4338,  2756               4278,  2572       White plies   
240609,   209             236755,   215       White kn/s
   2355,  4284               2691,  4418       Black plies   
    201,239472                198,238953       Black kn/s

LC0    :  16.0 plies , 1.3 kn/s            16.4 plies  , 1.3 kn/s
others :  26.9 plies , 1500 kn/s           27.2 plies  , 1487 kn/s

LC0 with white , LC0 with black



updated  eval-charts :  http://magictour.free.fr/LEELAG6.GIF

nichts spezifisches - 10860 war in allen Phasen schlechter als 10555

vielleicht kannst du mal einige Partien 10555 gegen 10860 spielen,
zu den Konditionen des letzten Testruns
z.B. 80 Partien fuer 95% errror level +-50 Elo
Parent - By Reinhold Stibi Date 2018-08-27 10:17
Habe heute nochmals Lc0 v.0.17.0 heruntergeladen und die .dll Dateien
verglichen mit Lc0 v.0.16.0. Sie sind in ihrer Datengröße total gleich.

Der Ladefehler von Lc0 v.0.17.0 kam daher weil die .pb-Datei fehlte.

Die Datei copying mit 35 KB ist wohl überflüssig.

Mit Fritz 14 GUI läuft Pondering bei mir problemlos.

Die .dll Dateien haben m.E. mit der Spielstärke nichts zu tun. Dafür ist die .exe Datei zuständig.

Bei mir lief Lco v.0.16.0   100%ig  und auch jetzt Lc0 v.017.0  ohne jeden Absturz.
Parent - - By Reinhold Stibi Date 2018-08-27 10:49
Habe Pondering wieder ausgeschaltet.
Lc0 verlor dauernd durch Zeitüberschreitung und spielte auch "Schnapszüge"
Parent - By Michael Scheidl Date 2018-08-27 20:20
Das deutet nicht auf große Programmierkompetenz hin. NNs sind für uns alle Neuland.
Up Topic Hauptforen / CSS-Forum / SPCC: Leela Testruns nun mit Pondering

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill