Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Lc0 mit Kiudee Setting haut rein
- - By Stefan Pohl Date 2020-01-20 12:06
Habe je 300 Partien mit lc0 default (Leelenstein 13 (20x256)) gegen lc0 kiudee LS13 und lc0 LS-binary (also die lc0.exe von Josh, die er auf seiner Patreonseite anbietet) spielen lassen
30''+300ms Bullet, 150 SALC Armageddon Vorgaben von meinen longtime-Tests. Hier das spektakuläre Ergebnis:

1 Lc0 0.23.2k LS 13 gegen Lc0 default LS13: 300 (+180,=  0,-120), 60.0 % (!!!)

2 Lc0 LSbin LS 13  gegen Lc0 default LS13: 300 (+103,=  0,-197), 34.3 %

Fazit:
Die LS-binary von Josh ist Schrott, aber das kiudee-Setting scorte 60% gegen lc0 default, das sind +70 Elo. Natürlich muß man bedenken, daß Armageddon (da es keine Remisen gibt) und auch Bullet-Speed das Ergebnis spreizen. Insofern sind die +70 Elo sicher etwas viel, aber um die +40-50 Elo sollten es realistisch durchaus sein. Das ist doch echt beeindruckend. Wurde Zeit, daß die fragwürdigen Parameter-DefaultSettings von lc0 endlich mal überarbeitet wurden. Aber das soviel dabei rumkommt, ist schon erstaunlich. Und kiudee scheint laut einiger Ergebnisse auf discord auch bei anderen Netzgrößen (T60 und 10x128) sehr gut zu funktionieren, diese Parameter scheinen also universell bei lc0 einsetzbar zu sein.

Hier noch mal die Kiudee Werte:

CPuct=2.147
Fpu=0.443
PolicyTemperature=1.607
CPuctBase=18368
CPuctFactor=2.815
Parent - - By Tom Paul Date 2020-01-20 12:09
Dann sind das jetzt die neuen default Settings oder nicht?
Parent - By Stefan Pohl Date 2020-01-20 12:30
Tom Paul schrieb:

Dann sind das jetzt die neuen default Settings oder nicht?


Für meine Tests sind sie es. Mehr kann ich nicht sagen. Keine Ahnung, ob das für neue Lc0-Releases dann als default übernommen wird.
Parent - - By Stefan Pohl Date 2020-01-20 15:12
https://www.twitch.tv/potato_chess

Dort läuft auch gerade ein Vergleichstest. Der default Testrun mit Net 62038 ist schon durch und der der Testrun mit Lc0 Kiudee 62038 ist schon recht weit fortgeschritten.
Lc0 default hatte als Endergebnis 114.5 aus 200 also 57.25%
Lc0 Kiduee steht momentan bei 101 aus 165 also 61.2% also ca. +30 Elo besser. Auch nicht schlecht.
Parent - - By Stefan Pohl Date 2020-01-20 15:52 Edited 2020-01-20 16:04
Hier noch ein Test von discord:

Code:

tc=1s+0.1s, RTX 2070
"bonus settings" cpuct=2.147, fpu=0.443, pst=1.607, cpuct-base=18368, cpuct-factor=2.815

   # PLAYER                        :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L
   1 lc0.net.58613.kiudee_bonus    :      86     10   836.5    1422  58.8     100  459  755  208
   2 lc0.net.58613.default         :      33      9   699.0    1422  49.2      55  320  758  344
   3 lc0.net.LD2.kiudee_bonus      :      32     10   696.5    1422  49.0     100  308  777  337
   4 lc0.net.LD2.default           :       0      9   612.0    1422  43.0     ---  240  744  438

Zwei kleine 10x128 Netze. Einmal +32 Elo (LD2), einmal +53 Elo (58613). Also im Schnitt +42 Elo.

Hier noch ein Test mit einem großen T60 Netz:
Gauntlet: J13B.2-188 vs lc0.net.62013 (default) / lc0.net.62013-tuned @kiudee
LC0-version: lc0-v0.23.2, Backend=cudnn-fp16
Hardware: RTX 2060
Software: Cutechess-CLI
Time control: 1k nodes/move
Book: openings-10ply-100k.pgn, 10 plies, sequential, color reversed

Code:

# PLAYER                 :  RATING  ERROR  POINTS  PLAYED    W    L    D  D(%)  CFS(%)
1 lc0.net.62013-tuned    :    28.4   23.2   108.0     200   51   35  114    57      97
2 J13B.2-188             :     0.0   14.6   192.5     400   74   89  237    59      54
3 lc0.net.62013          :    -1.8   24.4    99.5     200   38   39  123    62     ---


+27 Elo. Auch gut.
Parent - - By Stefan Pohl Date 2020-01-20 15:58 Edited 2020-01-20 16:00
Also summa summarum doch einige Testruns, die alle in die gleiche Richtung zeigen (und das mit verschiedenen Netzgrößen(!)): Das Kiudee Setting bringt ein meßbares Elo-Plus. Irgendwas um 30-40 Elo. Und das ist ja nicht so schlecht! (Für 30-40 Elo braucht man bei Stockfish 6-9 Monate Entwicklungszeit).
Parent - - By Tom Paul Date 2020-01-20 16:51
Stefan Pohl schrieb:

Also summa summarum doch einige Testruns, die alle in die gleiche Richtung zeigen (und das mit verschiedenen Netzgrößen(!)): Das Kiudee Setting bringt ein meßbares Elo-Plus. Irgendwas um 30-40 Elo. Und das ist ja nicht so schlecht! (Für 30-40 Elo braucht man bei Stockfish 6-9 Monate Entwicklungszeit).


Wenn das so stimmt, dann haben wir neue default Einstellungen, die beim Herunterladen auch so vorhanden sein sollten.
Parent - - By Eduard Nemeth Date 2020-01-20 17:02
Ich bin selbst auf der kleinen GTX 1050 Ti dazu übergegangen ziemlich mit den  Standard Einstellungen zu spielen. Bei längeren Analysen, also mindestens mehere Minuten lang, zeigte Lc0 ein imsgesamt besseres Verhalten bei meinen Teststellungen als mit jedem  anderen Setting. Das Einzigen was auf meiner GPU sich als gut erwies, war fpu value von 1.2 auf 1 herunterzusetzen und MaxPrefech von 32 auf 16. Alles andere erweist sich bei mir nun besser wenn nichts verändert wird. Ich will Lc0 nicht auf Bullet Stufen laufen lassen, auch später nicht mit einer RTX 2070. Ich habe meine Zweifel dass diese Settings dafür taugen.
Parent - - By Stefan Pohl Date 2020-01-20 18:04
Der Test bei potatochess auf twitch, den ich hier ja schon verlinkt habe, läuft mit 1'+2". Auf RTX Hardware, also ist das schon eine ganz ordentliche Bedenkzeit bzw. Menge an berechneten Stellungen. Und da sind es auch ca. +30 Elo mit Kiudee Setting.
Parent - - By Stefan Pohl Date 2020-01-20 19:10
Aber ich werde sicherheitshalber meinen nächsten longtime Testrun einmal mit default-Parametern und einmal mit Kiudee Parametern machen. Auch, wenn das dann insgesamt 12 Tage dauert. Aber ich muß prüfen, ob Kiudee auch bei langer Bedenkzeit funktioniert. Bevor ich Kiudee für meine Tests zum neuen default erkläre. Lieber auf Nummer Sicher gehen.
Parent - - By Eduard Nemeth Date 2020-01-20 19:14
Ja. Ich wollte gerade folgendes posten, da ich es in TXT Format habe, füge ich es ein:
Wenn du so überzeugt bist, dann spricht doch alles dafür, diese Settings auch auf deiner neuen Stufe zu testen, (8m+3s) oder?
Parent - By Eduard Nemeth Date 2020-01-20 21:06 Edited 2020-01-20 21:24
Im Analysemodus (5 Minuten) auf GTX 1050 Ti ist dieses Setting mit Sergio 256x20 1541 klar besser
(wie man sieht, habe ich nicht viel verstellt und auf einer RTX 2070 könnte minibatch-size 512 und max-prefetch 64 sogar besser sein):

Code:
--threads=2
--minibatch-size=256
--max-prefetch=16
--nncache=2000000
--cpuct=3.000000
--cpuct-factor=2.000000
--policy-softmax-temp=2.000000
--fpu-value=1.000000


Es gibt Stellungen wo das neue Setting Stellungen nicht in 5 minuten löst, das Setting oben findet sowas aber in 2 Minuten! Na ja, für Bullet könnte das Neue trotzdem besser geeignet sein.

Edit: Ich will auf InfinityChess mit RTX Karte sobald ich sie habe, 12+2 spielen (ist dort Turniermodus), und auf Schach.de 16+2 (ebenfalls Turniermodus). Dazu noch 16+0 und 60+15 im normalen Maschinenraum. Dafür müssen die Settings passen.
Parent - By Stefan Pohl Date 2020-01-21 08:27
Eduard Nemeth schrieb:

Ja. Ich wollte gerade folgendes posten, da ich es in TXT Format habe, füge ich es ein:
Wenn du so überzeugt bist, dann spricht doch alles dafür, diese Settings auch auf deiner neuen Stufe zu testen, (8m+3s) oder?


Genau das hab ich doch gerade geschrieben. Und die Stufe ist 8'+5''
Parent - - By Reinhold Stibi Date 2020-01-20 19:14
Test  Stockfish 11 Contempt 0  X5690 24 Threads in der Grundstellung ca. 20.000 Kn/s   gegen  Lc0 Leelenstein 13 mit Kiudee-Setting  RTX 2070

Stefan Pohl 4 Züge Eröffnungsvorgabe    1 Min. + 1 Sek. pro Zug

Nach nun 30 Partien   +4    = 23   -3   = 51,7 %   = +12 Elo für Stockfish 11.

Also guter Einstand von Stockfish 11 mit Contempt 0 .

Sollten die Kiudee-Settings bei Lc0 etwas bringen, wurde dies wieder bei Stockfish mit Contempt 0 wieder wettgemacht.

Bis jetzt auch genügend Gewinnpartien.

Test geht bis 200 Partien.

Mir scheint dass Stockfish 11 gut mit Lc0 Leelenstein 13 mithalten kann.

Gerade mit der 33. Partie wieder eine Gewinnpartie von Stockfish 11.
Nach Gewinnpartien schaut es gerade 5 : 3 für Stockfish aus.

Wenn das so weiter geht führt Stockfish am ende mit ca. 20 Elo.

Abwarten.
Parent - - By Eduard Nemeth Date 2020-01-20 19:34
Kannst du hier nochmal posten wie es gegen LS 13 mit Standard Settings ausgegangen ist?
Parent - By Reinhold Stibi Date 2020-01-20 20:15
Ja,

204 Partien  +23   = 160   - 21   = 50,5 %   = +3 Elo für Stockfish 11  gegen Lc0 Leelenstein 13
je mit Standard Settings (Lc0 natürlich mit fp16)

Gegen Lc0 kann ich gut mit Stockfish mit 24 Threads spielen lassen (davon sind 12 Threads mit Hyper-Threading)
weil wenn Lc0 rechnet die CPU von Stockfish fast nichts zu rechnet hat und damit den Computer entlastet.

Bei 2 Engines mit CPU-Rechnung muss ich je auf 12 CPUs zurückgehen um den Computer vor Überhitzung zu schützen
und für mich wegen der Lärmbelastung der Lüfter, da dann auf Hochtouren laufen würden

Mit 24 Threads dürfte auch die Leela Ratio auf 1.0 sein und damit ideale Hardwareausgeglichenheit gegeben sein.
Parent - - By Ernest Bonnem Date 2020-01-20 20:24
Stefan Pohl schrieb:


Lc0 Kiduee steht momentan bei 101 aus 165 also 61.2% also ca. +30 Elo besser.


+30 Elo ???
Oder ca. +78 Elo besser !
Parent - - By Tom Paul Date 2020-01-20 23:01
Das hört sich doch gut an.
Je mehr an den Parametern geschraubt wird, desto größer der ELO Gewinn.
Ich habe das jetzt auch mit etwas anderen Parametern probiert und komme auf 100 ELO .
Und morgen werden es ganz bestimmt noch viel mehr ELOs sein.
Parent - By Roland Riener Date 2020-01-20 23:34
Zitat:
Und morgen werden es ganz bestimmt noch viel mehr ELOs sein.

Heute back ich, morgen brau ich,
übermorgen hol ich der Königin ihr Kind;
ach, wie gut, dass niemand weiß,
dass ich Rumpelstilzchen heiß!
Parent - - By Andreas Strangmüller Date 2020-01-20 19:59
Hallo Stefan,

habe auch ein wenig mit dem Parameter PolicyTemperature experimentiert. 2.2 erschien mir zu hoch, empfohlen wurde ein niedrigerer Wert, z.B. von NN-Engine Tester "mwyoung" im Talkchess Forum.

In meinen Tests mit 60 Sek. + 0,6 Sek. hat nur die Veränderung eines Parameters, der PolicyTemperature=1.6 bei den 20x256er Netzen ca. 30 Elo gebracht!
Bin schon auf Deine Ergebnisse mit längerer Bedenkzeit gespannt.

Viele Grüße
Andreas
Parent - By Stefan Pohl Date 2020-01-21 08:31
Andreas Strangmüller schrieb:

Hallo Stefan,

habe auch ein wenig mit dem Parameter PolicyTemperature experimentiert. 2.2 erschien mir zu hoch, empfohlen wurde ein niedrigerer Wert, z.B. von NN-Engine Tester "mwyoung" im Talkchess Forum.

In meinen Tests mit 60 Sek. + 0,6 Sek. hat nur die Veränderung eines Parameters, der PolicyTemperature=1.6 bei den 20x256er Netzen ca. 30 Elo gebracht!
Bin schon auf Deine Ergebnisse mit längerer Bedenkzeit gespannt.

Viele Grüße
Andreas


Um schneller ein Resultat zu haben, wiederhole ich einen bereits abgeschlossenen Testrun, nämlich den mit Leelenstein 12.2 mit dem Kiudee Setting. Aber auch das dauert 6 Tage...

Der Testrun auf potatochess ist übrigens durch und dort (immerhin 1'+2'' mit RTX) konnte das Kiudee Setting +36 Elo besser scoren im Vergleich zum default Setting. Nicht übel. Und dort war es ein größeres T60 Netz, nämlich 62038.
Parent - - By Reinhold Stibi Date 2020-01-21 12:32
Der Beitrag gehört eigentlich in die Rubrik Märchen.

Münchhausen lässt grüßen.
Parent - - By Reinhold Stibi Date 2020-01-21 13:55
Mein Test  Stockfish 11  Contempt  0  X5690 24 Threads   gegen  Lc0 Leelenstein 13 mit Kindee-Setting  RTX 2070  ist nun zu ende.

Testbedingungen s. weiter oben.

204 Partien   + 22  = 160  -22    also totaler Gleichstand.

Die Ergebnisse vom Match  Stockfish 11 mit Grundeinstellungen  gegen Leelenstein 13 mit Grundeinstellungen sind fast gleich.

Evtl. haben sich die Vorzüge von SF Contempt  0   und  Leelenstein 13  mit Kindee Settings  kompensiert.
Parent - - By Stefan Pohl Date 2020-01-21 14:11
Reinhold Stibi schrieb:

Mein Test  Stockfish 11  Contempt  0  X5690 24 Threads   gegen  Lc0 Leelenstein 13 mit Kindee-Setting  RTX 2070  ist nun zu ende.

Testbedingungen s. weiter oben.

204 Partien   + 22  = 160  -22    also totaler Gleichstand.

Die Ergebnisse vom Match  Stockfish 11 mit Grundeinstellungen  gegen Leelenstein 13 mit Grundeinstellungen sind fast gleich.

Evtl. haben sich die Vorzüge von SF Contempt  0   und  Leelenstein 13  mit Kindee Settings  kompensiert.


Vielleicht hat die Parameterübergabe an lc0 auch nicht geklappt. Du nutzt doch die FritzGUI? Diese hat den üblen Bug (zumindest ab Fritz 16), daß, wenn man in einem Engine-Turnier in einer Engine die Parameter ändert, mit OK bestätigt und dann das Turnier startet, diese Änderungen nicht übernommen werden.
Abhilfe: Nachdem die Parameter geändert wurden, einfach eine beliebige, weitere Engine zum Turnier einladen, und dann das Turnier kurz starten. Dann werden die Parameteränderungen nämlich übernommen. Nun das Turnier abbrechen, die beliebige, hinzugeholte Engine einfach aus dem Turnier wieder löschen. Und dann das Turnier erneut starten. Dann klappts.
Parent - - By Eduard Nemeth Date 2020-01-21 17:01 Edited 2020-01-21 17:15
Wie hast du das herausgefunden, dass Settings nicht übernommen werden? Bisher ist Fritz 17 eine Enttäuschung, das Syzygy GUI Problem habe ich vorübergehend damit gelöst dass ich derzeit Nalimov 5 Steiner damit nutze (auf Schach.de gab es neulich in einem Turnier eine Syzygy Zugwiederholung mit nur 4 Steinen trotz Gewinnstellung). Ich dachte dass man wenigstens immerhin Engine Matches oder Turniere mit dieser GUI veranstalten kann, aber wenn nicht mal das richtig funktioniert! Die Engine ist nicht annähernd top und FF allenfalls Durchschnitt im Vergleich der NN Netze.
Parent - By Stefan Pohl Date 2020-01-21 19:24 Edited 2020-01-21 19:33
Eduard Nemeth schrieb:

Wie hast du das herausgefunden, dass Settings nicht übernommen werden? Bisher ist Fritz 17 eine Enttäuschung, das Syzygy GUI Problem habe ich vorübergehend damit gelöst dass ich derzeit Nalimov 5 Steiner damit nutze (auf Schach.de gab es neulich in einem Turnier eine Syzygy Zugwiederholung mit nur 4 Steinen trotz Gewinnstellung). Ich dachte dass man wenigstens immerhin Engine Matches oder Turniere mit dieser GUI veranstalten kann, aber wenn nicht mal das richtig funktioniert! Die Engine ist nicht annähernd top und FF allenfalls Durchschnitt im Vergleich der NN Netze.


Ist mir bei Fritz 16 öfter passiert. Hatte die alte TheKing Engine drin und extreme Settings eingestellt und das Teil spielte ganz normal... Daraufhin hab ich dann nachgesehen.
Wenn man das weiß, ist es ja kein großes Problem. Wie beschrieben, irgendeine Engine dazu einladen, die man gar nicht spielen lassen will. Dann werden auch geänderte Parameter ins Turnierfile geschrieben. Und dann die Engine wieder rauslöschen und gut ist.
Generell nehme ich jetzt für jedwede Tests und Turniere nur noch cutechess-cli, seit das Teil auch in Gauntlets Eröffnungen sequentiell abspielen kann, was erst seit Mitte letzten Jahres geht, denn das ist für mich essentiell. Die Bedienung über eine .bat-Datei mit langer, kryptischer Kommandozeile ist natürlich gewöhnungsbedürftig. Aber, wenn man sich daran gewöhnt hat, geht das alles. Denn man kann sich für Engines und auch für bestimmte Testsetups Textzeilen vorfertigen und dann im Editor einfach zusammensetzen.
Und cutechess-cli kann alles, was die FritzGUI auch kann (auch Beenden von Partien, wenn ein 5- oder 6-Steiner auf dem Brett ist, was die Sache erheblich beschleunigt) und man kann aber zusätzlich mehrere Partien gleichzeitig spielen (nur ohne Lc0-Beteiligung sinnvoll). Und die Partien werden auch mit allen Zuginfos (Rechentiefe, Zeit, Bewertung) gespeichert, wie eben in der FritzGUI auch.
Parent - - By Walter Knobloch Date 2020-01-21 16:30
wenn Kiudee seinen client zum verteilten Parameter-Tuning fertig hat, kann sich jeder von Euch daran beteiligen.
Das erste tuning wird wohl für T60 sein und könnte gut 50 "RTX-Tage" benötigen - je nachdem wieviele Knoten/Zug gewählt werden.
10kn/Zug wären gut.
Parent - - By Stefan Pohl Date 2020-01-21 19:35
Walter Knobloch schrieb:

wenn Kiudee seinen client zum verteilten Parameter-Tuning fertig hat, kann sich jeder von Euch daran beteiligen.
Das erste tuning wird wohl für T60 sein und könnte gut 50 "RTX-Tage" benötigen - je nachdem wieviele Knoten/Zug gewählt werden.
10kn/Zug wären gut.


Das klingt gut. Auch, wenn ich glaube, daß schon das jetzige Kiudee-Setting sehr stark ist und ich daher leise bezweifle, daß da noch viel geht. Aber generell kann weiteres Tuning nur gut sein.
Parent - - By Eduard Nemeth Date 2020-01-21 21:34 Upvotes 1
Lc0 fightet auf Chess.com mit diesen Settings gerade gegen Stockfish 11. Bullet 1+1. Leider steht nicht welches Netz spielt.

Das sieht so aus:
Event:
Ort:
Datum:

Weiss:
Schwarz:

Ergebnis
Board
Parent - By Eduard Nemeth Date 2020-01-21 21:47
Allerdings nutzt Lc0 nun 4 superschnelle GPUs, während Stockfish auf nur 45 Kernen läuft, und somit klar im Nachteil ist. Muss man so leider sagen!
Parent - By Clemens Keck Date 2020-01-21 22:58
Die Zeit pro Partie macht möglicher Weise viel aus.
Ich bin noch nicht mal zum setting testen gekommen.
Aber ein testrun SF 11 - SV1541 mit 3m +2s endete mit +14 ELO für SV1541.
Das rematch mit 10m +2s dauert noch mid. 1 Tag, aber derzeit hat SF 11 die Nase vorne.

C.K.
Up Topic Hauptforen / CSS-Forum / Lc0 mit Kiudee Setting haut rein

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill