Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Leelenstein Net 12.1 Test läuft beeindruckend
- - By Stefan Pohl Date 2019-12-04 14:12 Edited 2019-12-04 15:02
Für zahlende Abonnenten bei Patreon gibt es seit kurzem ja das neue Leelenstein Netz 12.1. Das teste ich jetzt gerade (mit lc0 0.23.0, da Allie letzlich einfach meßbar schlechter spielt (mit allen Netzen) als lc0. Und auch gerne mal abschmiert). Und der Testrun sieht bisher richtig gut aus!
Nach gut 500 Partien ist der Erfolgsscore ca. 1% besser (+7 Elo) als das bisher bei mir stärkste Netz (Lc0 0.22.0 T40B.4-160). Es könnte also einen neuen Spitzenreiter geben. Aber muß natürlich nicht sein. Nur 580 Partien sind natürlich noch sehr wenig. Aber es wird spannend. Auch der Erfolgsscore gegen Stockfish 190622 ist nach allerdings nur 100 Partien sehr gut, nämlich bei 55%. Das ist weit besser, als alle anderen lc0/Netz-Kombinationen bisher bei mir (keines kam auch nur auf 51% gegen SF 190622). Auch das muß natürlich nicht so bleiben. Aber auf jeden Fall ein sehr interessantes Netz! In 5 Tagen sollte das Endergebnis vorliegen.

(Leelenstein-Netze enthalten ja alles mögliche: CCRL-Enginepartien, T30, T40-Partien. TB-rescoring wohl auch...)

https://www.patreon.com/jjosh/posts
Parent - - By Eduard Nemeth Date 2019-12-04 15:42
Beim CCC auf chess.com spielt gerade
20x256SE-jj-9-swa-30250000.pb.gz.
Welche LS Version ist das?
Parent - - By Volker Göbel Date 2019-12-04 16:02
Das ist LS 11.1
Parent - - By Eduard Nemeth Date 2019-12-09 23:58
Diese Version gibt es jetzt kostenlos zum Download, und sogar eine weitere, vermutlich eine Vorversion von 12.1.
Parent - - By Stefan Pohl Date 2019-12-10 08:11
Eduard Nemeth schrieb:

Diese Version gibt es jetzt kostenlos zum Download, und sogar eine weitere, vermutlich eine Vorversion von 12.1.


Stimmt doch gar nicht. Nur für Patreon, ist der Download offen. Wenn du dich auf der Patreon-Josh-Seite ausloggst, ist 12.1 zum Download nicht frei!
Parent - - By Eduard Nemeth Date 2019-12-10 08:22 Edited 2019-12-10 08:25
Also ich habe 11.1 heruntergeladen (20x256SE-jj-9-swa-30250000.pb.gz), und diese auch 20x256SE-jj-9-swa-32220000.pb.gz. Die letztere muss neuer sein als 11.1. Macht bei mir einen besseren Eindruck als 11.1
Parent - By Stefan Pohl Date 2019-12-10 09:15
Eduard Nemeth schrieb:

Also ich habe 11.1 heruntergeladen (20x256SE-jj-9-swa-30250000.pb.gz), und diese auch 20x256SE-jj-9-swa-32220000.pb.gz. Die letztere muss neuer sein als 11.1. Macht bei mir einen besseren Eindruck als 11.1


Aha. Ok. Neuer als 11.1, aber nicht 12.1. Das hab ich falsch gelesen, sorry. War wohl noch nicht ganz wach.
Parent - By Stefan Pohl Date 2019-12-04 19:31
Eduard Nemeth schrieb:

Beim CCC auf chess.com spielt gerade
20x256SE-jj-9-swa-30250000.pb.gz.
Welche LS Version ist das?


Also LS 12.1 ist: 20x256SE-jj-9-swa-35750000
Parent - - By Stefan Pohl Date 2019-12-05 14:44
Nach nun gut 1000 Partien noch ca. +5 Elo zu Lc0 0.22.0 T40B.4-160. Wird also recht knapp...auf jeden Fall wird es aber ein sehr gutes Ergebnis. Selbst wenn es schlußendlich eventuell knapp nicht zur Nummer 1 reichen sollte.
Parent - - By Reinhold Stibi Date 2019-12-05 15:36
Bei meinem Test  Lc0 v0.23.1 Leelenstein  12.1  RTX 2070   gegen  Stockfish  12.04.19 Nicolet  12 CPUs

hat nun nach 40 Partien Leelenstein 12.1 überraschend gut abgeschnitten  +8   = 28   -4    =  + 35 Elo. 

Mit meinen üblichen Testbedingungen.

Das Match geht weiter bis 200 Partien.

Bin gespannt ob Leelenstein 12.1 das Ergebnis halten kann.

Später folgt noch ein Test mit dem neuesten Stockfish.  Wahrscheinlich wird bald Stockfish 11
herauskommen.

Stockfish 11 wird wohl schwer zu schlagen sein. Ein Gleichstand wäre schon beeindruckend.

Mal abwarten ob sich Leelenstein 12.1 merklich verbessern kann. Beim 60er Net ist momentan ein Stillstand angetreten.
Parent - - By Eduard Nemeth Date 2019-12-05 18:44
Wie ist das mit den Settings? Übernimmt ihr einfach alles 1:1 zu Lc0?

Beim CCC Turnier 3. Runde, führt LS 11.1 Punktgleich mit Lc0.

Dort verwendet man folgende Settings, ich nehme an empfohlen von Jhorthos (allerdings für 3 GPUs):

CPuct
3.2
CPuctBase
2500
CPuctFactor
2.5
FpuValue
1.1
MaxCollisionEvents
256
MaxPrefetch
64
MinibatchSize
512
MoveOverheadMs
2000
NNCacheSize
20000000
PolicyTemperature
2.3
Ponder
false
SyzygyPath
/data/tmptablebases/tablebases
Threads
2
TradePenalty
0.003
TradePenalty2
26
WeightsFile
/data/engines/weights/20x256SE-jj-9-swa-30250000.pb.gz
Parent - - By Reinhold Stibi Date 2019-12-06 08:19
Bei meinen Test  Lc0 in der Grundeinstellung mit RTX 2070  fp16

Nun ist der Test Lc0 v0.23.1 Leelenstein 12.1  20 256  mit RTX 2070   gegen  Stockfish 12.04.19 Nicolet  X5690
                                                                                                                                 12 CPUs
je mit Stefan Pohl 4 Züge-Vorgabe Eröffnungen  mit wechselnden Farben  GUI Fritz 15

je mit 1 Min.  + 1 Sek.pro Zug     zu ende.

200 Partien  + 38   = 143   -19   = 54,8 %  = + 33 Elo  für Leelenstein 12.1

Ganz beachtliches Ergebnis mit dem  ich so nicht gerechnet hätte.

Stefan Pohl hat nach Zwischenergebnis nach 100 Partien eine Erfolgsquote gegen Stockfish von 55 %.
Die Ergebnisse liegen also ganz dicht beieinander mit nur 0,2 % Unterschied.

Nun erfolgt noch ein Test Leelenstein 12.1 gegen den besten und neuesten Stockfish.
                                                                +
Parent - By Tom Paul Date 2019-12-06 09:32
https://www.twitch.tv/navratil25
Leelenstein hat auch hier ein positives Ergebnis gegen Stockfish bei langer Bedenkzeit auf Monsterhardware.
Genauso wie das große Sergio Netz.
Parent - By Stefan Pohl Date 2019-12-09 13:30
Der Testrun ist nun durch:

https://www.sp-cc.de/lc0-testing.htm

Ganz knapp alles:

Code:

    Program                         Elo    +    -   Games   Score   Av.Op.  Draws

   1 Stockfish 190622 bmi2         : 3532    4    4 13500    64.1 %   3423   51.2 %
   2 Lc0 0.23.0 LS 12.1            : 3531    9    9  3000    68.2 %   3390   46.0 %
   3 Lc0 0.22.0 T40B.4-160         : 3529   10   10  3000    67.9 %   3390   47.0 %


Aber LS 12.1 hat das bisher beste Resultat gegen Stockfish erzielt (51.5%. Der Bestwert bis dato war 50.8%)

Code:

Lc0 0.23.0 LS 12.1          : 3531 3000 (+1357,=1379,-264), 68.2 %

Komodo 13.1 bmi2              : 500 (+204,=236,- 60), 64.4 %
Ethereal 11.53 pext           : 500 (+282,=198,- 20), 76.2 %
Stockfish 190622 bmi2         : 500 (+104,=307,- 89), 51.5 %
Xiphos 0.5.3 bmi2             : 500 (+265,=207,- 28), 73.7 %
Houdini 6 pext                : 500 (+210,=245,- 45), 66.5 %
Fire 7.1 popc                 : 500 (+292,=186,- 22), 77.0 %
Parent - - By Clemens Keck Date 2019-12-14 14:40
Hallo zusammen

wie kommt man denn an das weightfile 12.1 ran?
Ich habe versucht einen Patreon account zu erstellen, ich komme da aber nicht weiter.
Jetzt bekomme ich ständig mails von Patreon.

Ich teste so für mich die ganzen weightfiles durch, um ne gute Lc0 version am Start zu haben. Spiele ja fast täglich online.
Teste immer 300 Spiele 5m +3s ;ponder ON.
T40B.4-160 scheint mir immer noch erste Wahl.
FatFritz -13 Elo zu Stockfish dev
Leelenstein 11.1  0 Elo zu SF dev.
aktuell lasse ich sergio 1207 laufen (dauert fast 4 Tage)
dann nochmal T40.B4-160, habe vor kurzem die Testbedingungen geändert.
J13.B2-188 ist auch noch geplant.

C.K.
Parent - - By Clemens Keck Date 2019-12-14 15:40
ich habs geschafft
das war zu einfach ...

Clemens Keck schrieb:

Hallo zusammen

wie kommt man denn an das weightfile 12.1 ran?
Ich habe versucht einen Patreon account zu erstellen, ich komme da aber nicht weiter.
Jetzt bekomme ich ständig mails von Patreon.

Ich teste so für mich die ganzen weightfiles durch, um ne gute Lc0 version am Start zu haben. Spiele ja fast täglich online.
Teste immer 300 Spiele 5m +3s ;ponder ON.
T40B.4-160 scheint mir immer noch erste Wahl.
FatFritz -13 Elo zu Stockfish dev
Leelenstein 11.1  0 Elo zu SF dev.
aktuell lasse ich sergio 1207 laufen (dauert fast 4 Tage)
dann nochmal T40.B4-160, habe vor kurzem die Testbedingungen geändert.
J13.B2-188 ist auch noch geplant.

C.K.
Parent - - By Tom Paul Date 2019-12-20 12:01
Wie sieht dein Ergebnis mit dem Sergio Netz aus?
Parent - - By Clemens Keck Date 2019-12-20 12:46
Spiele mit F17 Buch 7 Züge tief.
SF nutzt 13 threads ~ 13.000kNs
NN engine RTX2060
Ponder ON, 5m+3s

Code:

   # PLAYER                          :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
   1 Lc0 v0.22.0-leele11.1           :       0     14   150.0     300  50.0      50   16  268   16  89.3
   2 Stockfish 031219 64 BMI2-T13    :       0   ----   456.5     900  50.7      63   62  789   49  87.7
   3 Lc0 v0.22.0-sergio1207          :      -2     13   149.0     300  49.7      86   15  268   17  89.3
   4 Fat Fritz                       :     -13     13   144.5     300  48.2     ---   18  253   29  84.3



aktuell läuft T40.B4-160

so richtig hat noch kein Lc0 "zugeschlagen"
Ich hoffe ich finde noch was.

C.K.
Parent - - By Tom Paul Date 2019-12-20 13:48
Clemens Keck schrieb:

Spiele mit F17 Buch 7 Züge tief.
SF nutzt 13 threads ~ 13.000kNs
NN engine RTX2060
Ponder ON, 5m+3s

Code:

   # PLAYER                          :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
   1 Lc0 v0.22.0-leele11.1           :       0     14   150.0     300  50.0      50   16  268   16  89.3
   2 Stockfish 031219 64 BMI2-T13    :       0   ----   456.5     900  50.7      63   62  789   49  87.7
   3 Lc0 v0.22.0-sergio1207          :      -2     13   149.0     300  49.7      86   15  268   17  89.3
   4 Fat Fritz                       :     -13     13   144.5     300  48.2     ---   18  253   29  84.3



aktuell läuft T40.B4-160

so richtig hat noch kein Lc0 "zugeschlagen"
Ich hoffe ich finde noch was.

C.K.


Ich glaube das wird so nichts, aber du könntest einfach mal den gleichen Test nochmal durchführen und die Bedenkzeit verdoppeln.
Siehe auch das Twitchturnier, Bedenkzeit und dazu die vorläufigen Ergebnisse.

Hmm demnach könnte Stockfish auf dem iPad Pro 2020 so stark sein wie LC0 auf einer (nicht mobilen) RTX 2070 GPU.
Parent - - By Clemens Keck Date 2019-12-21 11:32 Upvotes 1
Moin moin

für mich passt das so.
wenns für dich "so nichts wird" dann zieh weiter...

C.K.
Parent - By Reinhold Stibi Date 2019-12-21 14:35
Deine Ergebnisse sind plausibel.

Stockfish und Lc0 spielen auf gleichem Niveau.

Weder Stockfish noch Lc0 sind eindeutig besser.

Bedenkzeit und Eröffnungsbuch sind auch in Ordnung.

Wichtig sind die gleichen Voraussetzungen das beinhaltet auch dass
die gleiche Eröffnung einmal mit Schwarz und Weiß gespielt wird.
Up Topic Hauptforen / CSS-Forum / Leelenstein Net 12.1 Test läuft beeindruckend

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill