Tuniere Lc0 0.29 dev./Netz 78 gegen SF 14.1

By Peter Martan Date 2022-01-15 13:10 Edited 2022-01-15 13:15

Lothar Jung schrieb:

Leela Faktor: SF: 10 - 12 Mn/s; Lc0 6 - 9 Kn/sec.
Eher nachteilig für Lc0.

Tatsächlich? Ich dachte heutzutage LC0- Knoten x 1500 für SF NNUE- Knoten.

https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=150542#pid150542

Zitat:

Leela-Ratio ist somit: (Lc0 mit T60 Netz nps in der Grundstellung * 1500) / neuer Stockfish (nnue und avx2) nps in der Grundstellung

Und für noch größere Netze als die T60 müsste man eigentlich einen noch etwas höheren Multiplikator nehmen, nein?

By Lothar Jung Date 2022-01-15 13:27 Edited 2022-01-15 13:34

Ich setze bei meinem Notebook erst mal alle Resourcen bei beiden Seiten ein.
Stockfish geht im späten Mittelspiel teilweise über 20 Ms/s.
T78 ist langsamer als T60.
SF kann bisher nicht gewinnen und war auch nie in einer Position die für Lc0 kritisch war.
Bei einem 8/16 Kerner/Threads der mit SF NNUE angeblich bei Chessbase nicht verlieren kann, ist der Einsatz der schwächsten RTX 30X0 doch wohl angemessen.

By Peter Martan Date 2022-01-15 13:30 Edited 2022-01-15 13:37

Lothar Jung schrieb:

.
T78 ist langsamer als T60.

Und sollte daher (wenn's nicht auch um das dümmer, was es langsamer ist

) also mehr aus den weniger Knoten machen, der Umrechnungsfaktor zu den SF- Knoten sollte also ein noch höherer sein als bei den schnelleren kleineren Netzen.

Edit: und der Vergleich soll anhand der Grundstellung gemacht werden, weil das die einzige konstante ist, und nicht mit Mittelspiel (Bei welchem? Früh, spät? In manchen wird die Knotenzahle von SF sogar wieder weniger.), wovon du schwärmst, ansonsten nimm gleich Endspielstellungen, für SF möglichst ohne tbs und LC0 mit solchen.

By Lothar Jung Date 2022-01-15 13:36 Upvotes 1

Meinetwegen.
Das 7. Spiel ist auch Remis.
Vorschläge?

Ok ich mache Grundstellungstest für beide Engines.

By Peter Martan Date 2022-01-15 13:37 Edited 2022-01-15 13:47

Lothar Jung schrieb:

Vorschläge?

Wofür? Die Ratio? Bei mir passen 24 der möglichen 32 Threads (16x3.5GHz Ryzen avx2- compile) recht gut zur 3070ti, wenn ich schon ein 70er Netz nehme und trotzdem bei Stefans Faustregel (x1500) bleibe. So 12 für LC0 und 18M für SF.

By Lothar Jung Date 2022-01-15 14:11 Upvotes 1

Hallo Peter,

dann mach doch vielleicht ein kurzes Tunier mit 24 oder 30 Threads mit meinen Konditionen.
Das wäre doch schön.

By Peter Martan Date 2022-01-15 14:20 Edited 2022-01-15 14:29

Das würde mich völlig unnötig Hardware- Zeit kosten, sorry, Lothar.
Deine Konditionen wären Eröffnungsstellungen, die mich nicht interessieren, eine große Draw- Rate hätten, und ich schätze selbst zu deinen Konditionen würde es so 1000 Partien brauchen, um aus der Errorbar zu kommen.
Und dann hätte ich ein weiteres Ergebnis, das nicht auf Ergebnisse übertragbar wäre, die mich interessieren, zumindest nicht mehr interessieren, als die guter gut ausgewerteter Stellungstests. Und solche habe ich in einer guten halben Stunde aktulalisiert, wenn mich ein neues Netz, eine neue Version oder sonst was interessiert, was ich tatsächlich für neu halte. Und das alles noch dazu nicht nur für eine einzelne neue Head- to- Head- Begegnung, sondern im Vergleich mit einer schon etwas größeren Gegner- Liste, deren Errorbar mit jedem neuen Run sinkt, und bei der auch alle schon getesteten Engines ein neues aktualisiertes Ranking und Rating erfahren


    Program                                    Elo   +/-  Matches  Score   Av.Op.   S.Pos.   MST1    MST2   RIndex

  1 Crystal251221                            : 3562    5   3177    59.6 %   3494   175/220    1.7s    4.4s   0.82
  2 ShashChess20.1-nn4401e826ebcc            : 3561    5   3257    59.5 %   3494   183/220    2.5s    4.6s   0.81
  3 CorChess3271221                          : 3545    5   3085    57.1 %   3495   169/220    2.4s    5.3s   0.79
  4 Stockfish+030122-MCTS                    : 3537    5   3011    55.8 %   3496   166/220    2.8s    5.8s   0.76
  5 Stockfish+030122                         : 3533    5   2995    55.3 %   3496   163/222    2.8s    6.0s   0.77
  6 Stockfish221221                          : 3527    5   2939    54.2 %   3497   157/220    2.7s    6.3s   0.74
  7 Stockfish171221-nn4401e826ebcc           : 3521    5   2931    53.3 %   3498   155/220    2.9s    6.5s   0.73
  8 Dragon2.6byKomodoChess64-bit             : 3519    5   2913    53.0 %   3499   152/220    2.9s    6.6s   0.71
  9 Lc0v0.28.2-780486                        : 3519    5   2913    52.9 %   3499   150/222    2.3s    6.4s   0.69
 10 Lc0v0.28.2-NN780084                       : 3516    6   2872    52.4 %   3499   144/220    2.0s    6.5s   0.70
 11 Lc0v0.28.2-NN610902                       : 3511    6   2858    51.5 %   3500   140/220    2.0s    6.7s   0.68
 12 RubiChess2021NN-fb50f(avx2)               : 3480    6   2698    46.7 %   3503   124/220    2.6s    8.0s   0.61
 13 Ceres0.94d-610902                         : 3480    6   2720    46.6 %   3504   122/220    2.2s    7.9s   0.57
 14 Ceres0.94d-780084                         : 3476    6   2696    46.0 %   3504   119/220    2.1s    8.0s   0.58
 15 Wasp5.20                                  : 3438    6   2599    40.1 %   3508   101/220    2.7s    9.4s   0.43
 16 DeepHIARCS15.0                            : 3422    6   2600    37.8 %   3508    97/222    3.5s   10.0s   0.36
 17 Fritz15                                   : 3406    6   2581    35.6 %   3509    87/222    3.4s   10.5s   0.34
 18 DarkToga1.1                               : 3385    7   2527    32.6 %   3511    73/222    2.8s   11.0s   0.31

MST1  : Mean solution time (solved positions only)
MST2  : Mean solution time (solved and unsolved positions)
RIndex: Score according to solution time ranking for each position

By Lothar Jung Date 2022-01-15 14:47 Edited 2022-01-15 14:50 Upvotes 1

Ok. Sei’s drum.
Ich teste ohne Buch.

Jedenfalls den Geschwindigkeitstest von 1 Minute aus der Grundstellung:

LC0 0.29 dev. 8.000 N/sec.
SF 14.1 NNUE 10.500 Kn/sec.

Tests führe ich für/mit zwei Entwicklern und einen weiteren Tester auf der Discord-Plattform privat durch.

Computerschach.de dient mir im Wesentlichen dazu, meine eigenen Kenntnisse und Informationen festzuhalten.
Das Forum ist für Lc0 eigentlich irrelevant.
Das Unterforum „Schachprogrammierung“ dient mir als persönliches Nachschlagewerk.
Schach.de interessiert mich überhaupt nicht.

Grüße

Lothar

By Peter Martan Date 2022-01-15 15:07 Edited 2022-01-15 15:15

Lothar Jung schrieb:

Ich teste ohne Buch.

Jedenfalls den Geschwindigkeitstest von 1 Minute aus der Grundstellung:

LC0 0.29 dev. 8.000 N/sec.
SF 14.1 NNUE 10.500 Kn/sec.

Ohne Buch find' ich gar nicht schlecht, immerhin Anzugsvorteil von Weiß noch nicht ausgeglichen (was ja bei den gängigen "ausgeglichenen" Eröffnungsstellungen, die zum Testen auch immer noch gern verwendet werden, eben nicht mehr der Fall ist, trotzdem sind es halt die, die für die menschliche Eröffnungstheorie interessant sind).

Ohne Buch ist wenigstens ohne Buch- Bias, der sonst immer irgendeine Rolle spielt, dafür hat man halt nicht nur die ungefähr genau so hohe Remisrate (die NN und die NNUE und überhaupt alle modernen Engines mit guten statischen Evals bringen keine Eröffnungen aus der Grunstellung aufs Brett, die den Anzugsvorteil verstärken), sondern auch noch die Dubletten im weiteren Sinn. Nachdem sich die Partien aber ohnehin nie wirklich jemand anschaut (außer Frank

), hab' ich mich immer schon gefragt, wen die Dubletten eigentlich wirklich stören? Deep Mind haben sie bekanntlich im ersten Match A0 gegen SF auch nicht gestört, so what?

Wie auch immer, du machst dann halt einen ausgespielten Stellungstest von der Grundstellung.

Nein, im Ernst, Eng-Eng-Matches sind schon lange nur mehr ausgespielte Stellungstests, die Vorgaben der Eröffnungen spielen eine immer größere Rolle und ab einer gewissen Zugzahl kann man sich das Ausspielen Lassen auch mehr und mehr ersparen, weil ab einer gewissen Hardware- Software- Zeit- Kombi das Ergebnis innerhalb eines gewissen größeren oder kleineren statistischen Rauschens ohnehin auch schon bekannt ist aus den Datenbanken.

Drum meine ich halt, wenn's ohnehin mehr und mehr auf ausgespielte Stellungstests hinausläuft, warum dann nicht gleich Stellungstests, die man nicht zu 1000 Partien das Stück ausspielen lassen muss? Fragt natürlich rein rhetorisch...

Edit: Email for you.
Edit, edit: Bei deiner Leela- Ratio würde ich halt 12000 für SF bei 8 für LC0 noch etwas besser finden, aber wie man an Franks Turnier sieht, geht's auch mit einer sehr viel niedrigeren Ratio noch gut aus für SF (zumindest bei den ersten 500 Partien

By Lothar Jung Date 2022-01-15 16:17

Bei „nur“ 14 anstatt der möglichen 16, ist das die höchste Geschwindigkeit, da Lc0 zwei Threads braucht. Sonst läuft das nicht.

By Peter Martan Date 2022-01-15 16:30

Ist ja gut, Lothar, ich persönlich glaube sowieso nicht, dass mehr als die Ratio zwischen 2 bestimmten Installationen etwas aussagt, weil weder die Leistungskurve von SF (auch nicht einer bestimmten Version mit einem bestimmten Netz) noch die von LC0 noch die irgendeiner anderen Engine linear verläuft, also da mit irgendwelchen fixen Umrechnungsfaktoren zu arbeiten, vereinfacht auf jeden Fall immer, und halt mal mehr und mal weniger stark.
Und wie weit man gerade diese Ratio stecken kann, dazu ist Franks AI- Turnier wirklich ein gutes Beispiel momentan.

Da sind bei jeder Software- Hardware- Kombi große Sprünge bei bestimmten Zuwächsen und 0-Linien bei anderen, was man als Verlaufskurve zwischen den Punkten darstellt, hat mit der tatsächlichen Performance einer bestimmten Software auf einer bestimmten Hardware in einem bestimmten Anwendungsfall immer nur sehr wechselhaft viel oder wenig zu tun.

Mach dein Ding, so wie es dich interessiert, und halte uns auf dem Laufenden, wenn du dir schon die Hardware- Zeit dafür nimmst, haben sicher auch Andere was davon, wer dann für sich selbst was für Erkenntnis- Gewinne daraus zieht, verläuft sowieso auch in keiner Weise linear zwischen den Lesern und Anwendern.

By dkappe Date 2022-01-15 15:29 Edited 2022-01-15 15:33 Upvotes 2

Peter Martan schrieb:

Lothar Jung schrieb:

.
T78 ist langsamer als T60.

Und sollte daher (wenn's nicht auch um das dümmer, was es langsamer ist

Wo ich das “Leela Ratio” formuliert habe war das nicht eine Schach sondern eine CPU/GPU Messung. Am besten nimmt man SF8 und lc0 0.18 mit 11258 oder ähnliches Netz um den ratio festzulegen. CUDA verändert sich aber auch immer.

By Lothar Jung Date 2022-01-15 14:16 Upvotes 1

Beim 2. Tunier auch 10 Remis, keine Niederlage und kein Gewinn.

By Reinhold Stibi Date 2022-01-15 16:59

14 Threads bei Stockfish zu RTX 3060 sind schon in Ordnung.

Wenn mehr zur Verfügung stände, könnte man auch 15 echte Kerne Stockfisch geben für eine ausgeglichene Leela-Ratio

Das spielt aber keine so große Rolle mehr, wie früher, weil Stockfish auch schon mit 8 Kernen inzwischen äußerst sicher
spielt.

Damit mehr Abwechslung aus der Eröffnung kommt, als in der Grundstellung, wäre vielleicht eine Eröffnungsvorgabe
(Stefan Pohl hat da ein Eröffnungsbuch, oder auch jedes Andere Buch) mit 4-Züge-Vorgabe zweckmäßig.

By Lothar Jung Date 2022-01-15 17:17 Upvotes 1

Im nächsten Schritt, wird das kleine Tunier mit einer ausgeglichenen Eröffnung durchgeführt.