Lc0 Fortschritt seit August

By Peter Martan Date 2019-04-14 09:39

Danke, Günter, und für SF in der selben Zeit?

By Clemens Keck Date 2019-04-14 10:00

guckst Du hier

https://nextchessmove.com/dev-builds

C.K.

Peter Martan schrieb:

Danke, Günter, und für SF in der selben Zeit?

By Reinhold Stibi Date 2019-04-14 10:15

Die neueren Stockfishe dürften ca. 25 bis 30 Elo besser sein als Stockfish 10.

Siehe auch Rangliste von Stefan Pohl.

Lc0 41800 mit RTX 2070 gegen Stockfish 10 vom 10.04.19 mit Xeon X5680 24 Threads je 3,33 GHz
2 Min.+ 5 Sek.Z mit Stefan Pohl 4 Zügevorgabeeröffnungen.

78 Partien +9 =61 -8 = 50,6 % = + 4 Elo für Lc0.

Lc0 ist also auch gegen den neueren Stockfish auf Gleichstand.

By Clemens Keck Date 2019-04-14 11:49

Reinhold Stibi schrieb:

Lc0 ist also auch gegen den neueren Stockfish auf Gleichstand.

Also in meinen Tests zeigt sich ein anderes Bild.
Stockfish 100419 mit 12 cpu ist ca. +50 ELO im direkten Vergleich zu Lc0-NN 41906-RTX 2060. LeelaRatio 1.2 !

Code:

nn 41906, Blitz 5m+3s  2019

                                        
1   Stockfish 100419 64 BMI2-x12   +43  +20/=51/-10 56.17%   45.5/81
2   Lc0 v0.21.1-41906              -43  +10/=51/-20 43.83%   35.5/81

81 Partien vom 100.
5min +3 sec, ponder ON

C.K.

By Peter Martan Date 2019-04-14 11:05 Edited 2019-04-14 11:10 Upvotes 1

Danke, Clemens, ich meinte aber im direkten Vergleich zu Leela. Ansonsten müsste man ja bei LC0 auch die Selfplay- Elo gelten lassen.

By Clemens Keck Date 2019-04-14 11:58

Peter Martan schrieb:

Danke, Clemens, ich meinte aber im direkten Vergleich zu Leela. Ansonsten müsste man ja bei LC0 auch die Selfplay- Elo gelten lassen.

Wenn man Stefan Pohls jüngste Zahlen hernimmt, könnte man wahrscheinlich vereinfacht auch sagen, der neuere SF hat mit LC0 im Fortschritt mitgehalten.
Und was Leelafish angeht, da fände ich schon auch einen SF- Branch, der mit dem richtigen Setting genau gegen Leela noch ein bisschen was draufpacken könnte.
Z.B.:
<a class='ura' href='http://talkchess.com/forum3/viewtopic.php?p=794129#p794129'>http://talkchess.com/forum3/viewtopic.php?p=794129#p794129</a>

By Reinhold Stibi Date 2019-04-14 14:56

Mein X5680 mit 24 Threads mit 12 echten Kernen und 12 Threads entspricht ca. 15 echten Kernen.

Die Leela Ratio ist 1,4. Diese ist aber bei 15 Kernen auf der CPU-Seite nicht so wichtig.

Ob mein Computer 15 oder 18 echte Kerne hat, dürfte kaum eine Rolle spielen.
Sogar eine Verdoppelung auf 30 echte Kerne würde nicht viel mehr an Elo bringen.

Der Zuwachs an Elos im oberen Bereich halbiert sich. Also z.B. 60 auf 30 Kerne bringt wieder nur minimal.

Ganz anders im unteren Bereich z.B. 2 Kerne auf 1 Kern oder 4 Kerne auf 2 Kerne.

Genauere Ergebnisse wird wahrscheinlich Stefan Pohl bringen mit seinen 700 Partien.

Krasse Ausreiser wie von dir berichtet kann ich nicht mehr feststellen. Man müsste allerdings die Partien dazu
näher analysieren.

By Stefan Pohl Date 2019-04-14 16:16

Clemens Keck schrieb:

Ich glaube sogar, das Stockfish erheblich zugelegt hat und der Abstand zu Lc0 deutlich ausfällt.
Die Leela Ratio ist wichtig.
Ergebnisse von Testern sind nur schwer vergleichbar.

Ob die Leela-Ratio nun 1.2 oder 1.4 ist, spielt keine so große Rolle, wenn man nicht gerade Bulletspeed testet. Viel entscheidender ist, wie ich hier schon vor kurzem mal ausgeführt hatte, das Verhältnis von Basiszeit zu Fischerbonus. Bei dir und mir und in der CEGT ist es 100:1. Wenn Reinhold mit 2'+5'' testet ist es hingegen nur 24:1. Letzteres bevorteilt Leela sehr stark, weil Leelas Zeiteinteilung nach wie vor schlecht ist. Und je größer der Anteil des Fischerbonus an der Gesamtzeit ist, desto geringer ist die Rolle, die der Zeiteinteilungsalgorithmus spielt, insofern fällt Leelas Schwäche bei diesem Punkt dann viel weniger ins Gewicht.

By Stefan Pohl Date 2019-04-14 17:20

Stefan Pohl schrieb:

In der gerade laufenden Premier Dvision des TCEC ist das Verhältnis von Basiszeit zu Fischerbonus übrigens extrem mit 90'+5'' = 1080:1 - also gar nicht gut für Leela...

By Tom Paul Date 2019-04-14 19:08 Edited 2019-04-14 19:14

Clemens Keck schrieb:

Peter Martan schrieb:

Danke, Clemens, ich meinte aber im direkten Vergleich zu Leela. Ansonsten müsste man ja bei LC0 auch die Selfplay- Elo gelten lassen.

Wenn man Stefan Pohls jüngste Zahlen hernimmt, könnte man wahrscheinlich vereinfacht auch sagen, der neuere SF hat mit LC0 im Fortschritt mitgehalten.
Und was Leelafish angeht, da fände ich schon auch einen SF- Branch, der mit dem richtigen Setting genau gegen Leela noch ein bisschen was draufpacken könnte.
Z.B.:
<a class='ura' href='<a class='ura' href='http://talkchess.com/forum3/viewtopic.php?p=794129#p794129'>http://talkchess.com/forum3/viewtopic.php?p=794129#p794129</a>'>http://talkchess.com/forum3/viewtopic.php?p=794129#p794129</a>

Ich glaube sogar, das Stockfish erheblich zugelegt hat und der Abstand zu Lc0 deutlich ausfällt.
Die Leela Ratio ist wichtig.
Ergebnisse von Testern sind nur schwer vergleichbar. Stockfish 4 cpu sieht natürlich schlecht aus gegen Leela RTX 2080 ti.
In meinen bisherigen Spielen konnte ich sehr oft beobachten das LC0 eine klare Gewinnstellung wieder ins remis abgeben musste.
Dann läuft LC0 hoch hinaus bis zu einer bestimmten ELO und dann geht nichts mehr, weil das ELO Limit für diese Netzwerkgröße erreicht ist.
Und das dauert immer 1-2 Monate und jedes mal erreicht LC0 diese Spielstärke etwas schneller, bzw. ein minimal bessere Spielstärke.
Würde man so schlau sein und ein 40 x 512 Netzwerk nehmen, dann wäre das ELO Limit viel viel weiter oben je stärker die eigene GPU(s) ist/sind und LC0 würde sich immer noch steigern, anstatt ständig bei 0 anzufangen.
Und diese brutalen Kurzsiege von Stockfish. Viele Partien mit Matt 28 - 35 Züge. Mal sehen ob das besser wird mit mehr Bedenkzeit. 15min + 5 sec zB.

C.K.

Das liegt doch daran, dass das Stockfish Projekt sich vor Ewigkeiten etabliert hat und die Leute wissen was sie tun.
Bei LC0 hat niemand so richtig Ahnung und es wird ständig experimentiert und LC0 fängt immer wieder bei 0 an, nur mit besseren Bedingungen.
Und das alle 1-2 Monate von vorne, anstatt mal so schlau zu sein und ein 40 x 512 Netzwerk zu nehmen, da liegt das ELO Limit viel viel weiter oben und wir hätten noch nicht einmal von vorne anfangen müssen.
Aber die GPUs sind ja so schwach und man bräuchte mindestens doppelt so schnelle GPU um nicht zu viel an Rechentiefe zu verlieren und jetzt haben wir sogar 4 mal so schnelle RTX GPUs und die selben Leute behaupten die sind zu langsam, obwohl sie vorher sagten das doppelte Geschwindigkeit ausreichend ist.
Ich wette denen wären auch 16x RTX 2080 Ti mit einem 40 x 512 Netzwerk zu langsam.

By Guenter Stertenbrink Date 2019-04-14 20:05

oder die alte Methode ist auf lange Sicht eben doch besser

abgesehen von Kombinationen

By Peter Martan Date 2019-04-14 22:18 Edited 2019-04-14 22:25

Guenter Stertenbrink schrieb:

abgesehen von Kombinationen

Wieso sollten Kombinationen zwischen einer schlechteren und einer besseren Methode besser sein als die bessere allein?
Ok, das war rhetorisch und tendenziös, ein 3Hirn aus zwei Methoden, von denen einmal die eine und einmal die andere besser ist, kann besser sein als jede der beiden einzelnen allein ist, vorausgesetzt, das 3. Hirn als Entscheidungsmodul ist gut.

By Tom Paul Date 2019-04-15 16:02

Guenter Stertenbrink schrieb:

oder die alte Methode ist auf lange Sicht eben doch besser

abgesehen von Kombinationen

Wir sehen ja seit langem, dass die alte Methode besser ist

By Peter Martan Date 2019-04-15 19:09 Edited 2019-04-15 19:12

Tom Paul schrieb:

Guenter Stertenbrink schrieb:

oder die alte Methode ist auf lange Sicht eben doch besser

Wir sehen ja seit langem, dass die alte Methode besser ist

Klar, wär's die neue Methode, die besser wäre, würden wir's ja erst seit Kurzem sehen

By Stefan Pohl Date 2019-04-14 16:23 Edited 2019-04-14 16:28

Peter Martan schrieb:

Danke, Günter, und für SF in der selben Zeit?

Wenn du meine Diagramme unten auf meiner Hauptseite anschaust, da war Stockfish Anfang August 2018 bei 3480 SPCC-Elo. Jetzt ist Stockfish bei 3530, also +50 SPCC-Elo seit Anfang August 2018 (natürlich nicht gegen lc0 getestet, aber immerhin auch keine Selfplay-Messung, sondern gegen 5 andere Gegner-Engines).

Nach nun 260 Partien mit Net 41800 sieht es nach einem nur minimalen Fortschritt gegenüber Net 41665 aus, wenn überhaupt...

By Guenter Stertenbrink Date 2019-04-14 18:07 Edited 2019-04-14 18:22

ausserdem :

http://ccrl.chessdom.com/ccrl/404/cgi/compare_engines.cgi?family=Leela%20Chess&print=Rating+list&print=Results+table&print=LOS+table&print=Ponder+hit+table&print=Eval+difference+table&print=Comopp+gamenum+table&print=Overlap+table&print=Score+with+common+opponents

41800 ist bei CCRL 23 Elo besser als 32930 , 1000 und 1600 Partien , GTX1050 , 40+4

im Einklang mit den anderen Ergebnissen

glbch ist mir etwas dubios mit den grossen Differenzen

By Tom Paul Date 2019-04-14 19:19

Guenter Stertenbrink schrieb:

ausserdem :

<a class='ura' href='http://ccrl.chessdom.com/ccrl/404/cgi/compare_engines.cgi?family=Leela%20Chess&print=Rating+list&print=Results+table&print=LOS+table&print=Ponder+hit+table&print=Eval+difference+table&print=Comopp+gamenum+table&print=Overlap+table&print=Score+with+common+opponents'>http://ccrl.chessdom.com/ccrl/404/cgi/compare_engines.cgi?family=Leela%20Chess&print=Rating+list&print=Results+table&print=LOS+table&print=Ponder+hit+table&print=Eval+difference+table&print=Comopp+gamenum+table&print=Overlap+table&print=Score+with+common+opponents</a>

41800 ist bei CCRL 23 Elo besser als 32930 , 1000 und 1600 Partien , GTX1050 , 40+4

im Einklang mit den anderen Ergebnissen

glbch ist mir etwas dubios mit den grossen Differenzen

Da brauchst du dich nicht zu wundern, die gleiche Netzwerkgröße ist nun mal der Flaschenhals.
Der kleine ELO Gewinn kommt nicht von dem vielen Training, sondern überwiegend von den Änderungen am Code.

By Guenter Stertenbrink Date 2019-04-15 09:39 Edited 2019-04-15 09:47

ausserdem : CEGT , 5'+3'' pb=on , 1400 Partien , LR=1.4
http://www.cegt.net/5Plus3Rating/Purelist/rangliste.html
3447,sf
3418,Lc0-32930
3356,ho
3350,ko

http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=120402

=====================================

Nachtrag zu CCRL:
Lc0 rating detail:
http://ccrl.chessdom.com/ccrl/404/cgi/engine_details.cgi?print=Details&each_game=1&eng=Lc0%200.21.1%20w41800%20GPU#Lc0_0_21_1_w41800_GPU
Lc0 0.21.1 w41800 GPU "Games played on a GTX 1050 GPU with a Leela ratio of 1.65
(after 120 seconds) to Stockfish 8 1CPU on the AMD Phenom II X6 1090T test machine. ..."
selected results:
Stockfish 10 64-bit: Lc0 47.0/100
Houdini 6 64-bit: Lc0 54.0/100
Komodo 11.3.1 64-bit: Lc0 56.5/100

By Guenter Stertenbrink Date 2019-04-23 07:11 Edited 2019-04-23 07:47

update 2019/04/23 im Durchschnitt + 23 gegen 32930

mtgostark(150) , 3463(5) , 3454(10)
glbch(200) , 41(5) , 49(10) , 51(15)
c.k.(100) , -18(5)
sp-cc(300) , +71(3)

{wen noch hier einfuegen ? , regelmaessige aktuelle Tests , Partien gegen SF,HO,KO)
(Basis sollte sein 32930 , dann +- geplant fuer narchsten update)
(es waere schoen, wenn ich die erste Post im thread jeweil editieren und anpassen koennte
ansonsten aktualisiet auf http://magictour.free.fr/lc0tests )

------mtgostark(150) , 3463(5) , 3454(10)------
(32930,3431)
41550,3401
41600,3409
41650,3445
41665,3421
41700,3460
41711,3443
41725,3419
41750,3432
41770,3448
41800,3467
41825,3460
41850,3445
41876,3448
41900,3441
41925,3430
41950,3461
41975,3443
42000,3484
42025,3467
42050,3460

-----glbch(200) , 41(5) , 49(10) , 51(15)---------
(32930,28)
41770,48
41800,57
41812,71
41823,25
41830,16
41845,36
41852,43
41862,53
41871,44
41876,55
41889,86
41906,48
41917,55
41930,59
41940,58
41953,64
41965,21
41978,57
41985,44
41997,30
42021,55

------c.k.(100) , -18(5)------------
(32930,)
41812,-24
41889,-38
41906,-53
41997?,-14
42000,+3
42029,-24
42043,-28

----sp-cc(300) , +71(3)----------------
{32930,+56}
41665,+56
41800,+94 (gegen average of sf,ho,ko)
41978,+62

https://docs.google.com/spreadsheets/d/1XSJiCcQpCLv0fNwrUn7jXjdkZFU63YFEWpdXv6dSSg0/edit#gid=312836954
https://docs.google.com/spreadsheets/d/1681AAHzmxIIujzCXAZsPV-ycZk_BCNUKl45LquYRhSg/edit#gid=1682609908
https://www.sp-cc.de/lc0-testing.htm
https://docs.google.com/spreadsheets/d/1rS9dw2WebiCIhyMH4L7YH2ZB2b_Bi8Ac9UahuPBoQa8/edit?usp=sharing

----------------------
Von Clemens Keck Datum 2019-04-08 16:36 Gut 1
bei mir steht auf jeden Fall noch die NN 32930 und NN 33000 auf dem Programm.
Diese Grundvergeichbarkeit ist mir wichtig, um kommende NN besser enschätzen und bewerten zu können.
C.K.

By Clemens Keck Date 2019-04-23 09:25

hab ich gemacht, aber nicht in die Liste aufgenommen, da es nur um 40 Weightfiles gehen soll.
Die 33000 war - 60 Elo.
die 32930 kommt noch dieses Jahr

C.K.