Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Lc0 - 3 Netze gegen Stockfish 10
- - By Andreas Strangmüller Date 2019-02-24 12:32 Upvotes 1
In einem neuen Turnier habe ich zwei der stärksten Lc0 Netze und ein aktuelles 40er Netz gegen Stockfish 10 antreten lassen.
Das bereits abgeschlossene und nicht mehr weiterentwickelte 30er Netz (33000) hat am meisten Punkte erzielt.
Nur vier Punkte weniger erreichte das weiterhin im Training befindliche 40er Netz (40963), gleichauf mit dem oft als stärkstes eingeschätztes 11248er Netz.

Hardware:
GPU: Nvidia GeForce RTX 2060
CPU: 4 Kerne, Intel E5-2680v2

Leela-Ratio ~ 3,2

Die Bedenkzeit betrug 5 Minuten + 5 Sekunden. Jeweils 100 Partien, gesamt also 300 Partien.

   Engine                  Punkte
1: Stockfish 10 x64        140,0/300  ····································································································
2: Lc0 v0.21.0 rc1 33000    56,0/100  ==11===========1===========0===========10==1==01=======100=1=0=11=1===0==1===11111===========1=====1
3: Lc0 v0.21.0 rc1 11248    52,0/100  ==========0==11==========1===1=10====1=1==0=0==1===10===11=00=0===0======1====1=======1==1====0=0===
3: Lc0 v0.21.0 rc1 40963    52,0/100  1=====1====0===0====0==0=======10====1=01==1=====1==010===1==0=====10==1==1=====0====1=========1=1==

Alle Partien: http://www.fastgm.de/schach/Lc0v0.21.0rc1.7z
Parent - By Guenter Stertenbrink Date 2019-02-24 13:35 Edited 2019-02-24 13:38
in Elo :

+40,33000
+13,11248
+13,40963
-22,sf10

allerdings LeelaRatio=3.2 ~ 67(?) Elo Vorteil gegenueber Leela-Ratio=1
Parent - - By Lothar Jung Date 2019-02-24 13:49
Danke Andreas,
sehr interessant!
Lief SF/Lc0 mit TB und/oder PonderOn?
Die Test40-Netze sind ziemlich nah dran.
Ich möchte deshalb das aktuellste T40-Netz gegen SF10 testen.
Oder macht ein Test des altuellsten Test40-Netz gegen das 33000-Netz mehr Sinn?
Ich habe auf Lc0-Seite RTX 2070/GTX 2080 und auf CPU-Seite Ryzen 1800x 8 Cores, 3,8 GHz.
Wie sollte ich ein Tunier gestalten?
Grüße Lothar
Parent - By Reinhold Stibi Date 2019-02-24 18:27
Hallo Lothar,

zur Zeit hat das 40er Net einen gewaltigen Sprung nach vorne gemacht.

Zur Zeit läuft bei mir ein Match Lc0 21-rc1  Net 41101 auf GTX 960 gegen Stockfish 10  1 CPU Xeon X5680 3,33 GHz
mit 2 Min.+6 Sek.Zug  und Stefan Pohl 4 Züge Vorgabe.

Hoch interessant wäre ein Match für dich und mich unter den gleichen Bedingungen wie oben

mit der RTX 2070, die ich mir noch heuer zulegen werde, unter LeelaRatio  1.

Denke dass bei meinen Testbedingungen die LeelaRatio bei 1.0 liegt.
In der Grundstellung rechnet Stockfish 10 (Stockfish 9 dürfte ja etwa gleich sein) bei 1 CPU 1300 Kn/s.

Zwischenergebnis mit Net 41101  bei 10 Partien   +4  =4  -2    = +70  Elo  für Lc0 !

Das Ergebnis von Lc0 kann sich wahrscheinlich noch verschlechtern, ist aber ein Super-Anfang.

Auch das Net 41092 ist hervorragend.

Auf meinem anderen Computer GTX 1050 Ti   gegen Stockfish 10  2 CPU  Xeon E5345
                                                                   in der Grundstellung mit 2 CPU auch ca. 1300 Kn/s

48 Partien  +11   = 26    -11   also totaler Ausgleich

Grüße  Reinhold
Parent - - By Andreas Strangmüller Date 2019-02-24 18:35
Hallo Lothar,

das Match wurde ohne TBs und ohne Pondern ausgetragen.
Als Eröffnungbuch kam das 4-Züge "SuperGM_4mvs.pgn" von Stefan Pohl zum Einsatz.

Mich würde folgendes Match interessieren:

GPU: Nvidia GeForce RTX 2070 (Lc0)
CPU: AMD Ryzen 1800x, alle 8 oder 7 Kerne (Stockfish 10) bei Pondern aus

Aktuelles T40-Netz, kleines 2-4 Züge Buch, TBs, Bedenkzeit => 5 Minuten + 3 Sekunden pro Partie mit möglichst vielen Partien, ohne Pondern.
Falls Du mit Pondern spielen möchtest, dann kannst Du Stockfish höchstens 6 Kerne zuteilen, abhängig von den eingestellten Kernen bei Lc0, Standard ist ja 2 Kerne.

Grüße,
Andreas
Parent - By Lothar Jung Date 2019-02-24 23:01 Edited 2019-02-24 23:09
Hallo Andreas,
das mache ich, ohne Pondern, mit TBs5 und mit 8 Kernen.
Ich verwende aber die beiden GPUs, die zusammen auf die Gewindigkeit einer RTX 2080ti kommen.
Reichen 30 Partien? (Strom 500 - 600 Watt).

@Clemens Keck
Ich würde mir eine zweite RTX 2070 kaufen (relativ sparsam) nicht viel langsamer wie 2080;  2080ti ist total überteuert.

@Reinhold
Soll ich einer Deiner Netze nehmen und wenn ja welches oder das morgen aktuellste?
Der Elo-Verlauf bei den Test40-Netzen schwankt stark

Grüße

Lothar
Parent - - By Clemens Keck Date 2019-02-24 21:27
Danke für das match Andreas !

Ich spiele ja täglich mit engines auf Schachservern. Meistens Bedenkzeiten von 12+1 oder 12+2.
Seit ca. 2 Wochen hab ich auf Lc0 umgestellt (RTX2070), und bin auch beim netz 33000 gelandet.
Leela spielt bis zur Gewinnstellung sehr beeindruckend anders.
So manches Endspiel verursacht aber Bauchweh, manche werden gar nicht gewonnen obwohl sogar der Gegner schon + 7,xx anzeigt.

Da ist hoffentlich noch viel Steigerungspotential drinne für Leela.
Ich will noch eine zweite RTX Karte einbauen, weis aber noch nicht welche. Vielleicht wieder die 2070 von Asus , die läuft mit über 1900MHz und hat schon sagenhafte Partie gezeigt.
Installiert ist das alles in einem i7 6700k mit 4 Ghz. Der Rechner schluckt jetzt schon ca. 330 Watt mit Leela. Mein 32 Kerner E5-2697A v4 braucht 350 Watt.....
Mit ner zweiten RTX Karte komme ich bestimmt auf knapp 600 Watt. Da wird das onlinespielen richtig teuer.

C.K.
Parent - - By Reinhold Stibi Date 2019-02-25 01:14
Hallo Lothar,

wäre schön, wenn du das Net 41092 nehmen könntest.

Dieses Net hat nach 48 Partien  bei mir mit +11   = 26   - 11    gegen Stockfish 10

am besten abgeschnitten.

Noch kein anderes Net hat bei mir so ein super Ergebnis erzielt. Dürfte inzwischen auch besser sein als
das beste 32er Net.

Dieses Net ist auch aktuell, da vom 23.02.19. Beachtenswert sind auch die vielen Gewinnpartien.

Das Net 41101 vom 24.02.19  ist auch sehr gut liegt aber nach 37 Partien gegen Stockfish 10 mit -28 Elo zurück.

Wie du schon bemerkt hast, sind die neueren  40er Nets von der Elo Leistung gegen Stockfish 10 sehr unterschiedlich.

Man kann von der angegebenen Net Elo nicht zuverlässig ausgehen. Man muss wirklich selber durchtesten darum

würde ich nicht das allerneueste Net nehmen.

Grüße Reinhold
Parent - By Reinhold Stibi Date 2019-02-25 08:00
Nachtrag:
Das Net 41101 das so gut gestartet ist, sackte leider nach 52 Partien auf  -61 Elo gegen Stockfish 10 ab.

Das heutige Net  41116 hat nach 6 Partien auch einen sehr guten Start  mit +2   = 4   -0,
glaube aber nicht, dass das Ergebnis gehalten werden kann.
Parent - By Lothar Jung Date 2019-02-25 23:02 Edited 2019-02-25 23:07
Guten Abend Reinhold und Andreas,
ich habe das Netz 41092 mit RTX 2070 + GTX 1080 gegen SF 10 mit 8 Kernen (Ryzen 1800X) in einem Blitztunier 5min/5sec
antreten lassen, jedoch ohne Pondern, Books und TBs.
Nach 10 Partien steht es Unentschieden: 1:1:8.
Mal sehen wie es morgen weitergeht.
Grüße Lothar
Parent - - By Lothar Jung Date 2019-02-26 17:03
Hallo!

Nach 30 Partien führt SF 10 knapp mit 4:3:23.
Die nächsten 30 Partien lasse ich mit TB5 laufen, da Leela wohl mehr davon profitiert.
Zwischenfazit: T40-Netze sind nach einem LR Drop schon erstaunlich stark.
In absehbarer Zeit wird T40 an T30 vorbeiziehen.
Das derzeitige CCC-Tunier zeigt, dass Lc0 dev. bei stärkerer Hardwareunterstützung (4x2080ti) Vorteile realisiert.

Lothar
Parent - By Reinhold Stibi Date 2019-02-26 18:49
Hallo Lothar,

super  Ergebnis für Lc0 mit Net 41092.

Gibt doch große Unterschiede bei den neueren 40er Nets

z.B. Net 41129  GTX 960   gegen   Stockfish 10  1 CPU  Xeon X5680

sonst wie üblich bei mir.

34 Partien   +4   = 15   - 15   = - 117

Also die Bandbreite bei den 40er Nets  gegen Stockfish 10  liegt  bei -0 Elo bis ca. - 120 Elo.

Üblich sind - 50 bis 75 Elo.

Es kommt bei Lc0 auch sehr auf die Hardware an. Bei deiner Hardware dürfte Net 41129
wahrscheinlich bei -50 Elo liegen.

Danke für den Test

Grüße Reinhold
Parent - - By Andreas Strangmüller Date 2019-02-26 18:56
Hallo Lothar,

vielen Dank für Deine Testergebnisse!

Der nächste LR-Drop für das T40-Netz wird wohl bald anstehen.
Bin wirklich schon gespannt was das noch an zusätzlicher Spielstärke bringt.

Andreas
Parent - - By Reinhold Stibi Date 2019-02-26 21:59
Hallo Andreas,

danke für deinen Test, war sehr interessant.

Der E5 2680v2 hat doch 10 Kerne. Warum durfte Stockfish nur mit 4 Kerne spielen.

Hardwaregleichheit dürfte doch bei 8 bis 10 Kerne  gegen Lc0 RTX 2060 liegen

Reinhold
Parent - - By Andreas Strangmüller Date 2019-02-27 08:42
Hallo Reinhold,

in erster Linie ging es mir darum den Spielstärkeunterschied dieser drei Lc0-Netze festzustellen.
Der Leela Ratio Wert war mir hier nicht wichtig.

Andreas
Parent - By Lothar Jung Date 2019-03-04 12:23
Hallo Andreas,

die Test40-Netze steigen nach dem LR-Drop stark an.
Sobald die 3.000 Self-Elo erreicht sind, mache ich noch mal einen Test (Bedingungen wie gehabt).

Viele Grüße

Lothar
Parent - - By Lothar Jung Date 2019-03-04 21:50
Hallo Andreas,

gerade ging ein 20 Partientunier 41307 gegen SF10 zu Ende.
Das aktuelle T40-Netz gewann überzeugend mit 6:2:12.

SF10: 8 Kerne (3,7 GHz)
T40: RTX 2070 + GTX 1080
Beide Seiten mit TB5 und ohne Books

Viele Grüße

Lothar

PS: Mein Ryzen 1800X ist mittlereweile zu schwach, werde ihn im Sommer gegen den neuen Ryzen mit 16 Kernen austauschen.
Parent - - By Horst Sikorsky Date 2019-03-04 22:51
Lothar Jung schrieb:

Hallo Andreas,

gerade ging ein 20 Partientunier 41307 gegen SF10 zu Ende.
Das aktuelle T40-Netz gewann überzeugend mit 6:2:12.

SF10: 8 Kerne (3,7 GHz)
T40: RTX 2070 + GTX 1080
Beide Seiten mit TB5 und ohne Books

Viele Grüße

PS: Mein Ryzen 1800X ist mittlereweile zu schwach, werde ihn im Sommer gegen den neuen Ryzen mit 16 Kernen austauschen.

Lothar
Hallo Lothar,
Wie viel Prozent Anteil steuert die GTX 1080 bei ? bei gleichen Stromverbrauch zur RTX 2070 .
Gruß Horst
Parent - By Lothar Jung Date 2019-03-05 10:12
Hallo Horst,
die GTX 1080 steuert ca. 1/4 zur Gesamtperformance bei.
Sie verbraucht mehr Strom, rd. 200 Watt, zu 175 Watt der RTX 2070.
Insgesamt liegt meine Konfiguration mit vorsichtigem Overclocking auf dem Niveau einer RTX 2080ti.
Besser ist natürlich 2x RTX 2070, aber dafür ist mein Ryzen 1800X mit 8 Kernen zu schwach.
Erst wenn ich den Ryzen im Sommer auf das erscheinende 16 Kerne-Modell umsteige, kann ich über eine zweite RTX 2070 nachdenken. Soweit zum Schach.
Bei den sonstigen Anwendungen, insbes. Gaming, haben meine beiden GTX 1080 auch über den SLI-Betrieb durchaus ihre Berechtigung.
Leider haben RTX 2070- Karten keinen SLI-Anschluss und die RTX 2080 Karten haben ein schlechteres Preis-Leistungsverhältnis, von der überteuerten RTX 2080ti ganz zu schweigen.

Viele Grüße

Lothar
Parent - - By Lothar Jung Date 2019-03-05 22:21
Das Netz 41345 gewann gegen SF10 unter den gleichen Bedingungen überragend mit 10:0:10.
Die aktuellen T40-Netze sind auf meiner Hardware deutlich stärker als die stärksten T30-Netze.
Parent - By Tom Paul Date 2019-03-05 23:18
Lothar Jung schrieb:

Das Netz 41345 gewann gegen SF10 unter den gleichen Bedingungen überragend mit 10:0:10.
Die aktuellen T40-Netze sind auf meiner Hardware deutlich stärker als die stärksten T30-Netze.


Ich finde auch das LC0 gegen Stockfish 10 überragend gewann: 10 Siege, 0 Remis, 10 Niederlagen     .
Parent - - By Lothar Jung Date 2019-03-03 20:22
Hallo Andreas,

der LR-Drop für das T40-Netz hat wohl stattgefunden.

https://groups.google.com/forum/m/#!topic/lczero/8M3pe_q5pJw

Heftige Ausschläge bei den Self-ELo-Werten.

Bisher ist die Spielstärke des Test40-Netz schwer einzuschätzen und zu prognostizieren.

Lothar
Parent - - By Reinhold Stibi Date 2019-03-06 08:30
Hallo Lothar,

du hast mitgeteilt dass Lc0 mit Net 41307  6:2:12  gegen Stockfish gewonnen habe.

Das kann nicht sein, den Net 41307 hat 2974 Net-Elo  mit 0 Partien.

Dieses Net liegt ca. 450 Elo hinter Stockfish 10 zurück.

Auch kommt mir dein Ergebnis mit Net 41345  mit 10:0  gegen Stockfish 10  nicht geheuer vor.

Du wirst dich doch nicht auf den Spuren von Tom Paul begeben.

Reinhold
Parent - - By Lothar Jung Date 2019-03-06 09:22
Hallo Reinhold,
ich schicke Dir die jeweiligen Tunierdateien zu.
Lothar
Parent - - By Reinhold Stibi Date 2019-03-06 12:31
Danke Lothar für dein Angebot.

Inzwischen hat Lc0 keine Hardwarevorteile mehr nötig. Früher stellte man sich gerne auf die Seite des
Schwächeren und übervorteilte Lc0 durch Zweikämpfe mit Stockfish 10 mit wenigen Kernen.

Im Boxen tritt doch auch kein Leichtgewicht gegen ein Schwergewicht an.

Könntest du Lc0 nicht nur mit deiner RTX 2070 betreiben, dann wäre doch Chancengleichheit gegeben.

Eine Übermacht an Hardware für Lc0 gegen Stockfish 10  ist doch weniger aussagekräftig.

Wer von den Forumteilnehmern hat denn eine RTX 2080 Ti;  das dürften ganz wenige sein.

Eine RTX 2060 oder eine RTX 2070 muss für einen Vergleich genügen.

Grüße

Reinhold
Parent - By Reinhold Stibi Date 2019-03-06 12:57
Eine RTX 2080 Ti ist m.E. überteuert.

Diese wird man sich in der Regel nur dann zulegen, wenn Geld keine Rolle spielt
oder man eine dicke Erbschaft gemacht hat. Das dürften aber ganz wenige sein.

Bei TCEC wäre es wahrscheinlich interessanter wenn man sich bei der CPU auf 16 Kerne und bei der
GPU auf eine RTX 2070 oder höchstens auf eine RTX 2080 Ti beschränken würde.

Die Bedenkzeit würde ich auf 7 Sek. pro Zug beschränken dafür aber die Partienanzahl  auf 200 erhöhen.

Dadurch würden weniger Remispartien und mehr schöne Kombinationen entstehen.
Parent - By Ernest Bonnem Date 2019-03-06 16:51
Reinhold Stibi schrieb:

Danke Lothar für dein Angebot.

Inzwischen hat Lc0 keine Hardwarevorteile mehr nötig. Früher stellte man sich gerne auf die Seite des
Schwächeren und übervorteilte Lc0 durch Zweikämpfe mit Stockfish 10 mit wenigen Kernen.

Im Boxen tritt doch auch kein Leichtgewicht gegen ein Schwergewicht an.

Könntest du Lc0 nicht nur mit deiner RTX 2070 betreiben, dann wäre doch Chancengleichheit gegeben.

Eine Übermacht an Hardware für Lc0 gegen Stockfish 10  ist doch weniger aussagekräftig.

Wer von den Forumteilnehmern hat denn eine RTX 2080 Ti;  das dürften ganz wenige sein.

Eine RTX 2060 oder eine RTX 2070 muss für einen Vergleich genügen.

Grüße

Reinhold

Was war denn da in diesen Matches die kNodes/sec ratio (führt -> LeelaRatio) ?

Da kann man eine Ahnung haben, ob es ein Hardware Vorteil gab...
Parent - - By Lothar Jung Date 2019-03-06 14:18
Hier sind die jeweiligen Tunierdateien der Blitzpartien 41306/41338 gegen SF10 abrufbar:

https://groups.google.com/forum/m/#!topic/lczero/wHSIdFjBUgg

Lothar
Parent - - By Ernest Bonnem Date 2019-03-08 21:37
Lothar Jung schrieb:

Hier sind die jeweiligen Tunierdateien der Blitzpartien 41306/41338 gegen SF10 abrufbar:

<a class='ura' href='https://groups.google.com/forum/m/#!topic/lczero/wHSIdFjBUgg'>https://groups.google.com/forum/m/#!topic/lczero/wHSIdFjBUgg</a>

Lothar

Ja, hier wurde auch gefragt :

"If it is this clear normaly this indicates that your GPU hardware is better then your CPU hardware.
What are your nps for Stockfish and for Leela?"
Parent - - By Lothar Jung Date 2019-03-09 12:15 Edited 2019-03-09 12:21
SF10 mit 8 Kernen, 3,7 GHz = 6.827 kn/sec
RTX 2070 + GTX 1080 = 41 kn/sec
Leela Ratio = (41x875)/6.827= 5,25
Parent - - By Volker Göbel Date 2019-03-09 12:29
Hallo,
Werden die 41kN/s nach einer Minute Daueranalyse in der Grundstellung erreicht?
Meine 2080 Ti schafft in dieser Zeit 45-46 kN/s.
Gruß
Volker
Parent - - By Lothar Jung Date 2019-03-09 13:44 Edited 2019-03-09 14:10
Hallo Volker,
die 41 kN/s werden einiges später nach einer Tiefe von 27 erreicht, vorher liegen diese bei 42 - 47.
Ich habe mit dem Netz 41345 rechnen lassen, vielleicht spielt das eine Rolle.
Nach einer Minute Daueranalyse ist der Wert mit Deiner 2080 Ti ziemlich identisch.
Meine GTX 1080 erreicht/hat einen Anteil/Wert von 8 - 10 kN/s.
Eine zusätzliche 2070 würde Deinen Wert auf rd. 80 kN/s bringen.
Natürlich geht Overclocking, aber das kostet Strom.
Grüße
Lothar
Parent - By Volker Göbel Date 2019-03-09 17:35
Hallo Lothar,
Ich habe den Test wiederholt, mit dem selben Netz das Du auch verwendet hast 41345.
Nach einer Minute Daueranalyse in der Grundstellung erreicht meine 2080 Ti dann 52 kN/s.
Gruß
Volker
Parent - By Ernest Bonnem Date 2019-03-09 16:19
Danke, Lothar !
Parent - By Lothar Jung Date 2019-03-08 09:16 Edited 2019-03-08 09:18
Hallo Reinhold,

hier eine Benchmarktabelle von MTGOStark, die das Netz 41350 nur 16 Elo schwächer als das Netz 31930 einordnet.

https://docs.google.com/spreadsheets/d/1XSJiCcQpCLv0fNwrUn7jXjdkZFU63YFEWpdXv6dSSg0/htmlview#gid=312836954

Viele Grüße

Lothar
Up Topic Hauptforen / CSS-Forum / Lc0 - 3 Netze gegen Stockfish 10

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill