Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Das beste 58er Net 58582 kann wahrscheinlich mit Stockfish mithalten.
- - By Reinhold Stibi Date 2019-12-15 12:07
Das Net 58582 mit RTX 2070 in der Grundstellung, allerdings mit fp16
zeigte bei meinen Stellungstests sehr gute Werte. Beim Eigenmann-Test 15 Sekk. 67   = 60,3 %  1,72 Sek.   9.80.
Mit der von Eduard Nemeth empfohlenen Einstellung LogitQ ein   66   =59,4 %  1,66 Sek.  9.90

Im praktischen Spiel in der Grundeinstellung gegen Stockfish 12.04.19 Nicolet 12 CPUs 
nach bisher 20 Partien   +2  =16  -2 , also Gleichstand.

Test wird bis 200 Partien durchgeführt.

Das 59er Net zeigt zwar astronomische Net Elos an, ist aber noch schwach, entwickelt  sich aber zügig weiter.

Bin echt überrascht, dass dieses kleine 58er Net so gut im praktischen Spiel bisher ist.
Parent - - By Stefan Pohl Date 2019-12-15 14:13
Reinhold Stibi schrieb:

Das Net 58582 mit RTX 2070 in der Grundstellung, allerdings mit fp16
zeigte bei meinen Stellungstests sehr gute Werte. Beim Eigenmann-Test 15 Sekk. 67   = 60,3 %  1,72 Sek.   9.80.
Mit der von Eduard Nemeth empfohlenen Einstellung LogitQ ein   66   =59,4 %  1,66 Sek.  9.90

Im praktischen Spiel in der Grundeinstellung gegen Stockfish 12.04.19 Nicolet 12 CPUs 
nach bisher 20 Partien   +2  =16  -2 , also Gleichstand.

Test wird bis 200 Partien durchgeführt.

Das 59er Net zeigt zwar astronomische Net Elos an, ist aber noch schwach, entwickelt  sich aber zügig weiter.

Bin echt überrascht, dass dieses kleine 58er Net so gut im praktischen Spiel bisher ist.


Na, dann nimm mal die CLOP-tuned Settings dazu. Mit denen teste ich ja gerade  Lc0 0.23.0 Net 58573+ (("+" means 3 CLOP-tuned parameters (CPuct=2.70, FpuValue=0.50, PolicyTemperature=1.53)). Der Test ist schon weit fortgeschritten und wird sehr gut enden...
Hatte ich ja im Thread "LD2 / T58 Parametertuning" geschrieben. Diese Settings sind eben nicht irgendwelche Zahlen, bei denen jemand ein gutes Gefühl oder ein paar Erfolge auf den Schachservern hatte, sondern CLOP-getunte Werte und zwar mit 11000 gespielten Tuning-Partien (!).

https://www.chessprogramming.org/CLOP
Parent - - By Stefan Pohl Date 2019-12-16 09:43 Edited 2019-12-16 09:46
Stefan Pohl schrieb:

Reinhold Stibi schrieb:

Das Net 58582 mit RTX 2070 in der Grundstellung, allerdings mit fp16
zeigte bei meinen Stellungstests sehr gute Werte. Beim Eigenmann-Test 15 Sekk. 67   = 60,3 %  1,72 Sek.   9.80.
Mit der von Eduard Nemeth empfohlenen Einstellung LogitQ ein   66   =59,4 %  1,66 Sek.  9.90

Im praktischen Spiel in der Grundeinstellung gegen Stockfish 12.04.19 Nicolet 12 CPUs 
nach bisher 20 Partien   +2  =16  -2 , also Gleichstand.

Test wird bis 200 Partien durchgeführt.

Das 59er Net zeigt zwar astronomische Net Elos an, ist aber noch schwach, entwickelt  sich aber zügig weiter.

Bin echt überrascht, dass dieses kleine 58er Net so gut im praktischen Spiel bisher ist.


Na, dann nimm mal die CLOP-tuned Settings dazu. Mit denen teste ich ja gerade  Lc0 0.23.0 Net 58573+ (("+" means 3 CLOP-tuned parameters (CPuct=2.70, FpuValue=0.50, PolicyTemperature=1.53)). Der Test ist schon weit fortgeschritten und wird sehr gut enden...
Hatte ich ja im Thread "LD2 / T58 Parametertuning" geschrieben. Diese Settings sind eben nicht irgendwelche Zahlen, bei denen jemand ein gutes Gefühl oder ein paar Erfolge auf den Schachservern hatte, sondern CLOP-getunte Werte und zwar mit 11000 gespielten Tuning-Partien (!).

<a class='ura' href='https://www.chessprogramming.org/CLOP'>https://www.chessprogramming.org/CLOP</a>


Der Testrun von Lc0 0.23.0 Net 58573+ ist durch. Sehr gutes Ergebnis !

https://www.sp-cc.de/lc0-testing.htm

Da die T60 Netze momentan eher abbauen als zulegen, teste ich jetzt noch Lc0 0.23.1 Net 58613+ (("+" means 3 CLOP-tuned parameters (CPuct=2.00, FpuValue=0.50, PolicyTemperature=1.50)). 58613 war das finale T58 Netz und die neuen CLOP-tuned settings konnten auf discord ebenfalls überzeugen. Daher nehme ich den Test noch mit.
Parent - - By Eduard Nemeth Date 2019-12-16 12:33
Das Ergebnis ist fantastisch! Es bedeutet also dass man auch kleinere Netze zu Spitzenleistungen trainieren kann. Man muss nur den richtigen Weg finden um hier das Maximale herauszuholen. Und die kleineren Netze haben noch den Vorteil, keine Superhardware zu benötigen. Man bekommt sehr gute Leistung für viel weniger Geld (und Stomverbrauch).
Parent - - By Guenter Stertenbrink Date 2019-12-16 13:20
aber was passiert jetzt z.B. bei TCEC oder CCC - Konditionen ?

Nach dem bisher gelesenen muessten die kleinen Netze da an Elo verlieren
Parent - - By Stefan Pohl Date 2019-12-16 13:54 Edited 2019-12-16 13:57
Guenter Stertenbrink schrieb:

aber was passiert jetzt z.B. bei TCEC oder CCC - Konditionen ?

Nach dem bisher gelesenen muessten die kleinen Netze da an Elo verlieren


In Verhältnis zu den großen Netzen ist das wohl (höchstwahrscheinlich) so. Insbesondere beim TCEC.
Auch ist ja z.B. das Leelenstein 12.1 Net auch bei mir noch einen Tick besser. Und das ist ja "normal" groß, also 20x256. Insofern besteht ja auch keine Notwendigeit, ein 10x128 Netz im TCEC einzusetzen.
Interessant wäre eher die Frage, ob es auch für größere Netze bessere Parametersettings gibt, als die default-Werte. Da wäre sicher ein längeres CLOP-Tuning nicht uninteressant...
Aber generell hat Eduard natürlich Recht: Daß ein 10x128 Netz mit Parametersettings so gut spielt, ist eine gute Nachricht, für Leute ohne ganz moderne Hardware. Und auf dem Smartphone ist so ein Netz auch toll.
Parent - - By Eduard Nemeth Date 2019-12-17 18:52
Bei meinen Stellungstests hat das letzte Netz nicht am besten abgeschnitten. Ich habe verschiedene der letzten Netze getestet. Das beste war bei mir T 58610 knapp vor T58611.
Parent - - By Guenter Stertenbrink Date 2019-12-18 08:52
sowas faellt hier unter Kaffeesatzleserei ...
ausser es sind >~1000
Parent - - By Eduard Nemeth Date 2019-12-18 11:06 Edited 2019-12-18 11:13
Ja. Was im Spiel besser ist, weiss ich nicht. Ich gehe davon aus dass die letzten Netze da etwa gleich gut sind. Es spricht für mich aber nichts dagegen, ein Netz zu verwenden das bei Stellungstests einen Tick besser war.

Getestet habe ich mit folgenden Settings auf GTX 1050 Ti und Ryzen 2700, und es hat Spass gemacht, das Netz ist sehr gut.

Threads=2
MiniBatchSize=64
MaxPrefetch=4
Cpuct=3.200000
CpuctFactor=2.500000
PolicyTemperature=1.520000
FpuValue=0.500000
Parent - - By Reinhold Stibi Date 2019-12-21 16:31 Edited 2019-12-21 16:34
Das Superergebnis von Stefan Pohl mit Lc0 58573 + mit CLOP-tuned Settings

gegen Stockfish   500 Partien  mit 51,20 %  für Lc0 kann ich leider nicht bestätigen.

Bei den bisherigen Test hatte ich eine große Übereinstimmung mit seinen Tests.

Nach 70 Partien  Lc0 23.1   58582  mit CLOP-tuned Settings   RTX 2070   gegen   Stockfish 12.04.19 Nicolet  12 CPUs
mit meinen  üblichen Testbedingungen

70  Partien  +4  = 48  -18  = 40,0 %  =  - 70 Elo

Sehr enttäuschend von Lc0  da in der Grundeinstellung  218 Partien  + 25  = 156   -37   =47,25 %    =  - 19 Elo.
Stockfish ist hier nur minimal besser.

Den Test mit CLOP-tuned Settings breche ich nun ab,  da dieser erhebliche Rückstand von Lc0 höchstwahrscheinlich nicht mehr
aufgeholt werden kann.

Nun probiere ich die Settings von Eduard Nemeth und lass  mich damit überraschen
Parent - - By Eduard Nemeth Date 2019-12-21 16:40
Bin gespannt.

Aber bitte T 58610 nehmen, und diese Settings (Rest Voreinstellung):

Threads=2
MiniBatchSize=64
MaxPrefetch=4
Cpuct=3.200000
CpuctFactor=2.500000
PolicyTemperature=1.520000
FpuValue=0.500000
Parent - - By Reinhold Stibi Date 2019-12-22 05:44 Edited 2019-12-22 05:51
Schade,

auch mit deinen Settings leider schlechtere Ergebnisse als in der Grundeinstellung von Lc0 23.1  Net 58610.

In der Ausgangsstellung verringerte sich die Knotenzahl von  74 KN/s  auf 36 KN/s .

Von meinen Lieblingsteststellungen insgesamt 7   Eine Lösung 1.Sg6:  von 1 Sekunde mit Grundeinst. auf  6 Sek.
                                                                        Eine  Lösung  Endspiel 1. g4       "                           auf 7 Sek.

102  Partien  Lc0 23.1  Net 58610  mit deinen Settings  RTX 2070    gegen   Stockfish 12.04.19 Nicolet  X5690  12 CPUs
                   
                   +7  =71  -24   = 41,7 %    =  -58 Elo

Das ist kein schlechtes Ergebnis aber auch kein gutes  denn mit Net 58582  gegen Stockfish nur  -19 Elo.

Bei Lc0 gibt es so viele Einstellmöglichkeiten. Dies ist eine Wissenschaft für sich. Was die verschiedenen Parameter bewirken
sollte man erklärt bekommen. Das können aber wahrscheinlich nur die Spezialisten und Entwickler und der Laie müsste dies
noch verstehen.
Parent - - By Eduard Nemeth Date 2019-12-22 14:15 Edited 2019-12-22 14:26
Ich habe für 1050 ti optimiert. Ein 256x20 Netz zB. schafft da nur 2 kns, auf einer 2070 sollten es etwa 24 kns sein. Mit meinen Settings schafft 50610 etwa 13 kns in der Grundstellung. Wenn bei dir dann, auf 2070 nur 36 kns herauskommen, dann kann man das so nicht lassen. Vermutlich muss man MaxPrefetch, usw. verändern.

Nachtrag: Ich habe auf dem Server schon mal gegen ein kleines Netz, gespielt, sogar mehrere Partien 5+0. Es hat garnicht schlecht gespielt. Welche GPU der Gegner hatte, weiss ich nicht genau, aber das Netz erzielte etwa 180 kns. Das wird im Chat angezeigt.
Parent - - By Reinhold Stibi Date 2019-12-22 15:17
Da hast du recht. Deine Settings sind für GTX 1050 Ti optimiert und nicht für die RTX 2070 die da andere Einstellungen brauchen

Bei meinem Zweitcomputer Ryzen 5 habe ich auch eine 1050 Ti installiert und bin mit dieser, wie schon öfters erwähnt,
sehr zufrieden.

Es ist schon erstaunlich wie gut Lc0 auch auf der GTX 1050 Ti spielt. Da kannst du genauso gut zuverlässig testen wie
mit der RTX 2070 nur muss man dann halt die Bedenkzeit für ordentliche Partien verlängern auf 1 Min. + 3 Sek. pro Zug.
Dies ist aber kein Problem, da dauert halt die Testzeit etwas länger.

Eine RTX 2070 ist vollkommen ausreichend, da kann man dann als ausgeglichenen Gegenpart Stockfish mit 12 bis 15 echten
Kernen laufen lassen.

Bei zwei RTX 2070 bräuchte man schon 24 bis 30  echte AMD oder Intel Kerne. Der Stromverbrauch, die Abwärme und
und der Geräuschpegel stehen dann aber nicht mehr im angemessenen Verhältnis zum Nutzen.
Parent - By Eduard Nemeth Date 2019-12-22 15:58
Ja. Ich spiele jedoch online.

Hier ist die Partie mit 180 kns (Blitz 5+0, 17.7 plies; 180kN/s) bei Lc0. Normal schafft bei dem Gegner Lc0 mit dem normalen Netz etwa 30 kns. Demzufolge spielte er hier mit einem kleineren Netz. Leider war er bis Zug 23...Rxb5 noch im Buch, und danach konnte Lc0 die Stellung nicht halten, zudem spielte Brainfish bei mir mit 7 Steinen, was sich im Endspiel bemerkbar gemacht hatte:

Event:
Ort:
Datum:

Weiss:
Schwarz:

Ergebnis
Board


Auch Brainfish hätte bei mir hier Rxb5 gespielt:

XXX,B - XXX,L 1-0, Wertungspartie, 5 min 2019


Analysis by Raubfisch ME262_GTZ20d1c_sl:

23...Txb5 24.cxb5 Dxb5 25.Tc1 S8d7 26.d4 Db2 27.Sc3 Db4 28.Lf3 Tc8 29.Sa2 Txc1+ 30.Txc1 Da5 31.Db2 exd4 32.exd4 Dg5 33.Tc3 Sf8 34.Sb4 Ld7 35.Kh1 Se6 36.Sc6 Lxc6 37.Txc6 De3 38.Db1 Dxd4 39.Tc8+ Sf8 40.Ta8 g6 41.Dd1 De3 42.Dg1 Df4 43.Txa4 Se6 44.Tb4 Sg5 45.Tb3 Sfxe4 46.De3 Dxe3
  Weiss steht etwas besser: +/= (0.39 ++)  Tiefe: 37/62   00:01:29  1480MN, tb=7956

Ich wollte mit der Partie zeigen dass es mit richtigen Einstellungen möglich ist, 180 kns zu erreichen. Ob das noch Sinn macht bei kleinen Netzen, ist fraglich. Ich denke aber, mit einer 2070 und gutem Tuning kann es Spass machen.
Parent - - By Tom Paul Date 2019-12-22 21:27
Ist das alles nicht eher Wunschdenken, wenn man tatsächlich glaubt, selbst bessere Parameter als die Entwickler zu finden?
Das beweisen Tests von 1-3 Personen das die neuen Parameter funktionieren und die Tests anderer 1-3 Personen beweisen dann ein dickes ELO Minus.
Parent - By Eduard Nemeth Date 2019-12-22 23:04
Ich habe auf meinem Rechner für meine GPU optimiert, und es ist gut so für mich. Man kann aber nicht alles 1:1 übertragen, das ist doch normal. Möglich ist sogar dass man bei mehr als 100 kns (was gut sein kann bei kleinem Netz auf schneller GPU) evtl. mit 4 statt zwei CPU Kernen besser fährt. Man muss es testen, und ich werde es tun sobald ich eine bessere GPU habe. Du hast eine schnelle GPU. Warum testets Du es nicht aus? Nimm doch das kleine Netz, und teste es doch auf deiner 2x RTX 2080 gegen Stockfish. Mich persönlich würde sehr interessieren was so ein kleines Netz mit etwa 250 kns gegen Stockfish zuwege bringt.
Parent - - By Walter Knobloch Date 2019-12-22 23:11 Edited 2019-12-23 00:03
T58 (58613) parameter tune:

                                   default     tune
CPuct                           3.0          1.21
CPuctFactor                  2.0          15.0
CPuctBase                   19652.0    15000.0
FpuValue                     1.2           0.45
PolicyTemperature        2.2           1.79

diese Werte ergaben +63 elo bei 1kn/move

Testläufe mit Bedenkzeit sind sehr willkommen um dieses ziemlich gute Ergebnis zu validieren.
Parent - - By Stefan Pohl Date 2019-12-23 14:28
Walter Knobloch schrieb:

T58 (58613) parameter tune:

                                   default     tune
CPuct                           3.0          1.21
CPuctFactor                  2.0          15.0
CPuctBase                   19652.0    15000.0
FpuValue                     1.2           0.45
PolicyTemperature        2.2           1.79

diese Werte ergaben +63 elo bei 1kn/move

Testläufe mit Bedenkzeit sind sehr willkommen um dieses ziemlich gute Ergebnis zu validieren.


Mal schauen. Habe jetzt zwei Testruns mit getunten Parametern gemacht. Zudem scheint mir dieses Setting doch sehr radikal, insbesondere der extrem niedrige Cpuct-Wert.
Jetzt teste ich zunächst mal das Leelenstein 12.2 Netz. Dann wollte ich mal wieder ein dann aktuelles T60 Netz testen. Und bei den großen T40 Vieri Nets gibts auch eine neue Version. Insofern wird das demnächst wohl nichts, denn ein Testrun dauert 6 Tage...
Parent - By Walter Knobloch Date 2019-12-28 20:51
diese Optimierung ist radikal und funktioniert derart gut nur bei 1kn/Zug.
Es ist aber klar, daß da noch großes Potential auch für höhere Knotenzahlen besteht.
Das gilt wohl auch für T60, aber da ist eine optimierung schon wesentlich zeitaufwändiger.
Up Topic Hauptforen / CSS-Forum / Das beste 58er Net 58582 kann wahrscheinlich mit Stockfish mithalten.

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill