Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Lc0 wackelt nicht
- - By Sutki Asani Date 2020-07-31 20:14
Ich habe jetzt mehrere Durchgänge mit jeweils 24 Spielen von NNUE Engines gegen Lc0 T-60-4229 (RTX 2060)spielen lassen. Dabei habe ich bei NNUE die letzten Netze von Vieri benutzt.
Insgesamt waren es fünf verschiedene Netzte. Allesamt verloren sie mit einem 3 Punkteabstand. Nur das Netz 2138 hat es auf einen 1 Punkt Unterschied geschafft.
Leela hat nach meiner Meinung zu keiner Zeit gewackelt. Wir werden abwarten wann Lc0 vom Thron gestoßen wird...
Parent - - By Peter Martan Date 2020-07-31 20:27 Edited 2020-07-31 20:30
Was für eine TC und was für ein Buch, Asani? Und was für eine CPU für SF?
Parent - - By Sutki Asani Date 2020-07-31 20:37
Prozessor Intel i5-9400F 2.90 Ghz. Buch ist Grandbook Arena 8 Züge..TC weiss ich nicht ...den so gut bin ich nicht in Details
ich habe nur aus meiner subjektiven Sicht dies betrachtet..vielleicht braucht NNUE auch einen stärkeren Prozessor
Parent - - By Peter Martan Date 2020-07-31 22:45 Edited 2020-07-31 23:27
TC=time control, sorry, diese Abkürzungen immer, die ohnehin nicht wirklich Zeit sparen.

Und was die Hardware angeht, dein i5 ist ein 6core, richtig?
Da bin ich auch zu wenig Fachmann und die sogenannte Leela- Ratio (an die ich auch noch nie so richtig geglaubt habe als Maßstab) spricht rein von mir geschätzt in deinem Fall wahrscheinlich schon etwas stärker für LC0, das käme aber jetzt auch wieder auf die Zeitvorgaben an.

Was das Hardware- Gleichgewicht zwischen LC0 und SFNNUE angeht, wird man sich sowieso meiner Meinung nach eine neue Ratio überlegen müssen, das Problem ist nämlich, dass die Leela- Ratio auf dem Match A0 gegen SF beruht, SF NNUE ist schon wieder eine andere Art der Hardware- Nutzung, weil einerseits ist die Suche ja dieselbe wie die von SF, dafür ist aber die Knotenzahl ca. halbiert durch die 256x- Netze.

Ich würde vermuten, dass das Hardware-Gleichgewicht (was ich so auf meinem Rechner sehe) bei 12x3GHz- Kernen zur RTX 2060 ungefähr gegeben ist, vorausgesetzt, man ignoriert die halbierten Knotenzahlen und nimmt an, sie wird durch die bessere Eval ausgeglichen.
Bei Schnellschach, beim Blitzen nur, wenn's nicht unter 6+2 geht.

Und eigentlich müsste man, wenn man Leela- Ratio so wie früher definiert, halbe Knotenleistung mit halber Hardware- Leistung gleichsetzen, aber das war eben schon immer die Schwäche dieser Rechnung, man kann die Knoten/Zeit nicht zwischen A-B-Engines vergleichen, wenn sie verschiedene Suche haben, schon gar nicht zwischen LC0- Versionen mit verschiedenen Settings und verschiedenen Netzen.
Eigentlich auch nicht, wenn die Suche dieselbe ist (SF- SFNNUE) aber die Eval die Suche anders lenkt. Und bei SF NNUE müsste man jetzt zumindest auch unterscheiden zwischen der Hardware- Leistung mit 256x- und mit 384x- Netzen.
Parent - - By Sutki Asani Date 2020-08-01 00:26
Time Control war 5+1 ... Ich habe einen 6 Core Prozessor ... Ich habe die letzten Monate die Erfahrung gemacht dass Lc0
mit steigender Bedenkzeit auch noch besser abschneidet als mit niedriger Bedenkzeit.. Insgesamt aber spielt Lc0 viel kontrollierter
und effizienter meiner Meinung nach.. und was Bedenken mit taktischen Löcher anbetrifft kann ich nicht behaupten.
Anfangs hatte Leela erhebliche Endspielschwächen aber zur Zeit ist er in allen Spielbereichen ziemlich sicher..
Parent - By Peter Martan Date 2020-08-01 01:49 Upvotes 1
Ich borg' mir hin und wieder wirklich starke GPU- Hardware in der chessbase- Cloud aus, und habe da halt den Eindruck, dass über 30+5 auch mit 2080ti nicht mehr wirklich viel Phantasie drin ist, bei SF wohl, der profitiert von mehr Kernen und mehr Zeit praktisch beliebig weit hinauf immer noch.

Dass 2x2080ti  in noch so komplexen Einzel- Stellungen nach 10 Minuten noch die Zugwahl ändert, erlebe ich selten, SF findet oft nach einer Stunde und mehr noch Züge, die nachweislich besser sind.
Und mit SF NNUE geht es in vielen Stellungen, in denen LC0 bisher in der time to solution die Nase oder mehr vorne hatte, jetzt einerseits auch oft noch eine Nummer schneller (trotz halbierter Knotenzahl), und die Skalierung, was die nützliche Hardware- Zeit nach oben verstärkt angeht, ist für mich auch noch einmal eine Nummer besser geworden.

Aber das Hauptkriterium ist für mich die Verwendbarkeit als Analyse- Tool. Da fehlt mir bei LC0 vor allem eines, das Hash- Lernen. Forward- Backward- Analysis und MultiPV ist nach wie vor die Domäne der A-B-Engines, mit NNUE- Evals erst recht.
Parent - By Reinhold Stibi Date 2020-08-01 06:52 Edited 2020-08-01 07:16
Kommentar ist etwas zu weit nach unten gerutscht:

Die taktischen Schwächen (Löcher) von Lc0 kann man bei den Internetcomputerschach-Blitzpartien am besten feststellen.
Es genügt ja wenn dies bei ca. 20 bis 40 Partien einmal vorkommt, um in der Bewertung durch eine Verlustpartie erheblich
zurückzufallen.

Wie auch Peter schon erwähnt hat findet Lc0 bei einer taktischen Schwäche (Stellung) auch nach längerer Bedenkzeit
(kann über 1 Stunde dauern) den richtigen Zug nicht, aber Stockfish  schon.

Für die Analyse einer Partie ist Stockfish und Abkömmlinge, wie Peter zutreffend geschildert hat, viel besser geeignet.

Lc0 hat eine überragende positionelle Spielstärke, die aber leider insgesamt manchmal nicht ausreicht.
Parent - - By Reinhold Stibi Date 2020-07-31 20:37 Upvotes 1
Ja, Lc0 Sergio 4485 und Leelenstein 15 spielen ein ausgezeichnetes Schach.

Nur Stockfish NNUE ist inzwischen besser und hat nicht die Schwächen von Lc0 wie taktische Löcher
und manchmal Endspielunsicherheit. 

Die ab und zu vorkommenden taktischen Löcher sind leider auch nicht mit Eman Chimera und stärkerer
Hardware abzufangen. Bei mir mit  RTX 2070.

Bei den Internetcomputerschach-Blitzpartien spielt deshalb niemand mehr mit Lc0. Bei den Schnellpartien
wird es auch nicht anders sein.

Stockfish NNUE spielt inzwischen auch sehr sicher gegen ganz starke Hardware. Da kann ich mich sogar
mit meinem alten Prozessor X5690 und 12 Threads ganz gut behaupten gegen Spieler die die 3-fache Leistung
und darüber haben. Zur absoluten Spitzenklasse auf Dauer reicht es natürlich nicht; da benötigt man wieder
Hardware mit 34 Threads und darüber.
Parent - - By Lothar Jung Date 2020-07-31 21:54
Hallo Reinhold,

nächste Woche steige ich wieder ein.
Mal sehen, wie Lc0 auf stärkerer Hardware gegen SFNN abschneidet.

Auf alle Fälle hat sich das Preisleistungsverhältnis beim Schach zwischen GPU/CPU entscheidend verändert.

Die “Macher” von Lc0 müssen sich bald etwas einfallen lassen.
Ich bin da etwas pessimistisch.
CUDA 11 und RTX 30XX wird wohl was bringen, aber zu welchem Preis.
T60 stagniert.
Vielleicht bringen Hybride Lc0 + NN Fortschritt in der Leela-Szene.

Bis bald!

LG Lothar
Parent - - By Reinhold Stibi Date 2020-07-31 22:48
Hallo Lothar,

wird Zeit dass Du wieder zurück aus Frankreich kommst und die
Lc0-Szene verstärkst.
Könnte mir schon vorstellen, dass Du mit Deinen 3 RTX 2070 Stockfish NNUE
und Eman Enigma 1.1 Paroli bieten kannst; wird spannend.

Hatte zuletzt den Eindruck dass ich mich mit meiner RTX 2070 und Lc0 Sergio 4485
oder  Leelenstein 15 schwer tuel  gegen die Spitzenhardware von Stockfish NNUE.

Bis bald !

LG Reinhold
Parent - By Lothar Jung Date 2020-08-01 14:27
Hier zwei interessante Tests auf Discord:

**Match** Stockfish NNUE (Sergio 2138) vs. Leela Sergio (384x30 Test60 4585)
**Tournament:** Gauntlet
**Binaries:** Nodchip (Stockfish.bmi2.halfkp_256x2-32-32.profile-nnue.2020-07-19.exe)
**Engine Options:** Default
**Hardware:** i7 7700k 4CPU, 1080TI [7 Million NPS vs. 7,000] **1000:1 Golden Ratio**
**Time control:** 1 Minute + 1 Sec
**Book:** Balsa_v2724
**Tablebases:** None
**Adjudication:** +-9 Win
**Software:** Arena
**PGN Download:** https://discordapp.com/channels/435943710472011776/522783578359201792/738425680764731483
**My Sheets:** https://docs.google.com/spreadsheets/d/1ZAIuHR6n-5JTxKQc0XUSx1jyUrgVEcj8DNLKA7-urBw/edit#gid=201239930
**Comments:** 10 Elo stronger than Leela 64341. Perhaps the difference is higher with better hardware.
```   # PLAYER                                :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)  OppN
   1 Stockfish NNUE (Sergio 2138)          :    3897     13   203.5     350  58.1     100   68  271   11  77.4     3
   2 Leela Sergio (384x30-t60-4585)       :    3847     23    64.5     150  43.0      70    5  119   26  79.3     1
   3 Leela ID 64341                                :    3837     26    41.5     100  41.5      63    1   81   18  81.0     1
   4 Stockfish (2020-07-17)                    :    3829     26    40.5     100  40.5     ---    5   71   24  71.0     1

White advantage = 19.57 +/- 8.68
Draw rate (equal opponents) = 83.82 % +/- 2.41```

**Match** Sf-NNUE & Stockfish each vs. 2 Lc0 nets
**Tournament:** 2 Gauntlets
**Binaries:** 19jul2020 nodchip prof.avx2 compile, 17jul abrok.eu/stockfish
**Engine Options:** c=0, defaults; SV 20200729-0912.bin nnue net
**Hardware:** 2700X 14 of 16ths | RTX 2060 140W/160
**Time control:** G/90secs+1sec Ponder=on
**Book:** all engines: TCEC Season 18 SuperFinal openings, colors reversed
**Tablebases:** Syzygy-6, 50mr off (undefeatable in Lc0)
**Adjudication:** draw @ 35. 0.16 3 moves, resign 9.00 2 moves
**Software:** CuteChess 1.0.0 (Arena EloStat, Bayeselo (advantage 0) for LOS)
**Comments:** Stockfish+NNUE 68 Elo better performance than Stockfish, same opponents, openings and conditions.
```
                    T18sf: Elo   +  -     Games   Score Av.Op.             Draws
1 Sf-NNUE_sv729-09          :  68  30 30  119.5/200  59.8%   0  +59 =121 -20  60.5%
2 Lc0.25.1_384x30sv4585  :   1  37 40   40.5/100  40.5%  68   +7  =87 -26  67.0%
3 lc0.25.1_256x20_Ls14     :  -2  46 47   40.0/100  40.0%  68  +13  =54 -33  54.0%

    Program         T18sf: Elo   +  -     Games   Score Av.Op.             Draws
2 Stockfish_20071720        :   0  33 33  100.0/200  50.0%   0  +48 =104 -48  52.0%
1 Lc0.25.1_384x30sv4585  :  31  48 48   54.5/100  54.5%   0  +29  =51 -20  51.0%
3 lc0.25.1_256x20_Ls14     : -31  47 47   45.5/100  45.5%   0  +19  =53 -28  53.0%

LOS %                          Sf Lc St lc
        Sf-NNUE_sv729-09          95 97 99
        Lc0.25.1_384x30sv4585   4    73 86
        Stockfish_20071720         2 26    73
        lc0.25.1_256x20_Ls14      0 13 26```

Lothar
Parent - - By Lothar Jung Date 2020-08-03 13:22 Edited 2020-08-03 13:32
Hallo Reinhold,

ich habe gestern unter Chimera mit SV 4585 + SF NNUE (aktuelle SV.bin) und Eduards Buch sowie TB5  das Sonntagstunier (20 Min) gespielt.
Ich hatte 2 Connection-Abbrüche, die dem falschen Pfad in der NNUE.bin geschuldet waren.
Sonst wären alle Spiele Remis, mit einem Sieg, gewesen.
Vielleicht wären ein oder zwei Siege mehr drin gewesen, wenn SF mit NNUE SV gelaufen wäre.
Bei den 5-Minuten-Partien spielte ich gegen starke NNUEs mit teilweise 36 Kernen Remis, also nur mit „normalem“ Stockfish.
Mit dem SF-abrok AVX2-Compile sollte NNUE unter Ryzen 3900X ausreichend flott laufen.
Bei langen Eröffnungsvarianten kommt es jedoch zu schnell unter Chimera  zu einem Wechsel auf SF und damit kann SV 4585 mit starker Hardware seine Vorteile nicht ausspielen. Wichtig ist, dass SF bald aus seinen langen Büchern fliegt.

Also wir können da noch mithalten, zumal sich bei den Leela-Entwickler noch einiges tut, vgl. Discord.
Ich glaube, daß Lc0 0.27 einiges an Verbesserungen bringen wird.

LG Lothar
Parent - - By Reinhold Stibi Date 2020-08-03 15:15
Hallo Lothar,

bei den ersten Stockfish NNUEs  hatte ich auch Abstürze und konnte es schließlich nicht verwenden.

Nun läuft bei mir SF NNUE  Sergio 2138 vom 28.07.20 unter X5690 und 12 echten Kernen recht stabil.
Sergio 2138 dürfte das beste SF NNUE sein. Die neueren Sergios sind auch nicht besser, da ist inzwischen
ein Stillstand eingetreten.

Es ist schon verwunderlich, dass ich mit meinen schwachen 12 Threads da mit den stärksten Computern
mit z.T. 64 Threads mithalten kann. Bin  bei einer Wertung von 2610 Elo.

Sergio 2138 ist auch mit mittelstarker Hardware kaum zu besiegen; allerdings auch viele Remise.

M.E. spielt Eman Enigma 1.1 schwächer, aber vielleicht habe ich da nicht optimal eingestellt.
Am nn.bin Pfad habe ich da nichts verändert.

Lc0 Sergio 4485 dürfte nach meinen Erfahrungen eher besser sein als Sergio 4585.

Das Problem ist, dass sich mit Chimera nicht der Pfad von SF NNUE 2138 einstellen lässt.

Am besten wäre bei Deiner Hardware wahrscheinlich Lc0 Sergio 4485 in Verbindung mit Brainfish und Chimera.
Nach hinten hinaus bringt SF NNUE wahrscheinlich nichts. Statt Brainfish könnte man auch Eman 5.80 nehmen,
aber den hast Du ja nicht.

Bis heute beim 19 Runden Blitzturnier und viel Glück dabei.

LG Reinhold
Parent - - By Lothar Jung Date 2020-08-03 15:45 Edited 2020-08-03 15:56
Leider kann ich nicht teilnehmen, da ich bis Mittwoch im Krankenhaus bin. Nix schlimmes.
Die NNUE Pfadeinstellung unter Chimera ist zum verzweifeln.
Nix klappt. Da ist ein kryptisches bin vorgegeben.
Vielleicht sollte man das SV bin entsprechend umbenennen?!

Dazu ein Beitrag von Detlef:

„Hallo, Peter

bei den Entwicklerversionen von Stockfish MNUE unter

      https://abrok.eu/stockfish-nnue/

gilt es zu beachten, das hier offenbar auch der komplette Pfad
zu der nn-Datei angegeben werden muss, sie aber weder nn.bin,
noch z.B.  20200731-0821.bin  heißen darf, sondern offensichtlich
nur den vorgegebenen Standard-Namen  nn-c157e0a5755b.nnue
aus dem UCI-Parameter tragen darf.

Man muss also hier dann die nn-Datei  20200731-0821.bin  in
nn-c157e0a5755b.nnue  umbenennen, sonst rechnet und bewertet
die Engine anscheinend ordentlich, produziert aber nur Müll.“

Vielleicht hilft die neue abrock Version von heute weiter:

https://abrok.eu/stockfish-nnue/

LG Lothar
Parent - By Benno Hartwig Date 2020-08-03 16:34 Edited 2020-08-03 16:46
Ich betreibe den unter Arena.
Da habe ich einen Ordner mit sämtlichen bin-Dateien von Sergio und konfiguriere in den Engine-Einstellungen in Arena einfach:
- Use NNUE (haken setzen)
- EvalFile (Datei mit vollem Pfad angeben, am einfachsten über den Öffnen-Dialog, Butten ganz rechts)
Ich habe den Eindruck, dann darf die Datei heißen, wie sie will, und sie darf auch liegen, wo man es möchte.
Parent - - By Sutki Asani Date 2020-08-03 18:22
Ich habe viele SV Netze gegen Lco SV4329 spielen lassen ... Nur das Netz 2109 (NNUE-SV) hat einen Gleichstand bei 12:12 geschafft .. Das Netz 2138 ist áuch sehr stark mit 11,5 : 12,5 gegen Lc0 SV 4329,,gegen Stockfish und andere Programme ist NNUE klar stärker.. bin gespannt auf Ergebnisse von anderen Testern gegen LC0..
Parent - By Benno Hartwig Date 2020-08-03 18:31
Ich denke, solch ein Dateiname "20200731-0631.bin" bedeutet einfach, dass dies der Stand ist vom 31.07.2020 um 06:31.
Richtig?

Wenn du von "Netz 2138" sprichst, meinst du dann jenes Netz (und hoffentlich gibt es nur eines) mit diesem Uhrzeitenstempel, als vom 28.07.2020 um 21:38?
Up Topic Hauptforen / CSS-Forum / Lc0 wackelt nicht

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill