Installation StockfishNNUE

By Detlef Uter Date 2020-07-22 19:36

Ja, das würde mich auch brennend interessieren!

Macht doch mal einer ne Schritt für Schritt Anleitung,
wie mann diese MNUE Netze am besten mit 'nem Stockfisch
sinnvoll verbindet.

Aber wahrscheinlich muss mann das ja alle 5 Stunden machen,
wenn mann immer den aktuellen Stockfisch MNUE bekommen will.

By Peter Martan Date 2020-07-22 20:06 Edited 2020-07-22 20:12

Benno Hartwig schrieb:

Asche auf mein Haupt, aber ich weiß nicht, wie diese StockfishNNUE-Engine zu installieren ist.
Einfach so in Arena eingebunden erhalte ich durchgängig 0,00 als Bewertung.

Dieses Syndrom kenne ich von nicht genutzter nn.bin.
SF hat nicht seine hard- coded Eval und die vom NN, die an ihre Stelle tritt, findet er nicht. pder sie passt nicht.

Erste Tipps für weiteres Probieren (die Binaries sind eigentlich wie alle anderen, die man von SF kennt, zu installieren im GUI, ob sie überhaupt für den eigenen Rechner geeignet sind, sieht man am schnellsten, wenn man sie doppelklickt und damit in der Command- Line startet, wenn das läuft, braucht man ja eigentlich auch kein GUI, man braucht nur die entsprechenden Befehle, z.B. muss man dann auch erstmal das NN laden, lassen wir das mal, weil wir wollen ja im GUI spielen):

Der Pfad, den die Binaries in den UCI- Optionen default haben, ist bei allen, die ich kenne, unvollständig, er beginnt erst beim Unterordner "eval" in aller Regel, in dem befindet sich ein Netz (hoffentlich

), es sollte, wenn's wieder so ist wie bei meinen verschiedenen Binaries (hab' einfach schon eine ganze Reihe runtergeladen, die werden ja jetzt auch vermutlich weiterhin mindestens so häufig aktualisiert, wie sich SF dev. mit Updates zeigt), muss es nn.bin heißen.
Damit es dort gefunden wird, weil eben der Pfad unvollständig ist, muss der Ordner "eval" im selben Überordner befinden wie die .exe- Datei, die man installiert. Wäre das nicht so, müsste der Pfad komplett eingegeben werden, aber default ist's eben so gedacht, .exe und Ordner "eval im selben Ordner, dann reicht der Pfad, der vordefiniert eval\nn.bin ist.

Dann muss das Netz noch zur Engine passen, es gibt (weitaus überwiegend) 256x- Binaries für 20Mb- Netze (Gekkehenker, SV...), die (256er-Netze) sind viel zahlreicher zum Runterladen vorhanden momentan, die 384x sind 30Mb groß, ein solches ist z.B. das von SFInn 0.2 von Jjosh.
Dein Problem, Benno, tritt z.B. auch auf (hatte ich mal so), wenn du ein 30Mb- Netz mit einer 256x- Binary nutzen willst, das geht nicht, auch wenn der Pfad stimmt.

Bei den Binaries muss man jetzt solche für den eigenen Rechner passende (bmi, popcnt...) wählen, die zur Netzgröße passen, die für die 20Mb- Netze sind die, die im Namen etwas von ...256... haben, dann muss der Befehllsatz zum Rechner passen, und dann müssen sie noch, wenn's Binaries sind, die auch zum Training gedacht sind, etwas wie ...run... oder ...profile... beinhalten, damit sie zum Spielen funktionieren und nicht zum Trainieren. Bei den Downloads für die neueren Binaries sind aber meistens eh nur Spiel- .exe- Files drin, dann ist im Namen nix von run, profile, learn oder sonstwas zu finden, dann aufhören zu suchen.
Macht mal alle bis hierher, liebe Kinder, und dann schauen wir gemeinsam weiter, ja?

SCNR, eigentlich bin ich da auch noch ein blutiger Anfänger und absolut kein Fachmann, aber so weit ist's ja eigentlich eh noch ganz einfach. Das Problem ist mittlerweile, die besten Netze und die besten Binaries für den eigenen Recher zu finden.

By Benno Hartwig Date 2020-07-22 20:42

Danke für die Beschreibung, Peter,
hat geklappt (ob ich nun die schnellste EXE erwischt habe, die bei mir läuft, kann ich ja jetzt in Ruhe rausfinden.
Aber ich habe eine Vorstellung, worauf ich achten sollte, wenn mal wieder 0,00en erhalte.

By Heiko Krauß Date 2020-08-01 18:30

Benno Hartwig schrieb:

Ja - Peter hat mir auch schon oft helfen können.
Nun hab ich´s auch geschafft SF NNUE so zu installieren , dass auf das Netz zugegriffen wird
wusste nicht, dass man einen extra EVAL-Ordner anlegen muss
Bei Eman Enigma braucht man das nicht.
Diese nnue sind nun auch für die FS-Analyse nützlich , LCO war und ist da unbrauchbar
Dann können wir ja nun loslegen

Heiko

By Benno Hartwig Date 2020-08-01 18:48

Wie ich es verstehe, muss man nicht unbedingt einen eval-Ordner anlegen.
Man muss die bin-Datei (egal wie sie heißt) irgendwo haben, und man muss Stockfisch sagen wo sie ist und auch sagen, dass er NNUE benutzen soll.
Im Konfigurationsdialog in Arena bedeutet das:
- einen Haken setzen bei "Use NNUE"
- und bei "evalFile" die Datei bekannt geben. Hier ist auch ein Startbutton für einen File-Dialog zur Auswahl dieser Datei.

Man findet das hier Eingestellte dann auch in der ArenaENG.cfg wieder:

     Use NNUE=true
     EvalFile=%ArenaDrive%\Schach\Engines\Stockfish\NNUE\eval\nn.bin

Und ich denke, dies greift auch so.

By Heiko Krauß Date 2020-08-01 18:57

Ich habe Chessbase, aber egal es hat ja nun geklappt,
jetzt werden keine schwachsinnigen Züge mehr ausgeführt, die mit 0,00 bewertet werden

By Detlef Uter Date 2020-07-22 20:44

Hallo, Peter

Eduard meint, das beste Netz ist das neueste Von Sergio.
Ist also das '20200722-2141.bin', das ich mir nun heruntergeladen
habe ein 256iger oder, wie alle anderen Netze von Sergio, ein 384iger Netz?

Fragen über Fragen?

Gruß
Detti

By Peter Martan Date 2020-07-22 21:17 Edited 2020-07-22 21:22

SV=256x, nach den Timestamps steht unter Size Description immer 20Mb und eines aus dieser Serie funktioniert bei mir mit einer 256er Binary.

384x wäre 30Mb groß. Mit den 384er Netzen von Sergio meinst du wahrscheinlich welche für LC0, für SF NNUE kenne ich von Vieri noch keine so großen.

By Detlef Uter Date 2020-07-22 21:22

Mann, oh Mann,

da hatte ich ja wohl wieder einmal Tomaten auf den Augen gehabt!

By Peter Martan Date 2020-07-22 21:23

Never mind

By Eduard Nemeth Date 2020-07-22 20:06 Edited 2020-07-22 20:23

Auf dieser Seite gibt es die aktuelle Engine, ferner wird erklärt welche Version für welche CPU zu verwenden ist:

https://github.com/nodchip/Stockfish/releases/tag/stockfish-nnue-2020-07-19

Das beste Netz ist das neuste von Sergio:

https://www.comp.nus.edu.sg/~sergio-v/nnue/

By Benno Hartwig Date 2020-07-22 20:43

Danke für die Quellen, Eduard,
ich glaube, zusammen mit Peters Erklärungen bin ich jetzt auf gutem Wege.

By Tommy Tulpe Date 2020-07-22 22:49

Benno Hartwig schrieb:

Danke für die Quellen, Eduard,
ich glaube, zusammen mit Peters Erklärungen bin ich jetzt auf gutem Wege.

Das klingt ja nicht gerade einfach, aber danke für die Tipps.

Leela Chess habe ich nie installiert. Überstieg meine Fähigkeiten, außerdem habe ich bei meiner Hardware immer an der Grafikkarte gespart.
Was mir noch nicht klar ist:
Wird denn auch mit diesem neuen Stockfish auf der Grafikkarte gerechnet oder mit der CPU?

By Horst Sikorsky Date 2020-07-22 22:55

cpu

ist noch schwerer als leela

By Peter Martan Date 2020-07-22 23:19

Geh du!

By Tommy Tulpe Date 2020-07-23 00:15

Horst Sikorsky schrieb:

cpu

ist noch schwerer als leela

Danke Horst.
Da meine CPU nicht schlecht ist (Intel Core i7 6900K), sollte ich es vielleicht doch einmal versuchen. Interessieren würde mich der Programmansatz durchaus.
Ob es wohl prinzipiell unmöglich ist, solch ein neuronales Netzwerk so einfach installierbar zu machen wie eine normale UCI-Engine?

By Peter Martan Date 2020-07-23 08:11 Edited 2020-07-23 08:15

Lass' dich nicht vera...lbern, die Installation ist überhaupt nicht kompliziert, nur meine Beschreibung davon.

Kurts Fassung: (sorry Kurt, ich kann's halt immer wieder nicht lassen, weißt du noch, wie das damals zustande kam?

)

Eine Binary deiner Wahl, was die "Befehlssätze" angeht, das suchst du sonst bei den SF- Compiles ja auch so aus, je nachdem was zu deinem Rechner passt, bmi, popcnt, ...

...256... im Namen der Binary, wenn's ein 256er- Netz ist, die meisten Netze sind das, z.B. die, die Eduard in seinem Link

https://www.comp.nus.edu.sg/~sergio-v/nnue/

angeboten hat, das scheinen momentan die stärksten zu sein. Vielleicht nicht die allerletzten, die sind experimental, wie der Name sagt.

Das Netz muss in einem Ordner namens "eval" sein, der muss im selben Überordner sein wie die Binary, und die installierst du im GUI dann einfach genau so, wie jeden anderen Fisch (oder andere Engine- .exe- Datei)
Das Netz muss nn.bin heißen, eines derer vom Sergie- Link oben z.B. muss man umbenennen, wollte man das nicht, müsste man den Namen später im Pfad der UCI- Optionen nach der Installation anpassen.

Bei den UCI- Optionen hast du dann default schon alles so, dass es funktionieren müsste, wenn du mal ein neues Netz statt dem alten nehmen willst ohne alles von vorn zu installieren, ersetzt du einfach das nn.bin im eval- Ordner.

Besser du probierst einfach mal und fragst nach, wenn's nicht klappt, als ich schweife jetzt gleich wieder unnötig ab oder aus oder was man halt sonst noch so schweifen kann.

By Detlef Uter Date 2020-07-23 08:45

Na bitte, Peter,

du kannst ja doch noch anschaulich - und vor allem kurz - erklären

Dann werde ich das ja mal auch in Angriff nehmen!

By Peter Martan Date 2020-07-23 09:21

Hast du immer noch nicht?

By Detlef Uter Date 2020-07-23 09:39

Ja - jetzt eben schon!

Danke Peter - hat funzinuckelt!

Mein Dank wird dir ewig nachschleichen!

By Wolfgang Battig Date 2020-07-23 11:19

Detlef Uter schrieb:

...hat funzinuckelt!
...

Ist das auch Berliner Dialekt oder fällst Du jetzt ins Säuglingsalter zurück?

By Detlef Uter Date 2020-08-01 04:36 Upvotes 2

Hallo, Peter

bei den Entwicklerversionen von Stockfish MNUE unter

https://abrok.eu/stockfish-nnue/

gilt es zu beachten, das hier offenbar auch der komplette Pfad
zu der nn-Datei angegeben werden muss, sie aber weder nn.bin,
noch z.B. 20200731-0821.bin heißen darf, sondern offensichtlich
nur den vorgegebenen Standard-Namen nn-c157e0a5755b.nnue
aus dem UCI-Parameter tragen darf.

Man muss also hier dann die nn-Datei 20200731-0821.bin in
nn-c157e0a5755b.nnue umbenennen, sonst rechnet und bewertet
die Engine anscheinend ordentlich, produziert aber nur Müll.

Ich habe zwei Wettkämpfe gegen Eman Enigma jeweils bei einem
Stand von +7 =0 -0 gegen Stockfish MNUE abbrechen müssen, weil
alle Partien schon nach rund einer Minute Rechenzeit total verloren
waren mit meist einem Materialnachteil von mehr als -10 bis -12.

Jetzt, mit der in nn-c157e0a5755b.nnue umbenannten aktuellen
sv Netzdatei 20200731-0821.bin läuft ein 5 Minuten Blitz-Match
von Eman Enigma 1.10 gegen den neuesten Stockfish MNUE vom
31.07.20 einwandfrei, und erwartungsgemäß sind bis jetzt noch fast alle
Partien remis ausgegangen

Gruß
Detti

By Peter Martan Date 2020-08-01 08:40

Gut zu wissen, Detlev, danke!
Ich hatte noch keine abrok NNUE in Verwendung.

By Clemens Keck Date 2020-08-01 16:36

wo hast Du diese Info her, Detlef?
bei mir spielt Stockfish 310720 NNUE mit dem Parameter EvalFile=C:\Users\xxx\Desktop\SFNNue-31July\20200731-0821.bin
normal und unauffällig.

C.K.

By Eduard Nemeth Date 2020-08-01 16:47

Funktioniert so auch unter Android. Man muss das Netz nicht als nn.bin definieren. Jede andere Bezeichnung als *.bin geht auch.

By Detlef Uter Date 2020-08-01 17:09

Naja, das Verhalten ist so wie ich es beschrieben habe.

Mein Pfad zur nn-Datei lautet

J:\Software Archiv\Schach\Computerschach\Engines\Stockfisch & Derivate\Stockfish-MNUE\eval,

und weder mit der Datei 20200731-0821.bin im Pfad, noch mit der in nn.bin umbenannten Datei
spielt die Engine sinnvoll.

Das offensichtlich ein Netz gefunden wurde, mache ich daran fest, das die Knotenanzahl
gegenüber der normalen Stockfish Engine um über ein Drittel geringer ist.

Erst mit der originalen nn-c157e0a5755b.nnue im Pfad spielt die Engine bei mir sinnvoll.

Wenn sich dabei bei mir irgend ein Fehler eingeschlichen haben sollte, wüsste ich nur allzu gerne,
wo der liegt.

Gruß
Detti

By Clemens Keck Date 2020-08-01 18:31

bei manchen rechnern und manchen GUI macht die Schreibweise einen Unterschied

C:\Users\xxxx\Desktop\SFNNue-31July\20200731-0821.bin klappt bei Fritz GUI

die Infinity GUI braucht es so

C:/Users/xxxx/Desktop/SFNNue-31July/20200731-0821.bin

C. K.

By Lothar Jung Date 2020-08-02 21:15 Edited 2020-08-02 21:19

Hallo Detlef!

Ich benutze das aktuelle abrok-Compile (AVX).

Ist ein Pfad auch erforderlich, wenn das NN.bin im selben Ordner sich befindet.
Bei mit klappt das Laden nicht, wenn ich den genauen Pfad zu der NN.bin eingeben.
Ist es zwingend, dass man das NN.bin in den vorgegebenen Namen umbenennt.

LG Lothar

By Benno Hartwig Date 2020-08-02 21:28

Ich habe in dem Ordner mit der .exe einen Ordner eval angelegt und da drinnen die bin-Dateien abgelegt, brauchte nichts umbenennen.
Ich kann dann direkt konfigurieren (benutze absoluten Pfad!!!), mit welcher bin-Datei er arbeiten soll.
Klappt

Auch mit der avx-Version
Wenn deine CPU es kann: bmi2 ist noch etwas schneller.

By Lothar Jung Date 2020-08-03 12:38

Hallo Benno,

ich habe in dem Unterverzeichnis der Engine den Unterordner eval angelegt und die .bin Datei rein kopiert.
Im SF habe ich NNUE aktiviert und den Pfad von eval angegeben, einschließlich des Namens der .bin Datei.
Unter Fritz und Chessbase wird NNUE nicht gefunden und nur der normale SF läuft.
Reicht es, wenn man im SF-Menu nur den Pfad auf eval angibt.
Unter Arena hatte ich keine Probleme.

Lothar

By Peter Martan Date 2020-08-03 12:50

Bei mir heißen die Netze alle nn.bin und sind dafür jedes in einem eigenen Ordner.

Die Pfade sind dann in allen SFNNUE- Installationen mit den mittlerweile doch ziemlich vielen verschiedenen Binaries, auf Fritz und Shredder immer
ordnerxy/nn.bin
, also der Pfad nicht in kompletter Syntax, die Ordner mit den Netzen sind dafür alle im Überordner der Binaries.

Wobei "ordnerxy" der jeweilige Netzname inform einer Abkürzung ist. Um die Netze ganz sicher genau unterscheiden zu können, lege ich in jedem solchen Ordner noch eine Text- Datei mit genau dem Namen des ursprünglichen .bin- Files ab.

By Lothar Jung Date 2020-08-03 13:00

Hallo Peter,

ich bin zur Zeit im Krankenhaus und kann nichts ausprobieren.
Hast Du schon eine abrok-SF-Engine installiert?

Wenn ja, könntest Du mir den genauen Pfadeintrag in SF für das NNUE-Binarie übermitteln?

Danke

Lothar

By Peter Martan Date 2020-08-03 13:05 Edited 2020-08-03 13:20

Lothar Jung schrieb:

Hast Du schon eine abrok-SF-Engine installiert?

Wenn ja, könntest Du mir den genauen Pfadeintrag in SF für das NNUE-Binarie übermitteln?

So schaut der wesentliche Teil der .eng- Datei von Fritz aus:

[ENGINE]
Name=Stockfish 010820
...
[OPTIONS]
...
Use NNUE=true
EvalFile=802/nn.bin

Das Binary- File ist von vorgestern von abrok, das Netz von gestern von Sergio (das einzige, das ich an diesem Tag heruntergeladen habe, daher 802 als Ordnername, den ursprünglichen Dateinamen habe ich in nn.bin geändert. Ich glaube nicht, dass es darauf ankommt, es ist so nur einfacher für mich). Übrigens das letzte, das seither auf der Site vom Reinforcement Learning erschienen ist.

P.S.

Zitat:

ich bin zur Zeit im Krankenhaus

Muss man sich Sorgen machen?
Gute Besserung!

By Benno Hartwig Date 2020-08-03 14:47

Ich denke, du sollte auch unter Fritz Pfad (gern vollständig) und Dateiname angeben.

Unter Arena mache ich das zumindest so:
Ich habe direkt bei den SF-Engines einen Ordner eval (der aber wohl auch sonstwo liegen darf und sonstwie heißen könnte)
und in diesen schmeiße ich nun munter die bin-Dateien, die mich interessieren, benenne nichts um.
Und im Dialog für die Engine-Konfiguration setze ich dann eben bei EvalFile sowas wie:
C:\Arena\Engines\SfNNUE\eval\20200801-1209.bin

So kann ich im SfNNUE-Verzeichnis diverse Versionen der Engine haben
und im eval-Unterverzeichnis diverse Versionen des Netzes
Und im Arena sage ich, welche Exe mit welchem Netz spielen soll.

By Peter Martan Date 2020-08-05 09:36 Edited 2020-08-05 09:40

Hingegen schreibt im Outskirts- Forum wieder jemand, dass die SF NNUE dev.- Versionen statt .bin eine .nnue
-Endung im Namen den Netze bevorzugen.
Ich lasse weder unter Chimera noch sonstwie auf einem Server spielen dzt., probier's also auch nicht aus.

Aber mal was anderes dazu noch:
Wo bekommt man eigentlich die Netze her, die auf der abrok- Download- Site von SF NNUE dev. als aktuell angegeben werden her?

Zitat:

Update default net to nn-97f742aaefcd.nnue

uploaded by Sergio Vieri

Allein heute schon wieder drei neue Versionen und eine noch gestern nachdem ich eine andere von gestern runtergeladen hatte, jetzt geht's dahin.

By Peter Martan Date 2020-08-01 22:36

Bin jetzt endlich dazu gekommen, auch ein abrok- Compile runterzuladen, das mit dem Pfad ist nicht an einen bestimmten Datei- Namen gebunden. Ich habe das default Vorgegebene auf mein Pfadschema geändert mit einem Unterordner, der die nn.bin enthält und sich im im Ordner der .exe befindet, und es funktioniert wie gehabt.

By Kurt Utzinger Date 2020-08-01 18:51

Eduard Nemeth schrieb:

Auf dieser Seite gibt es die aktuelle Engine, ferner wird erklärt welche Version für welche CPU zu verwenden ist:

<a class='ura' href='https://github.com/nodchip/Stockfish/releases/tag/stockfish-nnue-2020-07-19'>https://github.com/nodchip/Stockfish/releases/tag/stockfish-nnue-2020-07-19</a>

Das beste Netz ist das neuste von Sergio:

<a class='ura' href='https://www.comp.nus.edu.sg/~sergio-v/nnue/'>https://www.comp.nus.edu.sg/~sergio-v/nnue/</a>

Hallo Eduard
Woher weisst du, dass dies das beste Netz ist? Zur Zeit werden von zuoberst, die folgenden 16 Netze angezeigt.
Gruss
Kurt

Code:

[ ]  20200721-0909.bin   2020-07-21 10:14   20M   
[ ]  20200721-1432.bin   2020-07-21 15:56   20M   
[ ]  20200721-1907.bin   2020-07-21 19:14   20M   
[ ]  20200721-2323.bin   2020-07-21 23:23   20M   
[ ]  20200722-0359.bin   2020-07-22 03:59   20M   
[ ]  20200722-0944.bin   2020-07-22 09:44   20M   
[ ]  20200722-1517.bin   2020-07-22 15:17   20M   
[ ]  20200722-2141.bin   2020-07-22 21:41   20M   
[ ]  20200723-0511.bin   2020-07-23 05:11   20M   
[ ]  20200723-1134.bin   2020-07-23 11:34   20M   
[ ]  20200724-0123.bin   2020-07-24 01:23   20M   
[ ]  20200724-0640.bin   2020-07-24 06:40   20M   
[ ]  20200724-1240.bin   2020-07-24 12:40   20M   
[ ]  20200724-1732.bin   2020-07-24 17:32   20M   
[ ]  20200724-2343.bin   2020-07-24 23:43   20M   
[ ]  20200724-2344.bin   2020-07-24 23:54   20M

By Eduard Nemeth Date 2020-08-01 19:17

Hallo Kurt,
zum Zeitpunkt als ich das schieb, gab es wenige Netze und Sergio hatte erst damit begonnen. Dennoch sind schon die ersten Sergio Netze besser als das von Gekkehenker. Welches Sergio Netz aktuell das beste ist, kann ich nicht sagen. Aber, ich habe online gespielt bei 2 Blitzturnieren (jeweils 19 Runden). Trotz mässiger Hardware (Ryzen 2700) landete ich weit vorne, zuletzt sogar nach Punkten auf Platz 1 (Mit Netz 1134)!

By Benno Hartwig Date 2020-08-02 21:53

> (Mit Netz 1134)!

wenn ich Sergios bin-Dateien vor mir habe, wie kann ich da solche Nummern finden?

Ihr Name ist doch einfach aus Datum und Uhrzeit aufgebaut.

By Peter Martan Date 2020-08-02 22:40 Edited 2020-08-02 22:58

Eduard hat einfach Datum und Uhrzeit weggelassen.
1134 ist vom 23.7. und wurde auch von einem User namens Ribbit veröffentlicht, drum kenn ich's nach der Nummer allein.

Übrigens nach wie vor eines der stärksten für mich, wenn ich nur nach der Taktik- Stärke auf meiner Hardware gehe.

Die Spielstärke, selbst anhand von ein und demselben Compile derselben Version, signifikant und Praxis- relevant zu unterscheiden ist übrigens ohnehin reine Elosion meiner Meinung nach.
Lässt man je zwei einfach gegeneinander spielen, braucht man aus zwei Gründen ultrakurze (Hardware-) TCs, weil sonst nicht genug Partien zustande kommen um die Errorbar zu unterbieten, und weil sonst die Remis explodieren oder die 1:1 Paare bei Ungleichgewichtsstellungen, was genau so wenig Signifikanz gibt. Um das, was die Remis sinken, sinkt auch der Performance- Unterschied relativ zur Remishäufigkeit.

Ein altes Problem, das immer unüberwindlicher wird, man sehe sich nur an, was im CCC in diesem Thread

http://talkchess.com/forum3/viewtopic.php?f=2&t=74520&sid=b7548efe0b06e186a2b505c3170d3848

an einander widersprechenden Meldungen abgegeben wird.

Da wird üblicher Weise gegen SF 11 getestet, aber das ist ja auch ein ähnliches Inzucht- Match, wie wenn man gleich SF NNUE gegen SF NNUE antreten ließe.
Und dann ist noch überhaupt nicht gesagt, dass das Netz, das auf bestimmter minimaler Hardware- TC zurück liegt, sich nicht schon auf deutlich besserer Hardware ganz anders schlägt, erst recht mit längerer TC oder anderen Eröffnungen.
Und die Kurve, die Sergio selbst zeigt, ist eine reine Verlaufskontrolle des Lernens, ähnlich den Selfplay- Elo von LC0.

Wenn jetzt dann noch die neuen SF- Patches eingepflegt werden, frage ich mich wirklich, wie das Framework ausschließen soll, dass ein Patch, der mit einem bestimmten Netz Elo bringt, sie mit dem nächsten Netz vielleicht wieder kostet. Man merkt's aber nur dann, wenn man die Version vor dem Patch wieder mit den neueren Netz gegentestet.
Sonst könnte man ja meinen, es sei nicht der Patch, sondern das Netz schuld. Und mit jedem neuen Netz, das sich auf einer bestimmten Version besser bewährt, müsste man denselben Gegentest auch machen.

Aber immerhin haben wir ja auch noch LC0 als Vergleich, dumm nur, dass das auf ganz anderer Hardware läuft, und daher eigentlich für jedes neue NNUE Netz und jedes neue Compile einer neuen SF- Version eigentlich auch wieder eine eigene "Leela- Ratio" bestimmt werden müsste. Der Vergleich mit dem A0-SF-Match ist ja mit NNUE auch hinfällig.
Das macht noch am wenigsten, weil der hat ohnehin noch nie was mit dem zu tun gehabt, was LC0 gegen SF an Hardware- Vergleichbarkeit hatte oder nicht hatte.

P.S. Sehe gerade, was da alles an Revivals dadurch wieder aufblüht:

http://talkchess.com/forum3/viewtopic.php?f=2&t=74663

By Benno Hartwig Date 2020-08-02 23:24

> Wenn jetzt dann noch die neuen SF- Patches eingepflegt werden, frage ich mich wirklich, wie das Framework ausschließen soll, dass ein Patch, der mit einem bestimmten Netz Elo bringt, sie mit dem nächsten Netz vielleicht wieder kostet.

Und dann hat die Computerschachszene nun immer was zu ergründen, zu verifizieren und zu diskutieren.
Ist doch noch interessanter als: eine Engine kommt raus, leistet fleißig ihren Rating-Parcours und bekommt eine verlässliche Nummer auf die Engine-Stirn gepappt.

By Peter Martan Date 2020-08-02 23:34 Edited 2020-08-02 23:39

Ich persönlich hab' sowieso noch nie ein Problem damit gehabt, zu jeder einzelnen Stellung die beste Engine zu suchen.
Merke: Spielstärke kann man nur stellungsabhängig messen.

Und davon abgesehen wird sie halt auch mehr und mehr davon abhängen, auf welcher Hardware mit welcher TC man welche Engines gegen welche anderen vergleicht.

Für mich änderst sich nichts. Bisher musste man verschiedene Engines und Engine- Settings zur Stellung passend finden, jetzt halt auch noch verschiedene Netze, eigentlich wird's mehr und mehr ein Dorado.
Man wird sich einfach wieder ein Stück weiter vom "overall playing strength"- Theorem verabschieden müssen.

By Benno Hartwig Date 2020-08-02 23:59

Ich träume gerade mal davon, es gäbe etliche NNUE-fähige Engines verschiedener Entwickler
und gleichzeitig dazu verschiedene starke Netze von Leuten mit durchaus unterschiedlichen Lern- und Gestaltungsprämissen.
Dann haben wir neben den Engine-Herstellern und den Buch-Designern und den Tablebase-Produzenten auch die Netz-Anbieter

.
Und wenn man genau hinsieht, entdeckt man irgendwo auch Schachspieler.

By Detlef Uter Date 2020-08-03 00:11

Na, das wollen wir doch mal stark hoffen! - Also, das mit den Schachspielern.

By Frank Brenner Date 2020-08-03 02:57

Nun, ich glaube die NNUE Netze haben die maximale Spielstärke bereits erreicht. Bei Sergio sehe ich seit Tagen Konvergenz, also keinen Fortschritt mehr.

In Stockfish wird künftig dann die Suche optimiert um noch größere Spielstärke mit einer NNUE Bewertung zu erzielen.

Es ist sehr leicht die NNUE Bewertung in jedes beliebige Schachprogramm zu integrieren.

Wer die beste Suche programmiert führ dann die Rangliste an.

Möglicherweise lässt sich das NNUE Netz erweitern, daß es also nicht nur die Stellungsbewertung zurückliefert sondern einen Faktor "Unsicherheit".

Diese Zusatzinformation könnte die Suche sehr gut für die Steuerung der Selektivität verwenden.

Leider finde ich keine detaillierte Beschreibung wie die NNUE Netze aufgebaut sind und wie sie gemacht werden.

Die aktuellen Netze sind aber leider schon am Spielstärkemaximum angekommen und ich bin schon gespannt ob es da noch einen Spielstärkeschub geben wird.

By Peter Martan Date 2020-08-03 07:57 Edited 2020-08-03 08:30

Frank Brenner schrieb:

Die aktuellen Netze sind aber leider schon am Spielstärkemaximum angekommen und ich bin schon gespannt ob es da noch einen Spielstärkeschub geben wird.

Erstens weißt du das nicht, nur weil das eine Reinforcement- Learning von Sergio deiner Meinung nach ("schon") ein Plateau erreicht hat, (Kai Laskos, Ed Schröder und Andere sehen das immer noch anders in diesem Thread, der erst knappe 2 Wochen alt ist

http://talkchess.com/forum3/viewtopic.php?f=2&t=74520

) das Problem wird mehr eines der Übertragbarkeit der Elo sein, die da erspielt werden, auf andere Matches als das gegen eine bestimmte einzelne SF- Version ohne NNUE.
Übrigens komt mir vor, dass das letzte Netz auf der Site der SV- NNUE- Netze ohnehin schon länger als 5 Stunden alt ist, vielleicht ist die eine Milliarde Stellungen jetzt doch auch schon durch. Man muss sich mal vor Augen halten, wie wenig das eigentlich ist, in schachlichen Dimensionen gemessen.

http://talkchess.com/forum3/viewtopic.php?p=854085#p854085

Aber zweitens und vor allem ist, wie du an den Netzen von Dietrich Kappe siehst, der Phantasie, von welchen Ausgangs- Evals und oder -Stellungen du wie trainierst, keine Grenze gesetzt, außer natürlich der der Hardware- Zeit, die investiert wird.

Für Hintergrund- Infos wäre ich schon auch dankbar, Dietrich Kappe und Jörg Oster könnten vielleicht mit ein paar Links helfen?

Wohl ist es relativ einfach, mit den Binaries, die's dafür ja auch schon länger zum Runterladen gibt, selbst Netze zu bauen, ein erstes hab' ich bald mal in vielleicht 8 Stunden auf meiner alten CPU gehabt, was die Dingens, die da der Reihe nach ihre Befehle abwickeln, eigentlich tun, weiß ich deshalb halt noch absolut nicht.
Und ob man's mir überhaupt wird erklären können, ist auch noch nicht raus, black boxes bleiben halt für verschiedene Leute immer verschieden schwarz, so richtig hell wird's, wenn sie so schon heißen, was man so hört, sowieso nicht drin.

Drum meinte ich ja, das Testen wird mehr und mehr das Hauptproblem sein.
Natürlich mag der Phantasie, was die Suche mit den Netzen anfängt, auch keine Grenze gesetzt sein, außer halt auch der, es überhaupt nachweisen zu können, woher eventuell doch noch gegen den Remistod erspielbare signifikante Steigerungen kommen mögen.
Dieses Problem hat das ja ebenfalls immer noch junge LC0- Projekt genau so auch schon länger. Mit den Selfplay- Elo fängt man nicht wirklich was an.
Da könntest du auch schon eine Weile lang sagen, ah, hat sein Plateau erreicht, das werden aber die Netz- Entwickler von LC0 auch nicht einfach so stehen lassen als Aussage, denke ich.

Gut, da ist das Training ja auch noch um einiges komplizierter und aufwändiger, aber gerade das wäre ja der große Vorteil von NNUE, das es schneller und einfacher trainiert wird und dass es besser steuerbar ist, was woraus wie "gelernt" wird.