Neue Netzgröße für Stockfish Netze: 1024

By Robert Bauer Date 2021-07-31 00:30

Und wo kann man dieses Netz herunterladen?

Die Bezeichnung ist auch sehr krumm: "nn-exp126-run0-epoch379.nnue"

By Hauke Lutz Date 2021-07-31 00:48 Upvotes 1

Hallo Robert,

in https://tests.stockfishchess.org/tests/finished?success_only=1 kannst du nachdem "nn-exp126-run0-epoch379.nnue" gefunden wurde im Test beim Punkt "new_net" die Bezeichnung des neuen Netzes "nn-796849a37a9e.nnue" finden.
Damit kannst du in https://tests.stockfishchess.org/nns nach dem Netz suchen.
Der direkte Link zu dem beworbenem Netz ist beigefügt.
https://tests.stockfishchess.org/api/nn/nn-796849a37a9e.nnue

Gruß
Hauke

By Robert Bauer Date 2021-07-31 08:24

Vielen Dank Hauke!

Es gibt seit dem aber schon 30 neuere Netze, auch vom Username Sopel.
Sollte man dann nicht auf ein neueres gehen?
Wie findet man heraus, ob ein Netz ein 1024er oder 512er ist?

By Hauke Lutz Date 2021-07-31 11:20

Die grünen Netze sind soweit ich sehe alle noch 512er.
Wahrscheinlich weil größere offizielle DEVs nicht kompatibel sind.

Ich kann das bisher nur auf der allgemeinen Testseite in der Kurzbeschreibung finden ob ein 1024er getestet wurde.

By Max Siegfried Date 2021-07-31 12:38

Hauke Lutz schrieb:

Das muss man doch nur neu umstellen so wie letztens als verdoppelt wurde und dann war wieder die Kompatibilität vorhanden.
Was schätzt ihr wie lange das dauern wird?

By Max Siegfried Date 2021-08-01 10:15

Ich hoffe das es dieses mal auch recht zeitnah mehrere Tests geben wird mit Netzen der Größe 1024 gegen das neue 1024 Netz.

By Thomas Lagershausen Date 2021-07-31 10:02

Wenn jemand eine SF exe findet die solche größeren Netze auch nutzen kann wäre es schön hier einen Link mit uns zu teilen.

MfG

By Mann Herrmann Date 2021-07-31 10:51 Upvotes 3

Hallo Thomas,

ich habe mal eine exe erstellt, welche mit dem Netz nn-796849a37a9e.nnue läuft und hochgeladen.

https://mega.nz/file/7pc0jDhD#PYjxole3Jcn1cuaITtpnaHuQvXfrtvY9PH0FAUZYoeE

Vllt. ist es das, was du suchst?

Viele Grüße

By Max Siegfried Date 2021-07-31 10:54

Mann Herrmann schrieb:

Hallo Thomas,

ich habe mal eine exe erstellt, welche mit dem Netz nn-796849a37a9e.nnue läuft und hochgeladen.

<a class='ura' href='https://mega.nz/file/7pc0jDhD#PYjxole3Jcn1cuaITtpnaHuQvXfrtvY9PH0FAUZYoeE'>https://mega.nz/file/7pc0jDhD#PYjxole3Jcn1cuaITtpnaHuQvXfrtvY9PH0FAUZYoeE</a>

Vllt. ist es das, was du suchst?

Viele Grüße

Und wie sind die ersten Tests?

By Mann Herrmann Date 2021-07-31 11:16

Die kns sind niedriger als bei vorherigen Stockfishen, aber ansonsten sehe ich keine großen Unterschiede. Habe zwei Spiele gegen Komodo 13 und zwei Spiele gegen Shredder 13 veranstaltet, die alle von Stockfish gewonnen wurden. (8Threads, 4 GB Hash, 5 min + 3 s)

By Thomas Lagershausen Date 2021-07-31 12:03

Ich bin begeistert.

Einmal von Dir und dann von diesem großem Netz.

Die Analyseergebnisse sind fantastisch in meiner Lieblingspartie.

Deutlich positioneller, aber auch aktiver.

Das ist die Zukunft im Computerschach.

Viele Grüße und super großen Dank an Dich.

You make my day.

PS: Jetzt kann um 14 Uhr das Halbfinale im Wolrd-Cup zwischen Carlsen und Duda kommen.

By Max Siegfried Date 2021-07-31 12:42

Thomas Lagershausen schrieb:

Ich bin begeistert.

Man hatte übrigens auch versucht den Mittelweg zwischen 512 und 1024 zu nehmen, aber der Zuwachs war nur etwas über +2 Elo und somit ungefähr die Hälfte von dem Elo Zuwachs den 1024 hat.
Somit ist das noch größere Netz noch besser.
Jetzt sollte man vielleicht auch einen Test mit 2048 machen!

By Robert Bauer Date 2021-07-31 23:14 Upvotes 1

Vielen Dank!

Ich bitte Dich sehr, auch ein BMI2 Exe zu erstellen.
Darf ich Dich fragen, wie Du kompiliert hast d.h. mit welchem Compiler?

By Max Siegfried Date 2021-07-31 23:34

Robert Bauer schrieb:

Vielen Dank!

Ich bitte Dich sehr, auch ein BMI2 Exe zu erstellen.
Darf ich Dich fragen, wie Du kompiliert hast d.h. mit welchem Compiler?

Warum machen das nicht einfach die Stockfish Entwickler so wie immer??

By Mann Herrmann Date 2021-08-01 08:30 Upvotes 1

Hallo Robert,

hier ist der geänderte Link, hinter dem sich nun auch eine bmi2-exe verbirgt. Die Grundlage, wie auch gestern schon, bildet dieser Code hier: https://github.com/Sopel97/Stockfish/commits/nn-exp126-run0-epoch379.nnue

Du kannst ja mal bereicht ob die bmi2-exe was taugt, weil mein Ryzen 3700 für die bmi2-Funktionen nicht optimal ist.

Das kompilieren von Stockfish ist sehr einfach, wenn man es einmal verstanden hat. Ich benutze msys2/mingw64 ähnlich wie es hier beschrieben ist.

https://github.com/glinscott/fishtest/wiki/Building-stockfish-on-Windows

Das ist der aktuell bereitgestellte Compiler: gcc version 10.3.0 (Rev5, Built by MSYS2 project)

https://mega.nz/file/D09CGS5D#Q28uva0uMOecqoPbpQ0KOH3I5oSqw8GZUBlVo_j1IT8

By Thomas Plaschke Date 2021-08-01 10:03

Eine gute Idee von Dir, die Tools zum Kompilieren auch bereitzustellen. Man muss nicht Programmieren können, um sie zu bedienen. Erfahrungen mit MS-DOS oder anderen Kommandozeilen-Interpretern kann hilfreich sein, ist aber keine Voraussetzung.

Ich habe eine Frage zum Netz: Hier wird gerne geschrieben, das Netz sei größer ... vom Dateiumfang ist es sogar minimal kleiner. Was ist der Clou von diesem Netz?

Viele Grüße
Th. Plaschke

By Mann Herrmann Date 2021-08-01 10:59 Upvotes 1

Bin leider auch kein Experte, aber soweit ich das Überblicke gibt es eine neue Architektur HalfKAv2 statt half_ka_v2.

Des Weiteren wurde TransformedFeatureDimensions von 512 auf 1024 verdoppelt.

Was genau die Unterschiede bewirken weiß ich nicht.

By Robert Bauer Date 2021-08-01 14:23 Edited 2021-08-01 14:27

Vielen Dank sowohl für das Compilat als auch die Erklärungen!

Meine Ergebnisse zur Geschwindigkeit:

aus der Grundstellung:

Stockfish 010821 (dein BMI2 Compile), nn-796849a37a9e.nnue

23816 kN/s
Tiefe 36/44 nach 1:18

Stockfish 030721, nn-56a5f1c4173a.nnue

32485 kN/s
Tiefe 36/47 nach 1:19

Also eine deutlich geringere Knotenzahl. Die Tiefe wurde trotzdem nach der gleichen Zeit erreicht.

PS: dein Compilat hat eine vernünftige Größe: ca. 48 MB für alle Varianten. Das entspricht den SF-DEV-Versionen.
Im letzten Archiv hatten die EXE zu avx2 und modern Größen um 63 MB.

By Max Siegfried Date 2021-07-31 10:28

Hauke Lutz schrieb:

Hallo Robert,

in <a class='urs' href='https://tests.stockfishchess.org/tests/finished?success_only=1'>https://tests.stockfishchess.org/tests/finished?success_only=1</a> kannst du nachdem "nn-exp126-run0-epoch379.nnue" gefunden wurde im Test beim Punkt "new_net" die Bezeichnung des neuen Netzes "nn-796849a37a9e.nnue" finden.
Damit kannst du in <a class='urs' href='https://tests.stockfishchess.org/nns'>https://tests.stockfishchess.org/nns</a> nach dem Netz suchen.
Der direkte Link zu dem beworbenem Netz ist beigefügt.
<a class='urs' href='https://tests.stockfishchess.org/api/nn/nn-796849a37a9e.nnue'>https://tests.stockfishchess.org/api/nn/nn-796849a37a9e.nnue</a>

Gruß
Hauke

Das letzte mal als vor einiger Zeit die Netzgröße verdoppelt worden ist, hatten wir kurz darauf mehrere grüne Tests die massig Elo eingebracht haben.
Jetzt wurde auf 1024 verdoppelt und somit erhoffe ich mir wieder mehrere grüne Tests die massig Elo einbringen.

By Reinhold Stibi Date 2021-08-01 04:41

Der neueste Sockfish ist vom 31.07.21 von Voyager One.

Dieser Stockfish verwendet das große Netz nn-796849a37age.nnue von Sopel vom 27.07.21
und ist kein grünes Netz.

Das große Netz ist ca. 1/3 langsamer und soll einen Zuwachs von 1.62 Elo bringen.

Im ERET 15 Sek. mit Ryzen 3970X: 99 aus 111 = 89,1 % Durchschnittszeit 1 Sek.

Mir scheint dass das große Netz in der Mattsuche langsamer ist; aber das ist noch nicht genügend getestet.

Warten wir die nächsten Tage ab, ob das große Netz weitere Verbesserungen bringen kann.

Insgesamte Zuwächse an Elos sind in Ranglistentest erst ab ca. + 10 Elo einigermaßen nachvollziehbar; für
die kleinen Schritte von ca. + 1.5 Elos müssen wahrscheinlich tausende Partien gespielt werden um dies
festzustellen

By Volker Göbel Date 2021-08-01 05:39

Bei mir verwendet diese Version das letzte grüne Netz (nn-56a5f1c4173a.nnue)

MfG

By Reinhold Stibi Date 2021-08-01 06:31 Edited 2021-08-01 07:02

Danke Volker für den Hinweis; es war eine Verwechslung von mir.

Das neueste grüne Netz vom 31.07.21 von Voyager One beinhaltet aber noch
das kleinere Netz; insofern ist das große Netz, wie von mir angeführt, nn-796849a37a9e.nnue, interessanter.

Die Netze sind vom gleichen Tag.

Von Max Siegfried:

21-07-29 Sop nn-exp126-run0-epoch379 diff
ELO: 5.64 +-5.8 (95%) LOS: 97.1%
Total: 1048 W: 51 L: 34 D: 963
Ptnml(0-2): 1, 29, 446, 48, 0
10000 @ 60+0.6 th 1
cores: 63
Test a 1024x2-16-32-1 net against a 512x2-16-32-1. Both trained in almost the same way. Half thrp
https://tests.stockfishchess.org/tests
https://tests.stockfishchess.org/tests/view/610264ecafad2da4f4ae3a8d
https://tests.stockfishchess.org/tests/view/61019995afad2da4f4ae3a3c

Im Vergleich dazu ist das neue grüne normale Netz nn-56a5f1c4173a.nnue von heute schon wieder alt.
https://abrok.eu/stockfish/

By Horst Sikorsky Date 2021-08-01 09:12

Wie ladet man Neue Netze runter wenn man nur ein bisschen Deutsch kann.
vor allen die links sind Verwirrend
Gruß Horst

By Hauke Lutz Date 2021-08-01 09:48

Guten Morgen Horst,

bei "https://tests.stockfishchess.org/nns" auf das jeweilige Netz z.B. "nn-56a5f1c4173a.nnue" klicken.
Das Downloadfenster von "nn-56a5f1c4173a.nnue" erscheint dann sofort.
Ein Klick auf den Button "Hide non default nets" lässt nur grüne Netze erscheinen.
Bitte beachten, dass grüne Netze ausschließlich 512er Netze sind.

Gruß
Hauke

By Horst Sikorsky Date 2021-08-01 11:32

Vielen Dank Hauke!
Viele Grüße Horst

By Max Siegfried Date 2021-08-02 05:51

Das neue 1024 Netz spielt minimal besser und löst bei mir in der Stockfish Test Suite 5 Aufgaben mehr als die halb so großen Netze.
Man müsste wahrscheinlich noch 20 weitere Verdoppelungen durchführen, damit 100 Aufgaben mehr gelöst werden als es jetzt der Fall ist. Somit wären alle Aufgaben gelöst.
Die Netze wären dann wahrscheinlich viel zu langsam bzw. die CPUs nicht annähernd schnell genug.

By Reinhold Stibi Date 2021-08-02 06:25 Edited 2021-08-02 06:30

Max,

es müssen doch nicht alle Aufgaben gelöst werden. Die Engines sind kein Herrgott.
Manche Teststellungen kommen in der Praxis vielleicht in 1000 Jahren vor.

Stockfish ist doch jetzt schon so stark dass im normalen praktischen Spiel nur noch
remis gespielt wird und damit das nicht vorkommt, muss mit Vorgabeeröffnungen mit
Vorteil gespielt werden, damit noch gewonnen wird.

Dies ist richtig, denn damit kann eine Engine zeigen, ob sie einen Vorteil verwerten kann,
oder nicht und wie es aussieht, kann das Stockfish wesentlich besser als Lc0.

By Max Siegfried Date 2021-08-02 14:29

21-08-02 Sop nn-exp131-run0-epoch399 diff
ELO: 6.60 +-6.2 (95%) LOS: 98.1%
Total: 632 W: 25 L: 13 D: 594
Ptnml(0-2): 0, 11, 282, 23, 0
10000 @ 60+0.6 th 1
cores: 196 compare HalfKAv2_hm-1024x2-8-32-1 and HalfKAv2_hm-1024x2-16-32-1 trained in the same way. previous test used a better 1024x2-16 net...

Die Zukunft sieht gut aus:
Doppelte Größe, dann grüne Netze mit massig Elo bis es nicht mehr funktioniert
Dann das ganze wiederholen.

Das würde mich nicht wundern wenn wir in 3 Monaten wieder +30 Elo erreichen.
Nur einen Stockfish 15 und alle 30 Elo einen neuen Stockfish brauche ich nicht.

By Kurt Utzinger Date 2021-08-02 16:08

Max Siegfried schrieb:

Das würde mich nicht wundern wenn wir in 3 Monaten wieder +30 Elo erreichen.
Nur einen Stockfish 15 und alle 30 Elo einen neuen Stockfish brauche ich nicht.

Hallo Max
Auch wenn jeweils +30 Elo doch beträchtlich sind, finde ich keine Zeit, dauernd
die neuen Netze zu testen. Ich wundere mich, wie man da überhaupt mithalten
kann ... und auf +/- 200 Stellungstests, die sich auf Lösungszeiten im Sekunden-
bereich bewegen, verlasse ich mich nicht. Da ich hauptsächlich mit der Analyse
von Partien beschäftigt bin, genügen mir deshalb üblicherweise die default
NN-Netze von Stockfish durchaus, zumal ich selten Analysen von Stellungen
weniger als eine Minute laufen lasse.
Mfg
Kurt

By Frank Brenner Date 2021-08-02 21:27

Hallo Kurt,

du brauchst die Netze auch nicht zu testen. Das macht alles die Stockfish Community und pö a pö wird Stockfish dabei um einen halben oder einen ganzen Elo Punkt pro Woche stärker.
Die Community spielt dafür ein paar Hunderttausend Partien pro Tag

Der Unterschied der Qualität der Analyse ist mikroskopisch und für Menschen nicht in einem Lebenszeitraum messbar.

Aber wenn dann nach einem Jahr der Stockfish durch hunderte kleine Verbesserungegn um insgesamt 40 ELO stärker gworden ist (bei 1 minute /Partie + 1 Core), dann ergibt sich auch in der Analyse von mehreren Minuten pro Zug ein Elosprung von vielleicht 10-15 Elo pro Jahr.

Grüße
Frank

By Kurt Utzinger Date 2021-08-03 08:59

Frank Brenner schrieb:

Der Unterschied der Qualität der Analyse ist mikroskopisch und für Menschen nicht in einem Lebenszeitraum messbar.
Grüße
Frank

Hallo Frank
Das meinte ich vor allem, es mache für mich keinen Sinn, jedes neue Netz herunterzuladen.
Gruss
Kurt

By Max Siegfried Date 2021-08-03 11:02

Kurt Utzinger schrieb:

Frank Brenner schrieb:

Der Unterschied der Qualität der Analyse ist mikroskopisch und für Menschen nicht in einem Lebenszeitraum messbar.
Grüße
Frank

Hallo Frank
Das meinte ich vor allem, es mache für mich keinen Sinn, jedes neue Netz herunterzuladen.
Gruss
Kurt

Natürlich nicht jedes neue Netz.
Aber eine neue große Netzgröße ist schon etwas besonderes.