Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / CEGT aktuell
- - By Wolfgang Battig Date 2020-12-04 00:30
Einige interessante neue Engines bzw. Versionen im Test:

https://cegt.forumieren.com/t1404-testing-seer-1-2-1beef-0-3-6cheng-4-40-devkoivisto-4-0

https://cegt.forumieren.com/t1407-testing-orion-0-8-nnue
Parent - - By Frank Quisinsky Date 2020-12-04 00:39
Hallo Wolfgang,

übersichtlich zusammengestellt.
Ja, es sind definitiv spannende Zeiten.

Beef hätte ich auch gerne im Turnier gehabt aber ich lasse ohne Aufgabefaktor spielen.
Bleiben die Engines kurz vor Partieende regungslos, nehme ich die dann lieber aus meinem Turnier raus.

Sonst hängen zu viele Matches wenn ich nicht am PC sitze.
Heute morgen hing 2x Sting-SF und das ist nicht gut.

Bin mir aber sicher das der Programmierer das selbst herausfinden wird und sicherlich auch ändern wird.
Auf GitHub ist zu der Version 0.2.2 zu lesen, dass er bereits versuchte solche Probleme zu beheben.
Wahrscheinlich wieder eingeschlichen bei der 0.3.6 oder nicht ohne Aufgabefaktor getestet.

Egal ...
Beef ist stark und erst Recht freue ich mich das der Cheng Programmierer aktiv geworden ist.
Hoffe er bleibt motiviert. Die anderen sind auch alle interessant!

Vielen Dank für die Übersicht.

Gruß
Frank
Parent - - By Wolfgang Battig Date 2020-12-05 16:18
Orion-Test abgebrochen, da mir über einen Testerkollegen zu Ohren gekommen ist, dass das genutzte NN wohl ein modifiziertes/verkleinertes (?!)  Stockfish Netz ist. Dafür verschwende ich weder Zeit noch Geld (Strom)...
Parent - By Frank Quisinsky Date 2020-12-05 19:10 Edited 2020-12-05 19:12
Hallo Wolfgang,

wird wie eine Lawine über uns kommen.

Sehe das so:
- die maßgebliche Idee, wie mit vielen anderen Ideen die von vielen anderen genutzt werden.
- das benutzte Netz, sollte schon ein anderes, eigenes sein.

Ob nun ein großes eigenes Netz oder ein kleineres oder ob Erkenntisse aus privaten Testläufen in eigene Sourcen einfließen bzw. händisch aufgegriffen werden.
Nach kurzer Zeit gibt es viele Varianten.

Klar ist, dass Programme mehr oder weniger profitieren.
Ein Orion z. B. spielstärkemäßig explodiert.

Für mich ist interessant ist, ob sich die NN / NNUE Programme vom Spielstil unterscheiden oder ob sich die Spielstiele angleichen.
Hier dann mit oder ohne dem eigenen Netz.

Meine derzeitige Meinung, eine abschließende habe ich mir noch nicht bilden können.

Viele Grüße
Frank
Parent - - By Andreas Matthies Date 2020-12-06 16:37
Ihr habt Nemorino 6 in euren Ranglisten. Da ist bekannt, dass es (teilweise) mit Stockfish Trainingsmaterial trainiert wurde. Sonst wären +250Elo (CCRL)  kaum möglich. Wieso jetzt bei einer wesentlich schwächeren Engine Orion plötzlich auf Gerüchte hören? Die Büchse der Pandora ist schon lange offen.
Parent - - By Wolfgang Battig Date 2020-12-06 18:14 Edited 2020-12-06 18:20
Hallo Andreas,

danke für die Info bzgl. Nemorino. War mir noch nicht bekannt, lese allerdings nur wenig bei talkchess usw.
Habe mir den CCC-Thread dazu, http://talkchess.com/forum3/viewtopic.php?f=2&t=75241&start=20 mal angesehen.
Zunächst spricht Christian von "Nemorino comes with it's own network", später dann "Uses a net (nemorino_net_6.nnue) trained with training data generated with Nemorino partly using nets from Stockfish".

Nun zu Orion:
Zunächst einmal hat das nix, aber auch gar nix mit Spielstärke zu tun. Ob die Engine 3000 oder 3200 oder 2500 hat ist mir egal.
Meine Formulierung "zu Ohren gekommen" war möglicherweise missverständlich. Weder der Kollege noch ich verlassen uns auf "Gerüchte"...

Was (zumindest) mich bewogen hat, den laufenden Test ab- bzw. zu unterbrechen, steht offen auf der Internetseite, https://orionchess.pagesperso-orange.fr/

"Training data
Training was performed using 360 million unique positions, extracted from CCRL games, against the nn-82215d0fd0df.nnue network. This network has been released back in August in the public domain by Sergio Vieri, and is now embedded in Stockfish 12".


Und weiter unten (DAS war für mich entscheidend):

What's next ?
This version represents a lot of work. Understanding how neural networks work and how to train them was very challenging ! Now, the next challenge will be to "cut the link" with Stockfish's evaluation."


Ich gebe gerne zu, dass ich das möglicherweise falsch verstehe, da ich kein Programmierer bin und von der Materie in dieser Beziehung somit keine Ahnung habe.
Da dies bei Dir logischerweise anders ist, bin ich für sachdienliche Hinweise und gern auch Korrektur meiner Interpretation dankbar...

Grüße
Parent - - By Andreas Matthies Date 2020-12-06 19:36 Upvotes 1
Ja, ihr Tester habt einen echten Sch...job in diesen Zeiten.

Es gibt wahrscheinlich objektiv keine eindeutigen Kriterien, was erlaubt sein sollte und was nicht, dazu ist die Materie zu komplex.
Der Orion-Programmierer nutzt Stockfish-Bewertungen, um das Netz zu trainieren, der Trainer selbst aber scheint aber seine eigene Originalentwicklung zu sein. Bei mir ist es umgekehrt, ich habe eigene Trainingsdaten erzeugt, zum Trainieren des Netzes aus diesen Trainingsdaten aber die erste Version des Nodchip/Stockfish-Trainers genutzt. Orientiert habe ich mich dabei an den Regeln, die beim TCEC-Wettbewerb bzgl. NNUE aufgestellt wurden. Die haben dort insbesondere auf selbsterstellte Trainingsdaten Wert gelegt.
Interessanterweise hat es in der Vor-NNUE-Zeit niemanden interessiert, dass die herkömmlichen Bewertungsparameter vieler höherklassigen Engines mit frei verfügbaren Positionsdaten ge-texel-tuned (trainiert) wurden, die ebenfalls teilweise auf Stockfisch-Bewertungen basieren. Siehe z.B. hier http://www.talkchess.com/forum3/viewtopic.php?t=61427

Wichtig scheint mir, dass alle mit offenen Karten spielen. Sowohl der Orion-Entwickler als auch ich selbst haben die Informationen, wie das Netz entstanden ist, auf unseren Seiten dargestellt. Bei Nemorino war das nicht so deutlich, die Version 6.03 mit dem deutlich schwächeren Netz aus eigenen Trainingsdaten wurde relativ still und heimlich für den TCEC FRC-Wettbewerb eingereicht.
Technisch nachvollziehbar, woher ein Netz kommt und wie es entstanden ist, scheint schwierig bis unmöglich im Unterschied zur herkömmlichen Bewertung, wo man zumindest bei Opensource Engines einfach in den Code schauen kann.

Wie gesagt... ihr habt einen Sch...job.

Grüße, Andreas
Parent - By Wolfgang Battig Date 2020-12-07 20:46 Upvotes 1
Ja, einen sch....önen Job...

Ich hatte in der Zwischenzeit Christian (Nemorino-Autor) über CCC angeschrieben. Zudem hatte sich David (Orion-Autor) im CCC-Thread mit unseren Listeninfos, http://talkchess.com/forum3/viewtopic.php?f=6&t=76000, geäußert.

Da beide "mit offenen Karten" spielen - ein wie du schon sagst wichtiges Kriterium - werde ich den Orion-Test wieder aufnehmen...
Up Topic Hauptforen / CSS-Forum / CEGT aktuell

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill