Ja, ihr Tester habt einen echten Sch...job in diesen Zeiten.
Es gibt wahrscheinlich objektiv keine eindeutigen Kriterien, was erlaubt sein sollte und was nicht, dazu ist die Materie zu komplex.
Der Orion-Programmierer nutzt Stockfish-Bewertungen, um das Netz zu trainieren, der Trainer selbst aber scheint aber seine eigene Originalentwicklung zu sein. Bei mir ist es umgekehrt, ich habe eigene Trainingsdaten erzeugt, zum Trainieren des Netzes aus diesen Trainingsdaten aber die erste Version des Nodchip/Stockfish-Trainers genutzt. Orientiert habe ich mich dabei an den Regeln, die beim TCEC-Wettbewerb bzgl. NNUE aufgestellt wurden. Die haben dort insbesondere auf selbsterstellte Trainingsdaten Wert gelegt.
Interessanterweise hat es in der Vor-NNUE-Zeit niemanden interessiert, dass die herkömmlichen Bewertungsparameter vieler höherklassigen Engines mit frei verfügbaren Positionsdaten ge-texel-tuned (trainiert) wurden, die ebenfalls teilweise auf Stockfisch-Bewertungen basieren. Siehe z.B. hier
http://www.talkchess.com/forum3/viewtopic.php?t=61427Wichtig scheint mir, dass alle mit offenen Karten spielen. Sowohl der Orion-Entwickler als auch ich selbst haben die Informationen, wie das Netz entstanden ist, auf unseren Seiten dargestellt. Bei Nemorino war das nicht so deutlich, die Version 6.03 mit dem deutlich schwächeren Netz aus eigenen Trainingsdaten wurde relativ still und heimlich für den TCEC FRC-Wettbewerb eingereicht.
Technisch nachvollziehbar, woher ein Netz kommt und wie es entstanden ist, scheint schwierig bis unmöglich im Unterschied zur herkömmlichen Bewertung, wo man zumindest bei Opensource Engines einfach in den Code schauen kann.
Wie gesagt... ihr habt einen Sch...job.
Grüße, Andreas