Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Zweistufiger Lösungsansatz für Testsuites
- - By Lothar Jung Date 2022-02-18 11:35 Edited 2022-02-18 11:37
Wie allgemein bekannt rechnen LC0 und Ceres nicht tief und die MCTS Suche  geht ziemlich selektiv vor.

Nicht die besten Voraussetzungen für die Lösung von Problemstellungen.

Testsuites auf meiner Notebookhardware haben gezeigt, das die Tiefe und die kN/sec nicht ausreichen eine schachlich korrekte Lösung hervorzubringen.

Mein Vorgehen:

GUI: BanksiaGUI
Engines: Ceres 0.96 und Lc0 0.29dev.
Netze: 30b vorletztes Netz, 40b 781215
Parameter: 60 sec./Stellung, 99 ply’s
PNG: HTC114 Suite

Die Engines sind von der Art der MCTS-Umsetzung unterschiedlich.
Die Netze sind unterschiedlich groß und haben unterschiedliche Stärken und Schwächen in Bezug auf Policy, Value und Training.

Ich lasse im ersten Schritt Lc0 0.29dev. mit dem T78-Netz die HCT114 Suite lösen.
Im zweiten Schritt setze ich Ceres 0.96 mit dem 30b Netz auf die ungelösten Stellungen an.

Ergebnis: 1. Schritt 56 Lösungen, 2. Schritt zusätzlich 19 Lösungen; Gesamtlösungsanzahl: 75/114
Die Lösungen weisen in der Regel eine zum Teil wesentlich höhere Bewertung und eine höhere Rechentiefe einer RTX 3080 GPU mit 15 Sekunden auf.

Jedenfalls werden die falsch/positiven Ergebnisse reduziert.
Die verbleibenden Stellungen mit einer Bewertung unter 1 bedürfen einer Überprüfung auf der Grundlage der log Datei, die das Pondering im Einzelnen anzeigt.

Ein weiteres Vorgehen wäre zweimal die Suite von Lc0 und Ceres vollständig lösen zu lassen und die Ergebnisse abzugleichen.
Dabei erhält man eine zweite Bewertung, der im ersten Schritt gelösten Stellungen.

Lothar
Parent - By Jörg Oster Date 2022-02-18 12:33 Upvotes 1
Lothar Jung schrieb:

Wie allgemein bekannt rechnen LC0 und Ceres nicht tief und die MCTS Suche  geht ziemlich selektiv vor.
snip


Hallo Lothar,

dir ist schon klar, dass dieser Satz ein Widerspruch in sich ist?

Was denn jetzt, rechnen Lc0 und Ceres nicht so tief, oder gehen sie ziemlich selektiv vor,
und erreichen damit hohe selektive Suchtiefen!?

Und woran machst du das fest?
An der Angabe der nominalen Suchtiefe?
Die ist bei einer MCTS Suche nur irgendeine Zahl.
Bei einer MCTS gibt es nämlich keine nominale Suchtiefe wie bei AB mit einem Iterative Deepening Loop ...

Ich stehe nämlich just vor dem Problem, bei meiner Stockfish UCT Suche https://github.com/joergoster/Stockfish/tree/uct
eine halbwegs vernünftige Angabe an das GUI zu senden. Vorschläge sind herzlich willkommen. 

Gruß, Jörg.
Parent - - By Peter Martan Date 2022-02-18 13:04 Edited 2022-02-18 13:19
Naja, auch irgendwie in meinem Sinn, aber halt nicht vergleichbar zu Ergebnissen von A-B-Engines auf diese Art und sowieso mit keinem anderen GUI reproduzierbar, das würde nicht unbedingt etwas machen, eigene Test- Features wollen wir ja fördern.

Was mich nur wundert, ist die Verbesserung der Ergebnisse für Ceres und LC0, weil die beiden "Hash- Lernen", wie es A-B-Engines machen, nicht kennen, jedenfalls nicht in vergleichbarer Art.
Wohl werden bereits besuchte Stellungen nach Backward irgendwie anders behandelt, soviel ich weiß, aber wie das eigentlich funktioniert, weiß ich nicht, vielleicht über den NN-Cache und über die andere Bewertung von häufiger "besuchten" Stellungen, wirklich auswirken auf die Outputs tut's sich (relativ zu A-B) nicht wirklich. Bei Ceres vielleicht eine Spur mehr (besser) als bei LC0, aber das ist auch schwer reproduzier- und dokumentierbar.

Jörg wird wieder mehr wissen, belästigt neuerlich den Fachmann, aber eh nicht mehr in direkten Anfragen...
Parent - - By Lothar Jung Date 2022-02-18 14:29
Hallo Peter, Hallo Jörg,

immer diese Nachfragen

Also mein Satz war zu ungenau.

A/B - Engines auch mit NNUE suchen und bewerten, auch aufgrund ihres weitaus höheren kN/sec. Wert, viel tiefer als Lc0 und Ceres.
Auch A/B Suchen sind selektiv, die MCTS ist selektiver.

Zufrieden?

Ich hatte den NN-Cache in einem gesonderten Thread erläutert.

Ich habe auf GitHub versucht an den C++ Sorcecode der BanksiaGUI  zu kommen, um mir den Teststellungen Teil anzuschauen, damit man sehen kann, welchen Algorithmus verwendet wird. Fehlanzeige. Wurde nicht bereitgestellt.

Also stehen wir etwas im Dunklen, aber Fritz und Arena sind ohnehin nicht Opensource.

Es grüßt euch

Lothar
Parent - By Max Siegfried Date 2022-02-18 15:09
Lothar Jung schrieb:

Hallo Peter, Hallo Jörg,

immer diese Nachfragen

Also mein Satz war zu ungenau.

A/B - Engines auch mit NNUE suchen und bewerten, auch aufgrund ihres weitaus höheren kN/sec. Wert, viel tiefer als Lc0 und Ceres.
Auch A/B Suchen sind selektiv, die MCTS ist selektiver.

Zufrieden?

Ich hatte den NN-Cache in einem gesonderten Thread erläutert.

Ich habe auf GitHub versucht an den C++ Sorcecode der BanksiaGUI  zu kommen, um mir den Teststellungen Teil anzuschauen, damit man sehen kann, welchen Algorithmus verwendet wird. Fehlanzeige. Wurde nicht bereitgestellt.

Also stehen wir etwas im Dunklen, aber Fritz und Arena sind ohnehin nicht Opensource.

Es grüßt euch

Lothar


Schreibe doch einfach eine Mail an den Entwickler banksiagui@gmail.com.
Parent - - By Jörg Oster Date 2022-02-18 19:36
Nicht wirklich.
Ich habe keine Ahnung, wie Lc0 und/oder Ceres hier in einer Analyse das Forward/Backward handhaben.
Parent - By Peter Martan Date 2022-02-18 19:47
Danke trotzdem, Jörg.
Parent - By Lothar Jung Date 2022-02-18 20:35
Ich auch nicht.
Up Topic Hauptforen / CSS-Forum / Zweistufiger Lösungsansatz für Testsuites

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill