Lothar Jung schrieb:
Ich halte die Berechnung der Leela Ratio über die kN für die größte Schwäche,
Da die kN/sec je nach Netzgröße der 10er bis 60er Netze immens abweichen.
Zum Beispiel zwischen den 58er Netzen und den 60er Netzen.
Im übrigen wird das unterschiedliche trainierte Wissen der Netze nicht berücksichtigt.
Und das trainierte Wissen ist es, selbst mal von der Netzgröße abgesehen, das den "Inhalt" der "Knoten" ausmacht.
Es ist eben nicht wie bei A-B-Engines, die mit der Zahl der Knoten einzelne Stellungen in der Berechnung "meint" (ja auch nicht so direkt interpretierbar, weil auch da die Eval- Parameter eine Rolle spielen, und vor allem noch, wie viel schon aus dem bereits gespeichertem Hash an bereits Bewertetem mitspielt) sondern die Trainingswerte, das "gespeicherte" Wissen, das mit den "Knoten" (der Begriff bedeutet hier einfach etwas grundsätzlich anderes) zur entsprechenden Brettstellung herangezogen wird, das macht einerseits das aus, was dann in den Output kommt, andererseits bestimmt es natürlich auch, selbst bei gleicher Netzgröße, je nach Stellung (und deren "Bekanntheitsgrad", wie sehr sie in "Bilder" passt, die abgerufen und neu angelegt werden) die angezeigte Knotenzahl. Rollouts sind sowieso noch einmal etwas prinzipiell anderes als Knoten bei A-B-Engines, und im einen und im anderen Fall bedeuten beide Begriffe je nach Programm (und bei NN- Engines je nach Netz) sehr Verschiedenes.
Und dann ändert sich ganz anders als bei A-B mit dem Fortschreiten der Rechenzeit das Abspeichern und Abrufen von bereits Bewertetem im NN- Cache, das ist mit dem, was bei A-B-Engines in den Hash kommt und aus dem wieder abgerufen wird, auch wieder nur sehr bedingt vergleichbar. Aber wie groß der NN- Cache ist, davon hängt die Knotenzahl mit Fortschreiten der Rechenzeit je nach Stellung natürlich auch ab.
Jetzt ist es ok, ein und dieselbe LC0- Version mit ein und demselben Netz (möglichst schon auch ein und derselben Stellung) auf zwei Rechnern zu vergleichen.
Aber wie Wolfgang Battig auch so richtig hier
https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=125980#pid125980Wolfgang Battig schrieb:
Und solange die CPU / GPU - Kombination gleich bleibt (bei mir sind das "Ryzen 5 2600 <=> GTX 1650 (mit fp16)" und "i7-4770 <=> GTX1060") gibt es keinen Grund, wieder neu zu messen. Das Geschwindigkeitsverhältnis zwischen CPU und Grafikkarte bleibt ja gleich. Kaufe ich eine neue CPU/GPU oder baue z.B. die Grafikkarte in einen anderen Rechner ein, muss ich natürlich neu messen um das dann aktuelle Geschwindigkeitsverhältnis zu ermitteln.
, schon dieselbe GPU in einem anderen Rechner verbaut, ist wieder ein anderer Schuh, der nur zu einem anderen Paar passt.
Hatten wir das alles wirklich noch nicht oft genug, diese "Debatten"?
Schon lange vor A0 wurde da immer wieder bei den Vergleichen zwischen Knotenzählungen verschiedener A-B-Engines herumgestritten, vergleichbar ja, nein, doch, doch nicht so ganz, nicht so sehr, alles wieder vergessen?
Sagt denen unter uns, die da schon etwas länger dran sind, der Ausdruck node obfuscation noch was? Und da ging's um absichtlich andere Darstellung der Knotenzählung, als allgemein üblich war, was alles absichtlich und unabsichtlich vom Progammierer ohne jede Verschleierungsabsicht anders "gezählt" wird, geht darüber natürlich weit hinaus.
Es ist eine Frage von wie sehr, bei welchen einzelnen Anwendungen, Knotenzahlen zwischen verschiedenen Hardware- Beispielen vergleichbar sind.
Es ist keine Frage, dass sie nur bei ein und demselben Programm (im NN- Fall mit ein und demselben Netz) zwischen zwei ganz bestimmten Hardware- Vergleichsfällen und nur stellungsabhängig reproduzierbar sind und in jedem anderen Hardware- Vergleichspaar und bei jeder anderen Stellung Rechenzeit-abhängig neu bestimmt werden müssen.
Und natürlich ist auch die einzelne GPU nicht ohne den Zusammenhang mit der übrigen Rechnerkonfiguration zu vergleichen mit einer anderen, insbesondere die CPU und der RAM spielen eine Rolle.
Period.