Interessant wäre jetzt noch zu sehen, wie ein 128x10 Netz sowie Fat Fritz abschneiden.

Du zweifelst aber nicht wirklich, dass sie davon abhängt, nein?
Und wie sehr, wird natürlich erst recht von der Hardware abhängen, auch wenn Manche immer noch meinen, alle Engines rechnen auf jeder Hardware gleich, nur das Tempo sei verschieden, ja, irgendwie schon, aber was das verschiedene Tempo auf verschiedener Hardware qualitativ und quantitativ im Vergleich zwischen den Engines und sogar auch im Vergleich ein und derselben Engine im Spiel gegen sich selbst, bewirkt, das sollte doch eigentlich die einzig relevante Frage sein, vorausgesetzt, man will sich ihr widmen.

Nicht ob sie eine Rolle spielt, sonst würden wir ja wirklich keiner Ratios und dergl. brauchen, sondern könnten, wie's Michael Scheidl vor einer Weile vorschlug, drauflos spielen lassen, Horst Sikorsky hat's auch gut formuliert: nehmen was man hat.

Nachdem wir jetzt in verschiedenen Threads herausgefunden haben, dass die Knotenzahlen zum direkten Vergleich höchstens innerhalb einer eigenen A-B-Liste herangezogen werden könnten, (dass wir das nicht längst schon so gemacht haben, wird aber auch seinen Grund haben, den wollen jetzt nur Einige auch nicht mehr wahrnehmen, -bzw. -haben) werden wir uns halt hart tun, wenn wir als Vergleichsbasis zwischen NN- Engines und A-B-Engines die Knotenzahlen allein nehmen, auch wenn wir sie dann weiter fälschlich Leela- Ratio nennen.
Nämlich diese Bezeichnung in einem irreführenden Sinn verwenden, nicht erkennen wollend, dass sie (die Ratio) nur mit den Knotenzahlen von LC0  einer bestimmten Version auf einem bestimmten Netz und denen einer bestimmten SF- Version jeweils auf einer ganz bestimmten Hardware und Brettstellung al Konstante verwendet werden kann.
Andere Engines, andere Ratio. Andere Netze, andere Ratio. Andere Eröffnungen, andere Ratio. Andere Hardware- Paare als ein bestimmtes einzelnes, andere Ratio.
Mag sein, einige dieser Rations liegen nahe beisammen, wieder ist aber dann die einzig relevante Frage: wie nahe?

Dass die für eine bestimmte Paarung geltende Leela- Ratio, wenn sie auf Knotenzahlen basiert, die bei NN etwas ganz anderes bedeuten als bei A-B, nicht direkt 1:1 übertragbar ist für den Hardware Vergleich zwischen mehr als einem bestimmten Hardware- Paar und einer einzelnen Engine, höchstens noch zwischen verschiedenen Netzen von LC0 allein, geschweige denn für den Vergleich zwischen NN und A-B, wenn's mehr als eine solche und eine solche Engine der beiden Arten ist, und wenn auch noch die Hardware differiert, sollte mittlerweile eigentlich Allen, die sich ein bisschen damit beschäftigt haben, klar sein.

Passt man die Leela- Ratio für jedes neue Match den Bedingungen an, kann man die Knotenzahlen als Basis nehmen, die von LC0 zu LC0 von gleicher Engine und gleichem Netz (wozu dann allerdings der davon völlig abgehobene Vergleich mit dem, was A0 da geboten hat? Er sie es hat's ja nicht gegen LC0 geboten, sondern gegen SF8 bei krass exotischen allgemeinen Matchbedinungen) die von SF zu SF, von Allie zu Allie, von Scorpio zu Scorpio, von komodo zu komodo oder von Wasp zu Wasp.
Oder den Stromverbrauch, oder den Preis der Hardware oder das Alter des Testers vor und nach dem Test.

Es handelt sich dann einfach um eine rein Match- bezogene Variable, man könnte sie auch in Gramm angeben, was einem wieviel wiegt dabei.
Das alles gilt völlig gleichermaßen, ob man sich auf eine Knoten- basierte Variable einigt oder z.B. den Stromverbrauch, es handelt sich in beiden Fällen um eine willkürlich getroffene Auswahl, eine Übereinkunft.

Oder man nimmt einmal die Ratio und einmal eine (vielleicht auch nur ein bisschen) andere. Man würde dann die Ergebnisse, die man mit dieser völlig frei (oder gar nicht) definierten Variablen erhält, einfach nicht mit denen vergleichen dürfen, die man mit ganz anderen Voraussetzungen (Variablen) erreicht hat.

Ist aber übrigens schon auch legitime und im Einzelfass sinnvolle Alternative, ich habe ganz andere Fragen an einen Test, als der "Goldstandard" beantworten kann, werde ich vernünftiger Weise ganz andere Tests machen. Wenn ich sie veröffentlichen will (ich beschäftige mich z.B. immer wieder ganz gern mit Engine- Outputs im direkten Vergleich zu anderem Engine- Output, anhand von für mich interessanten Stellungen, schreibe dazu, was für Hardware- Bedingungen und gut) mach' ich das, wenn's keinen interessiert, braucht's keiner lesen, weiß ich schon im Vorhinein, interessiert eh keine S...eele, schreib' ich's erst gar nicht, doch, das gibt's auch.


Ich wiederhole es nicht für Diejenigen noch einmal, die sich hartnäckig weigern, derlei grundlegende Erkenntnisse einzusehen (was schert die Wahrheit, ob sie jemand zugibt? Wirklichkeiten sind etwas anderes, Wahrheit gibt's nur eine, ob man sie erkennt, oder nicht, ist immer eine ganz andere Frage), sondern nur, weil's hier jetzt wieder um eine neue List geht, die, um es schon auch eigens zu sagen, mir ganz besonders gut gefällt, in der Art der Erstellung, der Durchführung und der Schlüssigkeit der Ergebnisse.
Danke dafür!

Was ich nur noch einmal in Erinnerung rufen möchte: solche Ergebnisse stehen und sprechen für sich, wozu soll man sie als Ersatz oder Konkurrenz zu anderen sehen?
Wenn alle Listen dieselbe Aussage hätten, müsste man ja nicht noch und noch weitere erstellen unter anderen oder den gleichen Bedingungen.
Man wird vielleicht auch als Tester endlich ein bisschen damit leben können, dass Elo nicht Elo sind, spätestens seit ein paar Engines gut genug sind, bei halbwegs moderner Hardware- TC und halbwegs ausgeglichenen grundstellungsnahen Eröffnungen die Remisbreite gegeneinander im Match kaum noch zu überschreiten.

Der Irrtum, dem Viele im Computerschach vielleicht immer noch unterliegen, könnte einfach sein zu erwarten, Schach müsste völlig durchgerechnet sein, bis endlich nur mehr Remis zwischen Engines gespielt würde.
Das Durchrechnen (oder Abspeichern der 32Steiner) mag immer noch in unendlicher Ferne sein, dass die Remisbreite groß genug ist, dass Software- Hardwarekombis, die so gut (gegeneinander) spielen wie heute, eine so weit überwiegende Zahl von Remispartien mit den verschiedensten Eröffnungen spielen, die sie am Anfang schon als ziemlich ausgeglichen bewerten, das macht das Nachweisen von weiteren Entwicklungsfortschritten praktisch so mehr und mehr schwierig, dass man mit Parametern wie Hardware- Ratios und Eröffnungen halt mehr und mehr Ungleichgewichte künstlich schaffen muss, um überhaupt noch statistisch signifikante Unterschiede nachzuweisen.

Entweder man fängt an, auch Mittelspielstellungen zu testen (von mir aus auszuspielen, sonst glaubt ja eh keiner an irgendwelche anderen Ergebnisse) und Endspielstellungen zusätzlich zu den Eröffnungsstellungen (was hat es für einen Sinn, FRC- Ergebnisse zum Vergleich heranzuziehen, oder Eröffnungen mit deutlichem Vorteil einer Seite? Da kann man gleich die danach entstehenden Mittel- und Endspiele nehmen und erspart sich viel Rechenzeit), oder man findet sich damit ab, dass die Elo, die erspielt werden, erstens weniger und weniger übertragbar auf andere Matchbedingungen sind, (stellungsabhängig waren alle Messwerte sowieso immer, sie werden's halt einfach mehr und mehr und mittlerweile natürlich auch mehr und mehr davon, welche Engines auf welcher Hardware verglichen werden) so sehr einander die auch gleichen, wenn sie irgendwie differieren, sind die Elo vielleicht trotzdem dieselben, es ist dann aber reiner, unüberprüfbarer Zufall. "Innerhalb der Errorbar" gewinnt eine immer weiter reichende Vieldeutigkeit in dem Zusammenhang.

Haupterror: Strom kommt aus der Steckdose und kostet eh fast nix. Und Hardware wird eh auch immer billiger, Rohstoffe dafür gibt's unendlich, die menschliche Arbeitszeit ist dann eh auch nix mehr wert, wenn's die Maschine besser kann, also delegieren wir lieber gleich alles an Maschinen, was uns zu viel Arbeit um zu wenig Geld ist.


Und zweitens muss man damit leben, dass es nur mehr mit immer weniger ausgeglichenen Ausgangsstellungen und oder weniger und weniger grundstellungsnahen Eröffnungsstellungen überhaupt noch statistisch signifikante Unterschiede geben wird, drum würde ich das mit den Mittelspiel- und Endspiel- Matches halt auch mehr und mehr empfehlen. Sch...aut man auf die Elo oder auch nicht, nennt sie anders für andere Tests, sch...on-egal (eventuell, hin und wieder, ein bisschen) wenn man's nicht zum Lebensinhalt macht.

Schöne Weihnachten auch schon gleich mal an Alle, für mich sollte die stille Zeit spätestens jetzt auch hier wieder mal anfagen.
Und bitte gleich auch wieder vorbeugend Alle um Entschuldigung, die ich vielleicht schon wieder mal beleidigt oder gelangweilt habe. Beides war nicht die Absicht.

Ist doch nicht nötig, da kann man sich doch meine Rangliste anschauen. Meine Hardware dürfte nur um die 40% der Leistung haben, die Andreas jetzt verwendet. Und ansonsten sind die Bedingungen fast gleich. Sogar die gleichen Eröffnungsvorgaben. Das ist doch das Tolle.

Danke für die Einsicht.
Ich war schon versucht, durch den Vergleich der beiden Ranglisten, auf die Bedeutung der Hardware und der TC bei NN erneut hinzuweisen.

> Es ist wohl doch so, daß für NN-engines andere Gesetze gelten, als für AB-engines immer gegolten haben.

Ich habe den Eindruck, dass sich auch bei den AB-Engines die Erwartung änderte dafür, welche Spielstärkesteigerung erreicht wird, wenn man die Rechnergeschwindigkeit verdoppelt.

Wurden hier früher mal 70 bis 80 Elo gehandelt, so liegt men heute bei den Top-Engines wohl eher bei 50 Elo, vielleicht weniger.
Zustimmung?

Ich kann mir gut vorstellen, dass man bei den NN-Engines noch mehr "am Anfang" steht, dass daher eine Verstärkung der Hardware dort besonders viel bringt.
Die Knotenzahlen sind hier ja noch vergleichsweise klein.
Sättigung kommt dann erst viiieeeel später vielleicht in 10 oder 20 Jahren.

Neues vom Kaffeesatz, die T60-Funktion mps/time bei 1/2 GPU, für die Ultrakurz-TC Tester:

https://cdn.discordapp.com/attachments/539960268982059008/653318017845035009/plot.png

Eine Ingenieur-Weisheit: „Wer misst, misst Mist“.

Aber ich werde eh ignoriert.

Hallo Stefan,

mit dem 32930 Netz rechnet Lc0 auf meiner RTX 2070 ca. 25000 n/s nach einer Minute.

Schön! Bei Netzen der gleichen Größe würde man das auch erwarten, auch wenn deine Hardware doppelt so schnell ist. Die wirklich interessante Frage ist, wie es aussieht, wenn du ein größeres Netz bei dir testest. Das S.Vieri 384x30-t40-1207 Netz wäre sehr interessant. Bei größeren Netzen würde ich bei dir ein besseres Ergebnis erwarten - in Relation zum Ergebnis bei mir. Wie viel besser, das ist die große Frage... Umgekehrtes wäre bei kleineren Netzen zu erwarten (LD2 z.B.).
Bin schon sehr gespannt! Auf jeden Fall sehr schön, daß wir unsere beiden Listen so gut vergleichen können. Endlich vernüftige, statistisch belastbare Vergleiche zwischen mehr und weniger berechneten Knoten pro gespieltem Zug. Super!

Danke für diese klasse neue Ratingliste! Weiter so.

Wäre Stockfish Dev. jetzt auf dem geteilten Platz 1 und 2 oder gar doch die alleinige Nr. 1?
Die D(%) sind extrem hoch bei Stockfish mit 66.88 aber ist das jetzt gut oder schlecht?
Im Vergleich zu Nr. 1 LC0, hat Stockfish fast 30% mehr D(%).

Für 2x 2070 RTX wären dann 2x16 CPU Kerne nötig = 32 Kerne.
Bei 2x 2080 Ti (evtl. übertaktet) RTX müsste man wahrscheinlich doch zum Threadripper mit 64 Kernen greifen.

Leider kein scorpio dabei.