Wie du in der Elo- Auswertung siehst.

Eine sogenannte Leela- Ratio, wie sie in LC0- Anfängen im Vergleich zum A0- SF8- Match postuliert wurde, war damals schon eine für mich sehr fragwürdige Sache, seither hat sich soviel bei der Software und der Hardware getan, dass ich derlei Rechnungen von anno dazumal gar nicht mehr anstellen würde. Aber schon damals war es eine reine Frage der Performance- Vergleiche bestimmter Engines (-Versionen) und der verwendeten LC0- Netze, ob auch noch andere Engines außer LC0 und SF mitgespielt haben, mit welchen Eröffnungsstellungen und auf welcher Hardware mit welcher TC, also die Hardware- Frage allein war schon nicht mehr abgekoppelt von den anderen Bedingungen beantwortbar, anders als durch 1000er- Matches an Partien bestimmter Begegnungen.

Spätestens seit NNUE kommen auch noch diese Netze als zusätzliches wesentliches Kriterium dazu und ich kann wirklich nicht mehr als diesen einen Vergleich zwischen SF dev., Crystal (mit dem jeweils gerade grünen NNUE), LC0 und Ceres anbieten, aber genauer als du da zahlenmäßig Vergleichbares bekommst, wirst du schon wieder ein paar 1000er Matches ausspielen lassen müssen, um das dann mit anderen Eng-Eng-Gameplaying- Ergebnissen vergleichen zu können.
Sorry, ist aber halt einfach so.


Die Unterschiede zwischen Dragon, Ceres und LC0 sind, wenn man's mit dem vergleicht, was bei Eng-Eng-Matches rauskommt, ein bisschen klein, richtig, aber auch schon wieder anders sind sie bei solchen Einzelmatches, wie du sie von Discord zitierst, an denen eben jeweils nur 2, 3 Engines teilnehmen, und einer Rangliste wie der von Andreas Strangmüller

http://www.fastgm.de/16-60-0.6.html

und wieder anders, wenn du das reine NN vs SF- Testing von Stefan Pohl hernimmst:

https://www.sp-cc.de/nn-vs-sf-testing.htm

Und nun habe ich ja ein reines Taktik- Stellungstestset zum Testen, ich finde eigentlich, dass das doch etwas ziemlich Anderes von den Teststellungen im Vergleich zu den Eröffnungsteststellungen der Matches ist und vom praktischen Vorgehen her erst recht.

Dass die Elo im einen und im anderen Fall rein numerisch nicht vergleichbar sind, ist klar, dass die Abstände gerade bei den 3 in Frage stehenden taktisch kleiner sind als im Eng- Eng- Match überrascht eigentlich dann nicht, wenn man sich vor Augen hält, dass ein Teilaspekt, so man sich denn wirklich auf den beschränkt, eigentlich immer kleiner sein müsste als ein "Ganzes", aus dem er heraus gegriffen wird.

Nun könnte man auch noch weiter (vermutlich ziemlich voreilig aber jedenfalls stark vereinfachend) folgern, die "taktische" Stärke habe an der "overall playing strength" (die es natürlich bekanntlich auch nur als Wille und Vorstellung, als sogenannte Elosion, nicht aber in der überprüfbaren Realität gibt) einen geringeren Anteil, als man vielleicht angeonmmen hätte.
Ja, wenn's nicht doch an den Testbedingungen (aber sicher auch an denen) liegt (vor allem aber auch, vergleich mal die Partiezahlen auf den Ranglisten mit den 500 Stellungen und deren Abarbeitung mit 10"/Stellung rein quantitativ), dann wird's vermutlich hauptsächlich daran liegen, dass du dir mehr Wunder der Taktik erwartet hast, als es mir gelang, in Zahlen "nachzuweisen".

Im Ernst, der Sinn der Elostat- Auswertung wäre eben für mich, eine kleinste überpüfbare und reproduzierbare "Wahrheit" zu messen und nicht irgenwelche Wunder der Technik, die ja heutzutage im Computerschach schon länger darin bestehen, dass man Unterschiede zwischen Engines überhaupt noch messen und reproduzieren kann über mehr als ein einzelnes bestimmtes Match hinaus, sei es noch so Partien- reich und noch so clever anhand von Eröffnungsteststellungen zur Remisvermeidung und ultrakurzen TCs aufgesetzt.
Einfacher ausgedrückt: so klein die Eng-Eng-Elo-Unterschiede an der Spitze auch schon sein mögen in den verlässlichen Ranglisten, so sehr sind sie durch STC (um überhaupt auf ausreichend Datenmaterial zu kommen) und raffinierte Eröffnungsvorgaben vielleicht doch auch etwas "aufgebläht", (man spricht in dem Zusammenhang auch immer gern von "Elo- Spreizung", damit sie überhaupt nachweisbar und halbwegs reproduzierbar und in einem vernünftigen Verhältnis zur Errorbar sind.

Noch einfacher ausgedrückt: ja, man könnte enttäuscht sein, aber vielleicht sind ja diese meinen kleinen Elo- Unterschiede einfach die wahreren im Vergleich zu anderen größeren, wer weiß?

Genau das will ich aber bei aller gebotenen Heiterkeit (ernst ist das Leben und heiter die Kunst, nass sind die Pflastersteine, wenn man drauf br...unnenwasser gießt), natürlich mit dem neuerlichen Hinweis auf reine "Taktik- Elo" (nach Martan) zum Unterschied von was auch immer für anderen "Elo- Elo" vermeiden, einen Wettstreit um die "Vergleichbarkeit von Elo- Werten".
Der hat sich spätestens mit A0 vollends aufgehört, finde ich halt, seit sogar Herr Prof. Althöfer seine Einschränkungen im Hinblick auf die Omnipotenz der Aussagekraft der Computerschach- Elo angemeldet hat, befinde ich mich ja (nicht erst seither, aber seither erst recht) in durchaus guter Gesellschaft.
BTW gerade diese von Prof. Althöfer bemängelte Beschränkung auf den einen Parameter Partieergebnis in halben und ganzen Punkte, wäre die Parameter- Vielfalt, die eine Elo- Auswertung wie die von Frank Schubert von Teststellungen mit seinem Programm direkt erfrischend reichlicher. Wieder kann ich nur auf die Liesmich im ELOStatTS- Download verweisen, was da alles an Parametern in die Messung eingeht.

Elo wem Elo gebührt, wer da meint, es handle sich um eine heilige Kuh, deren Namen nicht eitel genannt werden darf, liest meine Postings sowieso schon lange nicht mehr. Für mich ist das einfach eine Maßzahl, die (bestenfalls) innerhalb ihres jeweiligen eng umschriebenen und genau definierten Meßsystems gilt, ich würde ja die vom Fußball auch nicht mit der vom Schach vergleichen, und mache mir trotzdem und erst recht überhaupt nichts draus, dass das nicht viel Sinn hätte.

Just my two cents mal wieder, wiederholt sich...

Edit, edit, edit, die Minbatch- Size, nach der du noch bei LC0 gefragt hattest, war (die default- Einstellung von) 256. Falls du das auch noch fragen hättest wollen und nur vergessen hast, Backend- Options wurden auch nicht geändert, also kein multi_stream, das war ja in der Readme von 28.0 als GPU- abhängig beschrieben ,zu setzen oder eben nicht (default).

Entschuldige, diese Frage habe ich eigentlich auch nicht direkt beantwortet, höchstens aus dem Kontext.
Aber, ja, die 7 Beispielsengines waren alle default eingestellt, wenn man davon absieht, dass Crystal beim Kompilieren noch eine anderes Netz default hatte.

Jetzt erst werde ich mit Settings anfangen, weil das für mich immer schon ein besonders interessantes Thema war, und man Unterschiede von einzelnen Parameter- Veränderungen ja mit Eng-Eng kaum anders als in einem Framework wie dem von SF beurteilen kann, und auch da das Selfplay etwas ganz anderes ist, als das Match gegen einen oder mehrere Gegner.

Ich habe gerade SugaR ICCF 2.40 mit Materialistic Evaluation Strategy -12, Positional E.S. +12 laufen lassen, 426/500 bei 10" ist wie erwartet ein neuer Rekord an Lösungszahl (auch das letzte grüne SF- Netz)
Mit MultiPV-Search fange ich vorläufig lieber gar nicht erst an, ob's bei nur 10" auch schon was brächte, bezweifle ich ohnehin, aber zumindest den Gegenversuch mit diesen beiden Parametern default (0 und 0) muss ich schon noch machen, da kommt dann also auch noch ein Run.

Sowas lässt sich übrigens anhand der einzelnen gelösten Stellungen (wie auch bei LC0, Ceres und komodo) leichter unterscheiden, da hängt das aber eben wieder viel mehr von der Zahl und Art der Stellungen ab, von der Hardware- TC und vom Zufall, daher wären gerade hier die Elostat- berechneten Unterschiede eben die genaueren.

Schluss jetzt, schließt (vorübergehend)...

Edit, edit, edit: Dass man von der chessbase- Lösungsdatei eine .pgn- Kopie anfertigen muss für den ElostatTS, fand ich eine Weile etwas lästig, jetzt bin ich direkt froh, dass es so ist, sonst hätte ich jetzt wieder von vorn anfangen müssen mit den ersten 7 default- Versionen, in die ich das SugaR- Setting hineingemischt habe. So konnte ich jetzt durch Zurückkopieren der ersten .pgn eine .cbh wieder herstellen, in der SugaR ICCF (an sich ja schon als Engine ein Branch eines Branches bzw. ein Setting per se) noch nicht mitbewertet war.

Eine Rangliste mit default- Engines muss ich natürlich auf die Dauer schon von zumindest einer anderen zweiten, in der auch Settings mitspielen, trennen.
Eigentlich müsste es eine mit Settings sein, von denen man noch nicht weiß, welche die besten welcher Engine sind, und eine weitere Settings- Rangliste mit best settings.


Das Ganze ufert, wie zu erwarten war, relativ schnell aus, man sollte es vielleicht auch nicht übertreiben damit, übertreibt es gleich mal wieder,