Jede Rangliste ist eine Momentaufnahme, Stefan Pohl hat wenigstens die 1000 Partien aus dem direkten SF- Lc0- Vergleich und weil das relativ zu den 15000 der übrigen weniger ist, steht die Engine in diesem Top- 15- Vergleich nur in Klammer und die error bar ist höher, steht aber auch dabei. In der NN vs. SF- Liste vom anderen Link wird nur momentan pausiert



Und jede Rangliste hat mit Lc0 dasselbe Problem, jede einzelne GPU kann nur eine Instanz gleichzeitig spielen, die RTX 2080 von CCRL ist hingegen im Vergleich zu 8CPU- Kernen nicht ganz so ausgeglichen an "Leele- ratio" heutzutage, finde ich halt, Lc0 hat dort auch "nur" 2924 Partien gespielt für die Liste, dass es mehr Gegner sind, macht das Rating auch wieder zu einem anderen, als wenn nur die besten unter sich sind, und dann kommen noch die Eröffnungsstellungen, die bei Stefan UHO sind, bei CCRL ausgeglichenere.
Das alles macht die Momentaufnahmen, die beide Listen darstellen, zu 2 verschiedenen, die man nur bedingt vergleichen kann, da hast du recht, das gilt aber für alle anderen Arten der Spielstärkemessungen gleichermaßen, welche einem mehr sagt und welche man für die aussagekräftigere hält, bleibt dem Betrachter überlassen.
Statistisch belastbar müssen sie sein, möglichst die error bar auch angeben (die ist übrigens für Lc0 in der CCRL- Liste von deinem Link ziemlich ähnlich wie die von Lc0 in der Top 15 von SPCC, 10 in der einen, 15 in der anderen) , und es muss einem klar sein, wo die Unterschiede zu suchen sind.

Hallo Dietmar,

die ganzen Listen sind immer nur Momentaufnahmen.

Bei den größeren Listen kommt hinzu, dass zu viele ältere Engines mit neuen gemixt werden, Hardware gemixt wird etc.. Das sorgt immer für kleine Unterschiede und es wird nie ganz genau. Es ist völlig egal ob dann 10.000 oder 1.000 Partien pro Engine gespielt wurden. Auch die unterschiedlichen Bedenkzeiten sorgen teils für unterschiedliche Ergebnisse. Daher interessiert mich z. B. persönlich seit vielen Jahren eine pure Elo nicht mehr. Eher der Spielstil und die grobe Einteilung einer Spielstärke zu den verschiedenen Partiephasen. Genau das lässt sich aus einer dummen Elo nicht ableiten. Besonders interessant ist immer die grobe Einschätzung der Spielstärke im Mittelspiel. Hier bewegt sich noch viel und die Spielstile werden ersichtlich. Das Endspiel ist heute schon so perfekt, dass hier viele Engines sehr stark sind. Der Grund warum dann Engines die z. B. 100-200 Elo von Stockfish weg sind (Gesamtspielstärke) dann im Endspiel nur 50-75 Elo entfernt liegen. Das treibt die Gesamtspielstärke so vieler Engines enorm nach oben. Aber wer interessiert sich dafür, wenn bekannt ist das die Endspiele nahe an der Perfektion von so vielen Engines gespielt werden.

Auch ist auffällig, dass z. B. innerhalb der TOP_50 die Abstände zu Stockfish ca. bei 400 Elo lagen, also Platz 1-50 (vor der Neural Network Zeit). Das sind heute ca. 250 Elo und immer mehr Engines rücken näher heran. Ist ja der Grund für die steigende Remisquote. Der längere Züge Durchschnitt ist da eher hausgemacht von 20-30% von Engines innerhalb der TOP-50, begründet durch grob gesagt zwei unterschiedlichen Auslösern.

Also, Ratinglisten waren immer nur Momentaufnahmen, weil die Beeinflussungsfaktoren von Bedenkzeit, Ponder, Buchwahl, Endspieldatenbanken etc. dazu beitragen das Ergebnisse unterschiedlich ausfallen. Das schreibe ich schon seit 20 Jahren und habe mir damit auch schon böse E-Mails eingefahren. Aber es ist wie es ist. Daher machen viele Partien auch wenig Sinn, weil eine grobe Einschätzung kannst Du auch mit deutlich wenigeren Partien sehen. Den Strom können wir uns getrost schenken.

LCO hatte ich auf einer 3070-Ti mal durchlaufen lassen. Der Test dauerte 3 Monate, weil nur eine Partie laufen konnte. Es war nach dem Test dann klar, dass Lc0 auf dem Level von Stockfish und Dragon war. Bei Lc0 ist schön, dass die produzierten Stats interessant sind. Der Züge Durchschnitt ist super, die Anzahl der kurzen Gewinne ist super, der Spielstil überhaupt ist interessant. Ob nun Lc0 20 Elo besser oder schlechter als Dragon oder Stockfish ist spielt überhaupt keine Rolle. Vielleicht in den Köpfen einiger weniger.

Das Salz in der Suppe sind nach wie vor die Spielstile. Schönes Schach, keine unnötigen Endspielschlangen mit teils hunderten unnötigen Zügen. Und dann fallen mal so eben 30% der TOP-50 weg. Viele kurze Gewinnpartien produzieren nur wenige Engines der TOP-100.

Viele Grüße
Frank

PS: Finde das immer so krass das Leute Abhandlungen schreiben die in Ihrem Leben noch nie eine einzige Ratingliste produziert haben. Geil an den Ratinglisten ist die Entstehung. Also, wenn immer mehr Partien hinzukommen und Du dann merkst wie wenig sich ab einen bestimmten Zeitpunkt verändert. Das liebe ich z. B. sehr ... wie eine Ratingliste entsteht bis zu einem gewiseen Zeitpunkt und dann folgt die große Langeweile wenn es um pure Ratings geht, nicht wenn es um Spielstile geht. Da kam bei mir noch nie Langeweile auf, weil ultra spannend zu forschen.