Lothar Jung schrieb:
Du hast recht. Ein Witz, RTX 2080 gegen 4 Cores CPU. Was soll das?
Ich kann das auch nicht begreifen, wie man sich bei einer so alteingessenen Rangliste wie der CCRL derart anfängerhaft und dumm anstellen kann. Alle AB-Engines werden auf ihren CPUs entsprechend der PC-Leistung angepaßt (per Bedenkzeit) an ihrem Referenzpunkt (Equivalent to 40 moves in 4 minutes on Athlon 64 X2 4600+ (2.4 GHz), about 1.5 minutes on a modern CPU.) und so ist es auch korrekt.
Aber die NN-engines bekommen eine Hardwarebombe und jegliche Anpassung unterbleibt.
Mittlerweile haben sie bei der CCRL mal die Leela-Ratios hingeschrieben und die sind noch lächerlicher, als selbst ich befürchtet hatte.
Zitat:
"Games played on an RTX2080 with a Leela ratio of
11.7 to Stockfish 8 on 1CPU and approx
3.0 to Stockfish 8 on 4CPU (calculation still to be run), on an Intel Core i7-6700K test machine."
Das muß man sich mal auf der Zunge zergehen lassen. Selbst, wenn wir uns auf die multicore-Messung beschränken: Eine Leela-Ratio von 3.0 ist völlig absurd. Erklärt aber natürlich, warum alle NN-Engines auf einem Level (oder sogar besser) als eine aktuelle Stockfish-Dev sind. Im Vergleich zu meiner Leela-Ratio von 1.3 ist das z.B. ein Geschwindigkeitsvorteil von Faktor 2.3. Das sollte bei den ja auch in der CCRL relativ kurzen Bedenkzeiten mindestens einen Elo-Unterschied von ca. 50 ausmachen. Heißt also, alle NN-Engines sind dort ca. +50 Elo zu hoch eingestuft. Zieht man diese 50 Elo wieder ab, ergeben sich dann auch realistische Ergebnisse. Zumindest halbwegs. Wenn man mal von der geringen Partienzahl (Leelenstein 11.1 nur lachhafte 461 Partien) und den damit verbundenen, großen Errorbars absieht.
Gut, jeder, der wirklich Ahnung vom Computerschach hat, wird die CCRL bei NN-Engines nun nicht mehr ernst nehmen. Soweit so gut. Nur die Leute, die sich nicht so auskennen, werden natürlich auf diese lachhaften Ergebnisse "hereinfallen". Zumal ja Chessbase sich diese "Ergebnisse" auch gleich zu eigen gemacht hat und eine Jubel Rund-Email verschickt hat, und auf ihrer Website steht dieses:
"Seit 15 Jahren gibt es die CCRL, die Computer Chess Ratings List, und damit ist sie eine der ältesten Ratinglisten für Schach-Engines. Man findet dort sogar Tests aus dem Jahre 2004! Aber die Seite geht mit der Zeit und berücksichtigt bei Tests auch Grafikkarten, um zu sehen, wie leistungsstark neuronale Netzwerke sind - nicht nur Leela und Fat Fritz, sondern auch Allie und Stoofvlees. Auf der aktuellen Liste (23. November) liegt Fat Fritz (mit RTX2080 GPU) auf Platz 1 der Computerrangliste."
Traurig das alles. Zumal, das, was Chessbase hier schreibt, nicht mal falsch ist. Nur, daß "eine der ältesten Ranglisten für Schach-Engines" ihren bis dato guten Ruf, auf den ChessBase sich hier bezieht, leider gerade die Toilette runterspült.
CSS-Shop