Vorschlag für neue ELO Rangliste

By Frank Quisinsky Date 2014-01-01 14:06 Edited 2014-01-01 14:12

Hi Tom,

geht auch aber damit haben wir keine Vergleichbarkeit.
3.500 ist sehr hoch.

GM Meier meinte im Schachwelt Interview, welches ich mit ihm und GM Hickl gemacht habe, dass Shredder im Schnellschach auf einem herkömmlichen Notebook bei ca. 2.800 liegt. Das war vor ca. 3 Jahren. Es Sinn macht auf eine solche starke Engine auf Remis zu spielen, so GM Meier (ca. 2650 ELO, Nummer 2 in Deutschland zu diesem Zeitpunkt). Und wenn Shredder auf 2.800 liegt, liegt Houdini 4 ca. bei 3.075 - 3.090 schätze ich mal, Test läuft ja gerade bei mir.

Insofern wird bei den Ratinglisten nicht zuletzt aufgrund dieser Expertenmeinungen auf Shredder 2.800 geeicht. Was bedeutet das die TOP-21 (ohne die beiden inkompatiblen ChessBase Engines) ca. auf 2.880 durchschnittlich stehen. Die TOP-10 (bei einem IPP Clone drin) stehen dann ca. 2.975 und nicht bei 3.500 im Schnellschach. Da beim Blitz die Leistung nach oben geht (im Vergleich zu Menschen)... vielleicht 3.100 durchschnittlich die TOP-10 aber nicht 3.500!

Besser ist immer eine ausgeglichen spielende Engine zu nehmen und auf diese eine Ratingliste zu eichen. Idealerweise eine Engine die in der Mitte einer Ratingliste liegt. Geht natürlich auch wie Du es beschrieben hast aber ich würde dann eher auf 3.100 setzen bzw. lieber alles vergleichbar zu anderen Listen gestalten und auf 2.975 setzen.

Gruß
Frank

By Frank Quisinsky Date 2014-01-01 14:17

Hi,

und nur 10 Engines ergibt keine vernünftigen Werte.
Das ist schon bei der SWCR2 Beta Phase aufgefallen.

Bei 10 Engines lag Houdini 3 noch bei 3.090 ELO und bei 20 Engines waren es dann 3.050 ELO. Die Schwelle ist ca. 20-26 wo die Listen dann etwas genauer werden anhand der Anzahl der Gegner. Idealerweise nicht so viele IPPs weil die alle gleich spielen und auch das gibt kein sinnvolle Rating. Es sei denn die IPPs werden miteinander verglichen wie bei Stefan Pohl. Der hat im Grunde 7 Engines in der Liste (Houdini, Komodo, Stockfish, Critter, GullChess, Rybka, IPPs).

Je mehr unterschiedliche Engines in einer Liste sind desto besser werden die Ausgaben, nicht je mehr Partien der gleichen Engines gespielt werden.

Gruß
Frank

By Tom Paul Date 2014-01-01 16:02

Shredder war doch von 2008? Somit eine 6 Jahre alte Engine.
Das Interview war vor 3 Jahren, was waren zu dieser Zeit herkömmliche Notebooks? Die neuen Intel Zweikern CPUs mit 2,5 GHz sind gerade neu auf den Markt gekommen also muss man davon noch etwas Power abziehen um aufs herkömmliche zu kommen.
Um wie viel ELO ist wohl eine Engine mit PC 6 Kernen und 4,5 GHz stärker?
Vielleicht 200?
Bei den Zweikern CPUs traue ich ja den GMs noch ein paar glückliche Unentschieden zu aber gegen einen 6 Kerner nur Niederlagen.
Oder z.B. 2 Kerne 100 Partien davon 10 Remis, 6 Kerne und 4,5 GHz 100 Partien davon 1 Remis.
Wie viele ELOs würde das im ersten und zweiten Fall machen?

Kann mir da nur schwer vorstellen, dass Shredder 2800 haben soll, da müsste Magnus ja einen tollen Sparringspartner haben.
Oder Kasparov vs Shredder 12?
Kasparov verlor doch schon zur seiner aktiven Zeit gegen andere Engines die deutlich schwächer als Shredder waren.

Wenn wir nun aber sagen
Notebook = 2800 Shredder, 3075-3090 Houdini
PC = 3000 Shredder, 3275-3290 Houdini
Wenn bei Stockfish die schlimme 3-Fold Rep erfolgreich behoben wird, dann denke ich Stockfish würde 100 von 100 Partien gegen MC gewinnen, wie viel Spielstärke wäre das dann?

Man könnte auch sagen
Magnus 2900, Stockfish 3500 und die ganzen Engines dazwischen, spielen gegen die beiden so lange bis sich ihre ELO nicht mehr verändert.

Oder man nimmt eine Engine die in möglichst allen Bereichen gleich stark spielt und auch genauso stark wie MC ist.
Dann gibt man in Aquarium dieser Engine und allen anderen Engines auch die 2900 ELO.
Und dann wird beobachtet wie sich die ELO der einzelnen Engines verändern.
Hatte irgendein Super GM gegen eine aktuelle starke Engine gespielt.

Quazar 0.4 hat 2910 ELO in der CCRL, dass würde bedeuten MC würde sehr oft unentschieden spielen können und auch mehrere Siege bei noch mehr Niederlagen aus 100 Partien haben.

By Michael Scheidl Date 2014-01-01 18:54

Eine "absolute" Spielstärke einer Computerschachengine ist sowieso immer anders, je nach Bedingungen. Engines laufen heute auf Smartphones oder Tablets bis hin zum High-End-Multikernrechner, und von ultrakurzen bis zu Fernschachbedenkzeiten. Das kann sich mit ein- und derselben Engine sicherlich über eine Bandbreite von mehr als +/- 1000 Elo erstrecken.

Es gibt keine wirklich methodische Kalibrierung zu menschlichen Spielern bzw. Spielstärken, und ich rechne auch nicht mehr damit. Aber was möglich war, ist wenigstens diese (Art von) Kalibrierung zwischen verschiedenen Engineranglisten, und das haben mehrere Tester gemeinsam gut umgesetzt. Natürlich ist die Festlegung von Single-Shredder 12 = 2800 eine Ermessenssache bzw. etwas willkürlich, aber doch plausibel klingend. Dadurch gibt es zwischen einigen Listen eine gemeinsame Basis.

Ob jetzt die Rang Eins-Engine X mit 3300, 3100 oder 2900 "angeschrieben" wird, ist ja eigentlich egal, da es nur um die Abstände geht. Derzeit finde ich spannend, wie je nach Bedingungen Stockfish, Houdini und Komodo innerhalb der Top-3 die Ränge tauschen. Wer weiß; das könnte vielleicht das ganze Jahr 2014 so weitergehen und die Rang Eins-Extremisten in Verzweiflung stürzen.