SWCR-32: ELO-Entwicklungstabelle ...

By Frank Quisinsky Date 2011-08-01 16:57 Edited 2011-08-01 17:01

Hallo zusammen,

damit das laufende SWCR-32 mit 15 Engine Updates und einer Reaktivierung (Cyclone xTreme Wrath) spannender zu verfolgen ist, habe ich jetzt zum zweiten Male (siehe auch Eintrag 171 in meinem News-Ticker) eine ELO-Entwicklungstabelle angelegt.

Bedeutet, das hier tabellarisch dargestellt wird, wie sich die ELOs der 15 eingepickten SWCR-32 Updates bei ca. 100, 200, 300, 400, 500, 600, 700, 800, 900, 1.000 Partien entwickeln werden. Nicht zuletzt aufgrund der eigenen Turniere brennt die Frage bei vielen Usern, denn wir wollen ja alle zuverlässige Ratings ermitteln. Hoffe es brechen aufgrund der nachfolgenden Äußerungen nicht wieder unschöne Diskussionen aus, ich habe einfach keine anderen als nachfolgend geschildert.

Abhängig ist allerdings nicht nur die Anzahl der Partien allein, sondern auch die Anzahl der eingepickten Engines, was z. B. bei den ELO-Statistik Programmen nicht bzw. sehr gering berücksichtigt wird.

Beispiel:
Engine A spielt Engine B 5.000 Partien, die ErrorBar gibt 8 aus.
Das ist natürlich Käse denn tatsächlich liegt nur ein Gegner vor und ob 5.000 oder 5 Millionen Partien, die tatsächliche ErrorBar beträgt ca. 60-120 weil nur gegen einen Gegner gespielt wurde. Je mehr Gegner desto besser und die Schwelle liegt nach meinen Berechnungen bei ca. 24-28 Gegnern, danach wird die Kurve der Ungenauigkeiten kleiner bzw. steht nicht mehr in einem Verhältnis. Wobei je nach Anspruchsdenken ... für Person ist ein Rating auf 50 ELO genau, für den anderen erst wenn es ca. noch zu 5 ELO Abweichungen kommt.

Da aber ausreichend Gegner im laufenden Turnier mit 26 Engines also je 25 Gegner zur Verfügung stehen ist die Darstellung der ELO-Entwicklung in Tabellenform wieder interessant. Hierbei können wir nach den bisherigen SWCR Statistiken die Schwellen in drei Stufen einteilen.

Stufe 1:
Ab ca. 400 Partien ... Rating genau auf ca. 30 ELO, in 5 bei bislang 155 getesteten Engines minimal mehr als 30 ELO Abweichung zum aktuellen Resultat = oder größer als 1.000 Partien.

Stufe 2:
Ab ca. 650 Partien ... Rating genau auf ca. 20 ELO, in 4 bei bislang 155 getesteten Engines minimal mehr als 20 ELO Abweichung zum aktuellen Resultat = oder größer als 1.000 Partien.

Stufe 3:
Ab ca. 850 Partien ... Rating genau auf ca. 15 ELO, in 2 bei bislang 155 getesteten ...

Stufe 4:
Wäre dann ...
Ab ca. 1.200 Partien ... Rating genau auf ca. 10 ELO, in 2 bei bislang 155 getesteten ...

Stufe 5:
Würde ich ca. bei 1.750 Partien ansetzen (haben ja schon viele in der SWCR über diese Partiemarke gespielt, dennoch liegen mir hier zu wenige Ergebnisse vor) ... dann ca. 7-8 ELO
Regt sich also kaum noch etwas, insofern unsinnig bei vielen Gegner mehr Partien spielen zu lassen.

Also, viel Spaß beim Beobachten der ELO-Entwicklungstabelle, die derzeit natürlich erst bei ca. 100 von 1.000 Partien steht. Wie gesagt, das Turnier läuft noch ca. 30 Tage.

Unter der ELO-Entwicklungstabelle finden sich meine "laut gedacht" Kommentare.

Viele Grüße
Frank

By Frank Quisinsky Date 2011-08-01 17:11

Hallo,

sorry für den zweiten Eintrag:
Die ELO-Entwicklungstabelle mit den "laut gedacht" Kommentaren liegt im News-Ticker, Eintrag 241!

Gruß
Frank

By Frank Quisinsky Date 2011-08-05 08:01

Hallo zusammen,

die Tabelle wurde nach jetzt 200 Partien pro der 15 Engine Updates aktualisiert. 1/5 vom SWCR-32 Update Turnier ist also schon rum. Etwas Kopfschmerzen habe ich bei Critter 1.2. Der packende Angriffsstil scheint seit Version 0.90 komplett verflogen und auch der w32 auf x64 Zuwachs plötzlich so hoch? Da spielt eine komplett andere Engine im Vergleich zu Version 0.90, die vergleichbar zu Stockfish, Spark taktisch nicht weit weg war. Vielleicht irre ich mich aber nur. Würde mich mal interessieren was der Critter Programmierer hierzu sagt, aber warten wir mal weitere Partien ab bevor ich Richard in TalkChess darauf anspreche.

Viele Grüße
Frank

By Frank Quisinsky Date 2011-08-14 00:51

Hallo zusammen,

das sehr langatmige SWCR-32 Update Turnier schreitet so langsam vor sich hin. Die 15 Updates und die reaktivierte Engine Cyclone xTreme Wrath haben nun schon 400 Partien bzw. Cyclone über 1.400 Partien gespielt. 40% sind also rum und so langsam bilden sich die Ratings. Die ELO-Entwicklungstabelle wird im News-Ticker beständig upgedatet.

Aufgrund vieler Wünsche von meinen Lesern wird die SWCR-32 und die SWCR-64 wieder gesondert über das Menüsystem eingeblendet. Viele interessieren sich nunmal nur für die 32bit oder die 64bit Liste und können so schneller Ihre Favoriten finden, zumal immer mehr und mehr Engines bei dem üblichen Testbetrieb aufgrund der vielen Updates hinzukommen.

Mehr Informationen zur SWCR bzw. dem laufenden SWCR-32 Update Turnier finden sich auf meiner News-Seite.
Weiterhin viel Spaß beim Verfolgen!

Gruß
Frank

By Frank Quisinsky Date 2011-08-30 18:19

Hallo,

mittlerweile haben die 15 neuen Engines je 800 von 1.000 Partien gespielt.
Die ELO-Entwicklungstabelle, News-Ticker Eintrag 241 wird beständig aktualisiert.

Überraschungen gibt es jetzt nach 800 Partien keine mehr. Wer sich selbst mal ansehen möchte ab wann ca. die Ratings stabil werden kann sich gerne die Tabelle in Eintrag 241 näher anschauen.

In gut einer Woche läuft dieses Mammut Turnier mit über 11.000 neuen Partien aus.

Gruß
Frank

By Kurt Utzinger Date 2011-08-30 18:28

Hallo Frank
Für mich als Otto-Normalverbraucher würden aufgrund Deiner
schönen Zusammenstellung 400 Partien/Engine genügen. Die
späteren, geringen Abweichungen sind für mich irrelevant und
verändern an der Rangliste kaum noch etwas.
Gruss
Kurt

By Frank Quisinsky Date 2011-08-30 18:47 Edited 2011-08-30 18:50

Hallo Kurt,

OK, 400 Partien ...
Schaue mal nach!

Derzeit getestet: 170 Engine Versionen.
Von 400 Partien bis zum aktuellen Partiestand gab es bei genau 5 Engines Abweichungen die größer / kleiner waren als 20 ELO.
Maximal nach 400 Partien bis zum aktuellen Ergebnis nach x Partien (ja meist über 1.000) war 26 ELO (Engine mit der höchsten Abweichung ... hier nach unten).

Da sah früher mal anders aus und wurde so nach und nach durch mehr Gegnerschaft immer weiter nach unten korrigiert.
Schön zu sehen wie die SWCR mit immer mehr Partien und mehr Gegnern bessere Werte ausspuckt aber heute korrigiert sich alles nur noch sehr gemächlich, kaum der Rede wert.

Insofern, ich schließe mich Deinen Ausführungen an.
Sofern mehr Gegner sollte ein Rating nach 400 Partien ausreichen (ist auch mein eigener Anspruch).
Bei weniger als 20 Gegner sollten es ca. 500 Partien sein.

Die bei meiner älteren Ratingliste (ATL-4) ermittelten Werte stimmen fast!
Seinerzeit stellt ich fest, es sollten nach genauer Excel Auswertung ca. 380 Partien sein.
Wert von 1/52 = in einem von 52 Fällen mehr als 20 ELO.

Bei der SWCR habe ich derzeit in 1/52 bei 465 Partien.
Aber auch nur deswegen weil 2 Engines extrem (eine Naum Version und der letzte Spike) austischten.

Viele Grüße
Frank

By Frank Quisinsky Date 2011-09-08 00:57

Hallo zusammen,

das SWCR-32 Update Turnier ist beendet. Die letzte Partie war echt der Horror. Hannibal 1.1 w32 - Spike 1.4 Leiden w32. Spike sah sich am Ende mit ca. 3 Bauern im Vorteil und Hannibal 1.1 w32 in Aufgabe-Eval-Position mit ca. 10 Bauerneinheiten im Minus. Die Partie mit unterschiedlichen Läufern und zwei Mehrbauern war natürlich Remis. Wie gut das in der SWCR ohne Aufgabefaktor gespielt wird, sonst hätte Hannibal schon längst aufgegeben. Nachteilig, die Partie lief fast 300 Züge. Wichtig immer, dass die Beeinflussungsfaktoren so gut es geht ausgeschaltet werden, damit genaue Ratings ermittelt werden können.

Der News-Ticker wurde aktualisiert.

Gruß
Frank