Hallo,

im nachhinein sehe ich, daß ich mich zu unpräzise ausgedrückt habe.
ich will versuchen es auf den punkt zu bringen:
der kollege meinte, in meinem beispiel, 3209 und 3191 sind genauso
wahrscheinlich wie die dargestellen 3200. und das leuchtet mir
einfach nicht ein.

Gruß MiKa.

Was ich am 95%-Intervall interessant finde ist, daß eine 5%-Restchance besteht daß die "wahre" Spielstärke sogar außerhalb davon liegt. Vermutlich nicht realistisch, aber rein rechnerisch bedeutet das: In einem von zwanzig Fällen. Wobei, wenn eine Engine wirklich außerhalb dessen liegt werden es nicht hunderte Elos sein sondern eher nur im einstelligen Bereich. Ich denke die üblichen guten Testbedingungen der Ratingagenturen lassen keine grobe Fehlbewertung zu.

als Faustregel nehm ich immer die 10000 Partien von nextchessmove mit etwa +-4.5
dann braucht man 4 mal so viele Partien um das zu halbieren.

Wobei natuerlich die 95% ziemlich willkuerlich sind, ist halt so eine statistische Konvention,
z.B. Medikamenten-Nebenwirkungen , oder Qualitaetskontrollen - bei sowas kann man
kein grosses Risiko eingehen.
Fuer Elos halte ich 90% oder 80% fuer besser.

Mit meinen 1000 Partien lag ich im Durchschnitt auch +-4 vom
Durchschnitt aller 1000er Messungen entfernt

Damals testete ich noch 1s pro Zug , nun meist 10s+20ms pro Partie.
Ich versteh nicht, warum Ratinglisten meist nur so lange Bedenkzeiten haben,
das dauert ja viel laenger und gibt meist auch keine anderen Elos.

Das berühmteste Beispiel in der Literatur war das 3,5:2,5 Ergebnis von DB vs Kasparov 1997. Die weltweite Presse datiert dieses Match als das Schlüsselereignis an dem die Maschinen im Schachspiel an der Menschheit vorbeizog.

Was ich aber in den letzten Jahren gelegentlich erlebt habe ist, daß ein Tester ein paar Tests macht, sagen wir A und B, und über das Ergebnis überrascht ist und dann einfach  einfach behauptet, daß dann wohl A am linken Rand des  95% Iintervalls und B  am Rechten Rand des  95% Intervalls gelandet sei, anstatt auch nur eine Minute darüber nachzudenken ob vielleicht  bei sich selbst, also in seinem Testaufbau ein Fehler verborgen liegt.

Es hat nicht nur Zeitgründe, warum ich die Stockfish-Testruns mit 5x1000 Partien durchführe. Lieber wären auch mir 10x500 Partien. Das Problem ist aber, daß es nicht genug starke Gegner für Stockfish gibt. Eigentlich sind nur zwei Gegner wirklich stark (Komodo, Houdini) und schon dahinter klafft eine große Elo-Lücke. Mit 5x1000 Partien sind immerhin 2000 dieser Partien gegen eben diese zwei wirklich starken Gegner. Bei 10x500 wären es nur 1000 (und 4000 gegen 8 deutlich schwächere Gegner). Das halte ich nicht für sinnvoll. Ich führe ja keine Rangliste, sondern teste primär Stockfish und BrainFish. Und das mit sehr kurzen zeitlichen Abständen und daher nur geringen Spielstärkeänderungen. 5000 Partien brauche ich da schon, damit die Meßgenauigkeit überhaupt ausreicht.
Zudem nutzt Thomas Zipproth mein Partienmaterial (welches ja mit seinem 500-Linien HERT Eröffnungsset gespielt wird), um mögliche Lücken bzw. neue Varianten für die Cerebellum-Library zu finden, welche er dann durchkalkuliert und ggf. einbaut. Das war ja auch der primäre Grund, auf das HERT-Eröffnungsset umzustellen (welches ja nur praxisrelevante Eröffnungen aus Engine- und Menschenschach enthält) und die Testbedenkzeit auf 3'+1“ anzuheben. Denn so schlage ich zwei Fliegen mit einer Klappe (was bei meinen begrenzten Hardwareressourcen von großem Vorteil ist), nämlich Stockfish und BrainFish zu testen und gleichzeitig brauchbares Datenmaterial für die Weiterentwicklung der Cerebellum-Library zu liefern. Und mittlerweile habe ich schon 246000 Partien mit dem HERT-Set spielen lassen. Das ist schon eine ganze Menge!

Ich glaube da irrst Du Dich, aber dazu müßten wir einen studierten Statistiker hören. Meines Erachtens verdienen alle Werte innerhalb des Intervalls dieselbe Vertrauenswahrscheinlichkeit (oder wie immer das auch heißen mag...). Ich meine, wenn ein Vertrauensintervall angegeben wird, ist doch nicht der mittlere Wert wahrscheinlicher als die an den Rändern oder sonstwo im Bereich.

Man muß sich mit einer gewissen Unschärfe abfinden