Fehlerwahrscheinlichkeiten

By Benno Hartwig Date 2010-08-05 00:07

Viel wurde schon gesprochen über die Umfänge von Testreihen und ihre Aussagekraft bzw. ihre Unzuverlässigkeit.
Ich habe mal für diverse Umfänge von Testreihen durchrechnen lassen, mit welchen Wahrscheinlichkeiten zwei eigentlich gleichstarke Engines ein Ergebnis liefern, welches eine der beiden als mehr oder weniger deutlich unterlegen zeigt.

Code:

_mind.       Umfang     Umfang     Umfang     Umfang     Umfang     Umfang     Umfang     Umfang     Umfang     Umfang
_unter-          10         20         40        100        200        400       1000       2000       4000      10000
_legen
_%   ELO
-----------------------------------------------------------------------------------------------------------------------     
_0,0     0,00001181 0,00000000 0,00000000 0,00000000 0,00000000 0,00000000 0,00000000 0,00000000 0,00000000 0,00000000  
_5,0 470 0,00016927 0,00000003 0,00000000 0,00000000 0,00000000 0,00000000 0,00000000 0,00000000 0,00000000 0,00000000  
10,0 366 0,00123216 0,00000176 0,00000000 0,00000000 0,00000000 0,00000000 0,00000000 0,00000000 0,00000000 0,00000000  
15,0 297 0,00600856 0,00004579 0,00000000 0,00000000 0,00000000 0,00000000 0,00000000 0,00000000 0,00000000 0,00000000  
20,0 241 0,02193648 0,00063012 0,00000070 0,00000000 0,00000000 0,00000000 0,00000000 0,00000000 0,00000000 0,00000000  
25,0 193 0,06366095 0,00526125 0,00004775 0,00000000 0,00000000 0,00000000 0,00000000 0,00000000 0,00000000 0,00000000  
30,0 150 0,15249591 0,02898913 0,00136254 0,00000023 0,00000000 0,00000000 0,00000000 0,00000000 0,00000000 0,00000000  
35,0 110 0,30958926 0,11158990 0,01827157 0,00012487 0,00000004 0,00000000 0,00000000 0,00000000 0,00000000 0,00000000  
40,0  73 0,54359712 0,31336341 0,12547793 0,01160454 0,00029771 0,00000026 0,00000000 0,00000000 0,00000000 0,00000000  
42,5  54            0,47206074 0,26191059 0,06096124 0,00699423 0,00011923 0,00000000 0,00000000 0,00000000 0,00000000  
45,0  36 0,83984540 0,66641042 0,47573353 0,22009627 0,07494493 0,01072903 0,00004795 0,00000001 0,00000000 0,00000000  
47,5  18            0,88579486 0,76000626 0,56158514 0,38594975 0,20814221 0,03921340 0,00406804 0,00004639 0,00000000   
49,0   7                                  0,84659560 0,74945492 0,62837107 0,42601183 0,25418111 0,10463070 0,01000652  
49,5   4                                             0,89113780 0,82130203 0,69816302 0,53484441 0,42008254 0,20350511  
50,0   0 1,00000000 1,00000000 1,00000000 1,00000000 1,00000000 1,00000000 1,00000000 1,00000000 1,00000000 1,00000000

Das 0,00063012 in der 5. Zeile in der 4. Spalte bedeutet beispielsweise:
Wenn zwei gleichstarke Engines 20 Partien spielen, dann wird mit Wahrscheinlichkeit 0,00063012 ein Ergebnis dabei herauskommen, welches eine der beiden mit mindestens 16,0:4,0 (das sind dann 80%:20%, 241 ELO) überlegen darstellt.
Vielleicht interessiert das ja mal jemanden.

Man kann hier ungefähr einschätzen, welche Genauigkeit bei gegebenen Umfängen vermutet werden darf.
Oder auch:
Man kann einschätzen, welche Umfänge notwendig sind um eine gewünschte Genauigkeit zu erreichen.

Benno

By Juergen Ecker Date 2010-08-05 08:34

Hallo Benno,

mal eine Frage eines Statistik-Nichtschwimmers...

Angenommen man bewegt sich in der Spalte 'Umfang 20', d.h. ich spiele eine Match mit 20 Partien.
Verstehe ich deine Tabelle dann richtig, dass die Eintrittswahrscheinlich des Ergebnisses
- 16 - 4 bei ca. 0,063 %
- 15 - 5 bei ca. 0,53 %
- 14 - 6 bei ca. 2,89 %
usw. liegt ?

Wenn ja, warum ergibt dann die Summe der Eintrittwahrscheinlichkeiten der Einzelereignisse nicht 100 % ?

Gruß
Jürgen

By Benno Hartwig Date 2010-08-05 22:53

[quote="Juergen Ecker"]Angenommen man bewegt sich in der Spalte 'Umfang 20', d.h. ich spiele eine Match mit 20 Partien.
Verstehe ich deine Tabelle dann richtig, dass die Eintrittswahrscheinlich des Ergebnisses
- 16 - 4 bei ca. 0,063 %
- 15 - 5 bei ca. 0,53 %
- 14 - 6 bei ca. 2,89 %
usw. liegt ?[/quote]Nein.
Dieses 0,00063012 =0,06312% ist die Wahrscheinlichkeit dafür, dass eine der Engines mit mindestens 16:4 gewinnt.
Also die Wahrschinlichkeit dafür, dass es einen Gewinner gibt, der16:4 oder noch höher gewinnt.
Daher bei 50% auch das 1,000, denn die Wahrscheinlichkeit dafür, dass einer der beiden mit mindestens 50%:50% 'gewinnt' ist natürlich 1.

Alle Wahrscheinlichkeiten für 20.0:0.0, 19.5:0.5, ... 0.5:19:5, 0.0:20.0 zusammenaddiert ergeben 100%.
Und die 0,063% kommen heraus, wenn man die Wahrscheinlichkeiten für
20.0:0.0, 19.5:0.5, ... 16.0:4.0 und 4.0:16.0, ... 0.5:19.5, 0.0:20.0
zusammenaddiert.
Die Wahrscheinlichkeit für ein Ergebnis "deutlicher Spielstärkeunterschied", wobei die Engines eigentlich gleichstark waren.

Benno

By Juergen Ecker Date 2010-08-06 07:43

Hallo Benno,

danke für die Erläuterung.

Gruß
Jürgen

By ernst happe Date 2010-08-05 13:32

toll, super, klasse diese tabelle

By Ernest Bonnem Date 2010-08-05 13:52

Etwas ist da schief: die Remisquote spielt eine Rolle, und ich sehe das in deiner Tabelle nicht!

By Benno Hartwig Date 2010-08-05 22:58

[quote="Ernest Bonnem"]Etwas ist da schief: die Remisquote spielt eine Rolle, und ich sehe das in deiner Tabelle nicht!

[/quote]Stimmt im Prinzip.
Ich nahm für jedes Spiel eine Remiswahrscheinlichkeit von 40% an. (Sorry, hatte ich hier nicht geschrieben. Also zwei Engines, mit Wahrscheinlichkeit 0,3 gewinnt die eine, mit 0,4 kommt remis, mit 0,3 gewinnt die andere)
Fand ich ungefähr realitätsnah, diesen Wert.
Dieser Wert spielt natürlich eine gewisse Rolle, denn je höher er ist, um so unwahrscheinlicher ist ein 'extremer' Ausgang.
Welche Remiswahrscheinlichkeit käme dir ggf. passender vor? 35%? 45%?
Ich würde Werte dafür nachliefern und wir sehen, in welchem Maße (ich vemute eher kleinem Maße!) sich das auswirkt.
Benno

By ernst happe Date 2010-08-06 08:04

[quote="Benno Hartwig"]
[quote="Ernest Bonnem"]Etwas ist da schief: die Remisquote spielt eine Rolle, und ich sehe das in deiner Tabelle nicht!

[/quote]Stimmt im Prinzip.
...
Welche Remiswahrscheinlichkeit käme dir ggf. passender vor? 35%? 45%?
Ich würde Werte dafür nachliefern...
Benno
[/quote]
hi benno,

solche tabellen sind etwas trocken. wie wäre eine graphische darstellung zu diesem thema?
macht es viel arbeit für dich? wenn nicht dann hätte ich gerne so ne graphik mit remis
wahrscheinlichkeiten von 35% bis 45% mit abstufungen von 1%.

grüße

ernst

By Ernest Bonnem Date 2010-08-06 18:31

Wenn starke Engines gegen starke Engines spielen, kann man leicht 50% oder 60% (70%?) Remisquote sehen

Das beste würde 5 Tabellen, mit Remisquote von 30%, 40%, 50%, 60%, 70%.

By Martin Schmitz Date 2010-08-06 10:47

Danke für die Tabelle. Der praktische Nutzen ist recht eingängig. Man sieht auch sehr schön, dass 100 Spiele zu wenig sind.

By Klaus-Martin Bitter Date 2010-08-06 13:23

Nennt sich das nicht auch "Chi-Quadrat-Test" und ist bei jedem besseren Taschenrechner (auch bei den HP-Emulatoren) als Funktion gespeichert?
Wenn Du eine gerade Summe von Spielen betrachtest, ist es ok, aber bei ungeraden Summen könnte man noch den Anzugsvorteil herausrechnen (kann man bei Chessbase und einer genügend großen Partiensammlung dank der Masse auch) und möglicherweise sogar die Überlegenheit des einen oder anderen Eröffnungsbuches.
Das nur als kleine Anregung - ich finde es höchst erfrischend, diesen ewigen "zuwenig-Partien-gespielt-Meckerern" mal den Wind aus den Segeln zu nehmen.
Persönlich bin ich der Auffassung, daß man schon anhand von zwei bis drei gespielten Partien sehen kann, welches Programm oder welche engine besser spielt, denn eine Partie dauert ja durchschnittlich so um die 60 Züge.
Aber das sind allzumenschliche Einschätzungen.

Viele Grüße
K.-M. Bitter

By Benno Hartwig Date 2010-08-06 17:05

[quote="Klaus-Martin Bitter"]Persönlich bin ich der Auffassung, daß man schon anhand von zwei bis drei gespielten Partien sehen kann, welches Programm oder welche engine besser spielt, denn eine Partie dauert ja durchschnittlich so um die 60 Züge.[/quote]Erkennst du diese stärkere Engine auch dann, wenn es sich zufällig mehrheitlich um Partien handelte, bei denen die stärkere Engine verlor?
Oder wenigstens bei: zwei Engines mit 100 ELO Differenz, 3 Partien: 1 remis und je ein Sieg?
Ich könnte das nicht.

Benno

By K.-M. Bitter Date 2010-08-06 19:47

Mit einem guten Maß an Selbstüberschätzung möchte ich behaupten: "Ja!"
Es gehört allerdings ein gewisser Schachverstand dazu, und den erwirbt man nicht beim hingucken von Computer-Partien.
Als einfaches Beispiel: Rybka vs HIARCS sieht für mich immer so aus, als ob HIARCS die besseren Spielanlagen bzw. das bessere Verständnis für die Position hat, aber definitv zu langsam ist.
Rybka dagegen spielt ultra-zielstrebig, ist sehr schnell und kommt dadurch in höhere Rechentiefen, muß deshalb weniger häufig die Stellungsbewertung signifikant ändern.
Wenn so etwas mehrfach in 60-80-Züge-Partien vorkommt, ist eine Tendenz absehbar, und genau diese Tendenz meinte ich mit meiner Aussage.
Analog gilt das auch für Shredder, Fritz, Stockfish und andere engines.
Selbstverständlich kann ich nicht unterscheiden, ob Rybka 3 im 960-, dynamic- oder human-mode am stärksten spielt, aber das halte ich für statistisches Rauschen.

Viele Grüße
KMB

By Gerhard Sonnabend Date 2010-08-06 19:04

[quote="Klaus-Martin Bitter"]
[...snip...]
Das nur als kleine Anregung - ich finde es höchst erfrischend, diesen ewigen
"zuwenig-Partien-gespielt-Meckerern" mal den Wind aus den Segeln zu nehmen.
[...snip...]
[/quote]

Bennos Tabelle macht/beweist jedoch das Gegenteil !