Hallo

[quote="Georg Hutschenreuter"]
...
Ich sehe im Ergebnis von 50 Partien schon eine Menge. Natürlich kann man daraus falsche Schlüsse ziehen. Aber auch richtige.
...
[/quote]

Die obigen Sätze lass ich mir ob des Erkenntnissgewinns nochmal durch den Kopf gehen

Falls du es schaffst aus 50 Spielen mehrheitlich richtige Schlüsse zu siehen hast du mir etwas vorraus worum ich dich beneide, ich übe mich aber weiter am Wahrsagen! 

Gruß
Ingo

Hi,

ich beobachte seit vielen Jahren die Entwicklung von Ratinglisten
(meine Lieblingsstatistik ... Ratingliste nach 50, 100, 150, 200, 250 etc. Partien pro Engine).

Meine Ergebnisse waren immer eindeutig, in diesem Fall verhält sich eine Statistik gleich. Hatte ja auch mal die sehr umfangreichen ATL-Ratinglisten mit vielen dieser Statistiken Online gestellt. Dort spielten 40 Engines über 20.000 Partien.

Interessant wird eine Liste wenn pro Engine 250 Partien gespielt sind. Im Vergleich zu 500 Partien passiert es nur sehr selten (in einem von 10 Fällen) das eine Engine um mehr als 30 ELO abweicht. Es ruckeln allerdings 4-5 Engines immer noch um +-15 hin und her. Wenn ich jetzt vergleiche zwischen 500 und 1000 Partien dann passiert es ca. in einem, vielleicht maximal 2 Fällen das eine Engine um mehr als 20 ELO abweicht (wenn überhaupt). Viele Engines ruckeln dann zwischen +-5 also um 10 ELO hin und her.

ELOstat sagt ja auch nur aus wie groß die Abweichungen nach x Partien noch sein können. Das ist sehr abstrackt und stimmt of nicht (gar zu gering).

Beispiel:
Engine hat 200 Partien gespielt und ELOstat sagt 40 40.
Wirklich, in der ATL hatte ich einen Fall da lag ELOstat nach 200 Partien 25 Punkte daneben, dass heißt nach 200 Partien verschlechterte sich die Engine um 60 ELO. Witzig war, dass ich solche Ausreißer bei allen Ratinglisten hatte. Meine das eine Engine total krass abgewichen ist, auch 500 Partien aber es auch nie mehr als eine Engine war, egal wie viele in er Ratingliste waren.

Nach meinen Eindrücken ist eine Ratingliste schon sehr aussagekräftig wenn um 300-350 Partien pro Engine gespielt wurden. Natürlich immer wichtig, das die Engines gegen viele verschiedene andere Engines spielen. Und optimal wäre dann wenn alle Engines die gleiche Anzahl an Partien gespielt haben (optimal aber nicht Voraussetzung).

Bei CEGT und CCRL regulieren sich kleine Unregelmäßigkeiten oder Ungenauigkeiten (unterschiedliche Einstellungen bei den Testern, GUIs, unterschiedliche Menge an Partien, Bücher etc..) durch die Anzahl der Partien. Wolle ich z. B. auch nie so richtig wahr haben aber es ist so. Die Anzahl der Partien haut sämtliche Kritikpunkte nieder ...

So:
Jetzt zu den Aussagen:

Unterhalb von 500-1000 Partien = keine Aussagekraft
Halte ich auch für übertrieben. Wenn allerdings der Anspruch erhoben wird, das alle Engines in einer Ratingliste ganz genau bewertet sein sollen, wären 500-1000 Partien schon sehr gut. Wobei ganz genau wird es nie gehen.

Bei 50 Partien siehst du schon eine Menge:
Ich auch
Erste Eindrücke wo es hin geht, wie eine Engine spielt und meist stimmen dann auch die Prognosen.
Aber an Sicherheit fehlt es leider ... habe gerade ein solches Problem nach 60 Partien in einem Qualle-Turnier. Lasse jetzt bis 180 Partien pro Engine spielen, bin mir aber dennoch sicher zu wissen wie das ausgeht
Aber ich lasse mich auch gerne überraschen.

Gruß
Frank

[quote="Ingo Bauer"]
Auch wenn ich das folgende bestimmt noch viele male schreiben könnte:
Ich habe hier 20er Serien die S12 gegen R3 gewonnen hat (!) und ich habe 50 Serien die
ausgeglichen waren. Ich habe 340er Serien Enigne X1 - X10  gegen Engine Y die um mehr
als 15% abweichen und alle verhielten sich im Test gegen VIELE Engines komplett anders
als gegen EINE Engine.
Kurz: 50er Serien sind völlig nutzlos um irgendwelche Schlüsse zu ziehen!
50 Spiele gegen 20 Engine (20x50), dann auswerten, ohne auf Einzelresultate zu blicken,
das ist ein Test! Ich selber spiel 100er Serien und habe S12 gegen 16 Enignes getestet,
die Einzelresultate weichen um mehr als 150 Elo voneinander ab! Wie will man aus
einem solchen 100er Einzelresultat etwas lesen wenn keiner weiß ob es gegen diese Engine
gut oder schlecht lief? Ich habe mir abgewöhnt auf die Einzelresultate zu schauen, da selbst
100er Serien nicht zuverlässig sind.
Wer etwas anderes behauptet der WILL schlicht leiber ein schnelles, als ein gutes Ergebniss!
[/quote]

100% Zustimmung !

Viele Grüsse,
G.S.

Hallo

[quote="Ingo Bauer"]
... die Einzelresultate weichen um mehr als 150 Elo voneinander ab! ...
[/quote]

Um das zu Untermauern, habe ich meine S12 Einzelergebnisse mal mit den aktuellen Ranglistenzahlen verrechnet:

Deep Shredder 12 x64 1T   : 2722  1600 (+734,=584,-282), 64.1 %

Zappa Mexico II x64 1T        : 100 (+ 47,= 37,- 16), 65.5 % 2731
Deep Shredder 10 x64 1T       : 100 (+ 67,= 28,-  5), 81.0 % 2756
Spike 1.2 Turin               : 100 (+ 66,= 26,-  8), 79.0 % 2709
Fruit 05/11/03                : 100 (+ 60,= 29,- 11), 74.5 % 2717
Rybka 2.3.2a mp 1T            : 100 (+ 33,= 45,- 22), 55.5 % 2755
H12.1 MP 1T                   : 100 (+ 58,= 35,-  7), 75.5 % 2761
Toga II 1.4 beta5c BB         : 100 (+ 64,= 30,-  6), 79.0 % 2800
Rybka 3 1T                    : 100 (+ 15,= 40,- 45), 35.0 % 2718
Rybka 2.2n2 mp 1T             : 100 (+ 34,= 39,- 27), 53.5 % 2705
DSjeng WC2008 x64 1T          : 100 (+ 41,= 42,- 17), 62.0 % 2662
Naum 4                        : 100 (+ 38,= 33,- 29), 54.5 % 2726
Glaurung 2.2 JA 1T            : 100 (+ 50,= 40,- 10), 70.0 % 2694
Rybka 3 1T 32-bit             : 100 (+ 25,= 44,- 31), 47.0 % 2746
Stockfish 1.4 JA 64bit 1T     : 100 (+ 41,= 43,- 16), 62.5 % 2711
Fritz 12                      : 100 (+ 41,= 40,- 19), 61.0 % 2724
Onno-1-1-1 x64                : 100 (+ 54,= 33,- 13), 70.5 % 2748

Die letze Zahl ist jeweils das Rating nach 100 Spielen gegen die entsprechende Engine. Wie man sehen kann sind es "nur" 138 Elo Abweichung. Aber welch ein Unterschied wenn ich 100 SPiele mit einer 2660er oder einer 2800er Performance veröffentliche - am besten noch VOR Erscheinen von S12. Entweder wäre die Enigne hier hochgejubelt oder völlig zerschmettert worden!

Wer sich jetzt noch die Mühe macht mal in die Ranglisten zusehen wird feststellen, dass Shredder gegen einen schweren Gegner hier, woanders in einer kurze Reihe spitzenmäßig performt hat. Alles was wir daraus lernen können ist - Einzelergebnisse sind beliebig!

Gruß
Ingo

PS: Wahrscheinlicher wäre gewesen das einige gesagt hätten "Bei Shredder ist die Luft raus" oder mir Parteilichkeit vorgeworfen hätten. Aber das ist ja auch so geschehen, war bei S11 und S10 so und wird vor Erscheinen des nächsten Shredders wieder passieren

[quote="Ingo Bauer"]Aber welch ein Unterschied wenn ich 100 SPiele mit einer 2660er oder einer 2800er Performance veröffentliche - am besten noch VOR Erscheinen von S12. Entweder wäre die Enigne hier hochgejubelt oder völlig zerschmettert worden![/quote]
Wenn ich mich recht erinnere hast Du damals das Ergebnis von 100 Spielen Shredder XP gegen Onno veröffentlicht. Das war fair!