[quote="Benno Hartwig"]
Wie sehen eigentlich eure Erfahrung hinsichtlich folgendem Problem aus:
Ihr habt eine Engine umfangreich getestet gegen ein Feld von Gegnern, und ihr habt
für die Engine eine ELO-Zahl ermittelt.
Etwas später lasst ihr diese Engine gegen eine Schar von Engines antreten, die
durchweg ein Stück stärker (und natürlich auch ELO-kräftiger) sind.
Drückt dies die ELO-Zahl der Engine dann vielleicht häufiger nach unten, als es
zu erwarten wäre?
Ich habe halt den Eindruck, dass ich häufiger las, dass Engines im Laufe der Tests
an ELO verlieren und eher selten, dass sie gewinnen. Täuscht mich meine Erinnerung?
[/quote]
Hi Benno !
Über dieses Thema hatten wir uns schon mal unterhalten,
war es hier oder noch im alten CSS-Forum ?!
Den Text von damals habe ich noch:
--->
Ich simuliere das einfach mal am Fall Rybka 2.3.2a w32 1CPU. Zur Zeit
steht die Engine so da (zum Vergleich bleibt der aktuelle Spitzenreiter
stehen):
Code:
Program Elo + - Games Score Av.Op. Draws
01 Rybka 2.3.2a x64 4CPU 3086 13 13 1750 73.1 % 2912 37.7 %
...
25 Rybka 2.3.2a w32 1CPU 2955 11 11 2672 66.9 % 2833 36.2 %
Nun löschte ich alle Spiele gegen die "schwächsten" Gegner,
bis 899 Partien aus der Datenbank entfernt waren:
Code:
Program Elo + - Games Score Av.Op. Draws
01 Rybka 2.3.2a x64 4CPU 3086 13 13 1750 73.1 % 2913 37.7 %
...
25 Rybka 2.3.2a w32 1CPU 2956 13 13 1773 62.8 % 2864 38.5 %
Im 2. Versuch lösche ich alle Spiele gegen die 12 "stärksten" Gegner:
Code:
Program Elo + - Games Score Av.Op. Draws
01 Rybka 2.3.2a x64 4CPU 3086 13 13 1750 73.1 % 2913 37.7 %
...
22 Rybka 2.3.2a w32 1CPU 2959 14 14 1717 71.0 % 2803 33.6 %
--->
Meiner Meinung nach taugt das ELO-System am besten für Maschinen !
Viele Grüsse,
G.S.