Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum
Up Topic Hauptforen / CSS-Forum / Experiment: 10 Engines - Spielstärkeentwicklung - Bedenkzeit
- - By Andreas Strangmüller Date 2014-04-16 20:00 Upvotes 2
Nach fast einem Jahr und insgesamt 540000 Partien ist das Experiment Spielstärkeentwicklung bei steigender Bedenkzeit (exakte Vervierfachung) abgeschlossen.

Hier die Ergebnisse der Bedenkzeiten (3.75+0.0375, 15.00+0.15, 60.00+0.60 und 240.00+2.40 in Sekunden) und das dazugehörige Diagramm:





Die zehn gestesteten Engines kann man in drei Gruppen unterteilen:

Die Ausgeglichenen:
Komodo, Gull und Hannibal spielen bei allen Bedenkzeiten ziemlich ausgeglichen.

Die Verlierer:
Houdini, Rybka, Bouquet und Critter punkten gegenüber der Konkurrenz besonders gut bei kurzen Bedenkzeiten. Bei längeren Bedenkzeiten verlieren sie in diesem Experiment zwischen 41 und 70 Elo.

Die Gewinner:
Protector, Naum und Stockfish legen bei steigender Bedenkzeit an Spielstärke zu. Stockfish 59 Elo, Naum 68 Elo und Protector sogar 92 Elo!

ELOStat Start Elo: 3000

Programm                 | ELO  ELO ELO ELO |
                         | 3.7515  |  60  240 | Diff.
-------------------------+------+------+------+------+------
Houdini 3 x64            | 3215 | 3180 | 3159 | 3145 | -70
Critter 1.6a 64-bit      | 3125 | 3086 | 3070 | 3059 | -66
Komodo CCT 64-bit        | 3099 | 3088 | 3087 | 3089 | -10
Bouquet 1.6 pop64        | 3074 | 3049 | 3031 | 3021 | -53
Deep Rybka 4.1 SSE42 x64 | 3056 | 3033 | 3022 | 3015 | -41
Gull R375 x64            | 2980 | 3000 | 3001 | 2996 | +16
Stockfish 3 Ja 64bit     | 2970 | 3012 | 3018 | 3029 | +59
Hannibal 1.3 x64         | 2878 | 2877 | 2876 | 2882 | + 4
Naum 4.2 x64             | 2823 | 2869 | 2877 | 2891 | +68
Protector 1.5.0 x64      | 2781 | 2806 | 2859 | 2873 | +92
-------------------------+------+------+------+------+-----
                   Diff. |  434 |  374 |  300 |  272 | 


Hier auch noch die Differenz der Engines zwischen 15 Sek. und 240 Sek.

Programm                 | Diff.|
-------------------------+------+
Houdini 3 x64            | -35  |
Critter 1.6a 64-bit      | -27  |
Komodo CCT 64-bit        | + 1  |
Bouquet 1.6 pop64        | -28  |
Deep Rybka 4.1 SSE42 x64 | -18  |
Gull R375 x64            | - 4  |
Stockfish 3 Ja 64bit     | +17  |
Hannibal 1.3 x64         | + 5  |
Naum 4.2 x64             | +22  |
Protector 1.5.0 x64      | +67  |
-------------------------+------+


Das Endresultat zu allen Bedenkzeiten mit Auswertung (Elo, Bayeselo und Ordo) und Einzelergebnissen sind auf meiner Homepage verewigt.
http://www.fastgm.de

Viele Grüße,
Andreas
Parent - - By Kurt Utzinger Date 2014-04-16 20:39
Hallo Andreas
Vielen Dank für dieses schöne Experiment.
"Schade" ist einzig, dass Houdini bei allen
getesteten Bedenkzeiten der "Platzhirsch"
geblieben ist, bzw. es den "Gewinnern"
auch bei steigenden Bedenkzeiten nicht
gelungen ist, Houdini von der Spitze zu
verdrängen.
Mfg
Kurt
Parent - - By Andreas Aicher Date 2014-04-16 21:03
war ja nur Stockfish 3 und Komodo CCT, die waren ja noch schwächer als Houdini 3 
Parent - - By Andreas Aicher Date 2014-04-16 21:07
siehst Du ja auch noch daran, dass Critter sogar noch vor Komodo und Stockfish liegen, da liegen inzwischen Klassen dazwischen
Parent - By Andreas Strangmüller Date 2014-04-16 21:53
Hallo Andreas,

bei genauerem Hinsehen wirst Du feststellen, dass in diesem Vergleich Critter 1.6a nur bei niedrigster Bedenkzeit vor Komodo CCT liegt.
Natürlich hast Du aber Recht damit, dass sich in einem Jahr zumindest an der Spitze einiges geändert hat.

Viele Grüße,
Andreas
Parent - By Andreas Strangmüller Date 2014-04-16 21:48
Hallo Kurt,

danke, freut mich, dass Dir mein Experiment gefällt.

Mittlerweile ist die Spitze zusammengerückt.
Houdini 4 ist zwar in (fast) allen Ranglisten immer noch die Nr. 1, Komodo TCEC und insbesondere die neuen Stockfish-Versionen sind im direkten Vergleich aber mittlerweile gleich stark, letzere denke ich schon etwas besser.

Viele Grüße,
Andreas
Parent - By Ingo B. Date 2014-04-17 06:56
Ganz schöner Aufwand den du da betrieben hast!

Interessant finde ich zusehen, das (fast) alle Kurven abflachen. Wenn man die beiden Outlier weg läßt, wobei insbesondere Protector schon so schlecht ist, dass man davon ausgehen kann das echtes Verbeserungspotential vorliegt, wird die Statistik bzgl des abflachens der Kurve (Delta, 302/219/211/207) noch plausibler wie ich finde. Es heißt aber auch, dass insbesondere der untere Messpunkt völlig wahnwitzig ist und man sich Gedanken machen muß ob der irgendeinen Sinn macht.
Es sieht so aus als wenn ab einer bestimmten Spiellänge (die je nach HW varieren kan) die weiteren Unterschiede marginal werden!
Die nächste logische Stufe (~16min + 10s) werden wir wohl nicht mehr sehen - der Aufwand ist leider zu groß.

Trotzdem Danke, bestätigt mich in
1. zu kurz sollte man nicht testen weil "gaga" und
2. meine 5+3 liegen zumindest nicht im völlig irrwitzigen Bereich.

Gruß
Ingo

PS: Insbesondere Protector legt dermaßen zu, dass man glauben kann das da noch Raum für Verbesserungen ist.
Parent - - By Chess Player Date 2014-04-18 11:04
hut hoch, daumen hoch, sehr sehr gut                    mehr darf ich nicht! sonst meckern einige mods
Parent - By Frank Rahde (Mod.) Date 2014-04-18 11:58
Freut mich, dass unsere Haltung Wirkung zeigt.
Parent - - By Dirk Triebel Date 2014-04-18 11:57
Servus,

tolles Experiment und super aufgearbeitet. Critter wundert mich allerdings ein wenig. Hätte ich so nicht erwartet.

weiter so,

Gruß,
Dirk
Parent - By Stefan Pohl Date 2014-04-18 13:54
Dirk Triebel schrieb:

Servus,

tolles Experiment und super aufgearbeitet. Critter wundert mich allerdings ein wenig. Hätte ich so nicht erwartet.

weiter so,

Gruß,
Dirk


Warum? Laut Robert Hoduart ist Critter 1.4/1.6 ein Houdini 1.5 Derivat. Und die Kurven von Critter und Houdini laufen praktisch exakt parallel.
Also ist das Ergebnis von Critter doch genau so, wie man es bei einem Derivat erwarten würde und sollte.

Stefan
Parent - By Clemens Keck Date 2014-04-18 12:25
SAUGUT !!!!

vielen Dank Andreas.
DAs ist echt absolut spitze wie Du das angesetzt hast und wie es ausgearbeitet ist!

beste Grüße, Clemens Keck
Up Topic Hauptforen / CSS-Forum / Experiment: 10 Engines - Spielstärkeentwicklung - Bedenkzeit

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill