Hallo zusammen,
ich habe das sim-test Tool mal wieder hervorgekramt und alle Top-Engines miteinander verglichen. Mit der dreifachen Bedenkzeit, die als default vorgegeben ist (also 300ms pro Zug statt 100ms). Das hat zwar einen guten Tag gedauert, aber die Ergebnisse sind durchaus interessant, teilweise sogar überraschend.
Weil ja bekanntermaßen Endgame-Strings von Stockfish im Code von Fire 5 gefunden wurden (
http://talkchess.com/forum/viewtopic.php?t=62144), interessierte mich natürlich besonders, wie der sim-Wert von Fire 6 im Vergleich zu Stockfish 7/8 war. Überraschenderweise hat Andscacs 0.91 deutlich höhere sim-Werte zu Stockfish 7/8 als Fire 6, obwohl Andscacs 0.91 von der Elo-Spielstärke her weiter weg von Stockfish 7/8 ist, als Fire 6. Daraus folgt für mich, daß ich für meine Stockfish-Testruns in Zukunft Fire 6.1 statt Andscacs als Gegner benutze, einfach weil der sim-Wert von Fire 6 zu den Stockfishen eben signifikant niedriger ist. Ob und wieviel Code oder Ideen (oder beides) von Stockfish nun in den anderen Engines steckt, kann ich anhand der Ergebnisse natürlich nicht abschießend sagen, dazu bräuchte man die Programm-Codes. Es bleibt mir nur, mich an den sim-Werten zu orientieren, um möglichst Stockfish-unähnliche Engines als Gegner für meine Stockfish-Testruns zu nutzen.
Besonders muß man mal Fizbo 1.9 lobend erwähnen: Diese Engine hat wirklich extrem niedrige sim-Werte im vergleich zu allen anderen Top-Engines. Fizbo ist wirklich einzigartig!
Similarity-Test (300ms/move, each engine plays 8238 positions)
1 2 3 4 5 6 7 8 9
1.Andscacs 0.91 ----- 44.36 47.17 34.12 50.83 51.01 45.12 52.89 52.49
2.Shredder 13 44.36 ----- 44.50 36.48 45.59 44.02 44.23 46.14 44.93
3.Fire 6 47.17 44.50 ----- 34.96 48.29 46.82 43.43 50.92 49.50
4.Fizbo 1.9 34.12 36.48 34.96 ----- 35.99 35.51 35.49 35.45 35.85
5.Gull 3 50.83 45.59 48.29 35.99 ----- 51.14 45.88 53.40 52.78
6.Houdini 5.01 51.01 44.02 46.82 35.51 51.14 ----- 50.00 56.24 57.14
7.Komodo 11.2.2 45.12 44.23 43.43 35.49 45.88 50.00 ----- 48.05 48.06
8.Stockfish 7 52.89 46.14 50.92 35.45 53.40 56.24 48.05 ----- 62.58
9.Stockfish 8 52.49 44.93 49.50 35.85 52.78 57.14 48.06 62.58 -----
Die Testergebnisse findet man auch auf meiner Website.
http://www.sp-cc.de/experiments.htmStefan (SPCC)