21 Jahre Engine Entwicklung in einem Turnier versammelt

By Thomas Zipproth Date 2026-08-06 16:23 Upvotes 2

Vor ungefähr 21 Jahren wurde Fruit 2.1 als Open Source von Fabien Letouzey released.
Der Code galt aufgrund seiner Übersichtlichkeit, Lesbarkeit und der Stärke der Engine als Meilenstein.

Ziel war, einige der wesentlichen Engines von Fruit aufwärts bis zur aktuellen Stockfish Version in einem Turnier zusammenzuführen.
In der Praxis sind es 2 kombinierte Turniere unter exakt gleichen Bedingungen (obere und untere Hälfte) mit 3 Engines als Anker in beiden, weil die Spielstärkeunterschiede sonst zu groß werden.
Das Schwierige war dabei, die Engines so auszusuchen, dass die Elo Abstände nirgends zu groß werden.

Insgesamt sind es 16 Engines geworden, mit der letzten Develop-Stockfish-Version vor der Einführung von NNUE (stockfish_hce), komodo-14.1 und Ethereal12.75 als Anker.
Bei Gull3 handelt es sich um meine fehlerbereinigte Version NeoGull, die ungefähr die gleiche Spielstärke wie das Original besitzt.
Die CCRL Elo von stockfish_hce ist geschätzt, kurz unter Stockfish 12.
CCRL ELO von Stockfish-2026-08-03 ist auch geschätzt, etwas mehr als Stockfish 18 (3629)

Nach einiger Recherche habe ich Fruit 2.1 auf Elo 2525 als Elo Anker festgelegt, das sollte näherungsweise die wahrscheinlichste Spielstärke im Vergleich zum Menschen sein.

Verwendet werden 100 balancierte Eröffnungen, eine Auswahl besonders selektiver und möglichst unterschiedlicher Stellungen aus den Hert500-Eröffnungen, die lange Zeit von Stefan Pohl verwendet wurden.
Bedenkzeit: 10+1, Hash 256 MB, auf einem schnellen Rechner.

Das Ergebnis, auch als Grafik:

Code:

   # PLAYER                  :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)     W    D     L  D(%)    CCRL
   1 Stockfish-2026-08-03    :  3928.5   35.4  1264.5    1600    79     100   932  665     3    42    3649
   2 PlentyChess-8.0         :  3889.8   34.3  1202.5    1600    75     100   852  701    47    44    3638
   3 Berserk-14              :  3849.5   34.5  1134.0    1600    71     100   780  708   112    44    3628 
   4 Raphael-4.2.0           :  3821.5   34.7  1084.5    1600    68     100   707  755   138    47    3618
   5 Dragon-1                :  3645.3   32.9   753.0    1600    47     100   398  710   492    44    3528
   6 Texel-1.12              :  3570.7   32.5   613.0    1600    38     100   295  636   669    40    3484
   7 stockfish_hce           :  3541.1   30.8  2216.5    3400    65     100  1813  807   780    24    3335 
   8 komodo-14.1             :  3403.3   30.0  1852.5    3400    54     100  1474  757  1169    22    3403
   9 Ethereal12.75           :  3351.9   30.0  1723.0    3400    51     100  1373  700  1327    21    3428
  10 Gull3                   :  3093.3   25.9  1151.0    1800    64     100  1015  272   513    15    3160
  11 Rybka2.32a              :  2829.2   21.9   760.0    1800    42      72   601  318   881    18    2985
  12 crafty-25.6.1           :  2823.4   21.9   750.5    1800    42     100   598  305   897    17    2952
  13 Shredder10              :  2754.2   21.7   635.0    1800    35     100   477  316  1007    18    2780
  14 Hiarcs11                :  2612.7   21.6   403.0    1800    22      89   264  278  1258    15    2784
  15 TogaII13x4              :  2599.5   22.2   382.5    1800    21     100   228  309  1263    17    2768
  16 Fruit2.1                :  2525.0   ----   274.5    1800    15     ---   139  271  1390    15    2694

White advantage = 61.92 +/- 2.80
Draw rate (equal opponents) = 51.79 % +/- 0.62

Ergebnisse:

- Der Elo Unterschied zwischen Fruit und Stockfish ist wesentlich größer als in der CCRl (1403 - 955 Elo, also 448 Elo größer), trotz Verwendung balancierter Eröffnungen
- Die CCRl Liste skaliert deutlich anders als in einem direkten Turnier, evtl. auch wegen Verwendung von BayesElo (?)
- Stockfish_hce ist deutlich stärker als man aufgrund von Ranglisten vermuten würde.
- NNUE + alles Übrige in den letzten Jahren hat ca. 390 Elo gebracht
- Gull3 spielt in einer Art eigener Klasse: Nach oben verliert er alles, nach unten gewinnt er alles. Als verbindende Engine daher wichtig im Turnier.
- Insgesamt ist die Engine-Kette von unten nach oben hinsichtlich Elo gut verbunden.

Gruss, Thomas

By Marco Domizil Date 2026-08-07 09:01

Hast du eine Kreuztabelle?

By Thomas Zipproth Date 2026-08-07 10:13

Anbei eine % Kreuztabelle, ich denke diese ist am übersichtlichsten, da die Anzahl der gespielten Partien sich unterscheidet.

Code:

Head-to-Head Crosstable - score in percent

                                     |    01    02    03    04    05    06    07    08    09    10    11    12    13    14    15    16
-------------------------------------+------------------------------------------------------------------------------------------------
 1   Stockfish-2026-08-03      3928.5 |     X  56.3  62.8  65.3  82.8  86.3  91.0  95.3  92.8   ---   ---   ---   ---   ---   ---   ---
 2   PlentyChess-8.0           3889.8 |  43.8     X  56.0  60.3  80.0  84.8  90.5  92.5  93.5   ---   ---   ---   ---   ---   ---   ---
 3   Berserk-14                3849.5 |  37.3  44.0     X  52.8  74.8  83.8  85.5  94.5  94.5   ---   ---   ---   ---   ---   ---   ---
 4   Raphael-4.2.0             3821.5 |  34.8  39.8  47.3     X  72.8  81.3  83.3  90.0  93.3   ---   ---   ---   ---   ---   ---   ---
 5   Dragon-1                  3645.3 |  17.3  20.0  25.3  27.3     X  60.5  64.0  79.0  83.3   ---   ---   ---   ---   ---   ---   ---
 6   Texel-1.12                3570.7 |  13.8  15.3  16.3  18.8  39.5     X  58.3  69.0  75.8   ---   ---   ---   ---   ---   ---   ---
 7   stockfish_hce             3541.1 |   9.0   9.5  14.5  16.8  36.0  41.8     X  71.4  78.1  91.5  98.8  97.5  97.3  99.5  99.3  98.0
 8   komodo-14.1               3403.3 |   4.8   7.5   5.5  10.0  21.0  31.0  28.6     X  56.6  89.3  97.3  97.0  97.8  97.5  99.5  97.8
 9   Ethereal12.75             3351.9 |   7.3   6.5   5.5   6.8  16.8  24.3  21.9  43.4     X  82.3  94.8  95.3  97.3  98.8  98.3  97.5
10  Gull3                     3093.3 |   ---   ---   ---   ---   ---   ---   8.5  10.8  17.8     X  86.3  86.5  81.8  93.5  94.8  95.8
11  Rybka2.32a                2829.2 |   ---   ---   ---   ---   ---   ---   1.3   2.8   5.3  13.8     X  48.5  65.5  74.5  81.5  87.0
12  crafty-25.6.1             2823.4 |   ---   ---   ---   ---   ---   ---   2.5   3.0   4.8  13.5  51.5     X  60.5  74.8  77.5  87.3
13  Shredder10                2754.2 |   ---   ---   ---   ---   ---   ---   2.8   2.3   2.8  18.3  34.5  39.5     X  70.5  72.3  74.8
14  Hiarcs11                  2612.7 |   ---   ---   ---   ---   ---   ---   0.5   2.5   1.3   6.5  25.5  25.3  29.5     X  49.5  61.0
15  TogaII13x4                2599.5 |   ---   ---   ---   ---   ---   ---   0.8   0.5   1.8   5.3  18.5  22.5  27.8  50.5     X  63.8
16  Fruit2.1                  2525.0 |   ---   ---   ---   ---   ---   ---   2.0   2.3   2.5   4.3  13.0  12.8  25.3  39.0  36.3     X

Legend:
  Values = score percentage of row engine against column engine
  X      = same engine
  ---    = no games played

By Kurt Utzinger Date 2026-08-07 13:38

Hallo Thomas
Sehr interessanter Beitrag. Vielen Dank.
Gruss
Kurt