Stockfish 19 ist die neue Nr. 1 dank MultiPV - Top Chess Engines Testsuite 2025

By Max Siegfried Date 2026-09-16 17:46

Stockfish ist jetzt für die Analyse deutlich besser geeignet als früher und schneidet sogar besser ab als ShashChess.
Jetzt habt ihr eure 2 in 1 Engine, welche sowohl die meisten Partien aufgrund ihrer präzisen Bewertung im 0.01 Bereich gewinnt, als auch gleichzeitig die neue Nr. 1 in Testsuites ist, zumindest auf meiner Hardware.

Für weitere Informationen benutzt die Forumssuche, siehe Seite 1 und 2, Thema ShashChess 39 oder neuer bzw. Top Chess Engines Testsuite 2025.
https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?tid=14794;pg=2

-------------------------------------------------------

Hat schon jemand mit den ShashChess Autoren gesprochen, wann die neue Version aufbauend auf Stockfish 19 erscheint oder ob diese überhaupt produziert wird?
https://github.com/amchess/ShashChess
https://github.com/amchess/ShashChess/releases

Ggf. wird auf einer späteren Dev. in z.B. einem Monat aufgebaut und nicht auf Stockfish 19, da alle die Stockfish Hauptversionen herunterladen und immer ein oder mehrere Fehler entdeckt, gemeldet, und vom Stockfish Team in den nächsten Tagen behoben werden.

-------------------------------------------------------

Stockfish 19
MultiPV = 3
Gelöst: 28 von 50 = (56%)

Stockfish 15.09.2026
MultiPV = 4
Gelöst: 27 von 50 = (54%)

ShashChess kam nur auf 25 von 50 = (50%).

-------------------------------------------------------

1 Minute pro Teststellung
32 GB RAM
7-Steiner

-------------------------------------------------------

Stockfish 19
1 Kern

File name : Top Chess Engines Testsuite 2025.pgn
Total test items   : 50
Test for    : best moves
Total engines : 1
Timer : movetime: 60
Expand ply    : 1
Elapsed : 45:39
Laps    : 1
Total tests : 50
Total corrects    : 6 (12%)
Ave correct elapse : 8580 ms
Status    : completed

Correct/Total:
Stockfish 19: 6/50

Failed tests (hit *):
1. Stockfish 19:
0, 1, 2, 5, 6, 8, 9, 10, 11, 12, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 35, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49

Successful tests:
1. Stockfish 19:
3, 4, 7, 13, 34, 36

——————————

Stockfish 19
8 Kerne

File name : Top Chess Engines Testsuite 2025.pgn
Total test items   : 50
Test for    : best moves
Total engines : 1
Timer : movetime: 60
Expand ply    : 1
Elapsed : 44:12
Laps    : 1
Total tests : 50
Total corrects    : 12 (24%)
Ave correct elapse : 00:27
Status    : completed

Correct/Total:
Stockfish 19: 12/50

Failed tests (hit *):
1. Stockfish 19:
0, 5, 6, 8, 9, 10, 11, 12, 14, 15, 16, 17, 18, 19, 20, 22, 23, 24, 25, 26, 27, 29, 30, 31, 32, 35, 36, 37, 38, 39, 40, 42, 43, 44, 45, 46, 47, 49

Successful tests:
1. Stockfish 19:
1, 2, 3, 4, 7, 13, 21, 28, 33, 34, 41, 48

————————

Stockfish 19
MultiPV = 2

File name : Top Chess Engines Testsuite 2025.pgn
Total test items   : 50
Test for    : best moves
Total engines : 1
Timer : movetime: 60
Expand ply    : 1
Elapsed : 37:21
Laps    : 1
Total tests : 50
Total corrects    : 23 (46%)
Ave correct elapse : 00:25
Status    : completed

Correct/Total:
Stockfish 19: 23/50

Failed tests (hit *):
1. Stockfish 19:
0, 3, 5, 6, 8, 9, 11, 12, 14, 15, 16, 17, 18, 19, 23, 28, 29, 35, 36, 37, 38, 39, 40, 42, 44, 47, 49

Successful tests:
1. Stockfish 19:
1, 2, 4, 7, 10, 13, 20, 21, 22, 24, 25, 26, 27, 30, 31, 32, 33, 34, 41, 43, 45, 46, 48

———————

Stockfish 19
MultiPV = 3

File name : Top Chess Engines Testsuite 2025.pgn
Total test items   : 50
Test for    : best moves
Total engines : 1
Timer : movetime: 60
Expand ply    : 1
Elapsed : 44:06
Laps    : 1
Total tests : 50
Total corrects    : 28 (56%)
Ave correct elapse : 00:45
Status    : completed

Correct/Total:
Stockfish 19: 28/50

Failed tests (hit *):
1. Stockfish 19:
0, 5, 6, 8, 9, 11, 12, 16, 17, 18, 19, 23, 25, 28, 36, 38, 39, 40, 42, 43, 47, 49

Successful tests:
1. Stockfish 19:
1, 2, 3, 4, 7, 10, 13, 14, 15, 20, 21, 22, 24, 26, 27, 29, 30, 31, 32, 33, 34, 35, 37, 41, 44, 45, 46, 48

———————

Stockfish 19
MultiPV = 4

File name : Top Chess Engines Testsuite 2025.pgn
Total test items   : 50
Test for    : best moves
Total engines : 1
Timer : movetime: 60
Expand ply    : 1
Elapsed : 48:10
Laps    : 1
Total tests : 50
Total corrects    : 27 (54%)
Ave correct elapse : 00:54
Status    : completed

Correct/Total:
Stockfish 19: 27/50

Failed tests (hit *):
1. Stockfish 19:
0, 5, 6, 8, 9, 10, 15, 16, 17, 18, 19, 23, 24, 25, 28, 29, 36, 37, 38, 42, 43, 47, 49

Successful tests:
1. Stockfish 19:
1, 2, 3, 4, 7, 11, 12, 13, 14, 20, 21, 22, 26, 27, 30, 31, 32, 33, 34, 35, 39, 40, 41, 44, 45, 46, 48

———————

Stockfish 19
MultiPV = 5

File name : Top Chess Engines Testsuite 2025.pgn
Total test items   : 50
Test for    : best moves
Total engines : 1
Timer : movetime: 60
Expand ply    : 1
Elapsed : 50:06
Laps    : 1
Total tests : 50
Total corrects    : 22 (44%)
Ave correct elapse : 00:57
Status    : completed

Correct/Total:
Stockfish 19: 22/50

Failed tests (hit *):
1. Stockfish 19:
0, 5, 6, 8, 9, 10, 11, 12, 15, 16, 17, 19, 20, 23, 24, 25, 27, 28, 29, 36, 37, 38, 39, 42, 43, 47, 48, 49

Successful tests:
1. Stockfish 19:
1, 2, 3, 4, 7, 13, 14, 18, 21, 22, 26, 30, 31, 32, 33, 34, 35, 40, 41, 44, 45, 46

——————————————————————————————————————————
——————————————————————————————————————————
——————————————————————————————————————————

Stockfish 15.09.2026
1 Kern

File name : Top Chess Engines Testsuite 2025.pgn
Total test items   : 50
Test for    : best moves
Total engines : 1
Timer : movetime: 60
Expand ply    : 1
Elapsed : 45:48
Laps    : 1
Total tests : 50
Total corrects    : 7 (14%)
Ave correct elapse : 00:18
Status    : completed

Correct/Total:
Stockfish dev-20260915-nogit: 7/50

Failed tests (hit *):
1. Stockfish dev-20260915-nogit:
0, 2, 3, 5, 6, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 21, 22, 23, 25, 26, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 49

Successful tests:
1. Stockfish dev-20260915-nogit:
1, 4, 7, 20, 24, 27, 48

————————————

Stockfish 15.09.2026
8 Kerne

File name : Top Chess Engines Testsuite 2025.pgn
Total test items   : 50
Test for    : best moves
Total engines : 1
Timer : movetime: 60
Expand ply    : 1
Elapsed : 44:55
Laps    : 1
Total tests : 50
Total corrects    : 10 (20%)
Ave correct elapse : 00:24
Status    : completed

Correct/Total:
Stockfish dev-20260915-nogit: 10/50

Failed tests (hit *):
1. Stockfish dev-20260915-nogit:
0, 2, 3, 5, 6, 8, 9, 10, 11, 12, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 28, 29, 30, 31, 35, 36, 37, 38, 39, 40, 42, 43, 44, 45, 46, 47, 49

Successful tests:
1. Stockfish dev-20260915-nogit:
1, 4, 7, 13, 27, 32, 33, 34, 41, 48

———————————————————————————————————————————

Stockfish 15.09.2026
MultiPV = 2

File name : Top Chess Engines Testsuite 2025.pgn
Total test items   : 50
Test for    : best moves
Total engines : 1
Timer : movetime: 60
Expand ply    : 1
Elapsed : 41:33
Laps    : 1
Total tests : 50
Total corrects    : 19 (38%)
Ave correct elapse : 00:30
Status    : completed

Correct/Total:
Stockfish dev-20260915-nogit: 19/50

Failed tests (hit *):
1. Stockfish dev-20260915-nogit:
0, 3, 5, 6, 8, 9, 11, 12, 14, 15, 16, 17, 18, 19, 20, 21, 23, 28, 29, 32, 35, 36, 37, 38, 39, 40, 42, 43, 44, 47, 49

Successful tests:
1. Stockfish dev-20260915-nogit:
1, 2, 4, 7, 10, 13, 22, 24, 25, 26, 27, 30, 31, 33, 34, 41, 45, 46, 48

——————————

Stockfish 15.09.2026
MultiPV = 3

File name : Top Chess Engines Testsuite 2025.pgn
Total test items   : 50
Test for    : best moves
Total engines : 1
Timer : movetime: 60
Expand ply    : 1
Elapsed : 45:30
Laps    : 1
Total tests : 50
Total corrects    : 26 (52%)
Ave correct elapse : 00:48
Status    : completed

Correct/Total:
Stockfish dev-20260915-nogit: 26/50

Failed tests (hit *):
1. Stockfish dev-20260915-nogit:
0, 5, 6, 8, 9, 10, 11, 16, 17, 18, 19, 20, 23, 25, 27, 28, 36, 38, 39, 40, 42, 43, 47, 49

Successful tests:
1. Stockfish dev-20260915-nogit:
1, 2, 3, 4, 7, 12, 13, 14, 15, 21, 22, 24, 26, 29, 30, 31, 32, 33, 34, 35, 37, 41, 44, 45, 46, 48

————————-

Stockfish 15.09.2026
MultiPV = 4

File name : Top Chess Engines Testsuite 2025.pgn
Total test items   : 50
Test for    : best moves
Total engines : 1
Timer : movetime: 60
Expand ply    : 1
Elapsed : 48:25
Laps    : 1
Total tests : 50
Total corrects    : 27 (54%)
Ave correct elapse : 00:54
Status    : completed

Correct/Total:
Stockfish dev-20260915-nogit: 27/50

Failed tests (hit *):
1. Stockfish dev-20260915-nogit:
0, 5, 6, 8, 9, 10, 16, 17, 18, 19, 20, 23, 25, 26, 27, 28, 36, 37, 38, 42, 43, 47, 48

Successful tests:
1. Stockfish dev-20260915-nogit:
1, 2, 3, 4, 7, 11, 12, 13, 14, 15, 21, 22, 24, 29, 30, 31, 32, 33, 34, 35, 39, 40, 41, 44, 45, 46, 49

———————

Stockfish 15.09.2026
MultiPV = 5

File name : Top Chess Engines Testsuite 2025.pgn
Total test items   : 50
Test for    : best moves
Total engines : 1
Timer : movetime: 60
Expand ply    : 1
Elapsed : 49:54
Laps    : 1
Total tests : 50
Total corrects    : 26 (52%)
Ave correct elapse : 00:57
Status    : completed

Correct/Total:
Stockfish dev-20260915-nogit: 26/50

Failed tests (hit *):
1. Stockfish dev-20260915-nogit:
0, 5, 6, 8, 9, 10, 11, 12, 16, 17, 19, 20, 23, 25, 26, 28, 36, 37, 38, 39, 42, 43, 47, 48

Successful tests:
1. Stockfish dev-20260915-nogit:
1, 2, 3, 4, 7, 13, 14, 15, 18, 21, 22, 24, 27, 29, 30, 31, 32, 33, 34, 35, 40, 41, 44, 45, 46, 49

----------------------------------------------------------------------------------------------------------------------------------------------------

Den Rekord hält aktuell:

Von Erdogan Günes Datum 2025-08-08 03:59 Gut 2
Mit Kanonen auf Spatzen schießen !

Habe mal wieder unseren Clon HawkEye X auf diesen Test angesetzt.

2x AMD EPYC™ 9965, 192-Cores ( 384 Core / 768 Threads ), 2.25GHz, SMT, 384MB L3 Cache,
500W (Turin with Zen5c cores) ( 256 GB Hash )

Random Op. MultiPV = 4

Löse: C:\Users\erdog\Documents\ChessBase\Testsets\Top Chess Engines Testsuite 2025.cbh
Maximale Lösungszeit = 600s.

1. LCTFIN07 - Bb4, lapuce2   Gelöst in 1.28s/19; Gelöst: 1
2. Pos.38 Petrosyan-Hasaj,S - Qb6, Tim-Krabbe   Gelöst in 1.53s/22; Gelöst: 2
3. arasan21.124 - (#13) Re5, Arasan-v21 2023   Gelöst in 3.84s/22; Gelöst: 3
4. arasan21.179 - Kf2, Arasan-v21 2023   Gelöst in 2.16s/18; Gelöst: 4
5. E_E_T 077 - T&L vs T&L - (#40?) Rc8+, Eigenmann-Endspiel-Test 2009   Gelöst in 3.42s/36; Gelöst: 5
6. ERET 037 - Zugzwang - (#28) Na8, Eigenmann Rapid Engine Chess 2020   Gelöst in 122.30s/33; Gelöst: 6
7. ERET 103 - Zugzwang - (#14) Kc8, Eigenmann Rapid Engine Chess 2020   Gelöst in 36.99s/25; Gelöst: 7
8. TTT2.037 - Bd4, TTT2   Gelöst in 0.48s/13; Gelöst: 8
9. TTT2.091 - (#45) Nf3+, TTT2   Gelöst in 0.97s/16; Gelöst: 9
10. 021 M. Roxlau 2000 - Ra3, The Engines Crackers 2 2021   Gelöst in 114.47s/28; Gelöst: 10
11. - (#15) Rc3, ACT3   Gelöst in 3.44s/24; Gelöst: 11
12. - (#5) f5, ACT3   Gelöst in 21.19s/22; Gelöst: 12
13. - (#40? / #19) Bc6, ACT3   > 600s.
14. - Nc6+, ACT3   Gelöst in 1.02s/16; Gelöst: 13
15. - (#30?) d6+, ACT3   Gelöst in 1.06s/16; Gelöst: 14
16. - Nd6, ACT3   Gelöst in 215.17s/26; Gelöst: 15
17. - (#40) f5, ACT3   Gelöst in 208.63s/51; Gelöst: 16
18. - (#10) Qa1+, ACT3   Gelöst in 7.81s/35; Gelöst: 17
19. - (#6) Qf3, ACT3   Gelöst in 83s/24; Gelöst: 18
20. ACT4.035 - Qxc7+, ACT4   > 600s.
21. ACT4.049 - (#17) Kb7 / Bc6, ACT4   Gelöst in 539.56s/67; Gelöst: 19
22. ACT4.051 - (#17) g3, ACT4   Gelöst in 1.25s/21; Gelöst: 20
23. ACT5.003 - (#11) Nfg3+, ACT5   Gelöst in 0.69s/13; Gelöst: 21
24. ACT5.019 - (#22) a6, ACT5   Gelöst in 158.36s/27; Gelöst: 22
25. ACT5.029 - Rxg2, ACT5   Gelöst in 3.77s/22; Gelöst: 23
26. ACT5.079 - (#21) Qxd4, ACT5   Gelöst in 45.70s/29; Gelöst: 24
27. Hard-Talkchess-2020.019 - Nf5, Hard-2020-final-213-positions   Gelöst in 8.95s/23; Gelöst: 25
28. Hard-Talkchess-2020.076 - Rxh4, Hard-2020-final-213-positions   Gelöst in 55.88s/35; Gelöst: 26
29. Hard-Talkchess-2020.087 - (#45) c8N, Hard-2020-final-213-positions   Gelöst in 1.05s/30; Gelöst: 27
30. Hard-Talkchess-2020.091 - Bxc5+, Hard-2020-final-213-positions   Gelöst in 0.75s/14; Gelöst: 28
31. Hard-Talkchess-2020.108 - Bh5+, Hard-2020-final-213-positions   Gelöst in 0.39s/14; Gelöst: 29
32. Hard-Talkchess-2020.121 - (#26) Nab3+, Hard-2020-final-213-positions   Gelöst in 0.30s/11; Gelöst: 30
33. Hard-Talkchess-2020.196 - Nd5, Hard-2020-final-213-positions   Gelöst in 4.48s/22; Gelöst: 31
34. Neweklowski,L - (#24) Rxb3, Computer Chess Test Suite 2024   Gelöst in 3.11s/19; Gelöst: 32
35. Chudzik,Z - (#27) Bh2, Computer Chess Test Suite 2024   Gelöst in 1.19s/29; Gelöst: 33
36. Study,? - Ra3, Computer Chess Test Suite 2024   Gelöst in 0.45s/14; Gelöst: 34
37. Riihimaki,S - Bxa6, Computer Chess Test Suite 2024   Gelöst in 9.53s/37; Gelöst: 35
38. Sonntag,G - Qf4, Computer Chess Test Suite 2024   Gelöst in 7.64s/28; Gelöst: 36
39. Neihstadt,V - (#11) Bf2+, Computer Chess Test Suite 2024   Gelöst in 61.80s/58; Gelöst: 37
40. Korolkov,V - (#23) g8=B, Computer Chess Test Suite 2024   Gelöst in 0.44s/20; Gelöst: 38
41. Korolkov,V - (#11) Qg3+, Computer Chess Test Suite 2024   Gelöst in 0.44s/19; Gelöst: 39
42. ACT2.042 - Qf7+, ACT2   Gelöst in 0.97s/14; Gelöst: 40
43. - (#12) Bh2, CCET014 CCC Timman, J. Derived   Gelöst in 31.55s/38; Gelöst: 41
44. Soukup Bardon=B - (#13) Bb6+, CCET019 HHdbVI Tidskrift for Schack 1983   Gelöst in 4.05s/41; Gelöst: 42
45. Prokop=F - (#22) Nb3+, CCET029 HHdbVI 3. Ceskoslovensky Sach 1938   Gelöst in 0.45s/12; Gelöst: 43
46. Kraemer=A - (#17) Ng4+, CCET034 HHdbVI Aachener Nachrichten 1969   Gelöst in 0.95s/16; Gelöst: 44
47. Krug=P - (#14) Na8, CCET035 HHdbVI Schach-Aktiv#3254 2007   Gelöst in 0.78s/37; Gelöst: 45
48. Gorgiev=T - (#12) Qf7+, CCET036 HHdbVI 3.c Shakhmaty v SSSR#28 1964   > 600s.
49. Hasek=J - (#31) Ba3, CCET059 HHdbVI UV CSTV#4016 1965   > 600s.
50. Timman=J - Qg3, CCET070 HHdbVI 2/4 Keith-62 JT Phenix 2015   > 600s.

Ergebnis: 45 aus 50 = 90.0%. Durchschnittszeit = 39.40s / 25.68

An einigen Stellungen hatte er die Lösung schon auf der Anzeige, aber die Zeit hat nicht gereicht leider.

Bye Erdo

Diesen könntet ihr zur Abwechslung einmal übertreffen, was ja auf eurer super Hardware mit Stockfish 19 machbar sein sollte.

Im übrigen habe ich die Fische selbst kompiliert,
da die automatisch vorgeschlagene Version (Universal binaries automatically detect and use the optimal features of your CPU) ungefähr 2,5 mal langsamer ist.
Also selbst kompilieren https://github.com/official-stockfish/stockfish und

nachfolgendes nicht benutzen:
https://stockfishchess.org/download/
Download Stockfish 19
Note: Stockfish is a command line program. You may want to use it in your own chess GUI.
NEW
Universal binaries automatically detect and use the optimal features of your CPU.
macOS
Download

Die Stockfish Entwickler sollten sich mal so langsam die eine oder andere Apple Hardware beschaffen, denn das würde ihnen Monate an Zeit ersparen durch ständige E-Mails und andere Nachrichten diverser Benutzer.

By Max Siegfried Date 2026-09-16 21:41

Stockfish 19
32 GB RAM
MultiPV = 3
10 Minuten pro Teststellung

File name : Top Chess Engines Testsuite 2025.pgn
Total test items   : 50
Test for    : best moves
Total engines : 1
Timer : movetime: 600
Expand ply    : 1
Elapsed : 6:54:06
Laps    : 1
Total tests : 50
Total corrects    : 31 (62%)
Ave correct elapse : 07:12
Status    : completed

Correct/Total:
Stockfish 19: 31/50

Failed tests (hit *):
1. Stockfish 19:
5, 6, 9, 10, 11, 16, 17, 18, 19, 23, 25, 27, 28, 29, 38, 39, 40, 42, 43

Successful tests:
1. Stockfish 19:
0, 1, 2, 3, 4, 7, 8, 12, 13, 14, 15, 20, 21, 22, 24, 26, 30, 31, 32, 33, 34, 35, 36, 37, 41, 44, 45, 46, 47, 48, 49

By Dietmar Klinger Date 2026-09-16 21:58

Max Siegfried schrieb:

Stockfish ist jetzt für die Analyse deutlich besser geeignet als früher und schneidet sogar besser ab als ShashChess.

Hallo Max,

der neue Stockfish 19 ist zweifelsohne nicht schlecht.
So richtig abgehoben von Stockfish 18 und anderen Spitzen-Enginen hat er sich jedoch noch nicht was Spiele anbelangen.
Auf alle Fälle muss das auch erst einmal mit verschiedenen Zeiten richtig getestet werden.
In Analysen ist er gegenüber meinen selbst kompilierten CorChess unter Linux oder auch dem Klone Rems M-091224 noch immer unterlegen wie es aussieht.
Auch hier muss weiter getestet werden.

MfG Dietmar

By Max Siegfried Date 2026-09-17 08:34

Stockfish 15.09.2026
MultiPV = 4
10 Minuten pro Teststellung

File name : Top Chess Engines Testsuite 2025.pgn
Total test items   : 50
Test for    : best moves
Total engines : 1
Timer : movetime: 600
Expand ply    : 1
Elapsed : 7:42:54
Laps    : 1
Total tests : 50
Total corrects    : 33 (66%)
Ave correct elapse : 08:51
Status    : completed

Correct/Total:
Stockfish dev-20260915-nogit: 33/50

Failed tests (hit *):
1. Stockfish dev-20260915-nogit:
0, 5, 6, 8, 9, 12, 16, 19, 25, 27, 28, 33, 36, 38, 42, 43, 47

Successful tests:
1. Stockfish dev-20260915-nogit:
1, 2, 3, 4, 7, 10, 11, 13, 14, 15, 17, 18, 20, 21, 22, 23, 24, 26, 29, 30, 31, 32, 34, 35, 37, 39, 40, 41, 44, 45, 46, 48, 49

By Dietmar Klinger Date 2026-09-17 10:02

Für mich sind in erster Linie ausschlaggebend die Ergebnisse
meiner Software und unter meiner Hardware.
Deshalb sollte man das auch nicht pauschalisieren.

By Max Siegfried Date 2026-09-17 21:38

Für mich auch.

Der neue Stockfish löst jetzt bei mir 35 aus 50, dass sind 70% der Teststellungen.
Damit ist Stockfish bei mir deutlich besser als früher in Testsuites.
und es ist der original Nr. 1 Stockfish und kein Stockfish Clone der gleichzeitig deutlich schwächer spielt.

Damit werden auf meinem MacBook M1 MAX gerade einmal 10 Teststellungen weniger gelöst, als bei Erdo der 45 gelöste Teststellungen erreicht hatte.
Erdo verwendet aber 2x AMD EPYC 9965
und eine andere Engine.

Somit sehe ich Stockfish als den aktuell besten Kompromiss, wenn man gleichzeitig die stärkste Engine und 70% oder mehr der schwierigsten Teststellungen gelöst bekommen möchte.

Stockfish 15.09.2026
MultiPV = 5
10 Minuten pro Teststellung

File name : Top Chess Engines Testsuite 2025.pgn
Total test items   : 50
Test for    : best moves
Total engines : 1
Timer : movetime: 600
Expand ply    : 1
Elapsed : 8:04:02
Laps    : 1
Total tests : 50
Total corrects    : 35 (70%)
Ave correct elapse : 09:31
Status    : completed

Correct/Total:
Stockfish dev-20260915-nogit: 35/50

Failed tests (hit *):
1. Stockfish dev-20260915-nogit:
6, 9, 10, 12, 14, 19, 20, 25, 27, 28, 38, 39, 42, 47, 49

Successful tests:
1. Stockfish dev-20260915-nogit:
0, 1, 2, 3, 4, 5, 7, 8, 11, 13, 15, 16, 17, 18, 21, 22, 23, 24, 26, 29, 30, 31, 32, 33, 34, 35, 36, 37, 40, 41, 43, 44, 45, 46, 48

By Peter Martan Date 2026-09-18 07:26 Edited 2026-09-18 07:58 Upvotes 1

Dietmar Klinger schrieb:

Deshalb sollte man das auch nicht pauschalisieren.

Endlich bringt das außer mir auch mal wieder jemand Anderer auf diesen springenden Punkt. Weder gibt es den einen ultimativen Stellungstest noch das eine eng-eng-game playing match, aber beim einen wie beim anderen gibt es natürlich Unterschiede in der Vergleichbarkeit der Ergebnisse mit anderen, diese gerade mal 50 rein willkürlich zusammengewürfelten anti engine puzzles der "Top Chess Engine Testsuite" stehen in so ziemlich jeder Version mit so ziemlich jeder Hardware- TC und so ziemlich jedem Teilnehmerfeld immer schon völlig für sich allein. Nicht, dass ich jemandem den Spaß verderben will, diese "Suite(n)" auch zu verwenden, für meine persönlichen Interessen und die Fragen, die ich an einen Stellungstest knüpfe, ist es mir die Hardware- Zeit nicht wert. Wenn ich schon Vergleiche zwischen nicht ausgespielten Stellungstests anstelle, sollen die Resultate wenigstens statistische Relevanz für sich allein haben, inwieweit sie mit denen anderer Sammlungen, anderer Hardware- TC oder gar mit game playing- Resultaten vergleichbar sind, ist Ansichtssache, aber wenigstens sollen sie die Mindestanforderungen an Reproduzierbarkeit und LOS erfüllen.

So ein Beispiel für eine Stellungstest- "Rangliste" ist für mich das, was ich mit den 325 Stellungen, die Andrea Manzo auch auf der ShashChess-site dazu angibt, nachdem ich er sich mit mir darauf auch schon vor etwas längerer Zeit geeinigt hat, dass sie ein ganz gutes sample darstellen, mache ich mit EloStatTS von Frank Schubert vor allem deshalb gerne immer wieder aktualiserend, weil mit der Zahl der runs die error bar immer weiter sinkt, und die Abstände dadurch statistisch immer besser abgesichert sind, die die Engines da haben, und aber ja, natürlich in dieser Form nur unter genau den Bedingungen, die da für alle gelten und mit genau diesen Stellungen rauskommen, für genau dieses eine Maß, unnötig es auch mal wieder zun erwähnen, das diese StatTS- Elo, die da gezählt werden, mit anderen Elo nur am Rande zu tun haben. Zwar werden sie vom Tool auch aus reinen WDL- Resultaten erstellt (prinzipiell ebenso wie mit dem anderen EloStat- Tool von Frank Schubert, jeder neue run neuerlich mit jedem alten, eng-eng- and position- position- wise), so wie Stefan Pohl seine Wertungen Celo nennt, sind das ebenfalls erstens reine C- Elo, außerdem halt erst recht nur für den einen Test allein gültig und nur in sich stimmig.



    Program                                    Elo   +/-  Matches  Score   Av.Op.   S.Pos.   MST1    MST2   RIndex

  1 Stockfish-260720-6t-MuPV4-PersHash       : 3598    1  47525    64.1 %   3497   300/325    2.1s    4.2s   0.83
  2 DON-260302-6t-MuPV4-pers.h.              : 3597    1  4793     64.0 %   3497   308/325    2.9s    4.3s   0.78
  3 HORIZON+-6t-25-4-500                     : 3562    1  42671    59.1 %   3498   261/325    2.7s    8.1s   0.76
  4 CorChess260902-6t-25-4-500               : 3560    1  43249    58.8 %   3498   270/325    3.5s    8.0s   0.73
  
 20 Stockfish-260504-6t-MuPV4                 : 3545    1  41346    56.7 %   3498   251/325    3.6s    9.6s   0.71
 
 28 RemsM-091224-6t-24-4-2000                 : 3541    1  42310    56.0 %   3498   260/325    4.3s    9.5s   0.62
 29 Reckless-260523-6t-.MuPV4                 : 3541    1  42519    56.0 %   3499   257/325    4.7s   10.0s   0.65
 
 36 ShashChess41.1GD-6t-MCTS1-FDT1-MuPV4      : 3538    1  41219    55.7 %   3498   250/325    3.9s   10.0s   0.66
 
 38 Stockfish19-6t-MuPV4                      : 3538    1  41441    55.6 %   3499   246/325    3.5s    9.9s   0.67
 
 68 ShashChess41.2GD-6t-MCTS1-FDT1-MuPV4      : 3523    1  40477    53.4 %   3499   237/325    4.6s   11.4s   0.65
 
 74 Stockfish18-6t-MuPV4                      : 3520    1  39963    53.1 %   3499   232/325    4.2s   11.6s   0.64

 87 Reckless0.10.0-6t-MuPV1                   : 3499    2  40225    49.7 %   3501   222/325    5.2s   13.1s   0.49

 89 ShashChess41.1GD-6t-FDT2-MuPV1            : 3498    2  39121    49.5 %   3501   212/325    4.6s   13.4s   0.57
 90 ShashChess41.1GD-6t-MCTS1-MuPV1           : 3498    2  39348    49.5 %   3501   218/325    5.2s   13.4s   0.54
 91 Stockfish19-6t-MuPV1                      : 3497    2  39789    49.4 %   3501   215/325    5.2s   13.6s   0.55
105 Stockfish18-6t-MuPV1                     : 3483    2  38594    47.4 %   3501   204/325    5.4s   14.5s   0.50
151 Dragon3.3-6t-MCTS-MuPV6                  : 3372    2  36284    31.8 %   3505   117/325    6.8s   21.6s   0.09
152 Monty-260208-Co250-MuPV6                 : 3369    2  35303    31.3 %   3506   108/325    6.5s   22.2s   0.22

MST1  : Mean solution time (solved positions only)
MST2  : Mean solution time (solved and unsolved positions)
RIndex: Score according to solution time ranking for each position

Die ganz oben mit PersHash und pers.h. gekennzeichneten laufen sozusagen außer Konkurrenz, mit zuvor eigens befülltem, auf der Festplatte gespeichertem und dann für den Testrun wieder gelandenem persistent hash, sozusagen als benchmarks mit. Hardware- TC ist 30"/pos., 6 threads der 4.3GHz- CPU, 5 concurrencies. In den Ausschnitten der mittlerweile 154 runs großen Liste (die 2 ShashChess42- runs, die ich schon habe, sind noch von der Beta- Version, da kommen statt denen zumindest die dann besten 2 rein, einer MultiPV4 und einer MultiPV1, wenn die Version 42 released ist). "Inzucht" (SF- Derivate dominieren einfach stark an Zahl) herrscht, was die Wahl der Engines angeht, sowieso, aber doch auch ein bisschen Vielfalt (sofern es halt Mindest- Performance- Grenzen zulassen), dass die meisten, die das bieten, in 2 verschiedenen MultiPV- Settings laufen, ist der Tatsache geschuldet, dass da die Implementierungen dieses Modus bei solchen Stellungen und solchen Hardware- TCs, wie man sieht, mehr oder weniger große Unterschiede machen. Lc0 habe ich hier bewusst nicht mit- zitiert, die beste Performance davon auf meiner RTX5070- GPU reiht sich momentan an Nr.62 ein, der Vergleich mit dieser Engine und anderen ist an und für sich eine Sache für sich, hier erst recht, 6 threads A-B mit der full power der GPU ist auch nur eine einzelne Art Leela- Ratio für sich allein, da ist interessanter als die Reihung in der Liste immer wieder, welche die Stellungen sind, die von der einen Engine gelöst werden und von der anderen nicht, das gibt die EloStatTS- Liste nicht her, dazu schaut man sich am besten direkte head to head- Vergleiche an, wie sie sich in einer Excel- Tabelle schön darstellen lassen, dazu lassen sich die aus der Zwischenablage aus dem Fritz- GUI kopierten gut einfügen, mit den genauen Zeiten pro Stellung und run, Shredder schreibt in der Protokoll- Datei sehr übersichtliche Tabellen eines eigenen Formats. Was das GUI angeht, ist man bei EloStatTS halt auf Fritz angewiesen, weil nur dieses Format ins Tool passt.

Der Ausschnitt aus der Liste, den ich hier mal wieder einfüge, beschränkt sich auf diejenigen SF- Derivate, die einerseits zum game playing gedacht sind und da auch mit SF dev. mehr oder weniger gut mithalten können, andererseits halt für solche anti engine puzzles eigene Optionen, Parameter, Features, Settings haben, die time to solution sparen können.