Top Chess Engines Testsuite 2024 v2Stockfish 17File name : Top Chess Engines Testsuite 2024 v2.pgn
Total test items : 115
Test for : best moves
Total engines : 1
Timer : movetime: 60
Expand ply : 1
Elapsed : 1:18:01
Laps : 1
Total tests : 115
Total corrects : 51 (44%)
Ave correct elapse : 00:14
Status : completed
Correct/Total:
Stockfish 17: 51/115
Stockfish 17 MultiPV=4File name : Top Chess Engines Testsuite 2024 v2.pgn
Total test items : 115
Test for : best moves
Total engines : 1
Timer : movetime: 60
Expand ply : 1
Elapsed : 1:45:37
Laps : 1
Total tests : 115
Total corrects : 73 (63%)
Ave correct elapse : 00:50
Status : completed
Correct/Total:
Stockfish 17 MultiPV=4: 73/115
Fidelio 17 https://solistachess.jimdosite.com/File name : Top Chess Engines Testsuite 2024 v2.pgn
Total test items : 115
Test for : best moves
Total engines : 1
Timer : movetime: 60
Expand ply : 1
Elapsed : 1:09:06
Laps : 1
Total tests : 115
Total corrects : 59 (51%)
Ave correct elapse : 00:12
Status : completed
Correct/Total:
Fidelio 17: 59/115
Fidelio 17 MultiPV=4File name : Top Chess Engines Testsuite 2024 v2.pgn
Total test items : 115
Test for : best moves
Total engines : 1
Timer : movetime: 60
Expand ply : 1
Elapsed : 1:33:13
Laps : 1
Total tests : 115
Total corrects : 87 (75%)
Ave correct elapse : 00:43
Status : completed
Correct/Total:
Fidelio 17 MultiPV=4: 87/115
Stockfish 17 ohne 7-SteinerFile name : Top Chess Engines Testsuite 2024 v2.pgn
Total test items : 115
Test for : best moves
Total engines : 1
Timer : movetime: 60
Expand ply : 1
Elapsed : 1:28:36
Laps : 1
Total tests : 115
Total corrects : 38 (33%)
Ave correct elapse : 00:15
Status : completed
Correct/Total:
Stockfish 17 ohne 7-Steiner: 38/115
Stockfish 17 MultiPV=4 ohne 7-SteinerFile name : Top Chess Engines Testsuite 2024 v2.pgn
Total test items : 115
Test for : best moves
Total engines : 1
Timer : movetime: 60
Expand ply : 1
Elapsed : 1:45:48
Laps : 1
Total tests : 115
Total corrects : 60 (52%)
Ave correct elapse : 00:48
Status : completed
Correct/Total:
Stockfish 17 MultiPV=4 ohne 7-Steiner: 60/115
1 Minute pro Stellung:-LC0 v0.31.0 BT4 6147500 MultiPV=4 (11%) 13/115
-LC0 v0.31.0 BT4 6147500 (14%) 17/115
-Stockfish 16.1 (20%) 23/115-Stockfish 17 ohne 7-Steiner (33%) 38/115-Stockfish 17 (44%) 51/115-Stockfish 02042024 (45%) 52/115
-Fidelio 17 (51%) 59/115-Stockfish 17 MultiPV=4 ohne 7-Steiner (52%) 60/115-Stockfish 17 MultiPV=4 (63%) 73/115-Stockfish 16.1 MultiPV=4 (66%) 77/115-Stockfish 02042024 MultiPV=4 (66%) 77/115 (leider nicht besser als Stockfish 16.1 MultiPV=4)
-Leptir Big-Ultra MultiPV 4 (68%) 79/115
-Leptir Ultra (69%) 80/115
-ShashChess 35 High Tal MultiPV=3 (70%) 81/115
-Leptir Big-Ultra Random Op. MultiPV 4 Plies 21 Score 10000 (72%) 83/115
-ShashChess 35 High Tal MultiPV=4 (73%) 85/115
-Leptir Big-Ultra (74%) 86/115
-Leptir Big-Ultra Random Op. MultiPV 4 Plies 21 (75%) 87/115
-ShashChess 35 High Tal MultiPV=4 (anstatt 8 Kerne: 5 Kerne + MCTS ON mit MCTSThreads = 3) (75%) 87/115
-Fidelio 17 MultiPV=4 (75%) 87/115-Leptir Big-Ultra Random Op. MultiPV 4 (76%) 88/115
-ShashChess 34.6 High Tal MultiPV=2 (76%) 88/115
-ShashChess 35 High Tal MultiPV=4 (anstatt 8 Kerne: 7 Kerne + MCTS ON mit MCTSThreads = 1) (77%) 89/115
-ShashChess 34.6 High Tal MultiPV=5 (78%) 90/115
-ShashChess 34.6 High Tal MultiPV=4 (80%) 93/115
-ShashChess 34.6 High Tal MultiPV=3 (80%) 93/115
-ShashChess 35 High Tal MultiPV=4 (anstatt 8 Kerne: 6 Kerne + MCTS ON mit MCTSThreads = 2) (80%) 93/115
Ergebnis:Stockfish 17 ist ohne 7-Steiner deutlich besser als Stockfish 16.1 mit 7-Steiner. (+13%, +15 Teststellungen)
Stockfish 17 ist mit 7-Steiner deutlich besser als Stockfish 17 ohne 7-Steiner. (+11%, +13 Teststellungen)
Stockfish 17 ist mit 7-Steiner deutlich besser als Stockfish 16.1 mit 7-Steiner. (+24% +28 Teststellungen)-Stockfish 17 MultiPV=4 ist minimal schlechter als Stockfish 16.1 MultiPV=4 (-3%, -4 Teststellungen)Erfahrungsgemäß könnten 2 Teststellungen bei dem Durchlauf ein Ausreißer(Pech) gewesen sein, dann wären es nur -2 Teststellungen für Stockfish 17 MultiPV=4.
Falls Stockfish 16.1 damals nur (Glück) bei dem einen Durchlauf hatte (+2 Teststellungen mehr gelöst) als es normalerweise der Fall wäre, dann wären es +-0%, +-0 Teststellungen.
Fazit:Stockfish 17 wurde tatsächlich um fast 50 Elo verbessert. (Natürlich wird Stockfish im normalen Modus trainiert und nicht im MultiVP=4 Modus).
(+24% +28 Teststellungen) vs (-3%, -4 Teststellungen)
Darüber können sich alle sehr freuen, dann schließlich ist das Ziel, dass Stockfish in Zukunft im normalen Modus alles entdeckt und trotzdem eine möglichst hohe Tiefe erreicht (genauere +0.00 bis +0.10 Bewertung pro Zug), anstatt 4 Stockfishe gleichzeitig verwenden zu müssen mit den vielen Nachteilen.
Zukunft:Ich warte jetzt dringend auf ShashChess 36, Stockfish 18, 19 und 20
-Stockfish 17 (44%) 51/115 + 24% und 28 Teststellungen =
-Stockfish 18 (68%) 79/115 + 24% und 28 Teststellungen =
-Stockfish 19 (92%) 107/115 + 8% und 8 Teststellungen =
-Stockfish 20 (100%) 115/115 in ungefähr 3 Jahren bei 60 Sekunden pro Teststellungen.
Es sei denn ich werde schwach und kaufe mir doch zwei BERGAMO CPUs, dann wird es deutlich schneller gehen in 0 bis 3 Sekunden pro Teststellung.
Da Windows 12 Pro for Workstations deutlich mehr Kerne unterstützen wird, könnten einige Motherboard Hersteller 4 Sockel Motherboards für AMD EPYC CPUs anbieten.
Dann könnte ich endlich 4 CPUs unterbringen.
Der Bergamo Nachfolger wird mindestens 160 echte CPU Kerne unterstützen.
640 echte Kerne und 1280 Threads sind doch einfach besser als nur mickrige 256 echte Kerne und nur 512 Threads und dann wird alles SOFORT gelöst.
Achja ganz wichtig:Die Testsuite funktioniert, im Gegensatz zu anderen