Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Stockfish 17 massive Verbesserung in der Testsuite :-)
- - By Max Siegfried Date 2024-09-13 14:44 Upvotes 1
Top Chess Engines Testsuite 2024 v2

Stockfish 17
File name          : Top Chess Engines Testsuite 2024 v2.pgn
Total test items   : 115
Test for           : best moves
Total engines      : 1
Timer              : movetime: 60
Expand ply         : 1
Elapsed            : 1:18:01
Laps               : 1
Total tests        : 115
Total corrects     : 51 (44%)
Ave correct elapse : 00:14
Status             : completed
Correct/Total:
Stockfish 17: 51/115

Stockfish 17 MultiPV=4
File name          : Top Chess Engines Testsuite 2024 v2.pgn
Total test items   : 115
Test for           : best moves
Total engines      : 1
Timer              : movetime: 60
Expand ply         : 1
Elapsed            : 1:45:37
Laps               : 1
Total tests        : 115
Total corrects     : 73 (63%)
Ave correct elapse : 00:50
Status             : completed
Correct/Total:
Stockfish 17 MultiPV=4: 73/115

Fidelio 17 https://solistachess.jimdosite.com/
File name          : Top Chess Engines Testsuite 2024 v2.pgn
Total test items   : 115
Test for           : best moves
Total engines      : 1
Timer              : movetime: 60
Expand ply         : 1
Elapsed            : 1:09:06
Laps               : 1
Total tests        : 115
Total corrects     : 59 (51%)
Ave correct elapse : 00:12
Status             : completed
Correct/Total:
Fidelio 17: 59/115

Fidelio 17 MultiPV=4
File name          : Top Chess Engines Testsuite 2024 v2.pgn
Total test items   : 115
Test for           : best moves
Total engines      : 1
Timer              : movetime: 60
Expand ply         : 1
Elapsed            : 1:33:13
Laps               : 1
Total tests        : 115
Total corrects     : 87 (75%)
Ave correct elapse : 00:43
Status             : completed
Correct/Total:
Fidelio 17 MultiPV=4: 87/115

Stockfish 17 ohne 7-Steiner
File name          : Top Chess Engines Testsuite 2024 v2.pgn
Total test items   : 115
Test for           : best moves
Total engines      : 1
Timer              : movetime: 60
Expand ply         : 1
Elapsed            : 1:28:36
Laps               : 1
Total tests        : 115
Total corrects     : 38 (33%)
Ave correct elapse : 00:15
Status             : completed
Correct/Total:
Stockfish 17 ohne 7-Steiner: 38/115

Stockfish 17 MultiPV=4 ohne 7-Steiner
File name          : Top Chess Engines Testsuite 2024 v2.pgn
Total test items   : 115
Test for           : best moves
Total engines      : 1
Timer              : movetime: 60
Expand ply         : 1
Elapsed            : 1:45:48
Laps               : 1
Total tests        : 115
Total corrects     : 60 (52%)
Ave correct elapse : 00:48
Status             : completed
Correct/Total:
Stockfish 17 MultiPV=4 ohne 7-Steiner: 60/115

1 Minute pro Stellung:
-LC0 v0.31.0 BT4 6147500 MultiPV=4 (11%) 13/115
-LC0 v0.31.0 BT4 6147500 (14%) 17/115
-Stockfish 16.1 (20%) 23/115
-Stockfish 17 ohne 7-Steiner (33%) 38/115
-Stockfish 17 (44%) 51/115
-Stockfish 02042024 (45%) 52/115
-Fidelio 17 (51%) 59/115
-Stockfish 17 MultiPV=4 ohne 7-Steiner (52%) 60/115
-Stockfish 17 MultiPV=4 (63%) 73/115
-Stockfish 16.1 MultiPV=4 (66%) 77/115
-Stockfish 02042024 MultiPV=4 (66%) 77/115 (leider nicht besser als Stockfish 16.1 MultiPV=4)
-Leptir Big-Ultra MultiPV 4 (68%) 79/115
-Leptir Ultra (69%) 80/115
-ShashChess 35 High Tal MultiPV=3 (70%) 81/115
-Leptir Big-Ultra Random Op. MultiPV 4 Plies 21 Score 10000 (72%) 83/115
-ShashChess 35 High Tal MultiPV=4 (73%) 85/115
-Leptir Big-Ultra (74%) 86/115
-Leptir Big-Ultra Random Op. MultiPV 4 Plies 21 (75%) 87/115
-ShashChess 35 High Tal MultiPV=4 (anstatt 8 Kerne: 5 Kerne + MCTS ON mit MCTSThreads = 3) (75%) 87/115
-Fidelio 17 MultiPV=4 (75%) 87/115
-Leptir Big-Ultra Random Op. MultiPV 4 (76%) 88/115
-ShashChess 34.6 High Tal MultiPV=2 (76%) 88/115
-ShashChess 35 High Tal MultiPV=4 (anstatt 8 Kerne: 7 Kerne + MCTS ON mit MCTSThreads = 1) (77%) 89/115
-ShashChess 34.6 High Tal MultiPV=5 (78%) 90/115
-ShashChess 34.6 High Tal MultiPV=4 (80%) 93/115
-ShashChess 34.6 High Tal MultiPV=3 (80%) 93/115
-ShashChess 35 High Tal MultiPV=4 (anstatt 8 Kerne: 6 Kerne + MCTS ON mit MCTSThreads = 2) (80%) 93/115

Ergebnis:
Stockfish 17 ist ohne 7-Steiner deutlich besser als Stockfish 16.1 mit 7-Steiner. (+13%, +15 Teststellungen)
Stockfish 17 ist mit 7-Steiner deutlich besser als Stockfish 17 ohne 7-Steiner. (+11%, +13 Teststellungen)
Stockfish 17 ist mit 7-Steiner deutlich besser als Stockfish 16.1 mit 7-Steiner. (+24% +28 Teststellungen)

-Stockfish 17 MultiPV=4 ist minimal schlechter als Stockfish 16.1 MultiPV=4 (-3%, -4 Teststellungen)
Erfahrungsgemäß könnten 2 Teststellungen bei dem Durchlauf ein Ausreißer(Pech) gewesen sein, dann wären es nur -2 Teststellungen für Stockfish 17 MultiPV=4.
Falls Stockfish 16.1 damals nur (Glück) bei dem einen Durchlauf hatte (+2 Teststellungen mehr gelöst) als es normalerweise der Fall wäre, dann wären es +-0%, +-0 Teststellungen.

Fazit:
Stockfish 17 wurde tatsächlich um fast 50 Elo verbessert. (Natürlich wird Stockfish im normalen Modus trainiert und nicht im MultiVP=4 Modus).
(+24% +28 Teststellungen) vs (-3%, -4 Teststellungen)
Darüber können sich alle sehr freuen, dann schließlich ist das Ziel, dass Stockfish in Zukunft im normalen Modus alles entdeckt und trotzdem eine möglichst hohe Tiefe erreicht (genauere +0.00 bis +0.10 Bewertung pro Zug), anstatt 4 Stockfishe gleichzeitig verwenden zu müssen mit den vielen Nachteilen.

Zukunft:
Ich warte jetzt dringend auf ShashChess 36, Stockfish 18, 19 und 20
-Stockfish 17 (44%) 51/115 + 24% und 28 Teststellungen =
-Stockfish 18 (68%) 79/115 + 24% und 28 Teststellungen =
-Stockfish 19 (92%) 107/115 + 8% und 8 Teststellungen =
-Stockfish 20 (100%) 115/115 in ungefähr 3 Jahren bei 60 Sekunden pro Teststellungen.
Es sei denn ich werde schwach und kaufe mir doch zwei BERGAMO CPUs, dann wird es deutlich schneller gehen in 0 bis 3 Sekunden pro Teststellung.
Da Windows 12 Pro for Workstations deutlich mehr Kerne unterstützen wird, könnten einige Motherboard Hersteller 4 Sockel Motherboards für AMD EPYC CPUs anbieten.
Dann könnte ich endlich 4 CPUs unterbringen.
Der Bergamo Nachfolger wird mindestens 160 echte CPU Kerne unterstützen.
640 echte Kerne und 1280 Threads sind doch einfach besser als nur mickrige 256 echte Kerne und nur 512 Threads und dann wird alles SOFORT gelöst.

Achja ganz wichtig:
Die Testsuite funktioniert, im Gegensatz zu anderen 
Parent - - By Reinhold Stibi Date 2024-09-13 15:01
Um einen Vergleich ziehen zu können gebe doch bitte deine Hardware PC  CPU

sowie Lc0 RTX ? an.
Parent - - By Reinhold Stibi Date 2024-09-13 21:59 Upvotes 1
Steel Fighter III  mit langsamen 8 Kerner Laptop  ca. 3200 kN/s aus der Grundstellung

Top Chess Testsuite 2024 v2  60 Sek. mit TBs 6 Steiner   74 aus 115   64,3 %   11,70 Sek.
                                                       ohne TBs               72               62,6 %   10,89 Sek.
Parent - - By Reinhold Stibi Date 2024-09-14 10:28 Edited 2024-09-14 10:35 Upvotes 1
Steel Fighter III mit schnellem  PC  8 Kerner Prozessor AMD Ryzen 9  7940 HS
ca. 10.000 kN/s aus der Grundstellung 

Top Chess Testsuite 2024 v2  60 Sek. pro Zug

mit TBs 6 Steiner    83  aus 115   72,1 %   6,74 Sek.

ohne TBs                85                73,9 %   8,82 Sek.

Die TBs sind bei Stockfish und Abkömmlinge für die Spielstärke vollkommen unbedeutend.

Hätte nicht gedacht dass die Ergebnisse ohne TBs sogar noch besser sind als mit TBs.

Bei Blitz 5 Min. spielen sie noch eine größere unbedeutende Rolle im praktischen Spiel.

Löse: C:\Schach\Tests\Top Chess Testsuite 2024 v2  -3\Top Chess Testsuite 2024 v2   -3.cbh
Maximale Lösungszeit = 60s.   Steelfighter III  ohne TBs  mit PC Ryzen 9  7940Hs 
                                                                                                  schneller 8 Kerner PC
Top Chess Testsuite  2024  v2    85 aus 115  73,9 %   8,82 Sek. Durchschnittszeit

1. 62.6.IQ.999 - Rxf4,  iq4   Gelöst in 0.28s/10; Gelöst: 1
2. LCTFIN07 - Bb4,  lapuce2   Gelöst in 2.88s/21; Gelöst: 2
3. STS(v7.0) Simplification.071 - Qf3,  STS7Offer of Simplification   Gelöst in 18.14s/26; Gelöst: 3
4. ECM.1573 - Nxa7,  ecmgcp   Gelöst in 1.17s/16; Gelöst: 4
5. Pos.38 Petrosyan-Hasaj,S - Qb6,  Tim-Krabbe   > 60s.
6. Nightmare II-19 - Ng6,  Timman 2012   Gelöst in 2.80s/23; Gelöst: 5
7.  - (#7) d4,  Mate Testsuite 2021   Gelöst in 0.95s/21; Gelöst: 6
8.  - (#7) d4,  Mate Testsuite 2021   Gelöst in 3.08s/28; Gelöst: 7
9.  - (#8) e4,  Mate Testsuite 2021   Gelöst in 4.59s/24; Gelöst: 8
10.  - (#9) e3,  Mate Testsuite 2021   Gelöst in 5.95s/27; Gelöst: 9
11. arasan21.124 - (#13) Re5,  Arasan-v21 2023   Gelöst in 18.47s/25; Gelöst: 10
12. arasan21.155 - Rxg7+,  Arasan-v21 2023   Gelöst in 0.61s/14; Gelöst: 11
13. arasan21.179 - Kf2,  Arasan-v21 2023   Gelöst in 1.63s/17; Gelöst: 12
14.  - (#18) / axb8N,  Der-Brillante-Schachzug   Gelöst in 10.42s/54; Gelöst: 13
15.  - Ng5,  Der-Brillante-Schachzug   Gelöst in 0.70s/15; Gelöst: 14
16.  - (#35?) Rxf5,  Der-Brillante-Schachzug   Gelöst in 38.17s/44; Gelöst: 15
17.  - (#31?) Ne4+,  Der-Brillante-Schachzug   > 60s.
18.  - (#15) Nf6+,  Der-Brillante-Schachzug   Gelöst in 14.73s/33; Gelöst: 16
19. E_E_T 077 - T&L vs T&L - (#40?) Rc8+,  Eigenmann-Endspiel-Test 2009   Gelöst in 3.27s/29; Gelöst: 17
20. ERET 032 - Zugzwang - (#23) Ng3,  Eigenmann Rapid Engine Chess 2020   Gelöst in 2.06s/19; Gelöst: 18
21. ERET 037 - Zugzwang - (#28) Na8,  Eigenmann Rapid Engine Chess 2020   > 60s.
22. ERET 093 - Endspiel - Nd6+,  Eigenmann Rapid Engine Chess 2020   > 60s.
23. ERET 103 - Zugzwang - (#14) Kc8,  Eigenmann Rapid Engine Chess 2020   > 60s.
24. TTT2.012 - Bxh2,  TTT2   Gelöst in 0.69s/15; Gelöst: 19
25. TTT2.031 - Rc2,  TTT2   Gelöst in 1.86s/23; Gelöst: 20
26. TTT2.037 - Bd4,  TTT2   Gelöst in 0.05s/10; Gelöst: 21
27. TTT2.053 - (+2.00 / #12) Ng6,  TTT2   Gelöst in 4.28s/21; Gelöst: 22
28. TTT2.080 - R1f5+,  TTT2   Gelöst in 1.19s/17; Gelöst: 23
29. TTT2.091 - (#45) Nf3+,  TTT2   Gelöst in 1.17s/17; Gelöst: 24
30. 001 Michal Formela 2019 - Ne3,  The Engine Crackers   Gelöst in 2.42s/19; Gelöst: 25
31. 018 M. Illescas 2018 - Rxb7,  The Engines Crackers 2 2021   > 60s.
32. 021 M. Roxlau 2000 - Ra3,  The Engines Crackers 2 2021   > 60s.
33. W.Eigenmann 2022 - Bxh6,  The Engines Crackers 3 2021   Gelöst in 27.81s/28; Gelöst: 26
34. Stockfish-LeelaChess,C - Ba3,  The Engines Crackers 4 2021   Gelöst in 19.02s/27; Gelöst: 27
35. A.Botokanov 1997 - (#31) Na5,  The Engines Crackers 4 2021   Gelöst in 14.28s/23; Gelöst: 28
36. I.Bondar 1995 - (#71) Bxb2,  The Engines Crackers 4 2021   > 60s.
37. P.Krug 2018 - Rec1,  The Engines Crackers 4 2021   Gelöst in 39.52s/29; Gelöst: 29
38. J.Gerhold 2008 - Be5,  The Engines Crackers 4 2021   Gelöst in 2.63s/20; Gelöst: 30
39. Dragon-Stockfish,C - Rxb2,  The Engines Crackers 4 2021   Gelöst in 17.44s/24; Gelöst: 31
40.  - (#15) Rc3,  ACT3   Gelöst in 5.05s/30; Gelöst: 32
41.  - (#5) f5,  ACT3   Gelöst in 58.74s/29; Gelöst: 33
42.  - (#34?) Bxa5,  ACT3   Gelöst in 7.74s/23; Gelöst: 34
43.  - (#40? / #19) Bc6,  ACT3   > 60s.
44.  - b4+,  ACT3   > 60s.
45.  - Nc6+,  ACT3   > 60s.
46.  - (#30?) d6+,  ACT3   Gelöst in 0.44s/16; Gelöst: 35
47.  - Kc7,  ACT3   > 60s.
48.  - (#21) Rg4+,  ACT3   > 60s.
49.  - Nd6,  ACT3   Gelöst in 2.50s/22; Gelöst: 36
50.  - h7,  ACT3   Gelöst in 6.22s/19; Gelöst: 37
51.  - (#30) Kf7,  ACT3   Gelöst in 3.24s/20; Gelöst: 38
52.  - (#40) f5,  ACT3   > 60s.
53.  - Ba7+,  ACT3   > 60s.
54.  - (#10) Qa1+,  ACT3   Gelöst in 11.36s/38; Gelöst: 39
55.  - (#6) Qf3,  ACT3   Gelöst in 16.52s/24; Gelöst: 40
56. ACT4.023 - Bxf4 (gxf4 #12),  ACT4   Gelöst in 1.20s/18; Gelöst: 41
57. ACT4.035 - Qxc7+,  ACT4   > 60s.
58. ACT4.049 - (#16) Kb7 / Bc6,  ACT4   > 60s.
59. ACT4.051 - g3,  ACT4   Gelöst in 37.58s/34; Gelöst: 42
60. ACT5.003 - (#11) Nfg3+,  ACT5   Gelöst in 0.25s/15; Gelöst: 43
61. ACT5.019 - (#22) a6,  ACT5   > 60s.
62. ACT5.029 - Rxg2,  ACT5   Gelöst in 13.78s/29; Gelöst: 44
63. ACT5.077 - Ra1,  ACT5   Gelöst in 0.89s/16; Gelöst: 45
64. ACT5.079 - (#21) Qxd4,  ACT5   > 60s.
65. Hard-Talkchess-2020.002 - Qxf6+,  Hard-2020-final-213-positions   Gelöst in 0.41s/13; Gelöst: 46
66. Hard-Talkchess-2020.003 - Nc6,  Hard-2020-final-213-positions   Gelöst in 8.63s/21; Gelöst: 47
67. Hard-Talkchess-2020.007 - Rxh1,  Hard-2020-final-213-positions   Gelöst in 11.14s/22; Gelöst: 48
68. Hard-Talkchess-2020.008 - Rd6+,  Hard-2020-final-213-positions   Gelöst in 1.03s/16; Gelöst: 49
69. Hard-Talkchess-2020.019 - Nf5,  Hard-2020-final-213-positions   Gelöst in 39s/29; Gelöst: 50
70. Hard-Talkchess-2020.043 - Ng6+,  Hard-2020-final-213-positions   Gelöst in 0.41s/14; Gelöst: 51
71. Hard-Talkchess-2020.050 - (#6) Rf5,  Hard-2020-final-213-positions   Gelöst in 0.24s/13; Gelöst: 52
72. Hard-Talkchess-2020.056 - Nexg6,  Hard-2020-final-213-positions   Gelöst in 0.81s/16; Gelöst: 53
73. Hard-Talkchess-2020.057 - (#35?) Nd4,  Hard-2020-final-213-positions   > 60s.
74. Hard-Talkchess-2020.064 - Kd4,  Hard-2020-final-213-positions   Gelöst in 0.80s/16; Gelöst: 54
75. Hard-Talkchess-2020.076 - Rxh4,  Hard-2020-final-213-positions   > 60s.
76. Hard-Talkchess-2020.087 - (#45) c8N,  Hard-2020-final-213-positions   Gelöst in 3.14s/36; Gelöst: 55
77. Hard-Talkchess-2020.090 - (#37) Bf8+,  Hard-2020-final-213-positions   Gelöst in 0.16s/22; Gelöst: 56
78. Hard-Talkchess-2020.091 - Bxc5+,  Hard-2020-final-213-positions   Gelöst in 1.08s/15; Gelöst: 57
79. Hard-Talkchess-2020.103 - Qh3+,  Hard-2020-final-213-positions   Gelöst in 0.38s/13; Gelöst: 58
80. Hard-Talkchess-2020.107 - (#26) f5,  Hard-2020-final-213-positions   Gelöst in 0.09s/11; Gelöst: 59
81. Hard-Talkchess-2020.108 - Bh5+,  Hard-2020-final-213-positions   Gelöst in 0.28s/10; Gelöst: 60
82. Hard-Talkchess-2020.121 - (#26) Nab3+,  Hard-2020-final-213-positions   Gelöst in 0.13s/12; Gelöst: 61
83. Hard-Talkchess-2020.126 - (#26) Nc6,  Hard-2020-final-213-positions   > 60s.
84. Hard-Talkchess-2020.141 - (#17) Rc3+,  Hard-2020-final-213-positions   Gelöst in 37.06s/28; Gelöst: 62
85. Hard-Talkchess-2020.142 - Be2,  Hard-2020-final-213-positions   Gelöst in 0.19s/13; Gelöst: 63
86. Hard-Talkchess-2020.144 - Bf6,  Hard-2020-final-213-positions   Gelöst in 22.14s/24; Gelöst: 64
87. Hard-Talkchess-2020.150 - Bf6,  Hard-2020-final-213-positions   Gelöst in 1.09s/16; Gelöst: 65
88. Hard-Talkchess-2020.196 - Nd5,  Hard-2020-final-213-positions   Gelöst in 5.78s/21; Gelöst: 66
89. Hard-Talkchess-2020.204 - Bg5,  Hard-2020-final-213-positions   Gelöst in 0.78s/14; Gelöst: 67
90. Neghina,M - Ncxe7+,  Computer Chess Test Suite 2024   > 60s.
91. Zepler,E - g6,  Computer Chess Test Suite 2024   Gelöst in 54.36s/27; Gelöst: 68
92. Lasker,E - Ke4,  Computer Chess Test Suite 2024   Gelöst in 2s/17; Gelöst: 69
93. Krug,P - Nh7+,  Computer Chess Test Suite 2024   Gelöst in 4.77s/18; Gelöst: 70
94. Krug,P - Re5,  Computer Chess Test Suite 2024   Gelöst in 38.89s/30; Gelöst: 71
95. Neweklowski,L - (#24) Rxb3,  Computer Chess Test Suite 2024   > 60s.
96. Chudzik,Z - (#27) Bh2,  Computer Chess Test Suite 2024   > 60s.
97. Sikorsky,H - Qe1,  Computer Chess Test Suite 2024   Gelöst in 0.67s/15; Gelöst: 72
98. Grasemann,H - (#16) Rd3,  Computer Chess Test Suite 2024   Gelöst in 0.11s/20; Gelöst: 73
99. Troitzky,A - (#9) Bce5,  Computer Chess Test Suite 2024   > 60s.
100. King's,G - (#38) Qg1,  Computer Chess Test Suite 2024   Gelöst in 16.66s/65; Gelöst: 74
101. Neghina,M - (#20) Nf8,  Computer Chess Test Suite 2024   > 60s.
102. Study,? - Ra3,  Computer Chess Test Suite 2024   Gelöst in 0.08s/10; Gelöst: 75
103. Semenikov+,D - gxf3,  Computer Chess Test Suite 2024   Gelöst in 13.41s/24; Gelöst: 76
104. Riihimaki,S - Bxa6,  Computer Chess Test Suite 2024   Gelöst in 20.81s/41; Gelöst: 77
105. Sonntag,G - Qf4,  Computer Chess Test Suite 2024   Gelöst in 24.05s/37; Gelöst: 78
106. Neihstadt,V - (#11) Bf2+,  Computer Chess Test Suite 2024   > 60s.
107. Korolkov,V - (#23) g8=B,  Computer Chess Test Suite 2024   Gelöst in 0.28s/15; Gelöst: 79
108. Korolkov,V - (#11) Qg3+,  Computer Chess Test Suite 2024   Gelöst in 0.30s/15; Gelöst: 80
109. Infantozzi,J - Bd5,  Computer Chess Test Suite 2024   > 60s.
110. #25-Study?,? - (#25) Kd7,  Computer Chess Test Suite 2024   Gelöst in 0.97s/45; Gelöst: 81
111. Tidskrift,f - (#30) Rxa4,  Computer Chess Test Suite 2024   > 60s.
112. Arves.14112,? - (#27) Rg2,  Computer Chess Test Suite 2024   Gelöst in 8.92s/38; Gelöst: 82
113. ACT4,N - Bxb7,  Computer Chess Test Suite 2024   Gelöst in 0.36s/14; Gelöst: 83
114. Pawn,E - a4,  Computer Chess Test Suite 2024   Gelöst in 0.67s/25; Gelöst: 84
115. Zlatanov,A - Bh1,  Computer Chess Test Suite 2024   Gelöst in 0.41s/14; Gelöst: 85

Ergebnis: 85 aus 115 = 73.9%. Durchschnittszeit = 8.82s / 22.55
Parent - By Reinhold Stibi Date 2024-09-14 12:47 Edited 2024-09-14 12:53 Upvotes 1
Top Chess Testsuite 2024 v2  60 Sek. pro Zug  mit Lc0 v0.31.0  BT4 swa 6147500

mit 6 Steiner TBs, 32 GHz Hash   RTX 2070

31 aus 115    26,9 %   19,28 Sek. Durchschnittszeit  

Sehr enttäuschendes Ergebnis für Lc0 !


Löse: C:\Schach\Tests\Top Chess Testsuite 2024 v2  -3\Top Chess Testsuite 2024 v2   -3.cbh

Maximale Lösungszeit = 60s.  Lc0 v0.31.0  BT4  swa 6147500

mit RTX 2070, 6 Steiner TBs, 32 GB Hash

31 aus 115   26,9 %   19,28 Sek. Durchschnittszeit

1. 62.6.IQ.999 - Rxf4,  iq4   Gelöst in 9.31s/13; Gelöst: 1
2. LCTFIN07 - Bb4,  lapuce2   > 60s.
3. STS(v7.0) Simplification.071 - Qf3,  STS7Offer of Simplification   > 60s.
4. ECM.1573 - Nxa7,  ecmgcp   > 60s.
5. Pos.38 Petrosyan-Hasaj,S - Qb6,  Tim-Krabbe   Gelöst in 4.64s/11; Gelöst: 2
6. Nightmare II-19 - Ng6,  Timman 2012   > 60s.
7.  - (#7) d4,  Mate Testsuite 2021   > 60s.
8.  - (#7) d4,  Mate Testsuite 2021   > 60s.
9.  - (#8) e4,  Mate Testsuite 2021   Gelöst in 0.41s/3; Gelöst: 3
10.  - (#9) e3,  Mate Testsuite 2021   > 60s.
11. arasan21.124 - (#13) Re5,  Arasan-v21 2023   > 60s.
12. arasan21.155 - Rxg7+,  Arasan-v21 2023   Gelöst in 53.16s/20; Gelöst: 4
13. arasan21.179 - Kf2,  Arasan-v21 2023   > 60s.
14.  - (#18) / axb8N,  Der-Brillante-Schachzug   > 60s.
15.  - Ng5,  Der-Brillante-Schachzug   > 60s.
16.  - (#35?) Rxf5,  Der-Brillante-Schachzug   > 60s.
17.  - (#31?) Ne4+,  Der-Brillante-Schachzug   > 60s.
18.  - (#15) Nf6+,  Der-Brillante-Schachzug   > 60s.
19. E_E_T 077 - T&L vs T&L - (#40?) Rc8+,  Eigenmann-Endspiel-Test 2009   Gelöst in 0.78s/7; Gelöst: 5
20. ERET 032 - Zugzwang - (#23) Ng3,  Eigenmann Rapid Engine Chess 2020   > 60s.
21. ERET 037 - Zugzwang - (#28) Na8,  Eigenmann Rapid Engine Chess 2020   > 60s.
22. ERET 093 - Endspiel - Nd6+,  Eigenmann Rapid Engine Chess 2020   > 60s.
23. ERET 103 - Zugzwang - (#14) Kc8,  Eigenmann Rapid Engine Chess 2020   > 60s.
24. TTT2.012 - Bxh2,  TTT2   Gelöst in 27.14s/21; Gelöst: 6
25. TTT2.031 - Rc2,  TTT2   > 60s.
26. TTT2.037 - Bd4,  TTT2   Gelöst in 0.41s/8; Gelöst: 7
27. TTT2.053 - (+2.00 / #12) Ng6,  TTT2   > 60s.
28. TTT2.080 - R1f5+,  TTT2   > 60s.
29. TTT2.091 - (#45) Nf3+,  TTT2   Gelöst in 51.27s/24; Gelöst: 8
30. 001 Michal Formela 2019 - Ne3,  The Engine Crackers   > 60s.
31. 018 M. Illescas 2018 - Rxb7,  The Engines Crackers 2 2021   Gelöst in 3.03s/8; Gelöst: 9
32. 021 M. Roxlau 2000 - Ra3,  The Engines Crackers 2 2021   > 60s.
33. W.Eigenmann 2022 - Bxh6,  The Engines Crackers 3 2021   > 60s.
34. Stockfish-LeelaChess,C - Ba3,  The Engines Crackers 4 2021   > 60s.
35. A.Botokanov 1997 - (#31) Na5,  The Engines Crackers 4 2021   > 60s.
36. I.Bondar 1995 - (#71) Bxb2,  The Engines Crackers 4 2021   > 60s.
37. P.Krug 2018 - Rec1,  The Engines Crackers 4 2021   > 60s.
38. J.Gerhold 2008 - Be5,  The Engines Crackers 4 2021   > 60s.
39. Dragon-Stockfish,C - Rxb2,  The Engines Crackers 4 2021   > 60s.
40.  - (#15) Rc3,  ACT3   > 60s.
41.  - (#5) f5,  ACT3   > 60s.
42.  - (#34?) Bxa5,  ACT3   > 60s.
43.  - (#40? / #19) Bc6,  ACT3   > 60s.
44.  - b4+,  ACT3   Gelöst in 43.20s/18; Gelöst: 10
45.  - Nc6+,  ACT3   > 60s.
46.  - (#30?) d6+,  ACT3   > 60s.
47.  - Kc7,  ACT3   Gelöst in 1.53s/8; Gelöst: 11
48.  - (#21) Rg4+,  ACT3   > 60s.
49.  - Nd6,  ACT3   Gelöst in 0.44s/5; Gelöst: 12
50.  - h7,  ACT3   > 60s.
51.  - (#30) Kf7,  ACT3   > 60s.
52.  - (#40) f5,  ACT3   Gelöst in 12.03s/13; Gelöst: 13
53.  - Ba7+,  ACT3   > 60s.
54.  - (#10) Qa1+,  ACT3   Gelöst in 6.84s/12; Gelöst: 14
55.  - (#6) Qf3,  ACT3   > 60s.
56. ACT4.023 - Bxf4 (gxf4 #12),  ACT4   Gelöst in 1.81s/13; Gelöst: 15
57. ACT4.035 - Qxc7+,  ACT4   > 60s.
58. ACT4.049 - (#16) Kb7 / Bc6,  ACT4   > 60s.
59. ACT4.051 - g3,  ACT4   Gelöst in 0.50s/6; Gelöst: 16
60. ACT5.003 - (#11) Nfg3+,  ACT5   Gelöst in 23.81s/15; Gelöst: 17
61. ACT5.019 - (#22) a6,  ACT5   Gelöst in 10.69s/14; Gelöst: 18
62. ACT5.029 - Rxg2,  ACT5   > 60s.
63. ACT5.077 - Ra1,  ACT5   Gelöst in 60.06s/23; Gelöst: 19
64. ACT5.079 - (#21) Qxd4,  ACT5   > 60s.
65. Hard-Talkchess-2020.002 - Qxf6+,  Hard-2020-final-213-positions   > 60s.
66. Hard-Talkchess-2020.003 - Nc6,  Hard-2020-final-213-positions   > 60s.
67. Hard-Talkchess-2020.007 - Rxh1,  Hard-2020-final-213-positions   > 60s.
68. Hard-Talkchess-2020.008 - Rd6+,  Hard-2020-final-213-positions   > 60s.
69. Hard-Talkchess-2020.019 - Nf5,  Hard-2020-final-213-positions   > 60s.
70. Hard-Talkchess-2020.043 - Ng6+,  Hard-2020-final-213-positions   > 60s.
71. Hard-Talkchess-2020.050 - (#6) Rf5,  Hard-2020-final-213-positions   Gelöst in 4.38s/8; Gelöst: 20
72. Hard-Talkchess-2020.056 - Nexg6,  Hard-2020-final-213-positions   > 60s.
73. Hard-Talkchess-2020.057 - (#35?) Nd4,  Hard-2020-final-213-positions   > 60s.
74. Hard-Talkchess-2020.064 - Kd4,  Hard-2020-final-213-positions   > 60s.
75. Hard-Talkchess-2020.076 - Rxh4,  Hard-2020-final-213-positions   Gelöst in 3.31s/12; Gelöst: 21
76. Hard-Talkchess-2020.087 - (#45) c8N,  Hard-2020-final-213-positions   Gelöst in 8.81s/13; Gelöst: 22
77. Hard-Talkchess-2020.090 - (#37) Bf8+,  Hard-2020-final-213-positions   Gelöst in 50.53s/12; Gelöst: 23
78. Hard-Talkchess-2020.091 - Bxc5+,  Hard-2020-final-213-positions   > 60s.
79. Hard-Talkchess-2020.103 - Qh3+,  Hard-2020-final-213-positions   > 60s.
80. Hard-Talkchess-2020.107 - (#26) f5,  Hard-2020-final-213-positions   > 60s.
81. Hard-Talkchess-2020.108 - Bh5+,  Hard-2020-final-213-positions   Gelöst in 1.13s/13; Gelöst: 24
82. Hard-Talkchess-2020.121 - (#26) Nab3+,  Hard-2020-final-213-positions   Gelöst in 5.27s/21; Gelöst: 25
83. Hard-Talkchess-2020.126 - (#26) Nc6,  Hard-2020-final-213-positions   > 60s.
84. Hard-Talkchess-2020.141 - (#17) Rc3+,  Hard-2020-final-213-positions   > 60s.
85. Hard-Talkchess-2020.142 - Be2,  Hard-2020-final-213-positions   > 60s.
86. Hard-Talkchess-2020.144 - Bf6,  Hard-2020-final-213-positions   > 60s.
87. Hard-Talkchess-2020.150 - Bf6,  Hard-2020-final-213-positions   Gelöst in 44.83s/20; Gelöst: 26
88. Hard-Talkchess-2020.196 - Nd5,  Hard-2020-final-213-positions   > 60s.
89. Hard-Talkchess-2020.204 - Bg5,  Hard-2020-final-213-positions   > 60s.
90. Neghina,M - Ncxe7+,  Computer Chess Test Suite 2024   > 60s.
91. Zepler,E - g6,  Computer Chess Test Suite 2024   > 60s.
92. Lasker,E - Ke4,  Computer Chess Test Suite 2024   Gelöst in 47.50s/17; Gelöst: 27
93. Krug,P - Nh7+,  Computer Chess Test Suite 2024   > 60s.
94. Krug,P - Re5,  Computer Chess Test Suite 2024   Gelöst in 50.45s/16; Gelöst: 28
95. Neweklowski,L - (#24) Rxb3,  Computer Chess Test Suite 2024   > 60s.
96. Chudzik,Z - (#27) Bh2,  Computer Chess Test Suite 2024   > 60s.
97. Sikorsky,H - Qe1,  Computer Chess Test Suite 2024   > 60s.
98. Grasemann,H - (#16) Rd3,  Computer Chess Test Suite 2024   > 60s.
99. Troitzky,A - (#9) Bce5,  Computer Chess Test Suite 2024   > 60s.
100. King's,G - (#38) Qg1,  Computer Chess Test Suite 2024   > 60s.
101. Neghina,M - (#20) Nf8,  Computer Chess Test Suite 2024   > 60s.
102. Study,? - Ra3,  Computer Chess Test Suite 2024   > 60s.
103. Semenikov+,D - gxf3,  Computer Chess Test Suite 2024   > 60s.
104. Riihimaki,S - Bxa6,  Computer Chess Test Suite 2024   > 60s.
105. Sonntag,G - Qf4,  Computer Chess Test Suite 2024   > 60s.
106. Neihstadt,V - (#11) Bf2+,  Computer Chess Test Suite 2024   Gelöst in 46.83s/10; Gelöst: 29
107. Korolkov,V - (#23) g8=B,  Computer Chess Test Suite 2024   Gelöst in 7.08s/9; Gelöst: 30
108. Korolkov,V - (#11) Qg3+,  Computer Chess Test Suite 2024   Gelöst in 16.64s/20; Gelöst: 31
109. Infantozzi,J - Bd5,  Computer Chess Test Suite 2024   > 60s.
110. #25-Study?,? - (#25) Kd7,  Computer Chess Test Suite 2024   > 60s.
111. Tidskrift,f - (#30) Rxa4,  Computer Chess Test Suite 2024   > 60s.
112. Arves.14112,? - (#27) Rg2,  Computer Chess Test Suite 2024   > 60s.
113. ACT4,N - Bxb7,  Computer Chess Test Suite 2024   > 60s.
114. Pawn,E - a4,  Computer Chess Test Suite 2024   > 60s.
115. Zlatanov,A - Bh1,  Computer Chess Test Suite 2024   > 60s.

Ergebnis: 31 aus 115 = 26.9%. Durchschnittszeit = 19.28s / 13.32
Parent - - By Max Siegfried Date 2024-09-16 14:35
Von wem ist die Engine?
Damit bist du etwas auf dem Niveau von Stockfish 16.1 MultiPV=4 / 17. MultiPV=4
Parent - - By Tommy Tulpe Date 2024-09-16 19:36 Upvotes 1
Autor von Steel fighter 3 ist die Stockfish community. Ein gewisser Eduard Nemeth hat wohl noch ein paar Parameter geringfügig verändert.
Download hier:

https://chessengines.blogspot.com/2024/08/new-chess-engine-steel-fighter-3.html
Parent - - By Tommy Tulpe Date 2024-09-17 21:32 Upvotes 2
Eduard N. war ein wenig verschnupft wegen dieses Beitrags.
Gern stelle ich klar, dass ich es sehr anerkennenswert finde, wenn man in der Lage ist, die Spiel- oder Analysestärke eine Topengine wie Stockfish 17 noch zu steigern.
Hauptprogrammautor ist man in meinen Augen deswegen aber nicht. Man müsste mal die Anzahl der Programmzeilen der Stockfish-Community in Relation setzen zu den Programzeilen von Eduard. Aber das ist doch unwichtig! Auf jeden Fall toll, wenn dadurch so starke Engines wie Deep Ripper 3 oder aktuell Rems Sep24 entstehen.
Alle zufrieden?  
Parent - - By Peter Weise Date 2024-09-18 08:52 Upvotes 2
Tommy Tulpe schrieb:

... Man müsste mal die Anzahl der Programmzeilen der Stockfish-Community in Relation setzen zu den Programzeilen von Eduard. ...


Der kann überhaupt NICHT programmieren und somit auch keine "Programmzeilen" schreiben. Der probiert lediglich an den Parametern zu schrauben und dies vollkommen wahllos! Prinzip: Trial and Error oder auch "blindes Huhn ..."
Parent - By Max Siegfried Date 2024-09-18 11:53
Peter Weise schrieb:

Tommy Tulpe schrieb:

... Man müsste mal die Anzahl der Programmzeilen der Stockfish-Community in Relation setzen zu den Programzeilen von Eduard. ...


Der kann überhaupt NICHT programmieren und somit auch keine "Programmzeilen" schreiben. Der probiert lediglich an den Parametern zu schrauben und dies vollkommen wahllos! Prinzip: Trial and Error oder auch "blindes Huhn ..."


Genau deshalb ist ShashChess besser.

Wobei er auch mal nur ein neues anderes und zwar großes Stockfish Netz genommen hatte, als damals noch mit großen Netzen neu experimentiert wurde.
Das große Netz war bei den Stockfish Entwicklern nicht grün, da Stockfish damit minimal schwächer war.
Aber für die Analyse wo Zeit kaum eine Rolle spielt, da war das große Netz besser.
Parent - - By Tommy Tulpe Date 2024-09-19 10:55
Peter Weise schrieb:

Tommy Tulpe schrieb:

... Man müsste mal die Anzahl der Programmzeilen der Stockfish-Community in Relation setzen zu den Programzeilen von Eduard. ...


Der kann überhaupt NICHT programmieren und somit auch keine "Programmzeilen" schreiben. Der probiert lediglich an den Parametern zu schrauben und dies vollkommen wahllos! Prinzip: Trial and Error oder auch "blindes Huhn ..."


Bloß keine Aufgeregtheiten wegen sowas! 
Auf seinen Privatseiten teilt Eddy gleich gegen das ganze Forum hier aus. Eine Auseinandersetzung öffentlicher Art ist es mir nicht wert.
Parent - - By Peter Weise Date 2024-09-19 11:05 Upvotes 1
Tommy Tulpe schrieb:

Bloß keine Aufgeregtheiten wegen sowas! 
Auf seinen Privatseiten teilt Eddy gleich gegen das ganze Forum hier aus. Eine Auseinandersetzung öffentlicher Art ist es mir nicht wert.


Der ließt hier wohl 24/7 mit, obwohl es hier doch derart übel ist. [Zitat E.N. auch N.N. genannt] ... das CSS Forum auf die primitive Stufe eines Schwätzerforums degradiert.
Komisch.
Parent - - By Max Siegfried Date 2024-09-19 11:34
Tatsache ist, dass auch seine modifizierten Engines, egal welche, diese Testsuite nicht vollständig lösen können.
Bzw. diese sind weit davon entfernt, wenn auch nicht so weit wie die meisten anderen Engines.

ShashChess 35 schafft 108/115 bei 600 Sekunden pro Teststellung.
Wer bietet mehr???????????????????????????????????????????????????????????
Das müsste auf eurer super Hardware mit euren Lieblingsanalyseengines und euren favorisierten Einstellungen doch zu schaffen sein
Parent - By Peter Weise Date 2024-09-19 11:43
Es ist doch völlig Wurst wie viele Positionen/Stellungen, dazu noch vollkommen praxisfremd, eine Engine im Pippi-Test 01, Pippi-Test 02, etc. in welcher Zeit findet. Aussagekraft = 0 (Null), im Vergleich zum richtigen* Schach!

* gespielt aus der Grundstellung
Parent - - By Andreas Matthies Date 2024-09-20 05:48 Upvotes 2
Ich hoffe inständig, dass nicht irgendwann die Zusammensetzung des deutschen Bundestages durch die politische Meinung der 115 erfolgreichsten Influencer auf YouTube (oder der 115 schnellsten Krabbenpuler oder irgeneiner anderen exponierten Gruppe von 115 Personen) bestimmt wird.

Diverse Personen in diesem Forum hätten damit vermutlich kein Problem.
Parent - - By Reinhold Stibi Date 2024-09-20 06:35 Edited 2024-09-20 06:52 Upvotes 1
Es ist doch ein großer Schmarrn was uns da Peter Weise und Andreas Matthies da erzählen.

Stellungstest haben ihre Berechtigung zur Ermittlung der taktischen Stärke einer Engine und sind Teil
von Computerschach wie auch z.B. Fernschach oder Mattaufgaben.

Was soll denn dieser Unsinn; sind wir hier im Kindergarten.

Leider ist ShashChess 36 taktisch schwächer geworden.

Ergebnis: 73 aus 114  HTC Test   = 64.0%. Durchschnittszeit = 1.69s / 17.82   sehr dürftig    mit Ryzen 5900hx
                                                                                                                                       mittelschneller 8 Kerner PC

 
Parent - - By Tommy Tulpe Date 2024-09-20 09:32 Upvotes 1
Reinhold Stibi schrieb:

Es ist doch ein großer Schmarrn was uns da Peter Weise und Andreas Matthies da erzählen.

Stellungstest haben ihre Berechtigung zur Ermittlung der taktischen Stärke einer Engine und sind Teil
von Computerschach wie auch z.B. Fernschach oder Mattaufgaben.


Volle Zustimmung!

Reinhold Stibi schrieb:

Leider ist ShashChess 36 taktisch schwächer geworden.

Ergebnis: 73 aus 114  HTC Test   = 64.0%. Durchschnittszeit = 1.69s / 17.82   sehr dürftig    mit Ryzen 5900hx                                                                                                                                 mittelschneller 8 Kerner PC



Das wiederum ist ein ziemlich unerwartetes Ergebnis. Die Frage wird sein, ob ShashChess "anderswo" zugelegt hat. Hat schon jemand eine Ahnung? Ich werde die neue Version eine Weile lang für Langzeitanalysen einsetzen, aber es dauert sehr, sehr lang, um hierbei Veränderungen nachzuweisen (wenn es überhaupt gelingt).
Parent - By Max Siegfried Date 2024-09-20 13:09
Tommy Tulpe schrieb:

Reinhold Stibi schrieb:

Leider ist ShashChess 36 taktisch schwächer geworden.

Ergebnis: 73 aus 114  HTC Test   = 64.0%. Durchschnittszeit = 1.69s / 17.82   sehr dürftig    mit Ryzen 5900hx                                                                                                                                 mittelschneller 8 Kerner PC



Das wiederum ist ein ziemlich unerwartetes Ergebnis. Die Frage wird sein, ob ShashChess "anderswo" zugelegt hat. Hat schon jemand eine Ahnung? Ich werde die neue Version eine Weile lang für Langzeitanalysen einsetzen, aber es dauert sehr, sehr lang, um hierbei Veränderungen nachzuweisen (wenn es überhaupt gelingt).


Nein ist es nicht.
Siehe die Tabelle / Ergebnisse weiter unten.
Wenn Stockfish 17 vs 16.1 entsprechend abschneidet, dann wird auch ShashChess 36 vs 35 entsprechend abschneiden. Das war doch vorher klar.
Ja ShashChess 36 ist wie Stockfish 17 (wer hätte das gedacht) bei der feineren Bewertung (0.00 bis +0.10 pro Zug) besser geworden.
Mit anderen Worten: Im normalen Modus sind Stockfish 17 + ShashChess 36, in positionellen und strategischen Bereichen besser geworden. Zum Nachteil der Taktik.
Da die erstgenannten in einer Partie mehr oder weniger durchgehend wirken, während die Taktik auf dem Engine Niveau nur wirken kann, wenn es etwas taktisches gibt (passiert selten) und was zusätzlich einen entsprechenden Schwierigkeitsgrad (extrem schwierig) erfordert.
Mit anderen Worten: Die sehr häufig vorkommenden Vorteile, übertrumpfen die extremst selten auftretenden Nachteile bei weitem = +46 Elo.

Nun kann man darüber debattieren was für einen Schachspieler nützlich ist: schwächere Taktik bei für die engine extremst schwierigen taktischen Stellungen vs mehr oder weniger Partie durchgehende genauere feinere 0.00 bis +0.10 Bewertung, welche zu anderen Varianten führt bzw. diese früher erkennt.
Mit neueren Stockfish Versionen wird durch die immer feinere Bewertung auch das taktische Niveau bei für die Engine extrem schwierigen taktischen Stellungen steigen.
Wenn die Stockfish Fortschritte wie bisher bleiben, würde es mich nicht wundern, wenn Stockfish 20 im normalen Modus mit Hilfe der 7-Steiner alle Aufgaben der Testsuite löst.
Ggf. währen 8-Steiner Syzygy Endspieldatenbanken nötig.

Reinhold könnte sein Ergebnis mit einem 9945HX3D / 7945HX3D deutlich steigern.
Parent - - By Andreas Mader Date 2024-09-22 10:27
Andreas Matthies schrieb:

Ich hoffe inständig, dass nicht irgendwann die Zusammensetzung des deutschen Bundestages durch die politische Meinung der 115 erfolgreichsten Influencer auf YouTube (oder der 115 schnellsten Krabbenpuler oder irgeneiner anderen exponierten Gruppe von 115 Personen) bestimmt wird.

Diverse Personen in diesem Forum hätten damit vermutlich kein Problem.


Die Idee hinter den Testsuites ist ja auch die selbe wie hinter den Wahlumfragen: Wenn man eine gute Stichprobe nimmt, dann ist das Ergebnis des Tests nicht weit entfernt vom tatsächlichen Ergebnis - dass Fehlerintervalle wie üblich auch hier ignoriert werden, ist wieder eine andere Geschichte. Allerdings muss auch eine gute Stichprobe gewisse Anforderungen erfüllen. Zum Beispiel sind 115 Stellungen bei Weitem nicht genug, das müsste schon in die tausende gehen. Außerdem ist zur Zeit scheinbar das einzige Kriterium, dass diese Stellungen außergewöhnlich sind. Und es gibt nur einen richtigen Zug, was zwar oft auch in Schachpartien so ist, aber eben nicht immer. Auch die Zeitbegrenzung ist mehr oder weniger zufällig.
Parent - - By Rainer Neuhäusler Date 2024-09-23 22:21 Upvotes 1
Andreas Mader schrieb:

Die Idee hinter den Testsuiten ist ja auch die selbe wie hinter den Wahlumfragen: Wenn man eine gute Stichprobe nimmt, dann ist das Ergebnis des Tests nicht weit entfernt vom tatsächlichen Ergebnis...Allerdings muss auch eine gute Stichprobe gewisse Anforderungen erfüllen. Zum Beispiel sind 115 Stellungen bei Weitem nicht genug, das müsste schon in die tausende gehen. Außerdem ist zur Zeit scheinbar das einzige Kriterium, dass diese Stellungen außergewöhnlich sind. Und es gibt nur einen richtigen Zug, was zwar oft auch in Schachpartien so ist, aber eben nicht immer. Auch die Zeitbegrenzung ist mehr oder weniger zufällig.

Eine rein zufällige Stichprobe von Schachstellungen, die das Schachspiel repräsentativ abbilden soll, würde vielleicht sogar noch weitaus mehr Positionen erfordern, an die hunderttausend, eine Million, ohne weitere Parameter lässt sich das schwer schätzen. Hat der Autor hingegen eine konkrete Zielvorgabe, will er z.B. eine hohe Korrelation mit Ranglisten wie CEGT oder CCRL, dann reichen schon um die hundert, -wahrscheinlich noch weniger-, wie schon der ERET zeigte. Eine Korrelation Suite/Rangliste von über r=.95 ist doch was, oder?
https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=161076;hl=ERET
Nach dem Prinzip Trial und Error kann ein jeder eine solche Suite zusammenschustern. Ein mühsames Unterfangen, aber wer lange genug sucht, findet auch die passenden Partien und Stellungen. Der Trick ist, dass man das Pferd von hinten aufzäumt und Schachstellungen auf Grund der Korrelation mit z.B. der Ipman-Liste auswählt und nicht, wie legitime Forschung vorgeht, die Teststellungen erst auf schachtheoretischer Basis konstruiert bzw. selektiert, und dann mit dem "Außenkriterium" Rangliste korreliert. Schachkenntnisse und technische Routine im Umgang mit Schachprogrammen sind natürlich bei der Versuchs/Irrtum-Methode von vor-selektivem Nutzen.

Will ein Programmierer mit einer Suite arbeiten, um im Detail neue Varianten seiner Engine auf ihren Elozuwachs hin zu überprüfen, ist das ein ganz andere Sache. Da wären dann wissenschaftliche Methoden nicht fehl am Platze. Ich habe das Thema in groben Zügen schon einmal zur Sprache gebracht. Stichworte: Schwierigkeitsindex, Trennschärfe der Aufgaben, testtheoretische Gütekriterien der Reliabilität, Validität, Objektivität, Dimensionalität. Siehe letzter Absatz Testsuiten:
https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=169594;hl=Eduard%20Nemeth

Fazit:
Schwarz-Weiß-Malerei macht wenig Sinn. Stellungstests überhaupt und auch die bestehenden und praktizierten Testsuiten sind weder Schrott noch genügen sie wissenschaftlichen Anforderungen. Sie erfüllen ihren Zweck, je nach Zielrichtung, mehr oder weniger gut. Solange die wissenschaftliche Anmahnung nur graue Theorie bleibt, ist eben nichts besseres da, sagt sich der Pragmatiker zu Recht. Es ist ja nicht so, dass ohne die erlauchte Wissenschaft alles Schrott ist. Wahrscheinlich befinden sich viele Testaufgaben darunter, die auch wissenschaftlichen Qualitätsanforderungen standhalten.
.
Parent - - By Andreas Mader Date 2024-09-24 11:58 Upvotes 1
Das Problem mit dem "Pferd von hinten aufzäumen"-Trick ist, dass die daraus resultierenden Teststellungen ein Ablaufdatum haben. Wer mit den heutigen Engines einen Test durchlaufen lässt, der zum Beispiel von einem Herrn Bednorz vor ein paar Jahrzehnten zusammengestellt wurde, wird zu keinem Ergebnis kommen, weil die heutigen Programme bei weitem zu stark für diesen Test sind. Auch die heute verwendeten Teststellungen werden nicht ewig der Standard sein können und dieser Prozess des Entwertens geht schleichend vor sich. Das  führt dazu, dass einzelne Stellungen gegen schwierigere ausgetauscht werden müssen, was wiederum die Vergleichbarkeit von etwas schwächeren Engines erschwert. Ich denke, dass erst ein tatsächlich wissenschaftlicher Ansatz diese Probleme lösen könnte, aber der ist tatsächlich in weiter Ferne - unter anderem auch deshalb, weil es sich eingebürgert hat, schon innerhalb kürzester Zeit nach der Veröffentlichung einer neuen Version nach dem Durchlauf einer Testsuite genau zu "wissen", ob und wie viel diese neue Version besser ist.
Parent - - By Rainer Neuhäusler Date 2024-09-24 17:32 Edited 2024-09-24 18:06
Andreas Mader schrieb:

Das Problem mit dem "Pferd von hinten aufzäumen"-Trick ist, dass die daraus resultierenden Teststellungen ein Ablaufdatum haben. Wer mit den heutigen Engines einen Test durchlaufen lässt, der zum Beispiel von einem Herrn Bednorz vor ein paar Jahrzehnten zusammengestellt wurde, wird zu keinem Ergebnis kommen, weil die heutigen Programme bei weitem zu stark für diesen Test sind. Auch die heute verwendeten Teststellungen werden nicht ewig der Standard sein können und dieser Prozess des Entwertens geht schleichend vor sich. Das  führt dazu, dass einzelne Stellungen gegen schwierigere ausgetauscht werden müssen, was wiederum die Vergleichbarkeit von etwas schwächeren Engines erschwert.
Da trägst du Eulen nach Athen. Den ollen Bednorz aus der Versenkung zu holen, dürften wohl fast alle hier als Jux bzw. historische Demo auffassen. Freilich, ein paar "Schläfer" tauchen hier schon noch ab und zu auf Die Anpassung der Lösungszeiten und der Austausch der Aufgaben gehören zur anständigen Pflege einer Suite, ob von hinten oder vorne aufgezäumt.

Andreas Mader schrieb:
Ich denke, daß erst ein tatsächlich wissenschaftlicher Ansatz diese Probleme lösen könnte, aber der ist tatsächlich in weiter Ferne - unter anderem auch deshalb, weil es sich eingebürgert hat, schon innerhalb kürzester Zeit nach der Veröffentlichung einer neuen Version nach dem Durchlauf einer Testsuite genau zu "wissen", ob und wie viel diese neue Version besser ist.

Eine wissenschaftsfundierte und professionell normierte und standardisierte Testsuite erfordert einen Spezialisten, von denen mir im Zusammenhang mit dem Testen von Schach-Engines nur approbierte Wissenschaftler wie Frank Schubert, Rémi Coulom und Miguel A. Ballicora einfallen. Man kann es auch so formulieren: Der einzige wissenschaftliche Bestandteil bei den Testsuites sind die Auswertungstools.  Der Statistikkurs von Frank Schubert (CSS-Zeitschrift) ist ein wunderbarer Einstieg, um das fundamentale statistische Axiom von "Wahrem Wert und Meßfehler" zu verinnerlichen.

Den Hype "Top Chess Engines Testsuite 2024" kann man ja mal im wissenschaftlichen Kontext einer genaueren Betrachtung unterziehen. Autor, Hintergrund, Theorie, Methodik, Normierung, Gütekriterien etc., sofern vorhanden. Vielleicht gibt's ja wenigstens eine README.
.
Parent - - By Max Siegfried Date 2024-09-24 18:19
Die Testsuite enthält Teststellungen aus (allen) anderen Testsuites.
Und zwar die Teststellungen, welche Stockfish und LC0 nicht mit 1 Sekunde pro Zug lösen konnten und das bei jeweils 1000 Wiederholungen und mit Unterstützung der 7-Steiner.
Mit anderen Worten das sind die übrig geblieben ungelösten Stellungen.
Festung, schnellstes Matt, bester Zug aus den x vorhandenen Gewinnzügen, Taktik, usw. Es sei denn du willst das wir die Anzahl der 115 Stellungen weiter senken. Dann bleiben nach x Kriterien von x Menschen die hauptsächlich nur auf x Gefühlen basieren nur 5 Stellungen übrig.
Inzwischen haben wir Stockfish 17 und der löst im normalen Modus deutlich mehr als Stockfish 16.1.

Klar sind bereits sehr viele Teststellungen aus der Top Chess Engines Testsuite 2024 v2 in den alten Testsuites enthalten.
Testsuite A über 100 Stellungen davon nur 3 ungelöst
Testsuite B über 200 Stellungen davon nur 3 ungelöst
Testsuite C über 400 Stellungen davon nur 3 ungelöst
Was liegt da näher als die ungelösten Stellungen in eine neue Testsuite zu packen und auch gleich noch die doppelten Stellungen zu entfernen.

Im Gegensatz zu den alten Testsuite spiegelt die v2 den Elo Unterschied zwischen Stockfish 17 und den angehenden super Engines aus TCEC usw. wieder. Also nicht die genaue Elo Zahl, sondern einfach das Stockfish mehrere bzw. mindestens eine Liga besser spielt.
Während bei den alten Testsuites folgender Eindruck entsteht: Super Engine 97 von 100, Stockfish 97 von 100 = gleich hohe Spielstärke.

Die Testsuite dient übrigens zum Testen vom Stockfish und Co. und ist nicht zum Testen von Rybka 4 oder Fritz 1 gedacht.
Stockfish 20 + 7-Steiner könnte in der Lage sein alle Teststellungen zu lösen.
Wenn hier jemand 100000 ungelöste Stellungen liefern könnte, dann ließen sich daraus bestimmt viele unterschiedliche Testsuites nach unterschiedlichen Kriterien erstellen.

ShashChess 35 löst übrigens 108/115, somit +15 Stellungen mehr als zuvor, wenn man ihm anstatt 60 Sekunden pro Stellung 600 Sekunden gibt.
Jetzt soll mir mal einer erklären, wie ihr mit 7 übrig gebliebenen Stellungen testen wollt.
Bedauerlicherweise weiß ich jetzt schon das es die Stellungen sind "welche nicht in eine Testsuite gehören" weil bei einigen das Gefühl sagt...
und somit bleiben 0 Stellungen übrig.

Wie auch immer Stockfish 17 + 7-Steiner dürfte auf stärkerer Hardware um die 50% erreichen und somit lässt sich diese Testsuite noch eine Zeit lang verwenden.

1 Minute pro Stellung:
-LC0 v0.31.0 BT4 6147500 MultiPV=4 (11%) 13/115
-LC0 v0.31.0 BT4 6147500 (14%) 17/115
-Stockfish 16.1 (20%) 23/115
-Stockfish 17 ohne 7-Steiner (33%) 38/115
-ShashChess 36 (41%) 48/115
-Stockfish 17 (44%) 51/115
-Stockfish 02042024 (45%) 52/115
-Fidelio 17 (51%) 59/115
-Stockfish 17 MultiPV=4 ohne 7-Steiner (52%) 60/115
-Stockfish 17 MultiPV=4 (63%) 73/115
-ShashChess 36 High Tal MultiPV=4 (66%) 76/115
-Stockfish 16.1 MultiPV=4 (66%) 77/115
-Stockfish 02042024 MultiPV=4 (66%) 77/115 (leider nicht besser als Stockfish 16.1 MultiPV=4)
-Leptir Big-Ultra MultiPV 4 (68%) 79/115
-Leptir Ultra (69%) 80/115
-ShashChess 35 High Tal MultiPV=3 (70%) 81/115
-Leptir Big-Ultra Random Op. MultiPV 4 Plies 21 Score 10000 (72%) 83/115
-ShashChess 35 High Tal MultiPV=4 (73%) 85/115
-Leptir Big-Ultra (74%) 86/115
-ShashChess 36 High Tal MultiPV=4 (anstatt 8 Kerne: 6 Kerne + MCTS ON mit MCTSThreads = 2) (74%) 86/115
-Leptir Big-Ultra Random Op. MultiPV 4 Plies 21 (75%) 87/115
-ShashChess 35 High Tal MultiPV=4 (anstatt 8 Kerne: 5 Kerne + MCTS ON mit MCTSThreads = 3) (75%) 87/115
-Fidelio 17 MultiPV=4 (75%) 87/115
-Leptir Big-Ultra Random Op. MultiPV 4 (76%) 88/115
-ShashChess 34.6 High Tal MultiPV=2 (76%) 88/115
-ShashChess 35 High Tal MultiPV=4 (anstatt 8 Kerne: 7 Kerne + MCTS ON mit MCTSThreads = 1) (77%) 89/115
-ShashChess 34.6 High Tal MultiPV=5 (78%) 90/115
-ShashChess 34.6 High Tal MultiPV=4 (80%) 93/115
-ShashChess 34.6 High Tal MultiPV=3 (80%) 93/115
-ShashChess 35 High Tal MultiPV=4 (anstatt 8 Kerne: 6 Kerne + MCTS ON mit MCTSThreads = 2) (80%) 93/115
Parent - By Rainer Neuhäusler Date 2024-09-24 18:39
Vielen Dank für die Info. Und was alles gehört zu den "alten Suites" und wer hat die Suite zusammengestellt?
.
Parent - By Max Siegfried Date 2024-09-16 14:33
Apple MacBook Pro M1 MAX.
Parent - - By Erdogan Günes Date 2024-09-14 16:36 Edited 2024-09-14 17:04 Upvotes 1
Mein Ergebnis mit einer Clone Version von SF Namens: Hawk Eye 0.1 ( Privat )

Meine Hardware AMD 7950X mit 16 Core/32 HT 5.0Ghz 16GB für Hash und 6 Steiner

Löse: C:\Users\Erdo\Documents\ChessBase\Testsets\Top Chess Engines Testsuite 2024 v2.cbh
Maximale Lösungszeit = 60s.

1. 62.6.IQ.999 - Rxf4,  iq4   Gelöst in 0.67s/16; Gelöst: 1
2. LCTFIN07 - Bb4,  lapuce2   Gelöst in 1.30s/20; Gelöst: 2
3. STS(v7.0) Simplification.071 - Qf3,  STS7Offer of Simplification   Gelöst in 21.06s/29; Gelöst: 3
4. ECM.1573 - Nxa7,  ecmgcp   Gelöst in 1.48s/18; Gelöst: 4
5. Pos.38 Petrosyan-Hasaj,S - Qb6,  Tim-Krabbe   Gelöst in 7.02s/26; Gelöst: 5
6. Nightmare II-19 - Ng6,  Timman 2012   Gelöst in 0.58s/15; Gelöst: 6
7.  - (#7) d4,  Mate Testsuite 2021   Gelöst in 0.19s/14; Gelöst: 7
8.  - (#7) d4,  Mate Testsuite 2021   Gelöst in 0.88s/17; Gelöst: 8
9.  - (#8) e4,  Mate Testsuite 2021   Gelöst in 1.06s/16; Gelöst: 9
10.  - (#9) e3,  Mate Testsuite 2021   Gelöst in 0.63s/15; Gelöst: 10
11. arasan21.124 - (#13) Re5,  Arasan-v21 2023   Gelöst in 4.69s/20; Gelöst: 11
12. arasan21.155 - Rxg7+,  Arasan-v21 2023   Gelöst in 0.39s/14; Gelöst: 12
13. arasan21.179 - Kf2,  Arasan-v21 2023   Gelöst in 3.56s/20; Gelöst: 13
14.  - (#18) / axb8N,  Der-Brillante-Schachzug   Gelöst in 41.95s/65; Gelöst: 14
15.  - Ng5,  Der-Brillante-Schachzug   Gelöst in 3.95s/20; Gelöst: 15
16.  - (#35?) Rxf5,  Der-Brillante-Schachzug   Gelöst in 5.78s/34; Gelöst: 16
17.  - (#31?) Ne4+,  Der-Brillante-Schachzug   > 60s.
18.  - (#15) Nf6+,  Der-Brillante-Schachzug   Gelöst in 9.61s/31; Gelöst: 17
19. E_E_T 077 - T&L vs T&L - (#40?) Rc8+,  Eigenmann-Endspiel-Test 2009   Gelöst in 0.16s/14; Gelöst: 18
20. ERET 032 - Zugzwang - (#23) Ng3,  Eigenmann Rapid Engine Chess 2020   Gelöst in 0.86s/19; Gelöst: 19
21. ERET 037 - Zugzwang - (#28) Na8,  Eigenmann Rapid Engine Chess 2020   > 60s.
22. ERET 093 - Endspiel - Nd6+,  Eigenmann Rapid Engine Chess 2020   > 60s.
23. ERET 103 - Zugzwang - (#14) Kc8,  Eigenmann Rapid Engine Chess 2020   > 60s.
24. TTT2.012 - Bxh2,  TTT2   Gelöst in 0.69s/16; Gelöst: 20
25. TTT2.031 - Rc2,  TTT2   Gelöst in 3.78s/35; Gelöst: 21
26. TTT2.037 - Bd4,  TTT2   Gelöst in 0.05s/12; Gelöst: 22
27. TTT2.053 - (+2.00 / #12) Ng6,  TTT2   Gelöst in 41.78s/28; Gelöst: 23
28. TTT2.080 - R1f5+,  TTT2   Gelöst in 0.30s/14; Gelöst: 24
29. TTT2.091 - (#45) Nf3+,  TTT2   Gelöst in 5.97s/27; Gelöst: 25
30. 001 Michal Formela 2019 - Ne3,  The Engine Crackers   Gelöst in 2.42s/19; Gelöst: 26
31. 018 M. Illescas 2018 - Rxb7,  The Engines Crackers 2 2021   > 60s.
32. 021 M. Roxlau 2000 - Ra3,  The Engines Crackers 2 2021   > 60s.
33. W.Eigenmann 2022 - Bxh6,  The Engines Crackers 3 2021   Gelöst in 13.38s/26; Gelöst: 27
34. Stockfish-LeelaChess,C - Ba3,  The Engines Crackers 4 2021   Gelöst in 13.27s/25; Gelöst: 28
35. A.Botokanov 1997 - (#31) Na5,  The Engines Crackers 4 2021   Gelöst in 1.13s/16; Gelöst: 29
36. I.Bondar 1995 - (#71) Bxb2,  The Engines Crackers 4 2021   > 60s.
37. P.Krug 2018 - Rec1,  The Engines Crackers 4 2021   Gelöst in 13.67s/25; Gelöst: 30
38. J.Gerhold 2008 - Be5,  The Engines Crackers 4 2021   Gelöst in 4.09s/25; Gelöst: 31
39. Dragon-Stockfish,C - Rxb2,  The Engines Crackers 4 2021   Gelöst in 7.16s/23; Gelöst: 32
40.  - (#15) Rc3,  ACT3   > 60s.
41.  - (#5) f5,  ACT3   Gelöst in 24.72s/24; Gelöst: 33
42.  - (#34?) Bxa5,  ACT3   Gelöst in 3.28s/23; Gelöst: 34
43.  - (#40? / #19) Bc6,  ACT3   > 60s.
44.  - b4+,  ACT3   > 60s.
45.  - Nc6+,  ACT3   Gelöst in 10.28s/25; Gelöst: 35
46.  - (#30?) d6+,  ACT3   Gelöst in 1.70s/20; Gelöst: 36
47.  - Kc7,  ACT3   Gelöst in 11.84s/26; Gelöst: 37
48.  - (#21) Rg4+,  ACT3   > 60s.
49.  - Nd6,  ACT3   > 60s.
50.  - h7,  ACT3   Gelöst in 9.08s/22; Gelöst: 38
51.  - (#30) Kf7,  ACT3   Gelöst in 2.80s/19; Gelöst: 39
52.  - (#40) f5,  ACT3   Gelöst in 39.47s/44; Gelöst: 40
53.  - Ba7+,  ACT3   Gelöst in 4.47s/22; Gelöst: 41
54.  - (#10) Qa1+,  ACT3   Gelöst in 4.03s/33; Gelöst: 42
55.  - (#6) Qf3,  ACT3   > 60s.
56. ACT4.023 - Bxf4 (gxf4 #12),  ACT4   Gelöst in 1.74s/21; Gelöst: 43
57. ACT4.035 - Qxc7+,  ACT4   > 60s.
58. ACT4.049 - (#16) Kb7 / Bc6,  ACT4   > 60s.
59. ACT4.051 - g3,  ACT4   Gelöst in 1.11s/24; Gelöst: 44
60. ACT5.003 - (#11) Nfg3+,  ACT5   Gelöst in 0.27s/14; Gelöst: 45
61. ACT5.019 - (#22) a6,  ACT5   > 60s.
62. ACT5.029 - Rxg2,  ACT5   Gelöst in 3.27s/22; Gelöst: 46
63. ACT5.077 - Ra1,  ACT5   Gelöst in 2.61s/17; Gelöst: 47
64. ACT5.079 - (#21) Qxd4,  ACT5   > 60s.
65. Hard-Talkchess-2020.002 - Qxf6+,  Hard-2020-final-213-positions   Gelöst in 0.06s/11; Gelöst: 48
66. Hard-Talkchess-2020.003 - Nc6,  Hard-2020-final-213-positions   Gelöst in 5.97s/20; Gelöst: 49
67. Hard-Talkchess-2020.007 - Rxh1,  Hard-2020-final-213-positions   Gelöst in 3.11s/19; Gelöst: 50
68. Hard-Talkchess-2020.008 - Rd6+,  Hard-2020-final-213-positions   Gelöst in 4s/19; Gelöst: 51
69. Hard-Talkchess-2020.019 - Nf5,  Hard-2020-final-213-positions   Gelöst in 12.47s/25; Gelöst: 52
70. Hard-Talkchess-2020.043 - Ng6+,  Hard-2020-final-213-positions   Gelöst in 1.59s/18; Gelöst: 53
71. Hard-Talkchess-2020.050 - (#6) Rf5,  Hard-2020-final-213-positions   Gelöst in 11.77s/23; Gelöst: 54
72. Hard-Talkchess-2020.056 - Nexg6,  Hard-2020-final-213-positions   Gelöst in 0.08s/10; Gelöst: 55
73. Hard-Talkchess-2020.057 - (#35?) Nd4,  Hard-2020-final-213-positions   Gelöst in 4.02s/23; Gelöst: 56
74. Hard-Talkchess-2020.064 - Kd4,  Hard-2020-final-213-positions   Gelöst in 7.19s/24; Gelöst: 57
75. Hard-Talkchess-2020.076 - Rxh4,  Hard-2020-final-213-positions   > 60s.
76. Hard-Talkchess-2020.087 - (#45) c8N,  Hard-2020-final-213-positions   Gelöst in 1.56s/31; Gelöst: 58
77. Hard-Talkchess-2020.090 - (#37) Bf8+,  Hard-2020-final-213-positions   Gelöst in 0.64s/31; Gelöst: 59
78. Hard-Talkchess-2020.091 - Bxc5+,  Hard-2020-final-213-positions   Gelöst in 1.49s/16; Gelöst: 60
79. Hard-Talkchess-2020.103 - Qh3+,  Hard-2020-final-213-positions   Gelöst in 0.45s/15; Gelöst: 61
80. Hard-Talkchess-2020.107 - (#26) f5,  Hard-2020-final-213-positions   Gelöst in 0.03s/12; Gelöst: 62
81. Hard-Talkchess-2020.108 - Bh5+,  Hard-2020-final-213-positions   Gelöst in 0.48s/16; Gelöst: 63
82. Hard-Talkchess-2020.121 - (#26) Nab3+,  Hard-2020-final-213-positions   Gelöst in 0.08s/12; Gelöst: 64
83. Hard-Talkchess-2020.126 - (#26) Nc6,  Hard-2020-final-213-positions   Gelöst in 41.75s/50; Gelöst: 65
84. Hard-Talkchess-2020.141 - (#17) Rc3+,  Hard-2020-final-213-positions   Gelöst in 12.81s/26; Gelöst: 66
85. Hard-Talkchess-2020.142 - Be2,  Hard-2020-final-213-positions   Gelöst in 0.06s/12; Gelöst: 67
86. Hard-Talkchess-2020.144 - Bf6,  Hard-2020-final-213-positions   Gelöst in 4.92s/20; Gelöst: 68
87. Hard-Talkchess-2020.150 - Bf6,  Hard-2020-final-213-positions   Gelöst in 1.19s/18; Gelöst: 69
88. Hard-Talkchess-2020.196 - Nd5,  Hard-2020-final-213-positions   Gelöst in 15.33s/25; Gelöst: 70
89. Hard-Talkchess-2020.204 - Bg5,  Hard-2020-final-213-positions   Gelöst in 0.67s/15; Gelöst: 71
90. Neghina,M - Ncxe7+,  Computer Chess Test Suite 2024   Gelöst in 15.70s/24; Gelöst: 72
91. Zepler,E - g6,  Computer Chess Test Suite 2024   Gelöst in 56.70s/26; Gelöst: 73
92. Lasker,E - Ke4,  Computer Chess Test Suite 2024   Gelöst in 3.11s/20; Gelöst: 74
93. Krug,P - Nh7+,  Computer Chess Test Suite 2024   Gelöst in 14.22s/21; Gelöst: 75
94. Krug,P - Re5,  Computer Chess Test Suite 2024   > 60s.
95. Neweklowski,L - (#24) Rxb3,  Computer Chess Test Suite 2024   Gelöst in 35.47s/24; Gelöst: 76
96. Chudzik,Z - (#27) Bh2,  Computer Chess Test Suite 2024   Gelöst in 3.81s/35; Gelöst: 77
97. Sikorsky,H - Qe1,  Computer Chess Test Suite 2024   Gelöst in 2.86s/19; Gelöst: 78
98. Grasemann,H - (#16) Rd3,  Computer Chess Test Suite 2024   Gelöst in 0.06s/27; Gelöst: 79
99. Troitzky,A - (#9) Bce5,  Computer Chess Test Suite 2024   > 60s.
100. King's,G - (#38) Qg1,  Computer Chess Test Suite 2024   > 60s.
101. Neghina,M - (#20) Nf8,  Computer Chess Test Suite 2024   > 60s.
102. Study,? - Ra3,  Computer Chess Test Suite 2024   Gelöst in 0.22s/10; Gelöst: 80
103. Semenikov+,D - gxf3,  Computer Chess Test Suite 2024   Gelöst in 4.94s/21; Gelöst: 81
104. Riihimaki,S - Bxa6,  Computer Chess Test Suite 2024   Gelöst in 11.92s/35; Gelöst: 82
105. Sonntag,G - Qf4,  Computer Chess Test Suite 2024   Gelöst in 33.48s/38; Gelöst: 83
106. Neihstadt,V - (#11) Bf2+,  Computer Chess Test Suite 2024   > 60s.
107. Korolkov,V - (#23) g8=B,  Computer Chess Test Suite 2024   Gelöst in 2.63s/20; Gelöst: 84
108. Korolkov,V - (#11) Qg3+,  Computer Chess Test Suite 2024   Gelöst in 0.47s/16; Gelöst: 85
109. Infantozzi,J - Bd5,  Computer Chess Test Suite 2024   > 60s.
110. #25-Study?,? - (#25) Kd7,  Computer Chess Test Suite 2024   Gelöst in 5.20s/58; Gelöst: 86
111. Tidskrift,f - (#30) Rxa4,  Computer Chess Test Suite 2024   Gelöst in 0.92s/32; Gelöst: 87
112. Arves.14112,? - (#27) Rg2,  Computer Chess Test Suite 2024   Gelöst in 0.45s/28; Gelöst: 88
113. ACT4,N - Bxb7,  Computer Chess Test Suite 2024   Gelöst in 0.69s/16; Gelöst: 89
114. Pawn,E - a4,  Computer Chess Test Suite 2024   Gelöst in 1.42s/30; Gelöst: 90
115. Zlatanov,A - Bh1,  Computer Chess Test Suite 2024   Gelöst in 5.30s/22; Gelöst: 91

Ergebnis: 91 aus 115 = 79.1%. Durchschnittszeit = 7.31s / 22.89
Parent - - By Max Siegfried Date 2024-09-16 14:24
Danke.
Du ganz knapp hinter ShashChess.
Hat deine Engine eigentlich einen MultiPV=4 Modus?
Damit sollte Platz 1 drin sein.
Mit der Hardware könnte selbst Stockfish 17 wahrscheinlich um die 71 Punkte holen.
ShashChess schafft bei mir auch 108/115 aber nur wenn ich mit 10 Minuten pro Stellung teste.
Parent - By Max Siegfried Date 2024-09-16 14:32
Was kann ShashChess eurer Meinung nach nicht?
Worin ist er schlechter als andere Engines? Matts finden, Festungen, schnellstes Matt, Königswanderungen an 4 Bretträndern...
Wo seht ihr Verbesserungspotential?
Parent - By Kurt Utzinger Date 2024-09-16 15:17
Max Siegfried schrieb:

Danke.
Du ganz knapp hinter ShashChess.
Hat deine Engine eigentlich einen MultiPV=4 Modus?
Damit sollte Platz 1 drin sein.
Mit der Hardware könnte selbst Stockfish 17 wahrscheinlich um die 71 Punkte holen.
ShashChess schafft bei mir auch 108/115 aber nur wenn ich mit 10 Minuten pro Stellung teste.


Hallo Max
Man kann die Qualität der TCE 2024  v2 Testsuite in Frage stellen, weil
- zu viele praxisfremde Stellungen
- Niveau vielfach (noch) zu hoch [wer testet schon mit 10m/Zug]
und deshalb ergibt sich nur schwerlich ein reales Stärkebild der heutigen Engines. Da finde
ich den ENET-2023 besser, auch wenn er bei einigen Stellungen zu leicht daherkommt. Aber
solange bei 60s/Zug viele Engines noch Lösungsquoten von teilweise weit unter 90% aufweisen,
hat dieser Test für mich noch immer seine Daseinsberechtigung.
Gruss
Kurt
Parent - - By Erdogan Günes Date 2024-09-16 15:54
Hat deine Engine eigentlich einen MultiPV=4 Modus? ( ja )

Ergebnis: 91 aus 115 = 79.1%. Durchschnittszeit = 5.02s / 21.12 mit MultiPV=4

Ergebnis: 91 aus 115 = 79.1%. Durchschnittszeit = 7.31s / 22.89 MultiPV=5

Ergebnis: 90 aus 115 = 78.2%. Durchschnittszeit = 4.26s / 21.72 MultiPV= 3

Ergebnis: 89 aus 115 = 77.3%. Durchschnittszeit = 6.37s / 24.69 MultiPV= 2

mit weniger als 4 MultiPV gehen die Ergebnisse den Bach runter leicht leider !
Parent - - By Kurt Utzinger Date 2024-09-16 16:38
Erdogan Günes schrieb:

Hat deine Engine eigentlich einen MultiPV=4 Modus? ( ja )

Ergebnis: 91 aus 115 = 79.1%. Durchschnittszeit = 5.02s / 21.12 mit MultiPV=4

Ergebnis: 91 aus 115 = 79.1%. Durchschnittszeit = 7.31s / 22.89 MultiPV=5

Ergebnis: 90 aus 115 = 78.2%. Durchschnittszeit = 4.26s / 21.72 MultiPV= 3

Ergebnis: 89 aus 115 = 77.3%. Durchschnittszeit = 6.37s / 24.69 MultiPV= 2

mit weniger als 4 MultiPV gehen die Ergebnisse den Bach runter leicht leider !


Das mit MultiPV=4 ist zwar sehr gut für die Analyse, bringt aber leider nichts
für Engine/Engine-Matches.
Kurt
Parent - - By Reinhold Stibi Date 2024-09-16 17:49
Kurt,

mit Steel Fighter III und Rems MPV  jeweils MultiPV 4 kann man gut auch auf Schach.de
und Engine-Engine Matches
sicher wie mit Stockfish spielen, da diese Engines auch positionell mit MultiPV 4 sehr gut spielen.

Grüße
Reinhold
Parent - By Kurt Utzinger Date 2024-09-16 18:27
Reinhold Stibi schrieb:

Kurt,

mit Steel Fighter III und Rems MPV  jeweils MultiPV 4 kann man gut auch auf Schach.de
und Engine-Engine Matches
sicher wie mit Stockfish spielen, da diese Engines auch positionell mit MultiPV 4 sehr gut spielen.

Grüße
Reinhold


Hallo Reinhold
Natürlich kann man das mit Engines, die das Feature "Random Op. MultiPV=n" in den
Einstellungen bieten. Das hat aber nichts mit MultiPV=4 in der Analyse mit Engines
zu tun, die dieses Feature nicht kennen. Bei Nutzung von "Random Op. MultiPV=4"
werden ab Beginn bis zu einer bestimmten Suchtiefe 4 Varianten berechnet, die
dann schliesslich zu einer Variante verschmolzen werden. Hernach wird normal
weitergerechnet. So bleibt die Frage, ob auch eine bestimmte Engine mit dem
Feature bei Einstellung von "Random Op. MultiPV=4" in den Testsuites besser
abschneidet als mit den Default-Werten.
Gruss
Kurt
Parent - - By Kurt Utzinger Date 2024-09-16 18:20
Kurt Utzinger schrieb:

Erdogan Günes schrieb:

Hat deine Engine eigentlich einen MultiPV=4 Modus? ( ja )

Ergebnis: 91 aus 115 = 79.1%. Durchschnittszeit = 5.02s / 21.12 mit MultiPV=4

Ergebnis: 91 aus 115 = 79.1%. Durchschnittszeit = 7.31s / 22.89 MultiPV=5

Ergebnis: 90 aus 115 = 78.2%. Durchschnittszeit = 4.26s / 21.72 MultiPV= 3

Ergebnis: 89 aus 115 = 77.3%. Durchschnittszeit = 6.37s / 24.69 MultiPV= 2

mit weniger als 4 MultiPV gehen die Ergebnisse den Bach runter leicht leider !


<code>Das mit MultiPV=4 ist zwar sehr gut für die Analyse, bringt aber leider nichts
für Engine/Engine-Matches.
Kurt
</code>


Wenn Erdogan's Engine in den Einstellungen "Random Op. MultiPV" hat, dann ist
meine Aussage nicht richtig. Aber eine Engine ohne dieses Feature kann man zwar
in der Analyse im MultiPV=4 Modus mit 4 laufenden Varianten einsetzen. Das ist
aber nicht dasselbe.
Kurt
Parent - - By Max Siegfried Date 2024-09-20 11:22
ShashChess 36
File name          : Top Chess Engines Testsuite 2024 v2.pgn
Total test items   : 115
Test for           : best moves
Total engines      : 1
Timer              : movetime: 60
Expand ply         : 1
Elapsed            : 1:27:39
Laps               : 1
Total tests        : 115
Total corrects     : 48 (41%)
Ave correct elapse : 00:22
Status             : completed

Correct/Total:
ShashChess 36: 48/115

(Bei den Teststellungen immer +1 dazuzählen, weil BanksiaGUI immer mit 0 anfängt zu zählen. Somit ist Teststellung 0 = Teststellung 1)
Failed tests (hit *):
1. ShashChess 36:
0, 1, 4, 8, 9, 10, 12, 13, 14, 15, 20, 21, 22, 25, 28, 30, 31, 32, 33, 34, 35, 39, 42, 43, 44, 45, 46, 47, 48, 50, 51, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 66, 67, 68, 71, 72, 73, 74, 77, 82, 83, 85, 87, 89, 90, 92, 93, 95, 96, 98, 99, 100, 101, 106, 107, 108, 109

Successful tests:
1. ShashChess 36:
2, 3, 5, 6, 7, 11, 16, 17, 18, 19, 23, 24, 26, 27, 29, 36, 37, 38, 40, 41, 49, 52, 53, 64, 65, 69, 70, 75, 76, 78, 79, 80, 81, 84, 86, 88, 91, 94, 97, 102, 103, 104, 105, 110, 111, 112, 113, 114

ShashChess 36 High Tal MultiPV=4
File name          : Top Chess Engines Testsuite 2024 v2.pgn
Total test items   : 115
Test for           : best moves
Total engines      : 1
Timer              : movetime: 60
Expand ply         : 1
Elapsed            : 1:47:47
Laps               : 1
Total tests        : 115
Total corrects     : 76 (66%)
Ave correct elapse : 00:52
Status             : completed

Correct/Total:
ShashChess 36: 76/115

Failed tests (hit *):
1. ShashChess 36:
1, 4, 10, 13, 17, 21, 22, 28, 30, 31, 32, 33, 35, 36, 37, 42, 43, 44, 46, 47, 48, 51, 52, 56, 57, 58, 63, 68, 72, 74, 75, 90, 93, 95, 98, 99, 104, 105, 109

Successful tests:
1. ShashChess 36:
0, 2, 3, 5, 6, 7, 8, 9, 11, 12, 14, 15, 16, 18, 19, 20, 23, 24, 25, 26, 27, 29, 34, 38, 39, 40, 41, 45, 49, 50, 53, 54, 55, 59, 60, 61, 62, 64, 65, 66, 67, 69, 70, 71, 73, 76, 77, 78, 79, 80, 81, 82, 83, 84, 85, 86, 87, 88, 89, 91, 92, 94, 96, 97, 100, 101, 102, 103, 106, 107, 108, 110, 111, 112, 113, 114

ShashChess 36 High Tal MultiPV=4 (anstatt 8 Kerne: 6 Kerne + MCTS ON mit MCTSThreads = 2)
File name          : Top Chess Engines Testsuite 2024 v2.pgn
Total test items   : 115
Test for           : best moves
Total engines      : 1
Timer              : movetime: 60
Expand ply         : 1
Elapsed            : 1:40:12
Laps               : 1
Total tests        : 115
Total corrects     : 86 (74%)
Ave correct elapse : 00:48
Status             : completed

Correct/Total:
ShashChess 36: 86/115

Failed tests (hit *):
1. ShashChess 36:
1, 4, 10, 17, 21, 22, 30, 31, 32, 35, 36, 46, 47, 51, 52, 56, 58, 63, 72, 73, 74, 89, 90, 93, 95, 98, 99, 100, 105

Successful tests:
1. ShashChess 36:
0, 2, 3, 5, 6, 7, 8, 9, 11, 12, 13, 14, 15, 16, 18, 19, 20, 23, 24, 25, 26, 27, 28, 29, 33, 34, 37, 38, 39, 40, 41, 42, 43, 44, 45, 48, 49, 50, 53, 54, 55, 57, 59, 60, 61, 62, 64, 65, 66, 67, 68, 69, 70, 71, 75, 76, 77, 78, 79, 80, 81, 82, 83, 84, 85, 86, 87, 88, 91, 92, 94, 96, 97, 101, 102, 103, 104, 106, 107, 108, 109, 110, 111, 112, 113, 114

1 Minute pro Stellung:
-LC0 v0.31.0 BT4 6147500 MultiPV=4 (11%) 13/115
-LC0 v0.31.0 BT4 6147500 (14%) 17/115
-Stockfish 16.1 (20%) 23/115
-Stockfish 17 ohne 7-Steiner (33%) 38/115
-ShashChess 36 (41%) 48/115
-Stockfish 17 (44%) 51/115
-Stockfish 02042024 (45%) 52/115
-Fidelio 17 (51%) 59/115
-Stockfish 17 MultiPV=4 ohne 7-Steiner (52%) 60/115
-Stockfish 17 MultiPV=4 (63%) 73/115
-ShashChess 36 High Tal MultiPV=4 (66%) 76/115
-Stockfish 16.1 MultiPV=4 (66%) 77/115
-Stockfish 02042024 MultiPV=4 (66%) 77/115 (leider nicht besser als Stockfish 16.1 MultiPV=4)
-Leptir Big-Ultra MultiPV 4 (68%) 79/115
-Leptir Ultra (69%) 80/115
-ShashChess 35 High Tal MultiPV=3 (70%) 81/115
-Leptir Big-Ultra Random Op. MultiPV 4 Plies 21 Score 10000 (72%) 83/115
-ShashChess 35 High Tal MultiPV=4 (73%) 85/115
-Leptir Big-Ultra (74%) 86/115
-ShashChess 36 High Tal MultiPV=4 (anstatt 8 Kerne: 6 Kerne + MCTS ON mit MCTSThreads = 2) (74%) 86/115
-Leptir Big-Ultra Random Op. MultiPV 4 Plies 21 (75%) 87/115
-ShashChess 35 High Tal MultiPV=4 (anstatt 8 Kerne: 5 Kerne + MCTS ON mit MCTSThreads = 3) (75%) 87/115
-Fidelio 17 MultiPV=4 (75%) 87/115
-Leptir Big-Ultra Random Op. MultiPV 4 (76%) 88/115
-ShashChess 34.6 High Tal MultiPV=2 (76%) 88/115
-ShashChess 35 High Tal MultiPV=4 (anstatt 8 Kerne: 7 Kerne + MCTS ON mit MCTSThreads = 1) (77%) 89/115
-ShashChess 34.6 High Tal MultiPV=5 (78%) 90/115
-ShashChess 34.6 High Tal MultiPV=4 (80%) 93/115
-ShashChess 34.6 High Tal MultiPV=3 (80%) 93/115
-ShashChess 35 High Tal MultiPV=4 (anstatt 8 Kerne: 6 Kerne + MCTS ON mit MCTSThreads = 2) (80%) 93/115

Fazit:
ShashChess 36 ist schwächer als Stockfish 17
-ShashChess 36 (41%) 48/115
-Stockfish 17 (44%) 51/115

ShashChess 36 High Tal MultiPV=4 ist stärker als Stockfish 17 MultiPV=4
-Stockfish 17 MultiPV=4 (63%) 73/115
-ShashChess 36 High Tal MultiPV=4 (66%) 76/115

High Tal MultiPV=4 (anstatt 8 Kerne: 6 Kerne + MCTS ON mit MCTSThreads = 2 ist wie schon damals bei ShashChess 35 mit Abstand die beste Einstellung
-ShashChess 36 High Tal MultiPV=4 (anstatt 8 Kerne: 6 Kerne + MCTS ON mit MCTSThreads = 2) (74%) 86/115

Da Stockfish 17 MultiPV=4 (63%) 73/115 schwächer ist -4 als Stockfish 16.1 MultiPV=4 (66%) 77/115, wundert es mich nicht, dass ShashChess 36 High Tal MultiPV=4 (anstatt 8 Kerne: 6 Kerne + MCTS ON mit MCTSThreads = 2) (74%) 86/115 schwächer ist -7 als ShashChess 35 High Tal MultiPV=4 (anstatt 8 Kerne: 6 Kerne + MCTS ON mit MCTSThreads = 2) (80%) 93/115.
Das ist schon ein bisschen Schade.

Aber wenn sich Stockfish 18 um +28 Lösungen verbessert, genauso wie Stockfish 17 im Vergleich zu Stockfish 16.1, dann bin ich mit (68%) 79/115 im normalen Modus (nicht MultiPV=4) sehr zufrieden.

Warum testet hier eigentlich niemand außer mir mit ShashChess 36 High Tal MultiPV=4 (anstatt 8 Kerne: 6 Kerne + MCTS ON mit MCTSThreads = 2)?
Welchen Einfluss hat MCTS auf die normale Stockfish Suche?
Haltet ihr nichts von MCTS?
Parent - - By Jörg Oster Date 2024-09-21 10:20 Upvotes 1
Max Siegfried schrieb:

ShashChess 36

Welchen Einfluss hat MCTS auf die normale Stockfish Suche?

Das ist gar nicht mal so leicht zu beantworten.
Die MCTS von S. Nicolet benutzt kurze Alpha-Beta Suchen für die Erzeugung der Zugprioritäten.
Und die beste Zugpriorität wird dann auch als Bewertung verwendet (wenn ich das richtig verstehe).
Bei diesen kurzen AB-Suchen wird dann auch vom Hash der Haupt-AB-Suche gelesen und reingeschrieben.
Aber welchen Einfluss das dann auf die Hauptsuche hat, wer kann das schon sagen?

Max Siegfried schrieb:

Haltet ihr nichts von MCTS?

Doch, aber wenn ich MCTS auswähle, dann möchte ich auch MCTS sehen, und nicht weiterhin die AB-Suche.
Parent - By Max Siegfried Date 2024-09-21 13:14
Jörg Oster schrieb:

Max Siegfried schrieb:

ShashChess 36

Welchen Einfluss hat MCTS auf die normale Stockfish Suche?

Das ist gar nicht mal so leicht zu beantworten.
Die MCTS von S. Nicolet benutzt kurze Alpha-Beta Suchen für die Erzeugung der Zugprioritäten.
Und die beste Zugpriorität wird dann auch als Bewertung verwendet (wenn ich das richtig verstehe).
Bei diesen kurzen AB-Suchen wird dann auch vom Hash der Haupt-AB-Suche gelesen und reingeschrieben.
Aber welchen Einfluss das dann auf die Hauptsuche hat, wer kann das schon sagen?

Max Siegfried schrieb:

Haltet ihr nichts von MCTS?

Doch, aber wenn ich MCTS auswähle, dann möchte ich auch MCTS sehen, und nicht weiterhin die AB-Suche.


Danke
Ein sehr spannendes Thema.
Der Einfluss scheint gigantisch zu sein.
Schließlich werden in dieser extrem schwierigen Testsuite durch "MCTS ON mit MCTSThreads = 2" 10 Stellungen mehr gelöst, obwohl der Engine für die anderen Sachen nur 6 Kerne anstatt 8 Kerne zur Verfügung stehen.
-ShashChess 36 High Tal MultiPV=4 (66%) 76/115
-ShashChess 36 High Tal MultiPV=4 (anstatt 8 Kerne: 6 Kerne + MCTS ON mit MCTSThreads = 2) (74%) 86/115
Wahrscheinlich führt dies zu mehr Breite auf Kosten der Tiefe im Variantenbaum.
Somit übersieht die Engine bis Tiefe X deutlich weniger.
Andererseits braucht sie für sagen wir Tiefe 50 mehr Zeit als zuvor.
Somit ist die Analyse von der Bewertung her weniger fein getunt aber dafür wird taktisch deutlich weniger übersehen.
Mit mehr Kernen 16, 24, 32... könnte man vielleicht MCTS ON mit MCTSThreads = 4, 6 oder 8 verwenden für noch bessere Ergebnisse.
Bei mir scheint aktuell die Hardware, genauer gesagt die Anzahl der Kerne, das Limit für optimale Einstellungen sein.
Parent - - By Erdogan Günes Date 2024-09-19 22:44 Upvotes 1
Habe mal den ShashChess 36 den Test laufen lassen auch auf der gleichen Hardware und Grundeinstellung.

Löse: C:\Users\Erdo\Documents\ChessBase\Testsets\Top Chess Engines Testsuite 2024 v2.cbh
Maximale Lösungszeit = 60s.

1. 62.6.IQ.999 - Rxf4,  iq4   > 60s.
2. LCTFIN07 - Bb4,  lapuce2   > 60s.
3. STS(v7.0) Simplification.071 - Qf3,  STS7Offer of Simplification   > 60s.
4. ECM.1573 - Nxa7,  ecmgcp   Gelöst in 0.19s/18; Gelöst: 1
5. Pos.38 Petrosyan-Hasaj,S - Qb6,  Tim-Krabbe   > 60s.
6. Nightmare II-19 - Ng6,  Timman 2012   Gelöst in 2.23s/38; Gelöst: 2
7.  - (#7) d4,  Mate Testsuite 2021   Gelöst in 0.20s/18; Gelöst: 3
8.  - (#7) d4,  Mate Testsuite 2021   Gelöst in 0.42s/22; Gelöst: 4
9.  - (#8) e4,  Mate Testsuite 2021   Gelöst in 1.16s/24; Gelöst: 5
10.  - (#9) e3,  Mate Testsuite 2021   Gelöst in 0.91s/28; Gelöst: 6
11. arasan21.124 - (#13) Re5,  Arasan-v21 2023   > 60s.
12. arasan21.155 - Rxg7+,  Arasan-v21 2023   Gelöst in 8.89s/28; Gelöst: 7
13. arasan21.179 - Kf2,  Arasan-v21 2023   > 60s.
14.  - (#18) / axb8N,  Der-Brillante-Schachzug   > 60s.
15.  - Ng5,  Der-Brillante-Schachzug   > 60s.
16.  - (#35?) Rxf5,  Der-Brillante-Schachzug   Gelöst in 27.81s/69; Gelöst: 8
17.  - (#31?) Ne4+,  Der-Brillante-Schachzug   Gelöst in 37.53s/71; Gelöst: 9
18.  - (#15) Nf6+,  Der-Brillante-Schachzug   > 60s.
19. E_E_T 077 - T&L vs T&L - (#40?) Rc8+,  Eigenmann-Endspiel-Test 2009   > 60s.
20. ERET 032 - Zugzwang - (#23) Ng3,  Eigenmann Rapid Engine Chess 2020   Gelöst in 5.28s/41; Gelöst: 10
21. ERET 037 - Zugzwang - (#28) Na8,  Eigenmann Rapid Engine Chess 2020   > 60s.
22. ERET 093 - Endspiel - Nd6+,  Eigenmann Rapid Engine Chess 2020   > 60s.
23. ERET 103 - Zugzwang - (#14) Kc8,  Eigenmann Rapid Engine Chess 2020   > 60s.
24. TTT2.012 - Bxh2,  TTT2   Gelöst in 0.61s/18; Gelöst: 11
25. TTT2.031 - Rc2,  TTT2   Gelöst in 0.25s/19; Gelöst: 12
26. TTT2.037 - Bd4,  TTT2   > 60s.
27. TTT2.053 - (+2.00 / #12) Ng6,  TTT2   Gelöst in 7.25s/33; Gelöst: 13
28. TTT2.080 - R1f5+,  TTT2   Gelöst in 2.44s/25; Gelöst: 14
29. TTT2.091 - (#45) Nf3+,  TTT2   Gelöst in 13.92s/34; Gelöst: 15
30. 001 Michal Formela 2019 - Ne3,  The Engine Crackers   > 60s.
31. 018 M. Illescas 2018 - Rxb7,  The Engines Crackers 2 2021   > 60s.
32. 021 M. Roxlau 2000 - Ra3,  The Engines Crackers 2 2021   > 60s.
33. W.Eigenmann 2022 - Bxh6,  The Engines Crackers 3 2021   > 60s.
34. Stockfish-LeelaChess,C - Ba3,  The Engines Crackers 4 2021   Gelöst in 3.48s/27; Gelöst: 16
35. A.Botokanov 1997 - (#31) Na5,  The Engines Crackers 4 2021   > 60s.
36. I.Bondar 1995 - (#71) Bxb2,  The Engines Crackers 4 2021   > 60s.
37. P.Krug 2018 - Rec1,  The Engines Crackers 4 2021   > 60s.
38. J.Gerhold 2008 - Be5,  The Engines Crackers 4 2021   Gelöst in 40.09s/51; Gelöst: 17
39. Dragon-Stockfish,C - Rxb2,  The Engines Crackers 4 2021   Gelöst in 37.94s/46; Gelöst: 18
40.  - (#15) Rc3,  ACT3   > 60s.
41.  - (#5) f5,  ACT3   > 60s.
42.  - (#34?) Bxa5,  ACT3   Gelöst in 2.98s/30; Gelöst: 19
43.  - (#40? / #19) Bc6,  ACT3   > 60s.
44.  - b4+,  ACT3   > 60s.
45.  - Nc6+,  ACT3   > 60s.
46.  - (#30?) d6+,  ACT3   > 60s.
47.  - Kc7,  ACT3   > 60s.
48.  - (#21) Rg4+,  ACT3   > 60s.
49.  - Nd6,  ACT3   > 60s.
50.  - h7,  ACT3   Gelöst in 0.39s/20; Gelöst: 20
51.  - (#30) Kf7,  ACT3   > 60s.
52.  - (#40) f5,  ACT3   > 60s.
53.  - Ba7+,  ACT3   > 60s.
54.  - (#10) Qa1+,  ACT3   Gelöst in 0.36s/35; Gelöst: 21
55.  - (#6) Qf3,  ACT3   > 60s.
56. ACT4.023 - Bxf4 (gxf4 #12),  ACT4   > 60s.
57. ACT4.035 - Qxc7+,  ACT4   > 60s.
58. ACT4.049 - (#16) Kb7 / Bc6,  ACT4   > 60s.
59. ACT4.051 - g3,  ACT4   > 60s.
60. ACT5.003 - (#11) Nfg3+,  ACT5   > 60s.
61. ACT5.019 - (#22) a6,  ACT5   > 60s.
62. ACT5.029 - Rxg2,  ACT5   > 60s.
63. ACT5.077 - Ra1,  ACT5   > 60s.
64. ACT5.079 - (#21) Qxd4,  ACT5   > 60s.
65. Hard-Talkchess-2020.002 - Qxf6+,  Hard-2020-final-213-positions   Gelöst in 0.19s/14; Gelöst: 22
66. Hard-Talkchess-2020.003 - Nc6,  Hard-2020-final-213-positions   Gelöst in 6.31s/22; Gelöst: 23
67. Hard-Talkchess-2020.007 - Rxh1,  Hard-2020-final-213-positions   > 60s.
68. Hard-Talkchess-2020.008 - Rd6+,  Hard-2020-final-213-positions   > 60s.
69. Hard-Talkchess-2020.019 - Nf5,  Hard-2020-final-213-positions   Gelöst in 3.52s/25; Gelöst: 24
70. Hard-Talkchess-2020.043 - Ng6+,  Hard-2020-final-213-positions   > 60s.
71. Hard-Talkchess-2020.050 - (#6) Rf5,  Hard-2020-final-213-positions   Gelöst in 2.34s/21; Gelöst: 25
72. Hard-Talkchess-2020.056 - Nexg6,  Hard-2020-final-213-positions   Gelöst in 0.59s/22; Gelöst: 26
73. Hard-Talkchess-2020.057 - (#35?) Nd4,  Hard-2020-final-213-positions   > 60s.
74. Hard-Talkchess-2020.064 - Kd4,  Hard-2020-final-213-positions   Gelöst in 15.11s/26; Gelöst: 27
75. Hard-Talkchess-2020.076 - Rxh4,  Hard-2020-final-213-positions   > 60s.
76. Hard-Talkchess-2020.087 - (#45) c8N,  Hard-2020-final-213-positions   > 60s.
77. Hard-Talkchess-2020.090 - (#37) Bf8+,  Hard-2020-final-213-positions   Gelöst in 0.08s/25; Gelöst: 28
78. Hard-Talkchess-2020.091 - Bxc5+,  Hard-2020-final-213-positions   > 60s.
79. Hard-Talkchess-2020.103 - Qh3+,  Hard-2020-final-213-positions   > 60s.
80. Hard-Talkchess-2020.107 - (#26) f5,  Hard-2020-final-213-positions   Gelöst in 11.50s/60; Gelöst: 29
81. Hard-Talkchess-2020.108 - Bh5+,  Hard-2020-final-213-positions   > 60s.
82. Hard-Talkchess-2020.121 - (#26) Nab3+,  Hard-2020-final-213-positions   Gelöst in 32.19s/71; Gelöst: 30
83. Hard-Talkchess-2020.126 - (#26) Nc6,  Hard-2020-final-213-positions   Gelöst in 15.80s/70; Gelöst: 31
84. Hard-Talkchess-2020.141 - (#17) Rc3+,  Hard-2020-final-213-positions   > 60s.
85. Hard-Talkchess-2020.142 - Be2,  Hard-2020-final-213-positions   Gelöst in 0.50s/18; Gelöst: 32
86. Hard-Talkchess-2020.144 - Bf6,  Hard-2020-final-213-positions   > 60s.
87. Hard-Talkchess-2020.150 - Bf6,  Hard-2020-final-213-positions   Gelöst in 4.97s/26; Gelöst: 33
88. Hard-Talkchess-2020.196 - Nd5,  Hard-2020-final-213-positions   > 60s.
89. Hard-Talkchess-2020.204 - Bg5,  Hard-2020-final-213-positions   Gelöst in 0.17s/18; Gelöst: 34
90. Neghina,M - Ncxe7+,  Computer Chess Test Suite 2024   > 60s.
91. Zepler,E - g6,  Computer Chess Test Suite 2024   > 60s.
92. Lasker,E - Ke4,  Computer Chess Test Suite 2024   Gelöst in 2.25s/26; Gelöst: 35
93. Krug,P - Nh7+,  Computer Chess Test Suite 2024   Gelöst in 3.66s/30; Gelöst: 36
94. Krug,P - Re5,  Computer Chess Test Suite 2024   > 60s.
95. Neweklowski,L - (#24) Rxb3,  Computer Chess Test Suite 2024   Gelöst in 4.03s/32; Gelöst: 37
96. Chudzik,Z - (#27) Bh2,  Computer Chess Test Suite 2024   Gelöst in 43.78s/79; Gelöst: 38
97. Sikorsky,H - Qe1,  Computer Chess Test Suite 2024   Gelöst in 44.38s/47; Gelöst: 39
98. Grasemann,H - (#16) Rd3,  Computer Chess Test Suite 2024   Gelöst in 0.20s/57; Gelöst: 40
99. Troitzky,A - (#9) Bce5,  Computer Chess Test Suite 2024   > 60s.
100. King's,G - (#38) Qg1,  Computer Chess Test Suite 2024   > 60s.
101. Neghina,M - (#20) Nf8,  Computer Chess Test Suite 2024   > 60s.
102. Study,? - Ra3,  Computer Chess Test Suite 2024   > 60s.
103. Semenikov+,D - gxf3,  Computer Chess Test Suite 2024   Gelöst in 8.16s/30; Gelöst: 41
104. Riihimaki,S - Bxa6,  Computer Chess Test Suite 2024   Gelöst in 37.89s/55; Gelöst: 42
105. Sonntag,G - Qf4,  Computer Chess Test Suite 2024   > 60s.
106. Neihstadt,V - (#11) Bf2+,  Computer Chess Test Suite 2024   > 60s.
107. Korolkov,V - (#23) g8=B,  Computer Chess Test Suite 2024   Gelöst in 14.59s/76; Gelöst: 43
108. Korolkov,V - (#11) Qg3+,  Computer Chess Test Suite 2024   > 60s.
109. Infantozzi,J - Bd5,  Computer Chess Test Suite 2024   > 60s.
110. #25-Study?,? - (#25) Kd7,  Computer Chess Test Suite 2024   > 60s.
111. Tidskrift,f - (#30) Rxa4,  Computer Chess Test Suite 2024   Gelöst in 12.13s/61; Gelöst: 44
112. Arves.14112,? - (#27) Rg2,  Computer Chess Test Suite 2024   > 60s.
113. ACT4,N - Bxb7,  Computer Chess Test Suite 2024   Gelöst in 10.73s/36; Gelöst: 45
114. Pawn,E - a4,  Computer Chess Test Suite 2024   Gelöst in 22.92s/41; Gelöst: 46
115. Zlatanov,A - Bh1,  Computer Chess Test Suite 2024   Gelöst in 19.42s/38; Gelöst: 47

Ergebnis: 47 aus 115 = 40.8%. Durchschnittszeit = 10.88s / 36.61
Parent - By Max Siegfried Date 2024-09-20 11:30
Erdogan Günes schrieb:

Ergebnis: 47 aus 115 = 40.8%. Durchschnittszeit = 10.88s / 36.61


Dein AMD 7950X mit 16 Core/32 HT 5.0Ghz + 6 Steiner kann gut mit meinem MacBook Pro M1 MAX (8 Kerne @ 3,23GHz) + 7 Steiner gut mithalten
-ShashChess 36 (41%) 48/115
Parent - By Max Siegfried Date 2024-09-21 09:17
Erdogan Günes schrieb:

Habe mal den ShashChess 36 den Test laufen lassen auch auf der gleichen Hardware und Grundeinstellung.

Löse: C:\Users\Erdo\Documents\ChessBase\Testsets\Top Chess Engines Testsuite 2024 v2.cbh
Maximale Lösungszeit = 60s.
Ergebnis: 47 aus 115 = 40.8%. Durchschnittszeit = 10.88s / 36.61


Teste einmal ShashChess 36 High Tal MultiPV=4
Ich bin mir ziemlich sicher dass das Ergebnis auf deiner Hardware deutlich besser ausfallen wird als bei mir.
-ShashChess 36 High Tal MultiPV=4 (66%) 76/115
Up Topic Hauptforen / CSS-Forum / Stockfish 17 massive Verbesserung in der Testsuite :-)

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill