Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Ach, da schau an Stockfish 17 ist erschienen !
1 2 Previous Next  
- - By Reinhold Stibi Date 2024-09-07 10:11 Upvotes 2
Stockfish 17 soll 46 Elo stärker spielen; das ist eine ganze Menge !

Heute haben wir das Vergnügen, eine neue Hauptversion von Stockfish ankündigen zu können. Wie
immer können Sie es kostenlos unter https://stockfishchess.org/download herunterladen und
in der GUI Ihrer Wahl verwenden.

Vergiss nicht, unserem Discord-Server[1] beizutreten, um mit der Community
der Entwickler und Nutzer des Projekts in Kontakt zu treten!

*Qualität des Schachspiels*

In Tests gegen Stockfish 16 bringt diese Version einen Elo-Gewinn von bis zu 46
Punkten[2] und gewinnt bis zu 4,5-mal mehr Partiepaare[3] als sie verliert. In
der Praxis werden jetzt qualitativ hochwertige Züge in kürzerer Zeit gefunden, wobei ein Benutzer, der von Stockfish 14 aufrüstet
, in der Lage ist, Partien mit
Stockfish 17 mindestens 6 Mal[4] schneller zu analysieren, während er ungefähr die gleiche Qualität beibehält.

Während dieser Entwicklungsphase gewann Stockfish den 9. ersten Platz
in Folge in der Hauptliga der Top Chess Engine Championship (TCEC)[5] und den 24.
ersten Platz in Folge in den Hauptdisziplinen (Kugel, Blitz und Schnellschach) der
Computer Chess Championship (CCC)[6].

*Highlights des Updates*

*Verbesserte Engine-Linien*

In dieser Version werden Principal Variations (PVs) eingeführt, die für
die Ergebnisse von Mat und Decisive Table Base (TB) aussagekräftiger sind. In beiden Fällen enthält
der PV alle Züge bis zum Schachmatt. Bei Mattwerten ist der angezeigte PV die beste
Variante, die der Engine zu diesem Zeitpunkt bekannt ist, während bei
Siegen auf Tischbasis auf der Grundlage der TB eine Abfolge von Zügen folgt, die das Spielergebnis bis
zum Schachmatt beibehält.

*NUMA-Leistungsoptimierung*

Für High-End-Computer mit mehreren CPUs (in der Regel eine Dual-Socket-Architektur
mit 100+ Kernen) verbessert diese Version automatisch die Leistung mit einer
'NumaPolicy'-Einstellung, die den uneinheitlichen Speicherzugriff (NUMA) optimiert. Obwohl
typische Consumer-Hardware nicht davon profitiert, wurden
Beschleunigungen von bis zu 2,8x[7] gemessen.

*Shoutouts*

*ChessDB*

In den letzten 1,5 Jahren haben Hunderte von Kernen Stockfish kontinuierlich laufen lassen
, um eine Datenbank mit analysierten Stellungen zu erweitern. Diese Schachwolkendatenbank
[8] enthält mittlerweile weit über 45 Milliarden Stellungen und bietet eine hervorragende
Abdeckung aller Eröffnungen und häufig gespielten Varianten. Diese Datenbank ist bereits
in GUIs wie En Croissant[9] und Nibbler[10] integriert, die über die öffentliche API auf sie
zugreifen.

*Leela Chess Zero*

Allgemein als die stärkste GPU-Engine angesehen, liefert
sie weiterhin offene Daten, die für das Training
Parent - By Roland Riener Date 2024-09-07 10:55 Upvotes 1
Danke, Reinhold!
Parent - - By Olaf Jenkner Date 2024-09-07 12:16 Upvotes 1
Diese Schachwolkendatenbank überzeugt.
Parent - - By Reinhold Stibi Date 2024-09-07 14:16
Traurig aber wahr. Stockfish 17 ist analytisch sehr schlecht.
Im HTC 114 Test mit meinem langsamen 8 Kerner PC nur ganz dürftige
55 Stellungen gelöst.
Stockfish-Abkömmlinge kommen da auf über 90 gelöste Stellungen; das ist
ein gewaltiger Unterschied und diese spielen auch positionell, praktisch z.B.
auf Schach.de sehr gut
Parent - - By Tommy Tulpe Date 2024-09-07 14:22 Upvotes 1
Hallo Reinhold,

mich würde interessieren, welche Stockfish-Abkömmlinge bei deinen Tests wesentlich besser abschneiden.
Swordfish 15.5 ?
Sun 15 ?
Leptir ultra  ?
Cool Iris 11.80 ?
Parent - - By Reinhold Stibi Date 2024-09-07 15:47 Edited 2024-09-07 15:53 Upvotes 1
Hallo Tommy,

das wären im HTC 114 Test  mit langsamen 8 Kerner PC
ca.3000 kN/s aus der Grundstellung:  je eingestellt MPV auf 4

Steel Fighter III   94 gelöste Stellungen

Deep Ripper 1      93     "

Rems MPV 15.08.a24    92   "

Das sehr gute dabei ist dass diese Engines  auch alle  positionell
sehr gut spielen und im praktischen Spiel auf Schach.de nicht schlechter
als Stockfish abschneiden.

Deine angeführten Engines sind älter aber auch sehr gut.
Habe diese auf einem anderen Computer getestet.
Parent - - By Tommy Tulpe Date 2024-09-07 18:20
Danke
Von Steel Fighter III höre ich das erste Mal. Ist die Engine irgendwo frei erhältlich?
Von Deep Ripper I höre ich das erste Mal. Ist die Engine irgendwo frei erhältlich?
Parent - - By Reinhold Stibi Date 2024-09-07 18:23
Die Engines sind vom gleichen Autor wie bei Cool Iris, schau auf dessen
Homepage.
Parent - - By Tommy Tulpe Date 2024-09-07 18:33
Leider habe ich vergessen, woher ich Cool Iris habe. 
Wäre es verboten, hier die Downloadseite zu nennen?
Parent - - By Tommy Tulpe Date 2024-09-07 23:12
erst mal schönen Dank!
Steel Fighter und DeepRipper habe ich dort nicht (mehr?) gefunden. Schade, aber mit Swordfish 15.5 und Sun 15 fahre ich auch nict schlecht.
Parent - By Reinhold Stibi Date 2024-09-08 06:57
Probiere doch mal Rems MPV Einstellung 4 MultiPV
befindet sich auf dem gleich hohen Niveau wie Steel Fighter III 
und Deep Ripper 1 ist aber sicher taktisch stärker wie deine
Lieblings -Engine Swordfish 15.5.
Parent - - By Peter Martan Date 2024-09-07 19:06 Edited 2024-09-07 19:21
Cool Iris war Anton101 in verschiedenen Foren wie Outskirts und OpenChess, ist aber schon ein Weilchen her, dass er diesen Zweig aktualisiert hat, Steel Fighter war  Eduard Nemeth, der hat aber seither auch schon wieder ein paar neuere Namen auf seiner Site, die Reinhold mittlerweile auch schon verlinkt hat.
Parent - - By Reinhold Stibi Date 2024-09-08 07:09 Edited 2024-09-08 07:22
Guten Morgen Peter,

Cool Iris ist eine sehr interessante Engine.

Lt. Chess Engines Diary im Internet soll es eine Version 12.10 geben.

Der Download funktionierte nicht, angeblich soll die Datei von Viren befallen sein.

Ist dir die neueste funktionierende Cool Iris Version bekannt ?

Viele Grüße
Reinhold
Parent - - By Peter Martan Date 2024-09-08 08:37
Meine letzte Version ist 12.20, und mir scheint, ich habe sie von hier

https://www.open-chess.org/viewtopic.php?p=34626#p34626

Nachdem das aber auch schon wieder ein halbes Jahr her ist, würde ich, wenn man Aktualität relativ zu SF haben will, lieber CorChess nehmen, auf dem Cool Iris ja beruht hat damals.
Parent - By Reinhold Stibi Date 2024-09-08 14:14
Vielen Dank Peter !!
Parent - - By Kurt Utzinger Date 2024-09-08 15:47
Tommy Tulpe schrieb:

Hallo Reinhold,

mich würde interessieren, welche Stockfish-Abkömmlinge bei deinen Tests wesentlich besser abschneiden.
Swordfish 15.5 ?
Sun 15 ?
Leptir ultra  ?
Cool Iris 11.80 ?


Im ENET-2023 Test sieht meine Rangliste wie folgt aus:

Auf AMD:

Code:
104  94.5%  Light 29 MPV-avx2  AMD Ryzen 7 6800H  60s
104  94.5%  Rems MPV 150824  AMD Ryzen 7 6800H  60s
103  93.6%  Beast 15 MPV-avx2  AMD Ryzen 7 6800H  60s
103  93.6%  Light 24-avx2  AMD Ryzen 7 6800H  60s
103  93.6%  Leptir 100124  AMD Ryzen 7 6800H  60s


Auf i7

Code:
101  91.8%  Beast 15 MPV-avx2  i7 8750H  60s
101  91.8%  Light 29 MPV-avx2  i7 8750H  60s
97  88.1%  Light 29 MPV-avx2  i7 8750H  30s
96  87.2%  Beast 15 MPV-avx2, Random Op Plies 6  i7 8750H  60s
96  87.2%  Rems MPV 150824  i7 8750H  60s
96  87.2%  Steel Fighter III  i7 8750H  60s


In der Gesamtwertung (AMD / i7) liegt Light 29 MPV-avx2 einen Punkt vor Beast 25 MPV-avx2

Gruss
Kurt
Parent - - By Tommy Tulpe Date 2024-09-08 17:13
Erst mal einen herzlichen Dank, Kurt.
Darf ich fragen, ob du auch Swordfish 15.5 getestet hast und diese Engine es eben nicht auf vorderste Plätze schaffte oder ob du Swordfish unbeachtet gelassen hast. Klar, man kann nicht alles machen.
Grüße von Ulrich
Parent - By Kurt Utzinger Date 2024-09-09 08:35
Tommy Tulpe schrieb:

Erst mal einen herzlichen Dank, Kurt.
Darf ich fragen, ob du auch Swordfish 15.5 getestet hast und diese Engine es eben nicht auf vorderste Plätze schaffte oder ob du Swordfish unbeachtet gelassen hast. Klar, man kann nicht alles machen.
Grüße von Ulrich


Hallo Ulrich
Nein, Swordfish 15.5 habe ich noch nicht getestest. Man kann wirklich nicht alles machen.
Unten gebe ich meine komplette Liste bekannt.
Grüsse
Kurt

Code:
104  94.5%  Light 29 MPV-avx2  AMD Ryzen 7 6800H  60s
104  94.5%  Rems MPV 150824  AMD Ryzen 7 6800H  60s
103  93.6%  Beast 15 MPV-avx2  AMD Ryzen 7 6800H  60s
103  93.6%  Light 24-avx2  AMD Ryzen 7 6800H  60s
103  93.6%  Leptir 100124  AMD Ryzen 7 6800H  60s
102  92.7%  Light 32 MPV-avx2  AMD Ryzen 7 6800H  60s
102  92.7%  Light 32 MPV-avx2  AMD Ryzen 7 6800H  30s
102  92.7%  Rems 150824  AMD Ryzen 7 6800H  60s
102  92.7%  Steel Fighter III  AMD Ryzen 7 6800H  60s
101  91.8%  Beast 15 MPV-avx2  i7 8750H  60s
101  91.8%  Deep Ripper -1-avx2 (MultPV 4)  AMD Ryzen 7 6800H  60s
101  91.8%  Light 29 MPV-avx2  i7 8750H  60s
100  90.9%  Deep Ripper -1, Random Op. MultiPV 1  AMD Ryzen 7 6800H  60s
99  90.0%  Light 29 MPV-avx2  AMD Ryzen 7 6800H  30s
98  89.0%  Cool Iris 11.80  AMD Ryzen 7 6800H  60s
98  89.0%  Laptop Ripper -1  AMD Ryzen 7 6800H  60s
98  89.0%  Leptir 100124  AMD Ryzen 7 6800H  30s
98  89.0%  Sun Light 14.1  AMD Ryzen 7 6800H  60s
97  88.1%  Light 32 MPV-avx2  AMD Ryzen 7 6800H  30s
97  88.1%  Light 29 MPV-avx2  i7 8750H  30s
97  88.1%  Light 24-avx2  AMD Ryzen 7 6800H  30s
96  87.2%  Beast 15 MPV-avx2, Random Op Plies 6  i7 8750H  60s
96  87.2%  Rems MPV 150824  i7 8750H  60s
96  87.2%  Steel Fighter III  i7 8750H  60s
95  86,3%  Leptir 100124  i7 8750H  60s
95  86.3%  Rems 150824  i7 8750H  60s
95  86,3%  Cool Iris 11.70  AMD Ryzen 7 6800H  30s
94  85.4%  Sun Light 14.1  AMD Ryzen 7 6800H  30s
94  85.4%  Light 24-avx  i7 8750H  30s
94  85.4%  Cool Iris 11.80  AMD Ryzen 7 6800H  30s
93  84.5%  Cool Iris 12.20  AMD Ryzen 7 6800H  60s
93  84.5%  Smile Xpro  AMD Ryzen 7 6800H  30s
92  83.6%  Sun Light 6.0  AMD Ryzen 7 6800H  30s
92  83.6%  Stockfish 16.1 (reference engine)  AMD Ryzen 7 6800H  60s
92  83.6%  Cool Iris 11.80  i7 8750H  30s
91  82.7%  Stockfish 17 (latest test)  AMD Ryzen 7 6800H  60s
90  81.8%  Sun Light 14.1  i7 8750H  30s
90  81.8%  Crystal 7  AMD Ryzen 7 6800H  30s
89  80.9%  Cool Iris 12.20  i7 8750H  60s
89  80.9%  Sun 11   AMD Ryzen 7 6800H  30s
89  80.9%  Silentfish 7.0  AMD Ryzen 7 6800H  30s
89  80.9%  Cool Iris 11.70 mod.  AMD Ryzen 7 6800H  303
88  80.0%  Stockfish dev-20230922  AMD Ryzen 7 6800H  30s
88  80.0%  Beast for Analysis  AMD Ryzen 7 6800H  30s
87  79.0%  Cool Iris 11.70  i7 8750H  30s
86  78.1%  Light 14  AMD Ryzen 7 6800H  30s
85  77.2%  Stockfish 16  AMD Ryzen 7 6800H  30s
85  77.2%  Lept 230124  AMD Ryzen 7 6800H  30s
85  77.2%  Cool Iris 11.70 mod  i7 8750H  30s
84  76.3%  Light 15 dual NNUE  AMD Ryzen 7 6800H  30s
83  75.4%  Stockfish 16.1 (reference engine)  i7 8750H  60s
83  75.4%  Sun Light 6.0  i7 8750H  30s
83  75.4%  Smile Xpro  i7 8750H  30s
82  74.5%  Sun Light  i7 8750H  30s
82  74.5%  GoldenEye Classic  AMD Ryzen 7 6800H  30s
81  73.6%  Sun 4.1  i7 8750H  30s
80  72.7%  Light 14  i7 8750H  30s
79  71.8%  Torero 1.0  i7 8750H  30s
79  71.8%  Philomena 2.0  i7 8750H  30s
79  71.8%  Beast for Analysis  i7 8750H  30s
78  70.9%  Light 5.1  i7 8750H  30s
78  70.9%  Light 4.0  i7 8750H  30s
78  70.9%  Crystal 7  i7 8750H  30s
78  70.9%  Dragon 3.1 by Komodo Chess 64-bit  AMD Ryzen 7 6800H  60s
75  68.1%  Leptir SmallNet  AMD Ryzen 7 6800H  30s
74  67.2%  Dragon 3.1 by Komodo Chess 64-bit  AMD Ryzen 7 6800H  30s
72  65.4%  Berserk 13  i7 8750H  60s
72  65.4%  Stockfish dev-20230922  i7 8750H  30s
72  65.4%  Light 15 dual NNUE  i7 8750H  30s
72  65.4%  Leptir SmallNet  i7 8750H  30s
66  60.0%  ShashChess 33.2  i7 8750H  30s
57  51.8%  Dragon 3.1 by Komodo Chess 64-bit  i7 8750H  30s
50  45.4%  Berserk 10  AMD Ryzen 7 6800H  30s
46  41.8%  Koivisto 8.0  AMD Ryzen 7 6800H  30s
44  40.0%  LG Revolution 3.17  i7 8750H  30s
41  37.2%  LG Revolution T1  i7 8750H  30s
39  35.4%  Patricia 3.1  AMD Ryzen 7 6800H  60s
37  33.6%  Deep Shredder 13  AMD Ryzen 7 6800H  30s
36  32.7%  LG Revolution T7  AMD Ryzen 7 6800H  60s
32  29.0%  Wasp 5.50 1 CPU  i7 8750H  30s
Parent - - By Kurt Utzinger Date 2024-09-09 20:58
Tommy Tulpe schrieb:

Erst mal einen herzlichen Dank, Kurt.
Darf ich fragen, ob du auch Swordfish 15.5 getestet hast und diese Engine es eben nicht auf vorderste Plätze schaffte oder ob du Swordfish unbeachtet gelassen hast. Klar, man kann nicht alles machen.
Grüße von Ulrich


Hallo Ulrich
Jetzt habe ich auch noch Swordfish 15.5 getestest. Neue Rangliste unten.
Mit 90 Lösungen ist Swordfish 15.5 etwas schlechter als Stockfish 16.1 (-2)
und Stockfish 17 (-1). Die vornehmlich mit Bullet-Partien + UHO-Eröffnungen
trainierten Stockfish 16.1 und Stockfish 17 gehören im Bereich der Analyse
nicht mehr zur ersten Sahne. In Bullet-Partien, wo sie wahnsinnige hohe
Suchtiefen erreichen, sieht das ganz anders aus.
Viele Grüsse
Kurt

Code:
ENET-2023 Test (Rangliste per 09.09.2024)         
          Total
Resultat  Prozent  Progamm  CPU  Zeit  i7/AMD
         
104  94.5%  Light 29 MPV-avx2  AMD Ryzen 7 6800H  60s  205
104  94.5%  Rems MPV 150824  AMD Ryzen 7 6800H  60s  200
103  93.6%  Beast 15 MPV-avx2  AMD Ryzen 7 6800H  60s  204
103  93.6%  Light 24-avx2  AMD Ryzen 7 6800H  60s 
103  93.6%  Leptir 100124  AMD Ryzen 7 6800H  60s 
102  92.7%  Light 32 MPV-avx2  AMD Ryzen 7 6800H  60s 
102  92.7%  Light 32 MPV-avx2  AMD Ryzen 7 6800H  30s 
102  92.7%  Rems 150824  AMD Ryzen 7 6800H  60s  197
102  92.7%  Steel Fighter III  AMD Ryzen 7 6800H  60s 
101  91.8%  Beast 15 MPV-avx2  i7 8750H  60s  204
101  91.8%  Deep Ripper -1-avx2 (MultPV 4)  AMD Ryzen 7 6800H  60s 
101  91.8%  Light 29 MPV-avx2  i7 8750H  60s  205
100  90.9%  Deep Ripper -1, Rand. Op. MultiPV 1  AMD Ryzen 7 6800H  60s 
99  90.0%  Light 29 MPV-avx2  AMD Ryzen 7 6800H  30s 
98  89.0%  Cool Iris 11.80  AMD Ryzen 7 6800H  60s 
98  89.0%  Laptop Ripper -1  AMD Ryzen 7 6800H  60s 
98  89.0%  Leptir 100124  AMD Ryzen 7 6800H  30s 
98  89.0%  Sun Light 14.1  AMD Ryzen 7 6800H  60s 
97  88.1%  Light 32 MPV-avx2  AMD Ryzen 7 6800H  30s 
97  88.1%  Light 29 MPV-avx2  i7 8750H  30s 
97  88.1%  Light 24-avx2  AMD Ryzen 7 6800H  30s 
96  87.2%  Beast 15 MPV-avx2, Rand Op Plies 6  i7 8750H  60s 
96  87.2%  Rems MPV 150824  i7 8750H  60s  200
96  87.2%  Steel Fighter III  i7 8750H  60s 
95  86,3%  Leptir 100124  i7 8750H  60s 
95  86.3%  Rems 150824  i7 8750H  60s  197
95  86,3%  Cool Iris 11.70  AMD Ryzen 7 6800H  30s 
94  85.4%  Sun Light 14.1  AMD Ryzen 7 6800H  30s 
94  85.4%  Light 24-avx  i7 8750H  30s 
94  85.4%  Cool Iris 11.80  AMD Ryzen 7 6800H  30s 
93  84.5%  Cool Iris 12.20  AMD Ryzen 7 6800H  60s 
93  84.5%  Smile Xpro  AMD Ryzen 7 6800H  30s 
92  83.6%  Sun Light 6.0  AMD Ryzen 7 6800H  30s 
92  83.6%  Stockfish 16.1 (reference engine)  AMD Ryzen 7 6800H  60s  175
92  83.6%  Cool Iris 11.80  i7 8750H  30s 
91  82.7%  Stockfish 17  AMD Ryzen 7 6800H  60s 
90  81.8%  Sun Light 14.1  i7 8750H  30s 
90  81.8%  Crystal 7  AMD Ryzen 7 6800H  30s 
90  81.8%  Swordfish 5.50  AMD Ryzen 7 6800H  60s 
89  80.9%  Cool Iris 12.20  i7 8750H  60s 
89  80.9%  Sun 11   AMD Ryzen 7 6800H  30s 
89  80.9%  Silentfish 7.0  AMD Ryzen 7 6800H  30s 
89  80.9%  Cool Iris 11.70 mod.  AMD Ryzen 7 6800H  303 
88  80.0%  Stockfish dev-20230922  AMD Ryzen 7 6800H  30s 
88  80.0%  Beast for Analysis  AMD Ryzen 7 6800H  30s 
87  79.0%  Cool Iris 11.70  i7 8750H  30s 
86  78.1%  Light 14  AMD Ryzen 7 6800H  30s 
85  77.2%  Stockfish 16  AMD Ryzen 7 6800H  30s 
85  77.2%  Lept 230124  AMD Ryzen 7 6800H  30s 
85  77.2%  Cool Iris 11.70 mod  i7 8750H  30s 
84  76.3%  Light 15 dual NNUE  AMD Ryzen 7 6800H  30s 
83  75.4%  Stockfish 16.1 (reference engine)  i7 8750H  60s  175
83  75.4%  Sun Light 6.0  i7 8750H  30s 
83  75.4%  Smile Xpro  i7 8750H  30s 
82  74.5%  Sun Light  i7 8750H  30s 
82  74.5%  GoldenEye Classic  AMD Ryzen 7 6800H  30s 
81  73.6%  Sun 4.1  i7 8750H  30s 
80  72.7%  Light 14  i7 8750H  30s 
79  71.8%  Torero 1.0  i7 8750H  30s 
79  71.8%  Philomena 2.0  i7 8750H  30s 
79  71.8%  Beast for Analysis  i7 8750H  30s 
78  70.9%  Light 5.1  i7 8750H  30s 
78  70.9%  Light 4.0  i7 8750H  30s 
78  70.9%  Crystal 7  i7 8750H  30s 
78  70.9%  Dragon 3.1 by Komodo Chess 64-bit  AMD Ryzen 7 6800H  60s 
75  68.1%  Leptir SmallNet  AMD Ryzen 7 6800H  30s 
74  67.2%  Dragon 3.1 by Komodo Chess 64-bit  AMD Ryzen 7 6800H  30s 
72  65.4%  Stockfish dev-20230922  i7 8750H  30s 
72  65.4%  Light 15 dual NNUE  i7 8750H  30s 
72  65.4%  Leptir SmallNet  i7 8750H  30s 
72  65.4%  Berserk 13  AMD Ryzen 7 6800H  60s 
66  60.0%  ShashChess 33.2  i7 8750H  30s 
65  59.0%  Berserk 13  i7 8750H  60s 
57  51.8%  Dragon 3.1 by Komodo Chess 64-bit  i7 8750H  30s 
50  45.4%  Berserk 10  AMD Ryzen 7 6800H  30s 
46  41.8%  Koivisto 8.0  AMD Ryzen 7 6800H  30s 
44  40.0%  LG Revolution 3.17  i7 8750H  30s 
41  37.2%  LG Revolution T1  i7 8750H  30s 
39  35.4%  Patricia 3.1  AMD Ryzen 7 6800H  60s 
37  33.6%  Deep Shredder 13  AMD Ryzen 7 6800H  30s 
36  32.7%  LG Revolution T7  AMD Ryzen 7 6800H  60s 
32  29.0%  Wasp 5.50 1 CPU  i7 8750H  30s 
Parent - By Max Siegfried Date 2024-09-09 22:31
Die immer neueren Versionen der Derivate basieren doch jedes mal auf immer neueren Stockfish Versionen.
Es gibt immer einige Ausnahmestellungen die Stockfish nicht löst.
Weil er Zug... übersehen hat. Warum auch immer.
Wenn Stockfish im Blitz und Bullet trainiert wird und in den Partien in diesem Modus gegen andere Derivate besser abschneidet, bedeutet das dann nicht, dass Stockfish die Züge in +0.01 Abschnitten (und natürlich auch größeren Abschnitten) besser bewertet?

Angenommen eine Testsuite hat 100 Stellungen:
Stockfish löst im Durchschnitt 20 Stellungen nicht = 20% ungelöst.
Derivate lösen im Durchschnitt 10 Stellungen nicht = 10% ungelöst.

Angenommen eine Testsuite hat 1000 Stellungen (gab es auch schon aber die meisten Stellungen waren zu leicht):
Stockfish löst im Durchschnitt 20 Stellungen nicht = 2% ungelöst.
Derivate lösen im Durchschnitt 10 Stellungen nicht = 1% ungelöst.

Angenommen eine Testsuite hat 10000 Stellungen (gab es auch schon aber die meisten Stellungen waren zu leicht):
Stockfish löst im Durchschnitt 20 Stellungen nicht = 0,2% ungelöst.
Derivate lösen im Durchschnitt 10 Stellungen nicht = 0,1% ungelöst.

Angenommen eine Testsuite hat 100000 Stellungen (das lässt sich bestimmt auch einrichten aber die meisten Stellungen wären zu leicht):
Stockfish löst im Durchschnitt 20 Stellungen nicht = 0,02% ungelöst.
Derivate lösen im Durchschnitt 10 Stellungen nicht = 0,01% ungelöst.

Wollen wir jetzt einen Aufstand machen weil Stockfish 0,01% Stellungen weniger löst als die Derivate und dafür die Züge in +0.01 Abschnitten (und natürlich auch größeren Abschnitten) besser bewertet?
Die Wahrscheinlichkeit das ein starker Spieler deutlich mehr lernt aus der Analyse von genaueren Zügen, als von 0,01% übersehenen Gewinnzügen, sollte klar sein.
Parent - - By Tommy Tulpe Date 2024-09-09 22:52
Schönen Dank, Kurt.
Als Fernschachspieler sind Langzeitanalysen für mich natürlich am Wichtigsten, Bullet-Partien interessieren mich überhaupt nicht. Eigentlich finde ich die "gescholtenen" Stockfish-Originale dafür gut, favorisiere derzeit aber Sun und werde mal Rems 256 testen. Es ist nicht leicht zu sagen, ob Engine A tatsächlich besser ist als Engine B.
Grüße von Ulrich
Parent - - By Max Siegfried Date 2024-09-10 00:12
Warum ist ShashChess 35.3 nicht in der Liste?
https://github.com/amchess/ShashChess/releases?page=1
1. Platz sollte machbar sein.

66  60.0%  ShashChess 33.2  i7 8750H  30s ist über 1 Jahr alt.
Parent - - By Tommy Tulpe Date 2024-09-10 11:19
Max Siegfried schrieb:

Warum ist ShashChess 35.3 nicht in der Liste?
<a class='ura' href='https://github.com/amchess/ShashChess/releases?page=1'>https://github.com/amchess/ShashChess/releases?page=1</a>
1. Platz sollte machbar sein.

66  60.0%  ShashChess 33.2  i7 8750H  30s ist über 1 Jahr alt.


Vielleicht weil das ständige aktuel halten der Liste angesichts fast ttäglicher Stockfish-Ableger eine ziemlich mühsame, zeitaufwändige Tätigkeit ist?
Führts du eigentlich selbst auch eine solche Liste mit Stellungstests? Tolle Hardware steht dir doch bestimmt zur Verfügung. Wenn ja, fände ich interessant, ob deine Reihenfolge mit der von Kurt identisch ist.
Parent - By Max Siegfried Date 2024-09-10 12:47
Die Reihenfolge in der TCETv2 besagt, dass Stockfish 17 stärker ist als Stockfis 16.1 und damit bin ich ziemlich zufrieden im Gegensatz zu einigen anderen hier im Forum die unzufrieden mit ihrer umgekehrten Reihenfolge sind, weil sie steinalte und schwache Testsuites verwenden und sich dann über die Ergebnisse wundern. Oh Wunder, wer konnte das ahnen.
Parent - - By Kurt Utzinger Date 2024-09-10 12:44 Upvotes 1
Max Siegfried schrieb:

Warum ist ShashChess 35.3 nicht in der Liste?
<a class='ura' href='https://github.com/amchess/ShashChess/releases?page=1'>https://github.com/amchess/ShashChess/releases?page=1</a>
1. Platz sollte machbar sein.

66  60.0%  ShashChess 33.2  i7 8750H  30s ist über 1 Jahr alt.


Hallo Max

Wie andernorts schon geschrieben: Man kann ja nicht alles machen. Dazu fehlen mir vor allem die notwendige Zeit,
aber auch die Lust. Ich fühle mich nicht als Tester und meine interne (kleine) Rangliste der EN-2023 Testsuite kann
nur meine Bedingungen widerspiegeln. Ob bei einem Vergleich mit super schnellen Rechnern die Relationen aber
stimmen, wäre interessant zu wissen. Offenbar gibt es noch keinen User, der die verschiedenen Testsuites und
die Ergebnisse vieler Engines in Ranglisten festhält. Ferner: Du siehst ShashChess 35.3 bei 30s auf i7-8750H auf
den 1. Rang? Ich habe aus reinem Interesse diesen Test gemacht und folgende Resultate (30s + 60s) erhalten:

86  78.1%  ShashChess 35.3  i7-8750H    60s
83  75.4%  ShashChess 35.3  i7-8750H    30s

Wie man sieht, liegt (bei mir) ShashChess 35.3 weit entfernt von der Spitze. Beim Verfolgen der Tests habe ich den
Eindruck erhalten, dass ShashChess 35.3 bei stillen Zügen und bei wenig offensichtlichen Opfern im festgelegten
Zeitrahmen doch deutlich mehr Mühe hat, als meine rangbesten Engines. Das mag auch mit der stärker selektiven
Suche von ShashChess 35.3 zusammenhängen. Wahrscheinlich eignet sich ShashChess eher für längere Analysen, wo
die Engine hoffentlich bei höheren Suchtiefen auch die früher wegselektionierten Züge wieder untersucht.

Viele Grüsse
Kurt

Code:
104  94.5%  Light 29 MPV-avx2  AMD Ryzen 7 6800H  60s
104  94.5%  Rems MPV 150824  AMD Ryzen 7 6800H  60s
103  93.6%  Beast 15 MPV-avx2  AMD Ryzen 7 6800H  60s
103  93.6%  Leptir 100124  AMD Ryzen 7 6800H  60s
103  93.6%  Light 24-avx2  AMD Ryzen 7 6800H  60s
102  92.7%  Light 32 MPV-avx2  AMD Ryzen 7 6800H  60s
102  92.7%  Light 32 MPV-avx2  AMD Ryzen 7 6800H  30s
102  92.7%  Rems 150824  AMD Ryzen 7 6800H  60s
102  92.7%  Steel Fighter III  AMD Ryzen 7 6800H  60s
101  91.8%  Beast 15 MPV-avx2  i7-8750H  60s
101  91.8%  Light 29 MPV-avx2  i7-8750H  60s
101  91.8%  Deep Ripper -1-avx2 (MultPV 4)  AMD Ryzen 7 6800H  60s
100  90.9%  Deep Ripper -1, Rand. Op. MultiPV 1  AMD Ryzen 7 6800H  60s
99  90.0%  Light 29 MPV-avx2  AMD Ryzen 7 6800H  30s
98  89.0%  Cool Iris 11.80  AMD Ryzen 7 6800H  60s
98  89.0%  Laptop Ripper -1  AMD Ryzen 7 6800H  60s
98  89.0%  Leptir 100124  AMD Ryzen 7 6800H  30s
98  89.0%  Sun Light 14.1  AMD Ryzen 7 6800H  60s
97  88.1%  Light 29 MPV-avx2  i7-8750H  30s
97  88.1%  Light 24-avx2  AMD Ryzen 7 6800H  30s
97  88.1%  Light 32 MPV-avx2  AMD Ryzen 7 6800H  30s
96  87.2%  Beast 15 MPV-avx2, Rand Op Plies 6  i7-8750H  60s
96  87.2%  Rems MPV 150824  i7-8750H  60s
96  87.2%  Steel Fighter III  i7-8750H  60s
95  86,3%  Leptir 100124  i7-8750H  60s
95  86.3%  Rems 150824  i7-8750H  60s
95  86,3%  Cool Iris 11.70  AMD Ryzen 7 6800H  30s
94  85.4%  Light 24-avx  i7-8750H  30s
94  85.4%  Cool Iris 11.80  AMD Ryzen 7 6800H  30s
94  85.4%  Sun Light 14.1  AMD Ryzen 7 6800H  30s
93  84.5%  Cool Iris 12.20  AMD Ryzen 7 6800H  60s
93  84.5%  Smile Xpro  AMD Ryzen 7 6800H  30s
92  83.6%  Cool Iris 11.80  i7-8750H  30s
92  83.6%  Stockfish 16.1 (reference engine)  AMD Ryzen 7 6800H  60s
92  83.6%  Sun Light 6.0  AMD Ryzen 7 6800H  30s
91  82.7%  Stockfish 17  AMD Ryzen 7 6800H  60s
90  81.8%  Sun Light 14.1  i7-8750H  30s
90  81.8%  Crystal 7  AMD Ryzen 7 6800H  30s
90  81.8%  Swordfish 5.50  AMD Ryzen 7 6800H  60s
89  80.9%  Cool Iris 12.20  i7-8750H  60s
89  80.9%  Cool Iris 11.70 mod.  AMD Ryzen 7 6800H  303
89  80.9%  Silentfish 7.0  AMD Ryzen 7 6800H  30s
89  80.9%  Sun 11   AMD Ryzen 7 6800H  30s
88  80.0%  Beast for Analysis  AMD Ryzen 7 6800H  30s
88  80.0%  Stockfish dev-20230922  AMD Ryzen 7 6800H  30s
87  79.0%  Cool Iris 11.70  i7-8750H  30s
86  78.1%  ShashChess 35.3  i7-8750H  60s
86  78.1%  Light 14  AMD Ryzen 7 6800H  30s
85  77.2%  Cool Iris 11.70 mod  i7-8750H  30s
85  77.2%  Lept 230124  AMD Ryzen 7 6800H  30s
85  77.2%  Stockfish 16  AMD Ryzen 7 6800H  30s
84  76.3%  Light 15 dual NNUE  AMD Ryzen 7 6800H  30s
83  75.4%  ShashChess 35.3  i7-8750H  30s
83  75.4%  Smile Xpro  i7-8750H  30s
83  75.4%  Stockfish 16.1 (reference engine)  i7-8750H  60s
83  75.4%  Sun Light 6.0  i7-8750H  30s
82  74.5%  Sun Light  i7-8750H  30s
82  74.5%  GoldenEye Classic  AMD Ryzen 7 6800H  30s
81  73.6%  Sun 4.1  i7-8750H  30s
80  72.7%  Light 14  i7-8750H  30s
79  71.8%  Beast for Analysis  i7-8750H  30s
79  71.8%  Philomena 2.0  i7-8750H  30s
79  71.8%  Torero 1.0  i7-8750H  30s
78  70.9%  Crystal 7  i7-8750H  30s
78  70.9%  Light 4.0  i7-8750H  30s
78  70.9%  Light 5.1  i7-8750H  30s
78  70.9%  Dragon 3.1 by Komodo Chess 64-bit  AMD Ryzen 7 6800H  60s
75  68.1%  Leptir SmallNet  AMD Ryzen 7 6800H  30s
74  67.2%  Dragon 3.1 by Komodo Chess 64-bit  AMD Ryzen 7 6800H  30s
72  65.4%  Leptir SmallNet  i7-8750H  30s
72  65.4%  Light 15 dual NNUE  i7-8750H  30s
72  65.4%  Stockfish dev-20230922  i7-8750H  30s
72  65.4%  Berserk 13  AMD Ryzen 7 6800H  60s
66  60.0%  ShashChess 33.2  i7-8750H  30s
65  59.0%  Berserk 13  i7-8750H  60s
57  51.8%  Dragon 3.1 by Komodo Chess 64-bit  i7-8750H  30s
50  45.4%  Berserk 10  AMD Ryzen 7 6800H  30s
46  41.8%  Koivisto 8.0  AMD Ryzen 7 6800H  30s
44  40.0%  LG Revolution 3.17  i7-8750H  30s
41  37.2%  LG Revolution T1  i7-8750H  30s
39  35.4%  Patricia 3.1  AMD Ryzen 7 6800H  60s
37  33.6%  Deep Shredder 13  AMD Ryzen 7 6800H  30s
36  32.7%  LG Revolution T7  AMD Ryzen 7 6800H  60s
32  29.0%  Wasp 5.50 1 CPU  i7-8750H  30s
Parent - - By Peter Martan Date 2024-09-10 13:00 Edited 2024-09-10 13:05
Dabei scheint mir nicht ganz fair beim Vergleich in deiner Liste, Kurt, dass du die Branches, die default schon internen MultiPV- Modus nutzen (wie fast alle über 85% bei dir, wenn ich's richtig sehe) mit single primary anderer (wie z.b. ShashChess) gemeinsam laufen lässt.
Wenn's dich ausreichend interessiert, lass ShashChess nochmals mit MultiPV=4 laufen, wenn du gute Hardware verwendest, (also wenigstens 4 cores oder 8 threads einer wenigstens 3GHz CPU) und mindestens 30"/pos. TC hast (was ja, mir scheint, eine deiner Standard-TCs ist). Die meisten Branches mit internem MultiPV (Random Op. MultiPV heißt er heutzutage meistens in den UCI- Optionen) in deiner Liste haben 2 bis 5 default eingestellt.
Parent - - By Kurt Utzinger Date 2024-09-10 13:42 Upvotes 1
Peter Martan schrieb:

Dabei scheint mir nicht ganz fair beim Vergleich in deiner Liste, Kurt, dass du die Branches, die default schon internen MultiPV- Modus nutzen (wie fast alle über 85% bei dir, wenn ich's richtig sehe) mit single primary anderer (wie z.b. ShashChess) gemeinsam laufen lässt.
Wenn's dich ausreichend interessiert, lass ShashChess nochmals mit MultiPV=4 laufen, wenn du gute Hardware verwendest, (also wenigstens 4 cores oder 8 threads einer wenigstens 3GHz CPU) und mindestens 30"/pos. TC hast (was ja, mir scheint, eine deiner Standard-TCs ist). Die meisten Branches mit internem MultiPV (Random Op. MultiPV heißt er heutzutage meistens in den UCI- Optionen) in deiner Liste haben 2 bis 5 default eingestellt.


Hallo Peter
Ich ändere nichts und lasse alle Engines mit den Default-Werten testen.
Das sollten normalerweise sowieso immer die besten Settings sein.
Und mit Verlaub: ShashChess 35.3 bietet die Option "Random Op MultiPV"
in den Einstellungen gar nicht an. Und wo ich abweichend die Default-Werte
geändert habe, ist das in der Liste vermerkt.
Gruss
Kurt
Parent - By Peter Martan Date 2024-09-10 13:59 Edited 2024-09-10 14:56
Kurt Utzinger schrieb:

Ich ändere nichts und lasse alle Engines mit den Default-Werten testen.
Das sollten normalerweise sowieso immer die besten Settings sein.
Und mit Verlaub: ShashChess 35.3 bietet die Option "Random Op MultiPV"
in den Einstellungen gar nicht an. Und wo ich abweichend die Default-Werte
geändert habe, ist das in der Liste vermerkt.

Schon gut, Kurt, das Schöne an Stellungstests ist, dass sie jeder auf seine Art machen kann und soll, man muss sich nur über die Fragestellung im Klaren sein und darüber, wie die Antworten untereinander oder gar zum game playing vergleichbar sind oder eben nicht.
Dass die default- Einstellungen der Branches, die internen MultiPV anbieten, gleich mit ein paar mehr als einer einzelnen single primary angeboten werden, liegt daran, dass diese Engines vorwiegend für die gängigen Stellungstest- Suiten gebaut sind, und weil ich dachte, du willst Ergebnisse, die mit game playing irgendwie vergleichbar sind, (für derlei Vergleiche nehme ich andere Suiten und Hardware- TCs, vorwiegend MEA, weil da nicht nur single best move geht) würde ich halt mal nicht ein Setting, wie's fürs game playing gedacht ist (in aller Regel bei allen Engines single primary, weil man ja heutzutage anders als mit VSTC keine Partiezahlen mehr zusammenbringt, die nicht hoffnungslos in der error bar versanden) mit einem vergleichen, dass ausdrücklich für taktische single best move- Suiten geplant ist.
ShashChess bringt keine internen MultiPV- Modus mit, ich lasse ihn daher in den Suiten mit taktisch schweren Stellungen und längerer TC (ab 30" multithread) im Fritz mit MultiPV=4 laufen oder im Shredder mit der editierten .eng- Datei
MultiPV=4
, wenn ich sehen will, wie er da mit den MultiPV- Branches gemeinsam abschneidet, oder, wenn ich sehen will, wie's single primary ausschaut, drehe ich bei denen mit internem MultiPV den auch ab, Random Op. MultiPV=1.
Aber wie gesagt, ich will niemandem vorschreiben, wie man Stellungstests am besten macht, so lange mir das bei meinen auch niemand vorschreibt.
Überhaupt rate ich bei solchen Gelegenheiten nach wie vor dazu, lieber mehrere Suiten mit jeweils für den Engine- Pool am besten passenden Hardware- TCs getrennt voneinander laufen zu lassen, als alle möglichen Stellungen, die von der Thematik und der Hardware- TC absolut nicht zusammenpassen, in einer Sammelsuite, solche Ergebnisse von "zu bunten" Suiten sagen dann einfach weniger, als ein paar Runs mit ein paar guten einzelnen Suiten und dazu passender Hardware- TC, auch ist es oft nicht uninteressant, single thread mit dafür mehreren Runs multithread gemittelt zu vergleichen.
Ich verwende Sammlungen von 128 bish 4096 Stellungen, (Ed Schröder mit dem Nachfolge- Tool von MEA namens Temere gleich ganze Datenbanken großer Partiesammlungen in .epd- Format und eigener Syntax) Auswertungstools wie EloStatTS und MEA machen die Ergebnisse, wenn gut durchgeführt, in Summe noch einmal eine Nummer aussagekräftiger, weil sie die Lösungszeiten und oder verschieden hohe Punkte für multiple Lösungen und WDL- Prinzip von Engine zu Engine berücksichtigen und nicht nur die Lösungszahlen pro Engine allein. Damit kann man einen Teil der statistischen Streuung ausgleichen, aber jedenfalls sieht man, wie groß sie relativ zur error bar ist (und nein, die ist hier wie im game playing schachlich nicht dieselbe wie einfach eine Standardabweichung der Lösungsanzahl einer einzelnen oder von ein paar einzelnen Engines, hingegen muss sie, diese jeweilige Suite- Hardware- TC- Engine- Pool abhängige error bar für jeden neuen run neu im Vergleich zu den anderen teilnehmenden Engines neu bestimmt werden, EloStatTS macht das automatisch).
Just my two cents, jetzt halt' ich mich aus weiteren Stellungstest- Diskussionen tunlichst wieder raus, übrigens auch der Grund, warum ich an deinem anderen diesbezüglichen Thread nicht teilnehme.
Sowas machen wir besser per Mail
Parent - - By Max Siegfried Date 2024-09-10 13:06
Hast du eigentlich bei ShashChess 35.3 -> MultiPV 4 eingestellt und High Tal eingeschaltet?
Ich dachte eigentlich das wäre bei der Engine inzwischen allseits bekannt. Entschuldige, ich habe es vorhin vergessen zu erwähnen.
Damit solltest du garantiert deutlich vor Stockfish 17 und 16.1 in deiner Liste landen, auch wenn der alte ShashChess 35.3 auf dem Stockfish 16.1 basiert.

Top Chess Engines Testsuite 2024 v2
1 Minute pro Stellung:

-LC0 v0.31.0 BT4 6147500 MultiPV=4 (11%) 13/115
-LC0 v0.31.0 BT4 6147500 (14%) 17/115
-Stockfish 16.1 (20%) 23/115
-Stockfish 02042024 (45%) 52/115
-Stockfish 16.1 MultiPV=4 (66%) 77/115
-Stockfish 02042024 MultiPV=4 (66%) 77/115 (leider nicht besser als Stockfish 16.1 MultiPV=4)
-Leptir Big-Ultra MultiPV 4 (68%) 79/115
-Leptir Ultra (69%) 80/115
-ShashChess 35 High Tal MultiPV=3 (70%) 81/115
-Leptir Big-Ultra Random Op. MultiPV 4 Plies 21 Score 10000 (72%) 83/115
-ShashChess 35 High Tal MultiPV=4 (73%) 85/115
-Leptir Big-Ultra (74%) 86/115
-Leptir Big-Ultra Random Op. MultiPV 4 Plies 21 (75%) 87/115
-ShashChess 35 High Tal MultiPV=4 (anstatt 8 Kerne: 5 Kerne + MCTS ON mit MCTSThreads = 3) (75%) 87/115
-Leptir Big-Ultra Random Op. MultiPV 4 (76%) 88/115
-ShashChess 34.6 High Tal MultiPV=2 (76%) 88/115
-ShashChess 35 High Tal MultiPV=4 (anstatt 8 Kerne: 7 Kerne + MCTS ON mit MCTSThreads = 1) (77%) 89/115
-ShashChess 34.6 High Tal MultiPV=5 (78%) 90/115
-ShashChess 34.6 High Tal MultiPV=4 (80%) 93/115
-ShashChess 34.6 High Tal MultiPV=3 (80%) 93/115
-ShashChess 35 High Tal MultiPV=4 (anstatt 8 Kerne: 6 Kerne + MCTS ON mit MCTSThreads = 2) (80%) 93/115
https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=169399;hl=Top%20Chess%20Engines%20Testsuite

Wie du sehen kannst, hat ShashChess 35 in der Top Chess Engines Testsuite 2024 v2 ungefähr 4x so viele Stellungen gelöst wie Stockfish 16.1, von insgesamt 115 Stellungen.
Parent - - By Kurt Utzinger Date 2024-09-11 15:33 Edited 2024-09-11 16:18 Upvotes 1
Max Siegfried schrieb:

Hast du eigentlich bei ShashChess 35.3 -> MultiPV 4 eingestellt und High Tal eingeschaltet?
Ich dachte eigentlich das wäre bei der Engine inzwischen allseits bekannt. Entschuldige, ich habe es vorhin vergessen zu erwähnen.
Damit solltest du garantiert deutlich vor Stockfish 17 und 16.1 in deiner Liste landen, auch wenn der alte ShashChess 35.3 auf dem Stockfish 16.1 basiert.

Wie du sehen kannst, hat ShashChess 35 in der Top Chess Engines Testsuite 2024 v2 ungefähr 4x so viele Stellungen gelöst wie Stockfish 16.1, von insgesamt 115 Stellungen.


Hallo Max

Natürlich war nicht MultiPV 4 eingestellt (die Einstellung Random Op. MultiPV gibt es bei ShashChess 35.3 ja gar nicht)
und High Tal erst recht nicht, weil der EN-2023 Test eben nicht nur taktische Stellungen enthält, wo das wirksam sein
könnte. Wahrscheinlich meinst du, den Test im 4-Varianten-Modus (4-V-M) laufen zu lassen, was nicht dasselbe ist wie z.B.
Random Op. MultiPV 4 beim Beast 15 MPV .

Nun hat es mich trotzdem gewundert, weshalb es möglich sein sollte, dass eine Engine im 4-Varianten-Modus
besser abschneiden sollte, werden dabei doch bei gleicher Zeit deutlich geringere Suchtiefen erreicht. So habe
ich auf i7-8750H (60s) vorerst alle nicht gelösten Stellungen von ShashChess 35.3 händisch unter Fritz 17 getestet
im 4-Varianten-Modus. Und tatsächlich, die Engine hat die grosse Mehrzahl der ungelösten Stellungen innert
60 Sekunden gelöst und würde so also mit 103 Lösungen (93.6%) auf i7-8750H (60s) die Spitze übernehmen.
Den ganzen Test im 4-V-M habe ich nicht mehr laufen lassen, aber etwa 20 Positionen ebenfalls händisch
geprüft, wo die Engine eine Lösung erst knapp vor 60 Sek. gefunden hat. Und auch bei diesen Stellungen
war ShashChess 35.3 stets wesentlich schneller. Fazit: Dieses für mich aussergewöhnliche Verhalten von
ShashChess 35.3 kommt mir wie ein Konstruktionsfehler der Engine vor ... oder müssen wir umdenken
und auch andere Engines im 4-V-M testen, um zu sehen, ob diese auch derartige Leistungssprünge nach
oben machen können? Fragen über Fragen.

In der Praxis würde der vorliegende Test bedeuten, dass man ShashChess 35.3 für laufenden Analysen
am besten immer im 4-V-Modus laufen lassen sollte.

Viele Grüsse
Kurt
Parent - - By Martin Steinwandter Date 2024-09-11 17:23
Entschuldige, wenn ich antworte, aber eine Ursache könnte sein, wenn du Shaschess schon einmal den Test hast machen lassen, dass sie gelernt hat. Das bedeutet, dass eine Lösung bereits in der Lerndatei enthalten ist und die Engine deshalb mehr und schneller löst als andere.
Parent - By Kurt Utzinger Date 2024-09-11 17:41 Upvotes 1
Martin Steinwandter schrieb:

Entschuldige, wenn ich antworte, aber eine Ursache könnte sein, wenn du Shaschess schon einmal den Test hast machen lassen, dass sie gelernt hat. Das bedeutet, dass eine Lösung bereits in der Lerndatei enthalten ist und die Engine deshalb mehr und schneller löst als andere.


Hallo Martin
Das könnte ein Grund sein, trifft aber im vorliegenden Fall nicht zu. Denn "Persisted learning" ist/war auf "Off"
und die Box "Read only learning" nicht angehakt. Und deshalb wurde auch nirgends eine Lerndatei abgelegt.
Das Verhalten von ShashChess 35.3 finde ich einmalig, aber entspricht offenbar auch den von Max Siegfried
geschilderten Erfahrungen mit deutlich mehr Lösungen in seinem durchgeführten Test.
Viele Grüsse
Kurt
Parent - - By Max Siegfried Date 2024-09-11 23:56
Damit wäre ShashChess 35.3 bei dir auf dem AMD Ryzen 7 6800H auch auf Platz 1.

"bei gleicher Zeit deutlich geringere Suchtiefen erreicht"
Das Problem besteht darin, dass Stockfish und Co. den ersten Zug und/oder die Züge danach falsch bewerten und dadurch zu für abschneiden und sich auf einen anderen Zug fixieren.
Vorteil: Es gibt im Durchschnitt genauere Züge (im +0.00 bis +0.10 Bereich), da sich auf möglichst wenig Züge fixiert wird um eine möglichst hohe Tiefe zu erreichen. (Die Qualität der Analyse der gesamten Partie steigt an)
Nachteil: Es werden viele (andere) Züge falsch bewertet, was zur Folge hat das Stockfish und Co. entscheidende Sachen übersehen. Dies passiert extrem selten, aber es passiert.

Top Chess Engines Testsuite 2024 v2
1 Minute pro Stellung:
-Stockfish 16.1 (20%) 23/115
-Stockfish 16.1 MultiPV=4 (66%) 77/115

1. Wie gut ist die eigene Hardware?
https://www.cpu-monkey.com/de/compare_cpu-amd_ryzen_7_6800h-vs-intel_core_i7_8750h

https://www.cpu-monkey.com/de/compare_cpu-amd_ryzen_9_9950x-vs-intel_core_i7_8750h

https://www.cpu-monkey.com/de/compare_cpu-amd_ryzen_9_9950x-vs-amd_ryzen_7_6800h

2. Wie oft kommen solche komplizierten Stellungen vor?
Top Chess Engines Testsuite 2024 v2 (aus 10000 Stellungen wurden 115)
und das war noch ShashChess 35 (basiert auf Stockfish 16.1) High Tal MultiPV=4 (anstatt 8 Kerne: 6 Kerne + MCTS ON mit MCTSThreads = 2) (80%) 93/115
Bei Amateuren herrscht totales Chaos und da steht nach jeden Zug der andere Spieler mit +9.00 da. = Da dürfte ShashChess deutlich öfters etwas besonderes entdecken als Stockfish.
Bei starken Spielern macht das kaum Sinn.
Beispiel: Ich kann mich an keine Stellungen aus den von mir analysierten Partien erinnern, wo ShashChess einen Zug gefunden hätte, den Stockfish oder LC0 oder ich nicht gefunden haben.
LC0 läuft auf der GPU
ShashChess auf der CPU und somit müsste Stockfish teilweise oder komplett seine Kerne an ShashChess abgeben.
Da profitiere ich einfach von der besseren (+0.00 bis +0.10) Analyse pro Zug mit Stockfish mehr.

3.Lösung:
LC0 + Stockfish + menschliche Intuition sind schon eine ziemlich gute Mischung.
Wenn man einen AMD EPYC BERGAMO mit 128 Kernen hätte, dann könnte man z.B. 16 Kerne an ShashChess High Tal MultiPV=4 abgeben und ggf. MCTS ON mit MCTSThreads = 2 oder anderes optimieren.
Somit hätten wir eine Stellungs-/Partieanalyse mit einem Team aus:
-Mensch
-7-Steiner Endspieldatenbanken
-LC0 GPU + 2 Kerne CPU
-Stockfish 64 Kerne
-ShashChess 16 Kerne
-Torch v3 32 Kerne, sobald dieser für jeden verfügbar wird, ansonsten bekommt ShashChess deutlich mehr Kerne.
=114 Kerne
=14 Kerne übrig für Windows und weitere Schachengines wie Rybka 4.1, Fritz, Shredder, Hiarcs, Deep Junior Yokohama usw. (Magnus Carlsen Elo bzw. etwas stärker für die Stellungseinschätzungen/Ideen auf menschlicheren Niveau.

http://computerchess.org.uk/ccrl/404FRC/rating_list_all.html

Bei ShashChess ist die Frage, ab wann mehr Kerne nichts bringen.
Ich habe nur mit 8 Kernen getestet.
Detti könnte mit seinem 64 Kerner testen, ob ShashChess mit High Tal MultiPV=4 und ggf. MCTS ON mit MCTSThreads = 2, mehr als 80% mehr als 93/115 bei 60 Sekunden pro Stellung auf seiner Hardware erreicht.
Wenn nicht, dann dürfte klar sein das ShashChess mit mehr Bedenkzeit die Züge schneller findet, aber er findet nicht "mehr" Züge.
Parent - - By Kurt Utzinger Date 2024-09-12 08:51 Edited 2024-09-12 09:00 Upvotes 2
Max Siegfried schrieb:

Damit wäre ShashChess 35.3 bei dir auf dem AMD Ryzen 7 6800H auch auf Platz 1.

"bei gleicher Zeit deutlich geringere Suchtiefen erreicht"
Das Problem besteht darin, dass Stockfish und Co. den ersten Zug und/oder die Züge danach falsch bewerten und dadurch zu für abschneiden und sich auf einen anderen Zug fixieren.
Vorteil: Es gibt im Durchschnitt genauere Züge (im +0.00 bis +0.10 Bereich), da sich auf möglichst wenig Züge fixiert wird um eine möglichst hohe Tiefe zu erreichen. (Die Qualität der Analyse der gesamten Partie steigt an)
Nachteil: Es werden viele (andere) Züge falsch bewertet, was zur Folge hat das Stockfish und Co. entscheidende Sachen übersehen. Dies passiert extrem selten, aber es passiert.

Top Chess Engines Testsuite 2024 v2
1 Minute pro Stellung:
-Stockfish 16.1 (20%) 23/115
-Stockfish 16.1 MultiPV=4 (66%) 77/115
[...]
Bei ShashChess ist die Frage, ab wann mehr Kerne nichts bringen.
Ich habe nur mit 8 Kernen getestet.
Detti könnte mit seinem 64 Kerner testen, ob ShashChess mit High Tal MultiPV=4 und ggf. MCTS ON mit MCTSThreads = 2, mehr als 80% mehr als 93/115 bei 60 Sekunden pro Stellung auf seiner Hardware erreicht.
Wenn nicht, dann dürfte klar sein das ShashChess mit mehr Bedenkzeit die Züge schneller findet, aber er findet nicht "mehr" Züge.


Hallo Max
Ob all dieser Erkenntnisse bin ich leicht erschüttert. In einem Kurztest mit
Rems 150824 (EN-2023: 102, 92.7%) habe ich nun auch die ungelösten
Stellungen im MultiPV=4 (4-Varianten Modus) geprüft. Und siehe da, nur
gerade 2 der fraglichen 15 Stellungen wurden nicht innert 60s gelöst. Das
heisst, Rems 150824 würde deshalb mit 108/98.1% die Spitze in meiner
Rangliste auf i7-8750H übernehmen. Ob solche Tests mit Engines, die
Random Op. MultiPV unterstützen und bei denen diese Option aktiv ist,
auch Sinn machen oder im MultiPV=4 Modus den gleichen Zuwachs an
Lösungen bringt, müsste untersucht werden. Provisorisches FAZIT:
Für die Analyse von Stellungen scheint der MultiPV=4 Modus deutlich
schnellere und viel mehr Lösungen zu bringen. Leider ist das im praktischen
Spiel zwischen zwei Engines aber bedeutungslos, denn MultiPV=4 kann
ja hier nicht verwendet werden. Ebensowenig, wenn ein Mensch unter
Zuhilfenahme einer GUI Partien gegen Engines spielen will. Und aus diesen
Gründen macht es eigentlich keinen Sinn, eine Rangliste für Testsuites
zu erstellen mit Lösungen, die auf MultiPV=4 basieren, oder?
Viele Grüsse
Kurt
Parent - - By Max Siegfried Date 2024-09-13 15:00
Man kann immer unterschiedliche Testsuites führen oder alles in einer Testsuite zusammenfassen und entsprechend markieren.
Andere Experten können dir bestimmt auch noch so einiges dazu erzählen.

Hast du zufällig schon die neueste Version von Rems MPV Sep24, auf der verlinkten Seite ganz unten zum Download, getestet?
https://solistachess.jimdosite.com
Hat jemand eine funktionierende Version für Apple Silicon als Download zur Hand?
Parent - By Kurt Utzinger Date 2024-09-13 23:07 Upvotes 1
Max Siegfried schrieb:

Man kann immer unterschiedliche Testsuites führen oder alles in einer Testsuite zusammenfassen und entsprechend markieren.
Andere Experten können dir bestimmt auch noch so einiges dazu erzählen.

Hast du zufällig schon die neueste Version von Rems MPV Sep24, auf der verlinkten Seite ganz unten zum Download, getestet?
<a class='ura' href='https://solistachess.jimdosite.com'>https://solistachess.jimdosite.com</a>
Hat jemand eine funktionierende Version für Apple Silicon als Download zur Hand?


Hallo Max
Nein, habe ich noch nicht. Meine Rangliste der besten Engines, die auf beiden Rechnern tätig waren, sieht jetzt wie folgt aus:

Code:
Resultat  Prozent  Progamm  CPU  Zeit  i7 + AMD
104  94.5%  Light 29 MPV-avx2  AMD Ryzen 7 6800H  60s  205
104  94.5%  Rems 150824, MultiPV=2 (2VM)  i7-8750H  60s  208
104  94.5%  Rems 150824, MultiPV=2 (2VM)  AMD Ryzen 7 6800H  60s  208
104  94.5%  Rems MPV 150824  AMD Ryzen 7 6800H  60s  200
103  93.6%  Beast 15 MPV-avx2  AMD Ryzen 7 6800H  60s  204
102  92.7%  Rems 150824  AMD Ryzen 7 6800H  60s  197
101  91.8%  Beast 15 MPV-avx2  i7-8750H  60s  204
101  91.8%  Light 29 MPV-avx2  i7-8750H  60s  205
98  89.0%  ShashChess 35.3, MultiPV=4 (4VM)  i7-1065G7  60s  196
98  89.0%  ShashChess 35.3, MultiPV=4 (4VM)  AMD Ryzen 7 6800H  60s  196
96  87.2%  Rems MPV 150824  i7-8750H  60s  200
95  86.3%  Rems 150824  i7-8750H  60s  197
93  84.5%  ShashChess 35.3  AMD Ryzen 7 6800H  60s  179
92  83.6%  Stockfish 16.1 (reference engine)  AMD Ryzen 7 6800H  60s  175
86  78.1%  ShashChess 35.3  i7-8750H  60s  179
83  75.4%  Stockfish 16.1 (reference engine)  i7-8750H  30s  175

Gruss
Kurt
Parent - - By Reinhold Stibi Date 2024-09-08 07:19
Stockfish 17 SE bei Solista erreichte beim HTC 114 auf meinem schnellen 8 Kerner PC

72 gelöste Stellungen, das ist ein normales gutes Ergebnis für Stockfish.

Um ein abschließendes Urteil über die Engine zu bilden müsste diese noch gründlich
untersucht werden.
Parent - By Kurt Utzinger Date 2024-09-08 16:32
Reinhold Stibi schrieb:

Stockfish 17 SE bei Solista erreichte beim HTC 114 auf meinem schnellen 8 Kerner PC

72 gelöste Stellungen, das ist ein normales gutes Ergebnis für Stockfish.

Um ein abschließendes Urteil über die Engine zu bilden müsste diese noch gründlich
untersucht werden.


Im ENET-2023 Test ist Stockfish 17 gar einen Tick (Punkt) schlechter als Stockfish 16.1.
Überhaupt fällt auf, dass die SF's bei Testsuites spürbar schlechter abschneiden als
die starken SF Derivate.
Gruss
Kurt
Parent - - By Lothar Jung Date 2024-09-08 18:29 Upvotes 1
Genau daran sieht man, dass die Suites nicht zur Spielstärkeeinschätzung taugen.
Parent - By Reinhold Stibi Date 2024-09-08 18:55
Die Suites taugen hauptsächlich für die Einschätzung ob eine Engine taktisch
sehr gut ist.
Die praktische Spielstärke lässt sich bedingt im Internet z.B. auf Schach.de feststellen.
Habe da ja erst kürzlich wieder eine taktische Schwäche von Lc0 aufgedeckt.

Genaue praktisch Spielstärke lässt sich nur durch Vorgabe-Eröffnungen wie z.B.
bei Stefan Pohl oder durch TCEC feststellen.

Stellungstests mit taktischen High-Lights machen mehr Freude als die Feststellung
dass z.B. Stockfish um ca. 50 Elo besser ist als Lc0 durch die Eröffnungsvorgabeturniere ist.
Parent - By Max Siegfried Date 2024-09-08 19:04
Also die TCET2024v2:
https://www.mediafire.com/file/cypaz2t0yanouob/Top_Chess_Engines_Testsuite_2024_v2.pgn/file

zeigt ganz deutlich an, dass Stockfish 17 stärker ist als Stockfish 16.
Stockfish 17 löst deutlich mehr Aufgaben.
Von daher würde ich behaupten, dass mit dieser Testsuite alles stimmt.
Ich kann ja nichts dafür, wenn hier gewisse Leute steinalte Testsuites benutzen und sich dann über die Ergebnisse wundern (mich wundert nur das sich die Leute wundern) und tatsächlich glauben, dass Stockfish 16 stärker sei.     
Dabei ist die Lösung so einfach
Parent - By Andreas Mader Date 2024-09-08 19:07 Upvotes 1
Lothar Jung schrieb:

Genau daran sieht man, dass die Suites nicht zur Spielstärkeeinschätzung taugen.


Ich finde es immer wieder spannend, wenn nach dem Durchlauf einer Testsuite im Brustton der Überzeugung behauptet wird, eine Engine habe sich nicht verbessert, obwohl die Entwickler einen gar nicht so kleinen ELO-Zuwachs errechnet haben.
Parent - - By Kurt Utzinger Date 2024-09-08 19:51 Upvotes 1
Lothar Jung schrieb:

Genau daran sieht man, dass die Suites nicht zur Spielstärkeeinschätzung taugen.


Hallo Lothar
Da dürften die Meinungen auseinandergehen. Tests aufgrund von Partien
zwischen Stockfish 16.1 oder Stockfish 17 und starken SF-Derivaten liegen
meines Erachtens praktisch keine vor. Dieser Aufgabe sollte sich jemand
wirklich mal annehmen. Da meine schachliche Tätigkeit sich zu mehr als 80%
mit der Analyse von Partien beschäftigt und ich hier sehe, dass SF-Derivate
wie Beast 15 MPV-avx2, Light 29 MPV, Rems MPV 150824, usw. viele starken
Züge deutlich schneller als Stockfish auf den Schirm bringen, zweifle ich,
dass z.B. Stockfish 16.1 in einem Match über viele Partien gegen solche
SF-Derivate die Oberhand behalten würde. Ein kleiner Test von mir über
nur 200 Partien 10m+5s mit UHO_2024_6mvs_+105_+114 Eröffnungen
hat dem Stockfish 16.1 gegen Beast 15 MPV-avx2 eine Niederlagen von
92,5-107,5 beschert.
Gruss
Kurt  
Parent - By Max Siegfried Date 2024-09-09 01:05
Kurt Utzinger schrieb:

Lothar Jung schrieb:

Genau daran sieht man, dass die Suites nicht zur Spielstärkeeinschätzung taugen.


<code>Hallo Lothar
Da dürften die Meinungen auseinandergehen. Tests aufgrund von Partien
zwischen Stockfish 16.1 oder Stockfish 17 und starken SF-Derivaten liegen
meines Erachtens praktisch keine vor. Dieser Aufgabe sollte sich jemand
wirklich mal annehmen. Da meine schachliche Tätigkeit sich zu mehr als 80%
mit der Analyse von Partien beschäftigt und ich hier sehe, dass SF-Derivate
wie Beast 15 MPV-avx2, Light 29 MPV, Rems MPV 150824, usw. viele starken
Züge deutlich schneller als Stockfish auf den Schirm bringen, zweifle ich,
dass z.B. Stockfish 16.1 in einem Match über viele Partien gegen solche
SF-Derivate die Oberhand behalten würde. Ein kleiner Test von mir über
nur 200 Partien 10m+5s mit UHO_2024_6mvs_+105_+114 Eröffnungen
hat dem Stockfish 16.1 gegen Beast 15 MPV-avx2 eine Niederlagen von
92,5-107,5 beschert.
Gruss
Kurt  
</code>


Die Derivate basieren doch auf Stockfish 17 Devs.
Obwohl Stockfish 17 Devs. schwächer sind als Stockfish 17, sind die Versionen trotzdem stärker als Stockfish 16.1.
Von daher sollte klar sein das diese Derivate gegen Stockfish 16.1 gewinnen.

Mich würde eher ein Vergleich interessieren, zwischen Stockfish 17 und den Derivaten, welche auf der offiziellen Stockfish 17 Version basieren.
Wie oft kommen UHO ähnliche Stellungen in menschlichen Schachpartien bei langer Bedenkzeit vor, auf sagen wir Großmeisterniveau?
Wenn man die Engines die 20 möglichen Eröffnungszüge beidseitig spielen lässt, dann gewinnt Stockfish 17 immer gegen die Derivate.
Du könntest deinen kleinen Test mit Stockfish 17 wiederholen und das Ergebnis sollte Spiegelverkehrt aussehen.
Parent - By Peter Weise Date 2024-09-09 08:35 Upvotes 1
Reinhold Stibi schrieb:

Traurig aber wahr. Stockfish 17 ist analytisch sehr schlecht.
Im HTC 114 Test mit meinem langsamen 8 Kerner PC nur ganz dürftige
55 Stellungen gelöst.
...


Was nur beweißt, daß all diese "Resultate" aus Testsuites rein gar nichts aussagen!
Parent - By Max Siegfried Date 2024-09-07 17:31
Man hätte noch 1-2 Monate warten können in Richtung Weihnachten und dann +50 Elo veröffentlichen.
Parent - - By Kurt Utzinger Date 2024-09-07 19:13
Hallo Reinhold
Danke für den Hinweis. Sehr lästig aber: Der neue Stockfish 17 zeigt den jeweils gerade
untersuchten Zug erst (spät) ab einer bestimmten Suchtiefe an. Bei mir üblicherweise
bei ST 37. Eduard Nemeth hat dieses für mich nicht akzeptable Verhalten auf seiner
Homepage geschildert. Ein Grund für mich SF 17 so nicht zu nutzen, sondern nur
Stockfish 17 SE by Solista von Eduard zu nehmen.
Viele Grüsse
Kurt
Parent - - By Jörg Oster Date 2024-09-07 19:34
Ja Kurt, was soll ich dazu sagen.
Ich finde das auch mehr als merkwürdig, um nicht zu sagen unverständlich.

Aber anstatt auf einen Fork auszuweichen, warum nicht einen issue auf github eröffnen.
Wenn sich genügend Leute anschließen bin ich mir sicher, dass das wieder geändert wird.

P. S. Ah, es gab dort schon mal einen. Ich habe mal was reingeschrieben. Mal schauen ...
       Siehe https://github.com/official-stockfish/Stockfish/issues/5525
Parent - By Kurt Utzinger Date 2024-09-07 19:47 Upvotes 1
Jörg Oster schrieb:

Ja Kurt, was soll ich dazu sagen.
Ich finde das auch mehr als merkwürdig, um nicht zu sagen unverständlich.

Aber anstatt auf einen Fork auszuweichen, warum nicht einen issue auf github eröffnen.
Wenn sich genügend Leute anschließen bin ich mir sicher, dass das wieder geändert wird.

P. S. Ah, es gab dort schon mal einen. Ich habe mal was reingeschrieben. Mal schauen ...
       Siehe <a class='ura' href='https://github.com/official-stockfish/Stockfish/issues/5525'>https://github.com/official-stockfish/Stockfish/issues/5525</a>


Hallo Jörg
Habe jetzt dort unsere Wünsche auch deponiert.
Gruss
Kurt
Up Topic Hauptforen / CSS-Forum / Ach, da schau an Stockfish 17 ist erschienen !
1 2 Previous Next  

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill