Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Wie schnell ist Stockfish auf eurer Hardware mit dem standard Stockfish "bench"?
- - By Max Siegfried Date 2023-08-12 16:16
1)
Neuesten Stockfish vom 11.08.2023 herunterladen.
https://github.com/official-stockfish/Stockfish/releases?q=prerelease%3Atrue
https://abrok.eu/stockfish/
oder selbst kompilieren: https://github.com/official-stockfish/Stockfish/tree/8192945870967fb9c8801247d0b040b2bc657443

2)
Doppelklick auf Stockfish.exe

3)
bench einfügen und Entertaste drücken.

4)
Euer Ergebnis:
Total time (ms): ....?
Nodes searched: ....?
Nodes/second: ....?
Cores/Threads: 128 Threads? 
Extension: AVX2? 
OS: Windows 10?
Parent - By Patrick Götz Date 2023-08-16 21:40 Upvotes 3
Du hast doch selbst ein paar Computer. Warum fängst du mit denen nicht an und schreibst hier deren Werte?
Parent - - By Benno Hartwig Date 2023-08-17 20:51 Edited 2023-08-17 21:38 Upvotes 1
Hier die Werte auf meinem kleinen Notebook, welches vor allem durch Handlichkeit und Stromsparsamkeit besticht:

Total time (ms)  : 5937
Nodes searched   : 1493904
Nodes/second     : 251626
Cores/Threads    : 4 Kerne, 8 Threads  (Ich weiß aber nicht, wie "bench" damit tatsächlich umgeht)
CPU              : Intel(R) Core(TM) i5-1035G4 CPU @ 1.10GHz   1.50 GHz  (Ich finde, diese Info ist auch interessant)
Extension        : bmi2
OS               : Windows 11

Sehr übersichtliche Werte.
Was ich schachlich frage, beantwortet mir das System meist aber ausreichend schnell.
Parent - By Thomas Plaschke Date 2023-08-17 21:19 Upvotes 2
"bench" lässt sich mit einigen Parametern modifiziert ausführen. Nur "bench" entspricht dem Aufruf bench 16 1 13 default depth. Bis zum Verzicht auf die HCE konnte man die Bewertungsfunktion noch auswählen (mixed classical und pure). Die Parameter bedeuten:16 Hashspeicher in MB, 1 Thread und 13 Hz Rechentiefe.

VG
Th. Plaschke
Parent - - By Max Siegfried Date 2023-08-17 22:34
Benno Hartwig schrieb:

Hier die Werte auf meinem kleinen Notebook, welches vor allem durch Handlichkeit und Stromsparsamkeit besticht:

<code>Total time (ms)  : 5937
Nodes searched   : 1493904
Nodes/second     : 251626
Cores/Threads    : 4 Kerne, 8 Threads  (Ich weiß aber nicht, wie "bench" damit tatsächlich umgeht)
CPU              : Intel(R) Core(TM) i5-1035G4 CPU @ 1.10GHz   1.50 GHz  (Ich finde, diese Info ist auch interessant)
Extension        : bmi2
OS               : Windows 11</code>

Sehr übersichtliche Werte.
Was ich schachlich frage, beantwortet mir das System meist aber ausreichend schnell.


Stimmt die CPU Info ist durchaus sehr interessant.

In deinem Fall sollte der Bench so aussehen: bench 16 8 13 default depth
Weil bei deiner CPU 8 Threads vorhanden sind.
Das sollte für deutlich bessere Ergebnisse sorgen.
Parent - - By Benno Hartwig Date 2023-08-18 06:47 Upvotes 1
Mit bench 16 8 13 sind die Ergebnisse schlechter reproduzierbar.
Wir haben verschiedene Werte für "nodes searched", diese ind auch deutlich größer als beim einfachen "bench"
Aber die Werte für Nodes/second sind natürlich deutlich besser.

Total time (ms) : 6101
Nodes searched  : 10345727
Nodes/second    : 1695742

Total time (ms) : 6692
Nodes searched  : 11266086
Nodes/second    : 1683515

Total time (ms) : 6467
Nodes searched  : 10639339
Nodes/second    : 1645173

Total time (ms) : 6515
Nodes searched  : 10989827
Nodes/second    : 1686849

Total time (ms) : 5946
Nodes searched  : 9965422
Nodes/second    : 1675987
Parent - - By Max Siegfried Date 2023-08-18 18:03
Herzlich Glückwunsch.
Aktuell bist du der Schnellste hier.
Parent - - By Benno Hartwig Date 2023-08-18 19:43 Upvotes 1
Parent - By Max Siegfried Date 2023-08-19 17:59
Benno Hartwig schrieb:




Jetzt nicht mehr. Siehe meinen Beitrag ganz unten.

Immerhin hast du einen Laptop für Schach und weist ganz genau wie schnell dieser ist.
Ganz im Gegensatz zu den anderen Forumsmitgliedern die deutlich langsamere Geräte haben.
- - By Lothar Jung Date 2023-08-17 10:05
Das hier ist viel relevanter, auch mit Ergebnissen:

https://openbenchmarking.org/test/pts/stockfish&eval=ce63817a02e99e8cf94a5b04177912d6fb69958b
Parent - - By Max Siegfried Date 2023-08-17 14:48
Lothar Jung schrieb:

Das hier ist viel relevanter, auch mit Ergebnissen:

<a class='ura' href='https://openbenchmarking.org/test/pts/stockfish&eval=ce63817a02e99e8cf94a5b04177912d6fb69958b'>https://openbenchmarking.org/test/pts/stockfish&eval=ce63817a02e99e8cf94a5b04177912d6fb69958b</a>


Ist es nicht -> Stockfish 15
Parent - - By Lothar Jung Date 2023-08-17 16:46
Stockfish 16 ist relativ jung.
Neue Daten für alle Hardwaresysteme brauchen Zeit.
Die Relation bleibt jedoch bestehen.
Also relevanter.
Parent - - By Max Siegfried Date 2023-08-17 19:58
Lothar Jung schrieb:

Stockfish 16 ist relativ jung.
Neue Daten für alle Hardwaresysteme brauchen Zeit.
Die Relation bleibt jedoch bestehen.
Also relevanter.


2021-10-28 Stockfish 14.1 https://stockfishchess.org/blog/2021/stockfish-14-1/
2022-04-18 Stockfish 15 https://stockfishchess.org/blog/2022/stockfish-15/
2023-06-30 Stockfish 16 https://stockfishchess.org/blog/2023/stockfish-16/
Stockfish 17 Dev. hat bereits 72 Versionen nach Stockfish 16. https://abrok.eu/stockfish/?page=1

= Stockfish 16 ist relativ alt. Stockfish 15 ist mit fast anderthalb Jahren Steinzeit und Stockfish 14.1 ist als die Erde entstand.
Die Liste https://openbenchmarking.org/test/pts/stockfish&eval=ce63817a02e99e8cf94a5b04177912d6fb69958b zeigt die Performance von Stockfish 15 auf der jeweiligen Hardware an. Nur interessiert sich heutzutage niemand mehr für die Leistung von Stockfish 15 auf irgendeiner Hardware.
Das kann man so nicht 1 zu 1 mit Stockfish 17 Devs. auf der Hardware vergleichen.
Eine so alte Liste kann gar nicht relevanter sein als eine aktuelle Liste.
Siehe Stockfish 17 Dev. vs Stockfish 17 Dev nachfolgende Version +75,63% Geschwindigkeitszuwachs auf Apple Geräten.
Wenn man nach der Liste mit Stockfish 15 geht die du gepostet hast, dann sind ARM CPUs sehr schlecht.
Wenn man sich Stockfish 17 Dev. auf ARM CPUs anschaut, dann sind diese sehr gut und noch besser wenn es Apples ARM CPUs sind.
Parent - - By Lothar Jung Date 2023-08-17 20:24
Du springst zwischen Versionen. Das ist kontraproduktiv.
Du brauchst eine Basis. Um statistische Unterschiede festzustellen.
Alles andere ist laienhaft und falsch.
Das ist jetzt alles!
Parent - By Max Siegfried Date 2023-08-18 16:50
Lothar Jung schrieb:

Du springst zwischen Versionen. Das ist kontraproduktiv.
Du brauchst eine Basis. Um statistische Unterschiede festzustellen.
Alles andere ist laienhaft und falsch.
Das ist jetzt alles!


Ich: Neuesten Stockfish vom 11.08.2023 herunterladen.

Du: Stockfish 15 https://openbenchmarking.org/test/pts/stockfish&eval=ce63817a02e99e8cf94a5b04177912d6fb69958b und Stockfish 16 ist relativ jung.

= Du springst zwischen den Versionen und das ist kontraproduktiv.

Danke das du mir beim Rest zustimmst.
Basis:
-Stockfish vom 11.08.2023 https://github.com/official-stockfish/Stockfish/tree/8192945870967fb9c8801247d0b040b2bc657443
-Netz 23-06-26 04:55:11  nn-c38c3d8d3920.nnue https://tests.stockfishchess.org/nns
-Bench 16 10 13 default depth, wobei die Zahl in der Mitte den maximal verfügbaren Threads eurer CPU entspricht.
-Von mir aus kann jeder auch bench 16 1 13 default depth testen. Dann haben wir die Leistungswerte für die minimale und maximale Leistung.

(Es dauert nur noch wenige Monate bis Stockfish 17 erscheint. Dann wird hier im Forum eine neue Liste für Stockfish 17 gemacht. Später für Stockfish 18, 19 usw.)
Es werden sowieso neue Laptops mit ARM CPUs von AMD und Intel erscheinen und wir wollen doch die +100% Geschwindigkeitszuwächse für ARM CPUs darstellen.
Parent - - By Max Siegfried Date 2023-08-17 14:54
Interessant ist aber durchaus:

Stockfish 15
Ampere ARMv8 Neoverse-N1 256-Core  91st  5  141773878 +/- 19406257
vs
ipmanchess Stockfish 14.1:
85.835.086  AWS Graviton3 / arm64 @2.6Ghz  64threads  ARMv8  vondele  L

Sieht so aus als ob es schon mal eine ungefähr +75% Steigerung gab auf ARM CPUs nach Stockfish 14.1.
Somit fehlt den Stockfischen in der Liste von ipmanchess die sehr alte und seit langen vorhandene +75% Steigerung.
Parent - - By Lothar Jung Date 2023-08-17 16:47
Wer hat denn so etwas??
Parent - - By Max Siegfried Date 2023-08-18 18:15
Basis:
-Stockfish vom 11.08.2023 https://github.com/official-stockfish/Stockfish/tree/8192945870967fb9c8801247d0b040b2bc657443
-Netz 23-06-26 04:55:11  nn-c38c3d8d3920.nnue https://tests.stockfishchess.org/nns

Benno Hartwig schrieb:

bench 16 1 13 default depth
Total time (ms)  : 5937
Nodes searched   : 1493904
Nodes/second     : 251626

bench 16 8 13 default depth
Total time (ms) : 6101
Nodes searched  : 10345727
Nodes/second    : 1695742
Cores/Threads    : 4/8
CPU              : Intel(R) Core(TM) i5-1035G4 CPU @ 1.10GHz   1.50 GHz
Extension        : bmi2
OS               : Windows 11


Max Siegfried schrieb:

bench 16 1 13 default depth
Total time (ms) : 1251
Nodes searched  : 1573024
Nodes/second    : 1257413

bench 16 10 13 default depth
Total time (ms) : 928
Nodes searched  : 12383931
Nodes/second    : 13344753
Cores/Threads   : 10/10
CPU             : Apple M1 MAX @3.23Ghz ddr5 6400
Extension       : pop-neon-dotprod
OS              : macOS Ventura 13.4.1 (C)
Parent - - By Benno Hartwig Date 2023-08-19 18:34 Upvotes 1
Habe ich doch richtig verstanden: in beiden Fällen wir bis Tiefe 13 gerechnet. Richtig?

Mich verblüfft, dass der Lauf mit nur einem Thread bei mir weniger Zeit braucht als der mit 8 Threads.
Bei dir ging es mit 10 Threads schon ein wenig schneller als mit 1 Thread, aber nicht annähernd so schnell, wie man es bei der größeren Rechenleistung erwarten könnte
Aber sehr deutlich mehr Knoten wurden mit mehreren Threads dann natürlich schon durchlaufen.

Ist es dann so, dass dieses Mehr an Rechenleistung genutzt wird, um "breiter" zu rechnen, tatsächlich nicht unbedingt um mehr Tiefe zu bekommen?
Was auch immer dieses "breiter rechnen" ganz konkret bedeutet, wie dieses "breiter" dann tatsächlich spielstärkesteigern genutzt wird.
Parent - By Thomas Plaschke Date 2023-08-19 23:13 Upvotes 1
Ich hatte im April ein wenig getestet, um etwas über die Abhängigkeiten von Threadanzahl, Knotenleistung und Lösungsgeschwindigkeit zu erfahren. Ich hatte es damals hier nicht vorgestellt, um keine neue Diskussion zur Frage "Wie viele Threads soll man einstellen?" ins Leben zu rufen. Ich stelle das Ergebnis insofern rein informativ vor und ermutige zu nichts. Schlüsse kann jeder selbst ziehen. Insbesondere zur Frage, ob dem Betriebssystem ein, zwei Threads übrig gelassen werden sollten. (Wenn man schon mehr Threads als Kerne nutzt: Nein, das ist überflüssig! )
Code:

Version: Stockfish dev-BMI2 25.04.2023
Aufruf:  bench 1024 <Threads> 23 default depth mixed
Intel-CPU (i9- 7980XE im "Normalzustand" mit 2,6 GHz) mit 18 cores und Hyperthreading.

Für jede Ergebniszeile wurde Stockfish 3mal aufgerufen und mit dem arithmetischen Mittel gerechnet.
Es war sichergestellt, dass die CPU bis 18 Threads nur ein (Stockfish-)Thread pro Kern zuließ.

    Threads     Zeit   kilo Nodes      kNps      +/th       rel. +/th     Nps (rel.)   Bbr t   Bbr Nps     Bbr n
         1     59,32      115.667     1.951      100%            100%         100%        7%        7%        0%
         2     47,27      195.886     4.145       20%            112%         212%        7%        4%        3%
         4     40,00      317.946     7.949       11%            102%         407%       10%        0%       10%
         8     32,57      525.639    16.137        6%            104%         827%       13%        0%       13%
        12     28,96      707.998    24.456        5%            105%        1253%       11%        3%        8%
        16     26,75      828.558    30.993        4%             99%        1588%       14%        4%       13%
        18     27,07      904.863    33.422        3%             95%        1712%        3%        2%        4%
        24     34,35    1.323.258    38.494        2%             81%        1972%        8%        7%       14%
        28     33,82    1.373.339    40.615        2%             73%        2081%        5%        2%        5%
        30     31,83    1.304.524    40.973        2%             69%        2099%        9%        3%       12%
        32     32,76    1.357.827    41.447        1%             65%        2124%        4%        2%        6%
        36     34,77    1.566.676    45.010        1%             63%        2306%        8%        9%       16%

Legende
---------

Threads ...: Anzahl der Threads im Aufruf von bench.
Zeit ......: Zeitangabe des Programms in Sekunden bis zum Ende der Berechnungen.
kilo Nodes : Angabe des Programms zur Anzahl der berechneten Knoten.
kNps ......: kilo Nodes dividiert durch die Zeitangabe.
+/th ......: Zeit pro Thread im Verhältnis zum Aufruf mit einem Thread. Bspw. sind 4 Threads zwar nach 67% der Zeit eines Laufs mit nur einem Thread fertig. Der Zugewinn durch 3 weitere Threads liegt damit, bezogen auf die Lösungszeit, pro Thread bei 11%.
Nps +/th ..: Dasselbe wie +/th, aber bezogen auf Nps.
Nps (rel.) : Nps relativ zu den absoluten Werten. Wie viel Nps wurden im Verhältnis zu 1 Thread geschafft.

Die Berechnungen wurden mit Mittelwerten durchgeführt. Die Prozentzahlen geben das Verhältnis der Differenz von Maximalwert und Minimalwert zum arthmetischen Mittel der drei gemessenen Werte als Bandbreite (Bbr) an. Bei identischen Werten kommt 0 % heraus.
Bbr t .....: Bandreite der Testdauer.
Bbr Nps ...: Bandreite der Knoten pro Sekunde.
Bbr n .....: Bandreite der Anzahl der berechneten Knoten. Nur bei 1 Thread sind die Werte aller drei Durchläufe identisch und die Bandreite 0 % (siehe Tabelle). Ab 2 Threads ist die Suche nicht mehr deterministisch und die Werte unterscheiden sich zum Teil sehr deutlich.


Nach den Lösungszeiten sind 16 oder 18 Threads die beste Wahl für diesen Prozessor. Geht man nach der Spielstärke zeigen (andere) Tests die Tendenz, dass man durch die zusätzlichen Threads des Hyperthreadings noch etwas Spielstärke gewinnen kann. Ich bezweifle aber, dass man nach diesen Ergebnissen dafür alle möglichen Threads einsetzen sollte. Die Rechnung "Mehr Knoten pro Sekunde, mehr Spielstärke!" scheint nicht ganz zu stimmen. Das "breiter Rechnen" bringt bezogen auf die Rechentiefe offensichtlich keine Vorteile. Anscheinend eher das Gegenteil. - Und wie die Ergebnisse von CPUs mit P- und E-Kernen, gewürzt mit HT, zu würdigen wären ...

Viele Grüße
Th. Plaschke
Up Topic Hauptforen / CSS-Forum / Wie schnell ist Stockfish auf eurer Hardware mit dem standard Stockfish "bench"?

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill