Stockfish SMP Verbesserung

By Andreas Strangmüller Date 2015-02-20 16:38 Upvotes 2

Anbei meine bisherigen Tests zum Thema Stockfish SMP improvement.
Ab 8 Threads ist eine Steigerung messbar. Wie hoch diese ausfällt ist allerdings scheinbar ziemlich hardwareabhängig.
Der direkte Vergleich gegen Komodo 8 bei 16 Kernen (+ 12 Elo) ist eher ernüchternd, da ja auch eventuelle Verbesserungen seit Stockfish 6 miteingeflossen sind.

Intel Xeon E5-2666v3 @ 2.9 GHz

SF6SMP = SMP improvement attempt for >8 threads
SF6    = Stockfish 160215 64 BMI2

T4  =  4 Threads
T8  =  8 Threads
T16 = 16 Threads
T32 = 32 Threads

128 MB Hash

TC = Time control, ' = Minuten, " = Sekunden

TC = 60" + 0.05"

    Program      Elo    +   -   Games   Score   Av.Op.  Draws
 ---------------------------------------------------------------
  1 SF6SMP T4  : 3000   14  14   625    50.1 %   3000   75.2 %
  2 SF6 T4     : 3000   14  14   625    49.9 %   3000   75.2 %

Result     : 313.0/625 (+78,=470,-77)
Perf.      : 50.1 %
Elo        : 3001

---------------------------------------------------------------

TC = 60" + 0.05"

    Program      Elo    +   -   Games   Score   Av.Op.  Draws
 ---------------------------------------------------------------
  1 SF6SMP T8  : 3011   18  18   351    53.1 %   2989   74.9 %
  2 SF6 T8     : 2989   18  18   351    46.9 %   3011   74.9 %

Result     : 186.5/351 (+55,=263,-33)
Perf.      : 53.1 %
Elo        : 3022

---------------------------------------------------------------

TC = 3" + 0.05"

    Program       Elo    +   -   Games   Score   Av.Op.  Draws
 ----------------------------------------------------------------
  1 SF6SMP T16  : 3023   16  16   700    56.6 %   2977   61.6 %
  2 SF6 T16     : 2977   16  16   700    43.4 %   3023   61.6 %

Result     : 396.5/700 (+181,=431,-88)
Perf.      : 56.6 %
Elo        : 3046

---------------------------------------------------------------

TC = 15" + 0.05"

    Program       Elo    +   -   Games   Score   Av.Op.  Draws
 ----------------------------------------------------------------
  1 SF6SMP T16  : 3017   21  20   250    55.0 %   2983   77.2 %
  2 SF6 T16     : 2983   20  21   250    45.0 %   3017   77.2 %

Result     : 137.5/250 (+41,=193,-16)
Perf.      : 55.0 %
Elo        : 3035

---------------------------------------------------------------

TC = 60" + 0.05"

    Program       Elo    +   -   Games   Score   Av.Op.  Draws
 ----------------------------------------------------------------
  1 SF6SMP T16  : 3022   20  19   250    56.4 %   2978   78.4 %
  2 SF6 T16     : 2978   19  20   250    43.6 %   3022   78.4 %

Result     : 141.0/250 (+43,=196,-11)
Perf.      : 56.4 %
Elo        : 3045

---------------------------------------------------------------

TC = 5" + 0.05"

    Program                       Elo    +   -   Games   Score   Av.Op.  Draws
 --------------------------------------------------------------------------------
  1 Stockfish 15021621 SMP T32  : 3111   35  34   250    78.2 %   2889   38.8 %
  2 Stockfish 15021602 T32      : 2889   34  35   250    21.8 %   3111   38.8 %

Result     : 195.5/250 (+147,=97,-6)
Perf.      : 78.2 %
Elo        : 3222

--------------------------------------------------------------------------------

TC = 15" + 0.05"

    Program                       Elo    +   -   Games   Score   Av.Op.  Draws
 --------------------------------------------------------------------------------
  1 Stockfish 15021621 SMP T32  : 3080   46  41   100    71.5 %   2920   55.0 %
  2 Stockfish 15021602 T32      : 2920   41  46   100    28.5 %   3080   55.0 %

Result     : 71.5/100 (+44,=55,-1)
Perf.      : 71.5 %
Elo        : 3160

--------------------------------------------------------------------------------

TC = 60" + 0.05"

    Program                       Elo    +   -   Games   Score   Av.Op.  Draws
 --------------------------------------------------------------------------------
  1 Stockfish 15021621 SMP T32  : 3063   43  38   100    67.5 %   2937   61.0 %
  2 Stockfish 15021602 T32      : 2937   38  43   100    32.5 %   3063   61.0 %

Result     : 67.5/100 (+37,=61,-2)
Perf.      : 67.5 %
Elo        : 3127

---------------------------------------------------------------
---------------------------------------------------------------

AMD Opteron 6376 @ 2.3 GHz

TC = 60" + 0.05"

    Program                       Elo    +   -   Games   Score   Av.Op.  Draws
 --------------------------------------------------------------------------------
  1 Stockfish 15021621 SMP T16  : 3009   11  11   920    52.7 %   2991   74.5 %
  2 Stockfish 15021602 T16      : 2991   11  11   920    47.3 %   3009   74.5 %

Result     : 484.5/920 (+142,=685,-93)
Perf.      : 52.7 %
Elo        : 3019

-------------------------------------------------------------------------------

TC = 5' + 3"

    Program                       Elo    +   -   Games   Score   Av.Op.  Draws
 --------------------------------------------------------------------------------
  1 Stockfish 15021602 T16      : 3004   23  22   134    51.1 %   2996   85.8 %
  2 Stockfish 15021621 SMP T16  : 2996   22  23   134    48.9 %   3004   85.8 %

Result     : 65.5/134 (+8,=115,-11)
Perf.      : 48.9 %
Elo        : 2992

-------------------------------------------------------------------------------

TC = 60" + 0.05"

    Program                       Elo    +   -   Games   Score   Av.Op.  Draws
 --------------------------------------------------------------------------------
  1 Stockfish 15021621 SMP T32  : 3017   15  15   500    54.9 %   2983   76.2 %
  2 Stockfish 15021602 T32      : 2983   15  15   500    45.1 %   3017   76.2 %

Result     : 274.5/500 (+84,=381,-35)
Perf.      : 54.9 %
Elo        : 3034

-------------------------------------------------------------------------------

TC = 60" + 0.05"

    Program            Elo    +   -   Games   Score   Av.Op.  Draws
 ---------------------------------------------------------------------
  1 Stockfish 6 T16  : 3003   14  14  1002    51.0 %   2997   56.7 %
  2 Komodo 8 T16     : 2997   14  14  1002    49.0 %   3003   56.7 %

Result     : 511.0/1002 (+227,=568,-207)
Perf.      : 51.0 %
Elo        : 3007

-------------------------------------------------------------------------------

TC = 60" + 0.05"

    Program                       Elo    +   -   Games   Score   Av.Op.  Draws
 --------------------------------------------------------------------------------
  1 Stockfish 15021621 SMP T16  : 3010   14  14  1002    52.8 %   2990   56.5 %
  2 Komodo 8 T16                : 2990   14  14  1002    47.2 %   3010   56.5 %

Result     : 529.0/1002 (+246,=566,-190)
Perf.      : 52.8 %
Elo        : 3019

By Benno Hartwig Date 2015-02-21 07:38

Thanx,
ein sehr interessanter Blick auf den Effekt bei vielen Threads.
Auch wenn die Partie-Anzahl (auch mal 100) manchmal nur einen seehr groben Blick gestattet.

Ich staune über

> TC = 3" + 0.05"

Damit können Engines wirklich umgehen und sowas wie eine reguläre Partie spielen??
Finde ich ja beeindruckend!

Zu den Vergleichen mit Komodo:
Hier wäre interessant zu sehen, wie eben diese Engines bei 8 oder 4 Kernen miteinander umgehen.
Hast du diese Daten vielleicht auch?

Benno

By Benno Hartwig Date 2015-02-21 08:40

PS:
Interessant finde ich auch, dass gemäß
http://www.husvankempen.de/nunn/40_4_Ratinglist/40_4_AllVersion/rangliste.html
bereits SF6 mit 12 Kernen sehr gut umgehen kann, dass SF auch da deutlich vor K landet.

By Ingo B. Date 2015-02-21 09:06

Benno Hartwig schrieb:

PS:
Interessant finde ich auch, dass gemäß
<a class='urs' href='http://www.husvankempen.de/nunn/40_4_Ratinglist/40_4_AllVersion/rangliste.html'>http://www.husvankempen.de/nunn/40_4_Ratinglist/40_4_AllVersion/rangliste.html</a>
bereits SF6 mit 12 Kernen sehr gut umgehen kann, dass SF auch da deutlich vor K landet.

Das ist zwar richtig, konzeptionel aufgrund der wenigen Gegner sollte man das aber kritisch sehen. Von den 1150 Spielen waren 600 gegen Komodos (K8 und K7a mit verschiedenen Kernzahlen) und von den 2150 Spielen von K8 waren 1000 gegen Stockfische. Wissend dass Komodo (leider) ausgerechnet gegen Stockfish eine Schwäche aufweist, die sich im Verhältniss gegen andere Engines so nicht zeigt (bei Menschen würde man Angstgegner sagen) ist das Ergebniss zu hinterfragen. Zwar bildet es wahrscheinlich besser den Abstand zw beiden Engines ab, aber weniger gut den Abstand bei einem ordentlichen Gegnerfeld. (Auf die vermeintliche Blitzproblematik (an die ich immer noch nicht wirklich glauben will) sei nur am Rande hingewiesen, falls jemand Wert darauf legen sollte)
Ich will nur aufzeigen, dass das ganze komplexer ist als es mit einem kurzen Blick auf das Rating ersichtlich ist ....
(Ich weiß aber auch das das schon sehr spitzfindig ist und 99%+ aller Seitenbesucher exaxt 0% interessiert

)

Gruß
Ingo

By Benno Hartwig Date 2015-02-21 11:21

> Ich weiß aber auch das das schon sehr spitzfindig ist und 99%+ aller Seitenbesucher exaxt 0% interessiert

Oh, ich fand einen Hinweis schon interessant.
Und es wurden 600 von 1159 Partien gegen Komodo gespielt. das ist viel! OK.

Ich habe aber mal die gewichteten Durchschnittswerte der Performance errechnet, die gegen die Komodos und die nicht-Komodos erspielt wurden.
Ich kam zu:
gegen Komodo: 3354 ELO
gegen nicht-Komodo: 3359 ELO

Eine These, dass SF irgendwie besonders gut kann gegen Komodo, finde ich hier nicht bestätigt.
Irgendeine Verzerrung befürchte ich hier nicht.

Benno

By Ingo B. Date 2015-02-21 13:15

Benno Hartwig schrieb:

gegen Komodo: 3354 ELO
gegen nicht-Komodo: 3359 ELO

Das wiederum finde ich interessant. MAch das doch nochmal mit den anderen Listen (sofern genug Spiele). Ich hatte hier immer den Eindruck das Komodo gegen SF besonder abbaut.

Gruß
Ingo

By Andreas Strangmüller Date 2015-02-21 10:39

Hallo Benno,

bei den 32 Thread-Tests habe ich bei 100 Partien abgebrochen, da sie ja einen eindeutigen Trend zeigen und das genügte mir für die erste Einschätzung.

Nicht alle Engines können mit solch einer kurzen Bedenkzeit wie 3 Sekunden + 0.05 Sekunden pro Partie umgehen.
Stockfish und Komodo sind dazu in der Lage, ja dafür optimiert, um relativ schnell mal ein paar tausend Partien absolvieren zu können.
Stockfish erreicht auf dieser schnellen Hardware bei 16 Threads im Mittelspiel 13-15 Halbzüge.
Das sieht beim Nachspielen schon nach sehr vernünftigen Partien aus.

Zitat:

Zu den Vergleichen mit Komodo:
Hier wäre interessant zu sehen, wie eben diese Engines bei 8 oder 4 Kernen miteinander umgehen.
Hast du diese Daten vielleicht auch?

Diese Daten mit exakt den gleichen Engine Versionen liegen nicht vor.
Andere Tests Komodo gegen Stockfish mit 4 oder 8 Kernen zeigen jedoch den Trend hin zu etwas besseren Stockfish Ergebnissen.

Andreas

By Frank Brenner Date 2015-02-21 22:55

Sehr spannend wäre dann noch ein match Komdo 8 vs Stockfish Beta SMP mit 32 Cores auf der Intel CPU.

Wenn ich deine Messwerte richtig interpretiere erzielt das neue Patch nur auf der intel CPU einen enormen Leisstungsschub ab 16 Threads.

Ebenso spannend wäre es herauszufinden wieso es beim Opteron nicht so klappt wie bei der Intel CPu.
Ist auf beiden PC das gleiche Betriebssystem installiert ?

By Frank Brenner Date 2015-02-21 10:33

Mitten in Deinem Beitrag steht:

AMD Opteron 6376 @ 2.3 GHz

Bedeutet dies, dass alle SPiele die unterhalb dieser Zeile stehen bis zum Ende des Beitrags mit dem Opteron durchgeführt wurden ?

By Andreas Strangmüller Date 2015-02-21 10:43

Ja, ab diesem Eintrag wurden alle Tests auf dem Opteron durchgeführt.

By Michael Scheidl Date 2015-02-21 12:00

Danke; sehr aufschlußreich! Insbesondere die Leistungssteigerung auf Xeon/32 Threads ist ja gewaltig. Ich staune.

By Tom Paul Date 2015-02-21 13:37

Wie sieht es wohl bei 64 Kernen aus?

By Benno Hartwig Date 2015-02-23 15:43

Man kann ja den Engines frech die große Anzahl Threads verpassen, die einen interessiert (Die Spielstärke wird dadurch natürlich bestimmt nicht gesteigert, klar, im Gegenteil!)

Aber man könnte doch auf einem System mit z.B. i7 K8 gegen SF6 antreten lassen mit jeweils 64 Threads (ohne Pondern), oder?
Würden wir dann nicht einen zutreffenden Eindruck von den Spielstärkeverhältnissen bekommen, die sich bei realen 64 Kernen zeigen würden?
Oder gäbe es hier eine systematische Verfälschung, dich ich bislang einfach übersah?
(Testweise könnte man vielleicht erst mal mit 16 oder 32 Kernen anfangen. Aber wenn das da im Prinzip läuft...)

Benno