Hyper-Threading Test, Komodo 9.3

By Andreas Strangmüller Date 2016-01-07 17:33 Upvotes 2


    Program          Elo    +   -   Games   Score   Av.Op.  Draws
 ------------------------------------------------------------------
  1 Komodo 9.3 T4  : 3011   8   8   1500    53.3 %   2989   77.7 %
  2 Komodo 9.3 T2  : 2989   8   8   1500    46.7 %   3011   77.7 %

Wins   = 216
Draws  = 1166
Losses = 118
Av.Op. Elo = 3000

Result     : 799.0/1500 (+216,=1166,-118)
Perf.      : 53.3 %
Margins    :
 68 %      : (+  0.6,-  0.6 %) -> [ 52.7, 53.9 %]
 95 %      : (+  1.2,-  1.2 %) -> [ 52.1, 54.5 %]
 99.7 %    : (+  1.8,-  1.8 %) -> [ 51.5, 55.1 %]

Elo        : 3023
Margins    :
 68 %      : (+  4,-  4) -> [3019,3027]
 95 %      : (+  8,-  8) -> [3015,3031]
 99.7 %    : (+ 13,- 12) -> [3010,3035]

Games        :   1500 (finished)

White Wins   :    222 (14.8 %)
Black Wins   :    112 ( 7.5 %)
Draws        :   1166 (77.7 %)

White Perf.  : 53.7 %
Black Perf.  : 46.3 %

Individual statistics:

1 Komodo 9.3 T4  : 3011  1500 (+216,=1166,-118), 53.3 %
2 Komodo 9.3 T2  : 2989  1500 (+118,=1166,-216), 46.7 %

By Peter Martan Date 2016-01-07 18:19

Danke, Andreas!

By Clemens Keck Date 2016-01-08 17:19

Hallo Andreas

Danke für den interessanten test.
Mich würde auch interessieren ob ein messbarer Unterschied besteht, wenn eine Maschine ohne HT spielt, und wenn sie mit HT spielt.
Also zB 2 cpus bzw. 4 Threads.

MfG Clemens Keck

Andreas Strangmüller schrieb:

Über Weihnachten und den Jahreswechsel hatte ich Zeit ein längeres Enginematch zum Thema Hyper-Threading laufen zu lassen.
Dazu führte ich auf einem Hyper-Threading fähigen Dual Core Rechner ein Match zwischen Komodo 9.3 64-Bit mit 2 Threads gegen 4 Threads durch.
Der Test lief bei 1500 Partien gut 20 Tage. Unter folgenden Testbedingungen ist der Zugewinn durch das Hyper-Threading 23 Elo bei einer Fehlertoleranz von +- 8 Elo.

Testbedingungen:
Intel Dual Core i3-2130 @ 3.4 GHz, kein Turbo-Takt, Hyper-Threading on
Cutechess-Cli, 750 Eröffnungen jeweils 8 Züge lang, 5 Minuten + 3 Sekunden pro Partie, je 256 MB Hash, ponder off

T2 = 2 Threads, T4 = 4 Threads
<code>
Program Elo +   -   Games   Score   Av.Op. Draws
------------------------------------------------------------------
1 Komodo 9.3 T4 : 3011   8   8   1500 53.3 %   2989   77.7 %
2 Komodo 9.3 T2 : 2989   8   8   1500 46.7 %   3011   77.7 %

Wins   = 216
Draws = 1166
Losses = 118
Av.Op. Elo = 3000

Result    : 799.0/1500 (+216,=1166,-118)
Perf. : 53.3 %
Margins :
68 % : (+ 0.6,- 0.6 %) -> [ 52.7, 53.9 %]
95 % : (+ 1.2,- 1.2 %) -> [ 52.1, 54.5 %]
99.7 % : (+ 1.8,- 1.8 %) -> [ 51.5, 55.1 %]

Elo : 3023
Margins :
68 % : (+ 4,- 4) -> [3019,3027]
95 % : (+ 8,- 8) -> [3015,3031]
99.7 % : (+ 13,- 12) -> [3010,3035]

Games :   1500 (finished)

White Wins   : 222 (14.8 %)
Black Wins   : 112 ( 7.5 %)
Draws :   1166 (77.7 %)

White Perf. : 53.7 %
Black Perf. : 46.3 %

Individual statistics:

1 Komodo 9.3 T4 : 3011 1500 (+216,=1166,-118), 53.3 %
2 Komodo 9.3 T2 : 2989 1500 (+118,=1166,-216), 46.7 %</code>

By Andreas Strangmüller Date 2016-01-09 10:00

Zitat:

Mich würde auch interessieren ob ein messbarer Unterschied besteht, wenn eine Maschine ohne HT spielt, und wenn sie mit HT spielt.
Also zB 2 cpus bzw. 4 Threads.

Hallo Clemens,

ich bin mir nicht sicher welche Testbedingungen für beide Seiten Du exakt meinst.
Ohne HT stehen nur zwei Kerne (CPUs oder Threads) zur Verfügung und mit HT zwei Kerne + zwei "Hyper-Threading" Kerne (4 Threads).

Oder meinst Du mit messbarem Unterschied die Knotenleistung einer Engine auf zwei Kernen, einmal die Maschine mit HT an und einmal mit HT aus?

Grüße,
Andreas

By Clemens Keck Date 2016-01-09 10:25

Moin Andreas

ich meinte einen Test ob ein messbarer benefit da ist wenn Dein Dualcore PC mit 2 cpus spielt (HT aus im BIOS) oder wenn der selbe PC mit 4 threads spielt (HT im BIOS an).
Dazu brauchts natürlich eine konstante Größe gegen die man spielt, also einen weiteren PC.
Ferner könnte es sich bei Komodo und bei Stockfish unterschiedlich darstellen.
Auch mit zunehmender cpu bzw daraus resultierneder thread Zahl dürfte es Unterschiede geben.
Habe schon oft über solche Tests nachgedacht, aber wenn man das sauber machen will, das ist ein erheblicher Aufwand.

Schönes Wochenende

Clemens

By Benno Hartwig Date 2016-01-12 09:25

Wenn du den i3 mit 2 aktiven Threads betreibst, dann liefert jeder der beiden sehr hohe Knoten/Sekunde-Werte.
Wenn du 4 Threads arbeiten lässt, dann bricht die jeweilige Knotenleitung auf ca. 60%-65% ein. In der Summe hat man dann aber mehr Knotenleistung.

Und so ist dann die Frage, ob sich die bessere Knotenleistung oder die Verluste wegen der stärkeren Parallelisierung stärker bemerkbar machen.
Andreas' Ergebnisse lassen bei Komodo dadurch eine Verbesserung vermuten.
Ob sich andere Engines (Stockfish?) unbedingt ähnlich verhalten?

Benno

By Roland del Rio Date 2016-01-12 08:31

Hallo Andreas.
Interessantes Ergebnis. Ebenso wie du möchte ich mich mal mit Interpretationen zurückhalten, aber sehr aufschlussreich könnte eine Wiederholung deines Tests mit gleichen Software-Setup, also T2 und T4 bei gleichzeitigem HT OFF sein. Also vier Komodo-Threads gegen zwei Komodo-Threads auf nur zwei OS-Threads.
Viele Grüße

By Benno Hartwig Date 2016-01-12 09:11

Thanx, interessante Ergebnisse!
Mit kleinere Umfängen hatte ich auch einen ähnlichen Eindruck gewonnen. (auch auf auf i3 mit 2 Kernen und Hyperthreading)
Damals hatte ich auch diese Tendenz, es gaben mir die Engines aber kein einheitliches Bild. Vielleicht waren aber auch einfach die Umfänge zu klein.

Ich möchte aus deinem Test schließen (und eigentlich finde ich es erstaunlich):
Wenn ich einen hyperthreadfähigen Rechner nutzen will, um einen Engine laufen zu lassen, die mir bitte ein möglichst starkes Schach liefern soll, dann sollte ich die Threadanzahl auf das Doppelte der realen Kerne setzen. (z.B. für Maschinenraum oder Analysen).

Benno