Threads-Faktor: Komodo, Houdini, Stockfish und Zappa

By Roland del Rio Date 2014-05-21 15:27

In der Tat, aber ich hab ja im gleichen Satz noch versucht es am Thema zu verdeutlichen. Nachdem du für hinkende Formel 1 Analogismen von Autos zu viel verstehst, dachte ich, weil du über clevere und dumme Engineprogrammierung philosophiert hast, würde das so direkt am verständlichsten ankommen.
Wenn das auch nicht geklappt haben sollte, schlage ich vor, wir warten einfach auf weitere interessante Messdaten zur Engineprogrammierung und freuen uns schon mal auf die interpretierenden, humoristisch wertvolle Beiträge dazu. Und natürlich am Wochenende Formel 1 schauen!

By Benno Hartwig Date 2014-05-17 11:55

Toll gemacht, thanx.
Und bestätigend und überraschend zugleich.

bestätigend:
Die oft beschrieben Vermutung, dass Komodo bei TCEC mit 16 Kernen so richtig aufblühen kann, findet hier einen Hinweis auf den Grund dafür: ein sehr gutes Ausnutzen der vielen Kerne.
Und warum Houdini etwas hinterherhinken muss, wird ebenfalls verständlich.

überraschend:
Hohe nps-Werte hätte ich auch bei schlechter Verwertung der Kerne erwartet. Dann werden eben (so meine Vermutung) unnötige Knoten analysiert, oder sie werden mehrfach analysiert.
Was macht Houdini denn blos so Schreckliches mit den Kernen, wenn ihm bei
- 16 Kernen bereits 14,2 Millionen nps gelingen
- und bei 32 Kernen lediglich 16,9 Millionen (von denen längst nicht jeder sinnvollerweise analysiert wird!).
(also bei 100% mehr Rechenkraft nur 19% mehr Knoten/s)

Benno

By Tom Paul Date 2014-05-17 13:20

Komodo besseres SMP + 16 Kerne + mehr in die Breite rechnen + sehr viel Bedenkzeit = Bessere Ergebnisse/bessere Partien.
Stockfish rechnet beim TCEC gar nicht in die Breite, sieht man auch an den verschenkten ganzen und halben Punkten und auch beim spielen gegen Komodo. Siehe auch letztes Hin- und Rückspiel der beiden Engines.
In ruhigen / ausgeglichenen Stellungen bewertet Komodo klar besser.
In dynamischen Stellungen und mit unterschiedlicher Materialverteilung bewertet Stockfish klar besser.
In ausgeglichenen und fast geschlossenen Stellungen und unabhängig von der Materialverteilung, im Endspiel bewertet Houdini am besten.
Natürlich gibt es überall ab und zu ausnahmen.

By Frank Quisinsky Date 2014-05-17 22:56

Hi Benno,

es gibt immer Erklärungen zu den Statistiken.
Selten liegt es an zu wenigen Partien, meist liegt es an anderen Dingen.

Und genau aus diesem Grund müssen wir mit den Wahrscheinlichkeiten im Computerschach etwas vorsichtiger hantieren, denn in Wirklichkeit sind diese viel viel kleiner als wir denken.

Finde den Vergleich von Andreas auch Klasse!
Aber dennoch, bei mehreren Cores gibt es zu viele Züge die bei der Analyze nicht reproduzierbar sind und von daher interessiert mich dieses Thema weniger.
Spielstärke messen lässt sich mit einem Core besser und selbst bei Analysen ... lieber mehr Zeit und dann vier Engines als eine Engine mit 4 Cores.
Das macht meines Erachtens gar keinen Sinn und das schrieb ich schon vor 10 Jahren und werde es auch in den nächsten 10 wenn ich denn noch am Leben bin.

Gruß
Frank

By Daniel Mehrmann (Homer) Date 2014-05-17 15:31

Ich bin wirklich erstaunt wie "schlecht" SF, und speziell die DD Version, sich hier schlägt.
Aber wahrscheinlich ist das wieder dem ELO Ergebnis geschuldet.

Anthony ist ein begnadeter SMP Experte und hat hier die Grundsteine für andere gelegt.

Gruß
Daniel

By Tom Paul Date 2014-05-17 23:30

Andreas Strangmüller schrieb:

<code>Bedingungen:
Hardware:    Dual AMD Opteron 6376, 32 x 2.3 GHz (Turbo Core aus)
BS:    Windows 7 Pro 64-Bit
GUI: keine
Settings:    Alle Engines default settings
Large Tables: keine
Stellung:    Grundstellung
Rechenzeit:   20 Sekunden

UCI Kommandos:
setoption name threads value 1 (bis 32)
go movetime 20000</code>

Die Tests wurden im Konsolenmodus ausgeführt.
Das bedeutet z. B. unter Windows die .exe auszuführen und dann die UCI Kommandos einzugeben.

Hier die Werte der einzelnen Engines von 1 bis 32 Threads aus der Grundstellung heraus mit 20 Sekunden Rechenzeit.
nps = nodes per second = Knoten pro Sekunde

Komodo, Houdini und Zappa liegen bis 16 Threads fast gleichauf (Faktor 11,94 - 11,37 - 11,34). Stockfish DD und auch die neueste Stockfish Version fallen hier bereits ein wenig ab.
Komodo skaliert auch jenseits der 16 Threads noch ausgezeichnet. Auch bei Zappa zeigt sich eine gute SMP-Implementierung.
Bei Houdini und Stockfish DD ist nach 16 Threads keine große Steigerung mehr erkennbar, während bei der aktuellen Stockfish Version eine positive Entwicklung in diesem Bereich zu sehen ist.

Steigerung von 16 auf 32 Threads:
<code>Komodo TCECr (11,94 - 20,60 = 73%)
Zappa Mexico II (11,37 - 16,46 = 45%)
Stockfish 140513 ( 9,79 - 14,21 = 45%)
Stockfish DD ( 8,01 - 10,18 = 27%)
Houdini 4 Pro (11,34 - 13,48 = 19%)</code>

Hier noch die graphische Aufbereitung:

Wenn ich mir die Tabelle so ansehe, dann frage ich mich ob es nicht möglich wäre, dass das Stockfish Team zuerst SMP bei 2 Threads auf 1,99 tunt und erst dann bei 3 Threads auf 2,98 tunen usw. Dadurch lässt sich die höhere Anzahl an Threads besser und vor allem leichter SMP tunen.

By Benno Hartwig Date 2014-05-18 09:32

> ...ob es nicht möglich wäre, dass das Stockfish Team zuerst SMP bei 2 Threads auf 1,99 tunt...

Ich befürchte, die Antwort ist ein 'nein'.
Benno

By Hauke Lutz Date 2014-05-20 19:06

Es wäre sehr interessant, ob dies auch bei mehr Rechenleistung hat, wenn z.B. ein Grundtakt von 3.2 GHz (Standardmässiger Turboboost der CPU) eingestellt wird.
Tests bei 1,4, 8, 16 und 32 Kernen wäre dafür ja schon völlig ausreichend. Es würde ja nur darum gehen festzustellen ob der Nutzen der Kernverdopplung auch bei ca. 35-40% mehr Leistung gleich hoch ist.

Gruß
Hauke

By Joachim Rang Date 2014-05-19 09:26

Andreas Strangmüller schrieb:

Awesome! Es wäre toll Du könntest noch zwei, drei andere Stellungen ausprobieren um zu sehen, ob es dabei Unterschiede gibt. Verschiedene Implementierungen könnten in verschiedenen Stellungen unterschiedlich effizient sein. Das ist nicht unbedingt wahrscheinlich, aber auch nicht auszuschließen.

By Benno Hartwig Date 2014-05-20 10:39 Edited 2014-05-20 10:53

Steigerung von 16 auf 32 Threads:
Houdini 4 Pro    (11,34 - 13,48 = 19%)

In diesem Zusammenhang finde ich niedlich, dass Houdini4 Pro damit beworben wird, dass damit nicht nur 6 sondern eben bis zu 32 Kerne unterstützt werden.
'Unterstützt' bedeutet hier wohl kaum mehr als "stürzt nicht ab"

Benno

By Hauke Lutz Date 2014-05-20 19:07

Der größte Vorteil an der Pro-Version ist wahrscheinlich das NUMA genutzt werden kann.
Wie viel das ausmacht weiß ich jedoch leider nicht.

Gruß
Hauke

By Tom Paul Date 2014-05-21 17:55

Was sagt ihr denn zum neuen TCEC Speed Graphen, inwiefern ist dieser wichtig / von Bedeutung?

Ps. Zurzeit des Superfinales lohnt sich wirklich ein Blick in den Chat, erstaunlich was dort die ganzen Programmierer planen/sagen/denken...

By Benno Hartwig Date 2014-05-21 18:02

Vermisst hatte ich ihn nie.
Aber jetzt wird das Augenmerk darauf gelenkt, wie sich die nps-Werte im Laufe einer Partie verändern.
In welchem Maße Knotenanalysen bei vollem Brett noch aufwändiger sind, bei leerem Brett einfacher/schneller werden.
Kann mal ganz interessant sein, gehört aber wohl nicht zu den wirklich faszinierenden Infos.
Benno