Threads-Test - SF, Zappa, Komodo - 1 vs. 2, 4, 8, 16 Threads

By Benno Hartwig Date 2014-05-04 08:48

Thanx, Andreas.
Sehr erstaunlich, dass du für den Übergang 8 auf 16 Threads bei SF überhaupt keine Spielstärkesteigerung feststellen konntest!
(Es sind bei dir doch echte Kerne und nicht nur Hyperthreading, oder?)

Interessant fänd ich ja nun, so als 'Probe', eine direkte Begegnung "SF-8Threads gegen SF-16Threads".
Eine Bestätigung wäre ja ein sensationelles Ergebnis, oder?
Und ein "ne, die 16 Kerne sind doch stärker!" irgendwie auch.

Benno

By Andreas Strangmüller Date 2014-05-04 09:12

Hallo Benno,

ja, der Opteron 6376 hat 16 echte Kerne, bzw. mein Dual 32 Kerne. HT hat er gar nicht.

Bei der Bedenkzeit 240 + 2.40 Sekunden pro Partie beträgt die Steigerung von 1 gegen 8 (3135) zu 1 gegen 16 (3152) immerhin noch 17 Punkte.
Die Bedenkzeit macht also auch etwas aus, siehe hier, im unteren Bereich:
http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?tid=6987

Meine Beobachtungen und Tests mit Stockfish veranlassen mich allerdings zu folgender These:
Mehr als 8 Threads bringen bei Stockfish (auf meiner Hardware) derzeit nicht viel.

Dass es auch anders geht zeigt dieser Test mit Komodo.
Werde die Begegnung "SF-8Threads gegen SF-16Threads" durchführen, dann wissen wir mehr.

Grüße,
Andreas

By Benno Hartwig Date 2014-05-04 09:16

> Werde die Begegnung "SF-8Threads gegen SF-16Threads" durchführen, dann wissen wir mehr.

Super

Benno

By Andreas Strangmüller Date 2014-05-06 20:36 Upvotes 1

Hier der Test mit 8 gegen 16 Threads und zum Vergleich die komplette Reihe:

By Benno Hartwig Date 2014-05-07 07:43

Thanx und Wow!
Der Nutzen von mehr Kernen geht bei SF ja gewaltig bergab!
Zumindest für Leute, die superstarkes Schach mit ihren Rechnern produzieren wollen, wird vermutlich in den kommenden Jahren bei 16 Kernen auch nicht mal Schluss sein.
Ich denke, es muss in diesen Aspekt von SF Arbeit gesteckt werden, wenn das Ziel weiter verfolgt werden soll "SF ist eine der stärksten wenn nicht gar die stärkste Engine der Welt!"

Benno

By Patrick Götz Date 2014-05-07 14:07

Na, da passt es ja gut, das genau daran der neuste Patch, der heute eingeflossen ist, richtig gut geschraubt hat und im den Tests 13 bzw. 10 ELO rausgeholt hat, die bei 7 Kernen wirksam waren. Bei 3 Kernen hat sich hingegen nur eine minimale Verbesserung rgeben.
Daraus schließend darf man hoffen, dass sich der Patch bei 16 Kernen sogar noch besser entfalten kann.

This patch has been tested with 7 threads SMP and
passed both STC:

LLR: 2.97 (-2.94,2.94) [-1.50,4.50]
Total: 2885 W: 519 L: 410 D: 1956

And a reduced-LTC at 25+0.05
LLR: 2.95 (-2.94,2.94) [0.00,6.00]
Total: 4401 W: 684 L: 566 D: 3151

By Jörg Oster Date 2014-05-07 14:28

Ja, davon kann man ausgehen.
Aber mit Sicherheit sagen kann man es nur nach einem Test.

Hier https://groups.google.com/forum/?fromgroups=#!topic/fishcooking/CZmHuH4Hp24 gibt es erste, vielversprechende Zahlen von mir zu sehen.

By Tom Paul Date 2014-05-04 09:25

Vielleicht liegt es daran:

Komodo normale Tiefe
Stockfish viel Tiefe

K von 8 auf 16 = normale Tiefe + Tiefe = viel Tiefe = ELO Gewinn.
S von 8 auf 16 = viel Tiefe + Tiefe(die aber gar nichts bringt, weil es total egal ist ob Stockfish Tiefe 42 oder 43 erreicht) = Kein ELO Gewinn.
= Stockfish rechnet viel zu wenig in die Breite.

By Benno Hartwig Date 2014-05-07 07:45

Gedacht hatte ich das auch mal. Ergänzt durch die Befürchtung, dass ein ungünstiger Extracut nicht mehr ausgeglichen werden kann durch mehr Tiefe bei den anderen Zügen.
Und dann war SF beim letzten TCEC aber doch ganz schön erfolgreich! Und nun grübele ich wieder...

Benno

By Jörg Oster Date 2014-05-04 10:19

Hallo Andreas,

erstmal vielen Dank auch von mir für diese sehr aufschlussreichen Tests!

Zappa skaliert wirklich herausragend. Bei 1 vs. 4 Threads und 1 vs. 8 Threads zeigt sich dies ganz besonders.
Aber auch Komodo braucht sich nicht zu verstecken. Dort zeigt sich ja ein fast linearer Zuwachs der Spielstärke mit steigender Core-Anzahl. Das ist schon beeindruckend.
Hier wäre es interessant zu sehen, ob das auch noch für 32 Threads gilt.

Zu Stockfish: im unteren Bereich hui, im oberen leider pfui.

Das ist zum Teil aber auch bekannt. Tord hatte schon vor ein paar Jahren auf Talkchess angedeutet, dass für eine bessere Performance auf vielen Kernen ein Rewrite notwendig wäre.
Aber Tom hat auch recht damit, dass diese schlechte Performance auf vielen Kernen zum Teil auf zu heftiges Pruning/Reduzieren zurückzuführen ist.
Don hatte mal angedeutet, dass er im SMP-Modus auch etwas mehr in die Breite geht in der Suche als im Single-Modus. Sowas scheint auch Vas bei Rybka gemacht zu haben.
Dieses Vorgehen bewirkt nicht nur einen quantitativen Zuwachs (Geschwindigkeitssteigerung), sondern auch einen qualitativen Zuwachs. Dieser zeigt sich schön bei Matches mit fester Suchtiefe.

Wer sich für dieses Thema interessiert, hier ein paar interessante Threads auf Talkchess:
http://talkchess.com/forum/viewtopic.php?t=48503&highlight=smp+fixed+depth
http://talkchess.com/forum/viewtopic.php?t=48339&highlight=smp+fixed+depth
http://talkchess.com/forum/viewtopic.php?t=46597&highlight=smp+fixed+depth
http://talkchess.com/forum/viewtopic.php?t=46858&highlight=smp+fixed+depth

Joona hat aber auch gerade einen sehr interessanten Patch im Framework laufen, welcher die SMP-Performance steigern könnte.
http://tests.stockfishchess.org/tests/view/53652bc10ebc59445f0c0005

Gruß, Jörg.

By Tom Paul Date 2014-05-04 10:31

Das Rewrite sollte man sofort nach dem Ende des TCEC Turniers beginnen.

By Chess Player Date 2014-05-07 12:43

Code:

Sehr erstaunlich, dass du für den Übergang 8 auf 16 Threads bei SF überhaupt keine Spielstärkesteigerung feststellen konntest!

Viel erstaunlicher halte ich den fast linearen Zuwachs von Komodo!

By Tom Paul Date 2014-05-07 12:46

Übrigens fehlt bei Komodo der Zuwachs von 16 auf 32 Kerne!!!
Auf 30 wäre auch in Ordnung falls 32 nicht zur Verfügung stehen.

By Benno Hartwig Date 2014-05-07 15:14

Stimmt!
Wie viele Kerne sind in einem Windows-System heute eigentlich technisch machbar

http://www.heise.de/ct/heft/2014-6-Die-High-End-Serverprozessorfamilie-Xeon-E7-v2-2118661.html
bietet 120 Kerne an. Kann Windows mit sowas umgehen, können die Engines es?
Und gibt es sogar Server mit noch mehr realen Kernen?
und: Könnte Komodo da eventuell die Über-Engine sein?

Benno

By Thomas Müller Date 2014-05-07 16:26

Windows 7 kann 2 Sockel und bis 256 Kerne
Für mehr braucht es dann Server 2008/2012 aber welche variante weiß ich grad nicht.

gruß
thomas

By Stefan Schiffermüller Date 2014-05-07 13:03

Hallo Andreas,

interessante Ergebnisse.

1. Ist Ponder abgeschaltet?

2. Bei einigen Prozessoren gibt es den Effekt, dass die Geschwindigkeit pro Kern sinkt, je mehr Kerne gleichzeitig rechnen. Eine Engine würde dann entsprechend weniger profitieren von mehreren Kernen. Wie sieht es diesbezüglich bei deinem Dual Opteron aus?

Gruß Stefan

By Andreas Strangmüller Date 2014-05-07 22:36

Hallo Stefan,

zu 1.: Alle Tests wurde ohne Pondern, Lernen und Tablebases durchgeführt.
zu 2.: Meines Wissens tritt dieser Effekt bei allen Mehrkernprozessoren auf, ob Intel oder AMD. Je mehr Kerne ausgelastet sind, desto geringer ist die Geschwindigkeit eines Kerns. Bis 16 Kerne liegt die Abweichung z. B. im Stockfish-Bench im Millisekunden-Bereich. Egal ob 15x Stockfish mit einem Kern läuft oder ein Stockfish auf 15 Kernen. Bei 31 ausgelasteten Kernen hat ein Kern nur noch etwa 88% Leistung.

Batchdatei:
cmd /k start /B /REALTIME /AFFINITY 0x1 c:\schach\stockfish_dd.exe bench 128 1 13 1>nul

Total time (ms) : 8706 (im Schnitt)
Nodes searched : 8596156
Nodes/second : 987382

31 ausgelastete Kerne (31x folgende Batch gestartet: cmd /k start /B /REALTIME c:\schach\stockfish_dd.exe bench 128 1 24 1>nul), Test mit 1 Kern (cmd /k start /B /REALTIME c:\schach\stockfish_dd.exe bench 128 1 13 1>nul)

Total time (ms) : 9866 (im Schnitt)
Nodes searched : 8596156
Nodes/second : 871290

Grüße,
Andreas

By Stefan Schiffermüller Date 2014-05-07 23:02

Andreas Strangmüller schrieb:

Bis 16 Kerne liegt die Abweichung z. B. im Stockfish-Bench im Millisekunden-Bereich.

Heißt das, dass dieser Effekt bei deinem Test Stockfish 16 threads gegen Stockfish 1 thread kaum eine Rolle spielt?

Gruß Stefan

By Andreas Strangmüller Date 2014-05-07 23:22

Da ich ohne Pondern teste, rechnet bei dem Test 1 gegen 16 Threads abwechselnd Stockfish auf 16 Kerne, dann wieder Stockfish auf 1 Kern, usw., bei zwei Partien gleichzeitig.
Somit sollte dieser Stockfish auf 1 Kern unwesentlich langsamer rechnen, als wie wenn Stockfish auf meinem System alleine auf 1 Kern rechnet.

Grüße,
Andreas

By Stefan Schiffermüller Date 2014-05-08 01:35

Wenn du 2 Partien gleichzeitig mit 16 gegen 1 Threads machst, dann rechnen mal 17 Kerne und mal 32 Kerne gleichzeitig. Du sagtest, dass bei 31 Kernen die Geschwindigkeit auf 88% sinkt. Bei 32 Kernen wird es dann wohl noch etwas weiter runter gehen. Wenn nun in 50% der Zeit die Geschwindigkeit auf mindestens 88% sinkt, nämlich dann, wenn die 16 Kerne der einen Partie und die 16 Kerne der anderen Partie gleichzeitig rechnen, dann dürfte die Seite mit den 16 Threads ein paar ELO verlieren.

Gruß Stefan

By Andreas Strangmüller Date 2014-05-08 01:48 Edited 2014-05-08 01:52

Hmmmm...
Bei meiner Konstellation rechnet die Seite mit dem 1 Kern höchstens mit 16 Kernen zusammen, also 17 Kerne. Die andere Konstellation ist ja, dass beide 16 Kerne rechnen, der 1 Kern rechnet dann nicht.
Schwierig zu erklären, aber ich denke, dass wenn 1 Kern rechnet, niemals die volle Auslastung, also 32 Kerne zum tragen kommt, also immer höchstens nur 17 Kerne.
Wie soll man die 2 x 16 Kerne rechnen messen? SMP ist da immer schwierig in Zahlen zu fassen.

Viele Grüße,
Andreas

By Roland del Rio Date 2014-05-13 17:08

Hallo Andreas.
Erstmal vielen Dank für deine interessanten Messungen, die ich mit großem
Interesse verfolgen. Die Pro-Threads-Leistungsverluste einer SMP-Engine,
die ihr OS/HW-seitig eben durch die Benutzung mehrerer Threads entstehen,
könnte man dem Ergebnis als Parallisierungs-Kosten zurechnen. Nachteil
ist natürlich, dass die Ergebnisse somit nur für dein System "genau" so
stimmen. Alternativ könnte man gemäß deinen Messungen für einen 12%
Bedenkzeit-Ausgleich sorgen, so dass die Knotenleistung pro Thread gleich
bliebe. Würde die Zahlen besser mit solchen vergleichbar machen, die auf
einem anderen System ermittelt wurden, hätte aber den Nachteil einen
künstlichen Wert darzustellen, der so vermutlich auf keinen Systemen real
existiert. Wenn du aber zwei Partien gleichzeitig hast spielen lassen,
müsstest du schon schauen, dass sich die Ergebnisse nicht gegenseitig
beeinflussen. Unsauber wird das Ganze an der Stelle wenn 32 ausgelastete
Kerne einen geringeren Knotendurchsatz erbringen, als wenn 17 Kerne laufen.
Das Ganze hängt vermutlich auch von den Affinitäten ab (in deinen Durchsatzmessungen
hier im Posting hast du die Affinity für den 1-core Lauf gesetzt, aber die 32 SF-benches
frei floaten lassen). Könnte mir gut vorstellen, dass sich in den 25% der Zeit der 1 vs. 16core
Messungen in denen die beiden 16 Thread engines arbeiten, also alle 32 cores unter
Dampf stehen, sich die beiden Messungen/Partien weniger gegenseitig beeinflussen,
wenn man die Engines fest an eine CPU bindet, als wenn frei gefloated wird.
Aber selbst dann wird eine Beeinflussung bleiben. Eine Nachmessung in der nur eine Partie
gleichzeitig läuft, die an einen Socket gebunden wird könnte die einfachste Methode sein,
um festzustellen, ob und wie sich das Ganze in ELO-Differenzen ausdrückt.
Anyway, vielen Dank für deine Zeit und die vielen Infos, auch die anderen Dinge die du so treibst
sind sehr interessant.
Grüße
Roland

By Tom Paul Date 2014-05-12 12:51

Andreas Strangmüller schrieb:

Zusätzlich zu Stockfish habe ich den Threads-Test zum Vergleich mit Zappa Mexico II und Komodo TCECr durchgeführt.

<code>Testkonditionen:

CPU: Dual AMD Opteron 6376 (2x 16 Kerne)
OS:    Windows 7 Professional 64-Bit
Tool:    Cutechess-Cli
Hash-Table:   128 MB
Eröffnungen: fq1500.pgn - 1500 unterschiedliche Eröffnungsstellungen mit wechselnden Farben (insgesamt 3000 Partien)
Bedenkzeit:   60 + 0.05 Sekunden pro Partie</code>

Zappa bestätigt die These eine sehr gute SMP-Implementierung zu besitzen. Bis 8 Threads ist der Leistungszuwachs pro Thread bei dieser Bedenkzeit wirklich phänomenal!
Bei 16 Threads bricht die Leistung ein wenig ein.

Komodo kann in diesem Test völlig überzeugen. Eine kontinuierliche Steigerung bis 16 Threads.
Das zeigt, dass auch bei dieser geringen Bedenkzeit eine hervorragende SMP-Implementierung noch funktioniert. Sehr beeindruckend!

In diesem Bereich sehe ich bei Stockfish wie dieser Test aufzeigt noch einiges an Potenzial.

Viele Grüße,
Andreas

Nach der Liste zu urteilen, müsste Komodo mit 32 Kernen beim TCEC spielen um sein volles Potential zeigen zu können.

By Bert Rinzel Date 2014-05-12 13:49

Hallo,

ist es ernst gemeint, dass Zappa bessere Werte haben soll also Stockfish und Komodo???

Oder was habe ich da falsch verstanden?

Bert

By Andreas Strangmüller Date 2014-05-13 21:01

Hallo,

der Test misst nicht die Spielstärke einer Engine, sondern die SMP-Implementierung unter den genannten Testbedingungen.
Der Programmierer von Zappa, Anthony Cozzie hat einiges davon verstanden hat, welches dieser Test bestätigt.
Zappa spielte bereits 2006 bei der 14. WM in Turin auf einem Cluster mit 512 Kernen!

Grüße,
Andreas

By Tom Paul Date 2014-05-14 11:19

Echt beeindruckend.

http://shop.chessbase.com/de/products/zap_chess
Zap!Chess ist der Computerschach-Weltmeister 2005. Die CD enthält zwei Engines: „Paderborn“und „Reykjavik“. „Reykjavik“ hat die Computerschach-WM gewonnen; Paderborn enthält ein paar neue Ideen von meiner Arbeit in Illinois. Ich weiß wirklich nicht, welche Version besser ist; Sie müssen es selbst herausfinden. Der Stil des Programms spiegelt meine Auffassung als Informatiker wider. Statt der Entwicklung cleverer Suchtricks, welche funktionieren können oder auch nicht, habe ich mich darauf konzentriert, das Maximum aus moderner Hardware herauszuholen. Zap!Chess enthält eine der weltbesten Parallelumsetzungen, um effizient auf Multiprozessor-Systemen zu laufen, und es nutzt 32 oder 64-bit-Systeme, um das volle Potential des Programms zu entwickeln. Das Programm enthält eine große Menge an Schachwissen, und wie die meisten modernen Programme ist es aggressiv ausgerichtet – es weiß, wo der gegnerische König steht. Zusammen ergibt das einen attraktiven Spielstil ohne dabei zu übertreiben. (Anthony Cozzie)

By Roland Riener Date 2014-05-14 12:53

Zitat:

Echt beeindruckend.

Aber eh nicht lieferbar ...

Beim Weiterstöbern fällt auf, daß CB H4 und H3 zu gleichen Preisen anbietet. Sonderbar! Multiprozessor sind doch auch die H4.

Houdini 4 Pro
99,90 €

Houdini 4 Standard
79,90 €

Houdini 3 Pro Multiprozessorversion
99,90 €

Houdini 3 Standard Multiprozessorversion
79,90 €

By Benno Hartwig Date 2014-05-14 12:48

> Zappa spielte bereits 2006 bei der 14. WM in Turin auf einem Cluster mit 512 Kernen!

"Der Entwickler wird sich was davon versprochen habe, sonst hätte er es ja nicht getan!" kann man vielleicht sagen.
Aber wissen wir etwas davon, welche effektiven Geschwindigkeitssteigerungen sich bei seiner Engine bei den Übergängen
1->2, 2->4, 32->64, 256->512
so ergaben. Brachte der letzte wirklich noch Leistungsgewinn?

Auch ob Vas abenteuerliche Rechnerkonstruktion bei der WM in Peking seine Rybka wirklich stärker machen konnte, oder ob dies nicht im Wesentlichen ein Werbegag für seine angedachte rental-Rybka war, ist mir nie klar geworden.

Ich lese bisweilen, dass der DTS-Algorithmus (dynamic tree Splitting) verdammt gut skalieren soll, dass z.B. bei 16 Kernen eine effektive Geschwindigkeitssteigerung um den Faktor
11,1 (http://chessprogramming.wikispaces.com/Parallel+Search)
oder sogar
ca. 15 (http://webdocs.cs.ualberta.ca/~tony/TechnicalReports/TR93-03.pdf Seite 25)
möglich sein soll.
Da könnte dann auch bei gut 500 Kernen guter Nutzen sein.
Aber sind Chessengines heute so konzipiert? Nutzen sie dieses DTS (muss ich mir mal genauer ansehen, damit ich wenigstens eine Ahnung davon habe, was da passiert)

Benno