Stockfish 3 running for the IPON

By Stefan Pohl Date 2013-05-02 11:54

[quote="Ingo Bauer"]
here: http://www.inwoba.de

Have fun
Ingo
[/quote]

Wie immer schön, den Test live zu verfolgen.
Da mein LS-Testrun von Stockfish 3.0 (auto-compile) gerade bei knapp 2700 Partien (IPON Gesamt-Testrun Volumen) steht, hier mal der Zwischenstand: +10 Elo zur letzten gelisteten development-Version 130414 und damit +27 Elo zu Stockfish 2.3.1. Das entspricht (im Moment) genau meiner Prognose (bzw. meinem Weissagungsversuch...). Ob es auch so bleibt ist allerdings unklar, da andere Stockfish-Versionen auch bei größeren Partiezahlen oft noch ziemliche Ergebnisschwankungen aufwiesen und sich in einigen (allerdings seltenen) Fällen erst bei 6000-7000 Partien ein stabiler Gesamtscore einpendelte. Endergebnis wahrscheinlich am Montag.
Stay tuned!
Der auto-compile von Stockfish 3.0 erreicht übrigens im praktischen Spiel (von der LittleBlitzerGUI über alle Züge aller bisher gespielten Partien gemittelt) 80% der Knotenleistung von Houdini 3 (beide Singlecore, versteht sich), nämlich 1.7 MN/s zu 2.11 MN/s. Das ist ein für Stockfish-Verhältnisse sehr guter Wert!

Stefan

By Stefan Pohl Date 2013-05-02 13:20

[quote="Stefan Pohl"]
[quote="Ingo Bauer"]
here: http://www.inwoba.de

Have fun
Ingo
[/quote]

Wie immer schön, den Test live zu verfolgen.
Da mein LS-Testrun von Stockfish 3.0 (auto-compile) gerade bei knapp 2700 Partien (IPON Gesamt-Testrun Volumen) steht, hier mal der Zwischenstand: +10 Elo zur letzten gelisteten development-Version 130414 und damit +27 Elo zu Stockfish 2.3.1. Das entspricht (im Moment) genau meiner Prognose (bzw. meinem Weissagungsversuch...). Ob es auch so bleibt ist allerdings unklar, da andere Stockfish-Versionen auch bei größeren Partiezahlen oft noch ziemliche Ergebnisschwankungen aufwiesen und sich in einigen (allerdings seltenen) Fällen erst bei 6000-7000 Partien ein stabiler Gesamtscore einpendelte. Endergebnis wahrscheinlich am Montag.
Stay tuned!
Der auto-compile von Stockfish 3.0 erreicht übrigens im praktischen Spiel (von der LittleBlitzerGUI über alle Züge aller bisher gespielten Partien gemittelt) 80% der Knotenleistung von Houdini 3 (beide Singlecore, versteht sich), nämlich 1.7 MN/s zu 2.11 MN/s. Das ist ein für Stockfish-Verhältnisse sehr guter Wert!

Stefan
[/quote]

Folgendes übrigens zu lesen im Stockfish-Developer-Chat (28.4., also 2 Tage vor dem Release von Version 3.0):

"The latest regression test with 4 threads showed that the ELO gain vs. 2.3.1 at 60+0.05 is actually around 28 ELO".

Hoffentlich bleibt mein Testergebnis so, wie es im Moment ist (+27 Elo zu 2.3.1 (s. letztes Posting)), dann wird es eine Punktlandung, wie bei Houdini 2 und Houdini 3...

Stefan

By Benno Hartwig Date 2013-05-02 14:26

[quote="Stefan Pohl"]"The latest regression test with 4 threads showed that the ELO gain vs. 2.3.1 at 60+0.05 is actually around 28 ELO".[/quote]Das wäre doch ein ganz schöner Wert. So supergroße Sprünge liegen bei Stockfish halt schon länger zurück. Und +28 würde sich andererseits doch schon aus dem Rauschen herausheben können.

Benno

By Stefan Pohl Date 2013-05-02 18:13 Edited 2013-05-02 18:15

[quote="Benno Hartwig"]
[quote="Stefan Pohl"]"The latest regression test with 4 threads showed that the ELO gain vs. 2.3.1 at 60+0.05 is actually around 28 ELO".[/quote]Das wäre doch ein ganz schöner Wert. So supergroße Sprünge liegen bei Stockfish halt schon länger zurück. Und +28 würde sich andererseits doch schon aus dem Rauschen herausheben können.

Benno
[/quote]

Tja, beschreien wir es nicht. Der Test der Version 130414 fing auch super an und ging dann ab Partie 4000 (glaub ich) in den Sinkflug...

Interessant ist aber folgendens: Ich habe auf meinem alten Intel-Quad-PC (ohne SSE4.2) den neuesten sogenannten offiziellen 64bit Intel-JA-Compile und den 64bit auto-compile der Version 3.0 je 1000 Partien spielen lassen (allerdings ultraschnell mit der Einstellung 300ms pro Zug (natürlich LittleBlitzerGUI)). Das Ergebnis ist doch rel. bemerkenswert ausgefallen:
Stockfish 3.0 JA 64bit-Intel - Stockfish 2.3.1 JA 64bit: 533/1000 (293-227-480)
Stockfish 3.0 auto-compile 64bit - Stockfish 2.3.1 JA 64bit: 558.5/1000 (311-194-495)

Also eine Ergebnisdifferenz der beiden Compiles von 2.55%= +17 Elo mehr für den auto-compile (!) Allerdings liegt das durchaus noch innerhalb der beiden Errorbars (die sich bei einem Vergleich addieren), könnte also auch ein statistischer Unfall sein. Allerdings war die Differenz während des gesamten Wettkampfes bemerkenswert konstant und schwankte nur sehr geringfügig (habe immer wieder mal reingeschaut und mitgerechnet), was eher dagegen spricht. Und das würde auch die bisher eher mäßige Steigerung von Stockfish 3.0 JA im IPON-Testlauf erklären (im Vergleich zum Zwischenstand bei meinem LS-Testrun).

Ich kann also nur wiederholen: Leute, nehmt den auto-compile, nicht die offiziellen JA-Compiles. Die sind langsamer und anscheinend auch wirklich meßbar schwächer. Wenn mein LS-Testlauf mit dem auto-compile durch ist, probiere ich auch noch mal den JA-Compile und lasse den mal 2500 Partien unter LS-Bedingungen laufen (das sind dann ja jeweils die SSE4.2-Versionen).

Stefan

P.S: Nach nunmehr 3133 Partien im LS-Testrun liegt der Stockfish 3.0 auto-compile bei +9 Elo zur Version 130414 und bei +26 zu Version 2.3.1. Also minimal (-1 Elo) gefallen, aber eigentlich noch rel. stabil...

By Thomas Schoenegger Date 2013-05-03 09:04

Hallo Stefan, danke für deinen Hinweis! Wollte es anfangs eigentlich nicht soo recht glauben, wie es aber aussieht ist der autocompile der 3er besser. Wieso auch immer. Eine Aufklärung von Seiten der Programmierer diesbezüglich wäre schon interessant.
Bin schon gespannt über deine Schlußfolgerung zur offiziellen 3er sobald du diese "antestest" (2500 Partien). Ein vollständiger Testlauf, bezüglich Vergleichs wäre natürlich optimal.
Gruß Thomas

By Stefan Pohl Date 2013-05-03 15:25

[quote="Thomas Schoenegger"]
Hallo Stefan, danke für deinen Hinweis! Wollte es anfangs eigentlich nicht soo recht glauben, wie es aber aussieht ist der autocompile der 3er besser. Wieso auch immer. Eine Aufklärung von Seiten der Programmierer diesbezüglich wäre schon interessant.
Bin schon gespannt über deine Schlußfolgerung zur offiziellen 3er sobald du diese "antestest" (2500 Partien). Ein vollständiger Testlauf, bezüglich Vergleichs wäre natürlich optimal.
Gruß Thomas
[/quote]

Tja, inzwischen habe ich mich entschlossen, den JA-Compile komplett zu testen (und dafür den auto-compile Testrun unterbrochen), einfach weil die anderen Tester den JA-Compile benutzen und ich da nicht aus der Reihe tanzen will. (Mehrheitsbeschluß, Gruppenzwang?!?) Ob ich nach dem JA-Compile Testrun den auto-compile Testrun beende weiß ich noch nicht. Inzwischen gibt es ja schon wieder eine neue development-version (logischerweise auch "nur" als auto-compile), vielleicht teste ich diese danach (denn damit ist Stockfish 3.0 ja schon wieder veraltet), muß mal schauen.

Inzwischen habe ich mal auf meinem alten QuadPC (ohne SSE4.2) beide 3.0 Compiles direkt gegeneinander spielen lassen. 250 ms pro Zug. Nach 3004 Partien habe ich gestoppt.
Stockfish 3.0 auto-compile 64bit - Stockfish 3.0 JA 64bit: 723-646-1635
Also 51.28%-48.72%
Ergo auch bei diesem Vergleich eine Elodifferenz von 17 (genausoviel wie bei meinem Test von den beiden Compiles, als sie jeder 1000 Partien gegen Stockfish 2.3.1 gespielt hatten.).
In beiden Fällen liegt diese Erfolgsdifferenz noch innerhalb der (sich addierenden) Errorbars. Aber die Übereinstimmung ist schon bemerkenswert. Nun muß man allerdings dazu sagen, daß Ergebnisse generell bei diesen sehr kurzen Bedenkzeiten weiter auseinanderliegen als bei längeren Bedenkzeiten, daher ist davon auszugehen, daß z.B. bei IPON Testbedingungen keine 17 Elo Unterschied herauskommen würden. Aber irgendwas zwischen 5 und 10 Elo halte ich auch bei längeren Bedenkzeiten für durchaus realistisch.
Aber ich habe ehrlich gesagt genug mit meiner LS-Rangliste zu tun und wäre wirklich froh, wenn mal jemand anderes die beiden Compiles mit mehr Bedenkzeit gegeneinander spielen lassen würde (aber mindestens 1000 Partien)...Ich kann und will hier wirklich nicht ALLES selbermachen.

Stefan

By Ingo Bauer Date 2013-05-03 17:38

Ich muß mich dafür entschuldigen das dieser Thread gekapert wurde, inklusiver schlicht falscher Berechnungen. Ich bitte darum das dies nicht auf die IPON bezogen wird und möchte berichten das ...

Stockfish 2.3 finished! Final result at:

http://www.inwoba.de

+20 Elo to the last release.

Bye
Ingo

By Ingo Bauer Date 2013-05-03 18:25

Stockfish 3.0 of course ..., sorry for that.

Ingo

By Stefan Pohl Date 2013-05-04 09:11

[quote="Ingo Bauer"]
Ich muß mich dafür entschuldigen das dieser Thread gekapert wurde, inklusiver schlicht falscher Berechnungen.
[/quote]

Die Berechnungen hat die FritzGUI gemacht. Beschwer dich dann diesbzgl. bitte bei ChessBase.

Stefan

By Benno Hartwig Date 2013-05-04 11:47

[quote="Ingo Bauer"]+20 Elo to the last release.[/quote]Ich finde, das ist für SF doch mal ein ganz schönes Ergebnis.
Mal gucken, ob andere Listen zu ähnlichen Ergebnissen kommen.
Die rieseigen Stärke-Sprünge sind von SF im Moment nicht zu erwarten, aber wir hätten so doch eine neue Version, die jetzt ggf. eindeutig die Krone der SF-Schöpfung darstellt.
Thanx again an das SF-Team!
Benno

By Ingo Bauer Date 2013-05-04 12:21 Edited 2013-05-04 12:25

[quote="Benno Hartwig"]
[quote="Ingo Bauer"]+20 Elo to the last release.[/quote]Ich finde, das ist für SF doch mal ein ganz schönes Ergebnis.
Mal gucken, ob andere Listen zu ähnlichen Ergebnissen kommen.
Die rieseigen Stärke-Sprünge sind von SF im Moment nicht zu erwarten, aber wir hätten so doch eine neue Version, die jetzt ggf. eindeutig die Krone der SF-Schöpfung darstellt.
...
[/quote]

Hier mal der Verlauf in der IPON (und bei anderen ist das ähnlich)

7  Stockfish 3                2978   10   10  2850   69%  2839   42% 01.05.2013
11 Stockfish 2.3.1 JA         2958    9    9  3750   67%  2834   42% 23.09.2012
   Stockfish 2.2.2 JA         2958    8    7  5850   72%  2788   36% 15.01.2012
17 Stockfish 2.1.1 JA         2946    9    9  3500   69%  2793   36% 09.05.2011
19 Stockfish 2.01 JA          2927   10   10  3100   72%  2754   35% 04.01.2011
22 Stockfish 1.9.1 JA         2907   10   10  3000   71%  2747   36% 05.10.2010
24 Stockfish 1.7.1 JA         2892   10   11  2900   73%  2711   33% 11.04.2010
28 Stockfish 1.6.x JA         2838   11   11  2600   69%  2697   37% 03.02.2010
53 Stockfish 1.5.1 JA         2763   12   12  1900   59%  2696   38% 12.10.2009
67 Stockfish 1.4 JA           2711   13   13  1700   50%  2712   38% 05.07.2009
102 Glaurung 2.2 JA           2622   10   11  2600   40%  2698   38% ?

Die 1.8 fehlt weil sie damals kurz (am 02.07.2010) nach der 1.7.1 herrauskam und praktisch keinerlei Änderung brachte (der aber vom SF-Team aufgrund der eigenen, schnellen Test erwartet wurde). Überhaupt sollte das SF Team schon mitbekommen haben, das die Schnelltest nicht immer das wiederspiegeln was dann wirklich passiert. Die sind in BEIDE Richtungen nach einem Release schon überrascht worden. SF ist immer mein Bsp wenn es darum geht wie viele womöglich gute Ansätze Aufgrund der Schnelltest schon verworfen wurden die wömöglich etwas gebracht hätten - wir werden es nie erfahren.

Ansonsten, bis 2.1.1 ging es vorwärts, dann war 2 Jahre Stagnation und jetzt ein kleiner Sprung. Ich will mich nicht beschweren, auf dem Level ist das eine tolle Leistung.
Was ich nicht glaube ist, dass das neue Konzept des verteilten Testens, um die Engine weiterzuentwickeln, irgendeinen Vorteil bring. Im Gegenteil fürchte ich das viele Köche den Brei verderben.

Gruß
Ingo

By Benno Hartwig Date 2013-05-04 13:29

[quote="Ingo Bauer"]Ansonsten, bis 2.1.1 ging es vorwärts, dann war 2 Jahre Stagnation und jetzt ein kleiner Sprung. Ich will mich nicht beschweren, auf dem Level ist das eine tolle Leistung.[/quote]Und dass diese saustarke Engine mit offenen Sourcen daher kommt, finde ich nach wie vor sensationell toll!
Benno

By Stefan Pohl Date 2013-05-05 05:52

[quote="Benno Hartwig"]
Und dass diese saustarke Engine mit offenen Sourcen daher kommt, finde ich nach wie vor sensationell toll!
Benno
[/quote]

Ganz meine Meinung, ich kann es kaum erwarten, daß Stockfish Ivanhoe (wo ja wohl nicht mehr viel kommt) den Titel "best open source"-engine in meiner LS-Rangliste abjagt. Keine Engine hat es mehr verdient, denn sie ist ja eigentlich viel mehr, als "nur" Open-Source, nämlich auch "Open-Tested" und "Open-Developed", um mal 2 verwegene neue Wörter zu kreieren...
Viel dürfte nach dem jetzigen 3.0-Release nicht mehr fehlen, falls nicht noch ein großer Einbruch während des jetzt laufenden Testruns kommt. Aber ganz reichen wird es wohl noch nicht (so wie es jetzt nach knapp 4000 von 10000 Partien aussieht - noch sehr unsicher)

Stefan

By Stefan Pohl Date 2013-05-05 05:39

[quote="Ingo Bauer"]

Was ich nicht glaube ist, dass das neue Konzept des verteilten Testens, um die Engine weiterzuentwickeln, irgendeinen Vorteil bring. Im Gegenteil fürchte ich das viele Köche den Brei verderben.

Gruß
Ingo
[/quote]

Schön, daß wir uns wie immer darin einig sind, uns nicht einig zu sein. Ich glaube, daß dieses Konzept des verteilten Testens und (noch wichtiger!) ja auch Entwickelns - etliche der aktuelleren Codeänderungen (bzw. der zugrunde liegenden Ideen) sind nicht vom Stockfishteam, sondern nur von ihm abgesegnet - eine ganz tolle neue Entwicklung fürs Computerschach an sich bedeuten und Stockfish weiter nach vorne bringen werden!!
Der einsame Entwickler im stillen Kämmerlein ist damit auch im Computerschach (so wie auch in der restlichen Softwareentwicklung) Schnee von gestern. Zeit wirds!

Stefan

By Stefan Schiffermueller Date 2013-05-05 17:35

Irgend etwas stimmt nicht mit dem offiziellen AMD-compile mit popcnt. Mit dem bench-Kommando habe ich folgende Ergebnisse auf meinem AMD Atholon II Neo K145 erzielt:

AMD-64
stockfish-3-64-ja.exe : 5960 ms
stockfish-3-64-pop-ja.exe : 8316 ms

Es wäre schade, wenn Sie und andere Tester nun diese langsame Version testen, was eine Menge ELO-Punkte kosten würde.

By Ingo Bauer Date 2013-05-05 19:21 Edited 2013-05-05 19:27

[quote="Stefan Schiffermueller"]
Es wäre schade, wenn Sie und andere Tester nun diese langsame Version testen, was eine Menge ELO-Punkte kosten würde.
[/quote]

Danke für die Sorge, aber wir definieren wahrscheinliche "eine Menge" anders.

Es ist das übliche, sich mit jedem Release wiederholende, Problem mit den Stockfish Compiles ... aber die AMD Compiles habe ich von Anfang an verworfen und den offiziellen (generischen) Intel JA POP verwendet. Es mag sein das der ein oder andere inoffizielle Compile zwei, drei Prozent auf dedizierter HW schneller ist aber das ist kein offizieller Release und zu vernachlässigen.

Überhaupt ist diese Jagt nach niedrigen, einstelligen Prozentgewinnen nichts weiter als ein schlechter Witz!

Gruß
Ingo

By Stefan Schiffermueller Date 2013-05-05 19:49

Ok. Die Intel-Compiles scheinen in Ordnung zu sein. Mit popcnt ist etwas schneller als ohne:

Intel 64
stockfish-3-64-ja.exe : 6195 ms
stockfish-3-64-pop-ja.exe : 6060 ms

By Ingo Bauer Date 2013-05-06 06:43

[quote="Stefan Schiffermueller"]

AMD-64
stockfish-3-64-ja.exe : 5960 ms
stockfish-3-64-pop-ja.exe : 8316 ms

Ok. Die Intel-Compiles scheinen in Ordnung zu sein. Mit popcnt ist etwas schneller als ohne:

Intel 64
stockfish-3-64-ja.exe : 6195 ms
stockfish-3-64-pop-ja.exe : 6060 ms
[/quote]

Wie es scheint ist der Intel POP gerade mal 1.7% langsamer auf einem AMD. Das kann man nicht mal vernünftig in Elo ausdrücken.
Der Intel POP zu NoPOP Unterschied sind auch nur um 2.2%. Ob sich der ganze Aufwand lohnt?

Der AMD POP ist allerdings "kaputt".

Gruß
Ingo

By Stefan Schiffermueller Date 2013-05-06 07:56

Man kann ja durchaus verschiedene Compiles für verschiedene Hardware anbieten, obwohl 2% Unterschied etwas dünn ist. Das ist die eine Sache. Die andere Sache ist, dass man die Compiles vor dem Release auf Geschwindigkeit testet, was hier wohl nicht geschehen ist. Viele Benutzer werden nun diese lahme Ente (AMD mit pop) benutzen, ohne zu ahnen, dass es eine lahme Ente ist.

By Ingo Bauer Date 2013-05-06 10:28

[quote="Stefan Schiffermueller"]
Man kann ja durchaus verschiedene Compiles für verschiedene Hardware anbieten...
[/quote]

Im Gegenteil, das verwirt nur. EIN Generic Compile für je 32 und 64 bit, der am besten selbstständig auf SSE42 umschaltet (siehe Houdini/Komodo) ohne Rücksicht auf die CPU und gut ist. Wer dann unbedingt noch mal 5% mit Spezialcompiles rauslutschen will soll dem ruhig nachrennen, vereinfacht aber den Verwaltungs- und Supportaufwand ganz erheblich!

In diesem Fall ist der Intel Compile der Generic. Der läuft überall ohne wirklich schlechter zu sein als angepasster Compile der dann NUR auf dieser Platform läuft.

Ingo

By Stefan Schiffermueller Date 2013-05-06 11:31

Die Frage ist, ab wann sich ein Spezial-Compile lohnt. Und da sind die Geschmäcker verschieden. Bei 2% Unterschied würde ich sagen, es lohnt sich nicht, bei 10% aber schon. Ein 64 Bit Compile ist auch ein Spezial-Compile, weil er nicht auf einem 32 Bit System läuft. Der lohnt sich aber bei entsprechend optimierter Software (nach meinem Geschmack).
Sicher kann man die Houdini/Komodo - Lösung als guten Kompromis ansehen.

By Michael Scheidl Date 2013-05-06 14:09

Lohnt sich - wofür?

By Stefan Schiffermueller Date 2013-05-06 14:43

Auf der einen Seite hat man durch einen Spezial-Compile einen Geschwindigkeitsgewinn (oder auch nicht). Auf der anderen Seite hat man aber auch mehr Verwirrung und Supportaufwand durch die ganzen Spezial-Compiles, wie das Ingo Bauer meinte.

By Benno Hartwig Date 2013-05-06 08:16

[quote="Ingo Bauer"]Überhaupt ist diese Jagt nach niedrigen, einstelligen Prozentgewinnen nichts weiter als ein schlechter Witz![/quote]Klar, hier lohnt keine größere Anstrengung.
Wenn da aber zwei Kompilate vor mir liegen, und eines ist 2% schneller, dann nehme ich eben dieses. ("Diese ungefähr 2 ELO will ich dann auch noch haben!")
Benno

By Michael Scheidl Date 2013-05-06 08:55

Für die Privatpraxis benutze ich überhaupt nur noch die letzten Dev.-Versionen. Sehe keinen Grund etwas älteres zu benutzen. Natürlich lade ich nicht jede Zwischenversion runter (manche haben "no functional change"), aber sobald ich etwas konkretes vorhabe, schaue ich sicherlich in http://abrok.eu/stockfish/ hinein und bringe Stockfish auf aktuellsten Stand.

By Michael Scheidl Date 2013-05-06 09:30

Nebenbemerkung; wenn man den Benchmark wiederholt ausführen läßt, treten nicht geringe Unterschiede zu Tage.

By Stefan Schiffermueller Date 2013-05-06 10:11

Ich habe den Benchmark mehrmals ausgeführt und den geringsten Wert genommen.

By Ingo Bauer Date 2013-05-06 16:48 Edited 2013-05-06 16:52

[quote="Michael Scheidl"]
Nebenbemerkung; wenn man den Benchmark wiederholt ausführen läßt, treten nicht geringe Unterschiede zu Tage.
[/quote]

Was sind für dich "nicht geringe" Unterschiede?

Hier mal ein paar von mir, wobei ich einige mit 57 und 41 am Schluß nicht kopiert habe:

Total time (ms) : 2357
Nodes searched : 4176431
Nodes/second : 1771926

Total time (ms) : 2357
Nodes searched : 4176431
Nodes/second : 1771926

Total time (ms) : 2388
Nodes searched : 4176431
Nodes/second : 1748924

Total time (ms) : 2357
Nodes searched : 4176431
Nodes/second : 1771926

Total time (ms) : 2357
Nodes searched : 4176431
Nodes/second : 1771926

Total time (ms) : 2341
Nodes searched : 4176431
Nodes/second : 1784037

Total time (ms) : 2341
Nodes searched : 4176431
Nodes/second : 1784037

Total time (ms) : 2357
Nodes searched : 4176431
Nodes/second : 1771926

(alles offizieller Intel-pop)

zw. 2341ms als schnellstem und 2388ms als langsamstem Lauf liegen gerade mal 47ms, also 47 tausendstel oder 0.047s, Unterschied. Das ist Pillepalle! Mehr bekomme ich jedenfalls nicht hin und "nicht gering" würde ich das nicht nennen (doppelte Verneinung

)

Oder sprichst du ausschließlich vom AMD-pop compile?

Gruß
INgo

By Michael Scheidl Date 2013-05-06 17:41

AMD gibts für mich nicht mehr; Erfahrung spricht mehr als tausend Worte. - Nicht geringe Unterschiede sind z.B. zwischen 5,9 und 7,1 Sekunden oder derartiges. Diese Bandbreite stelle ich seit kurzem oft anhand der Stockfish-Entwicklerversionen fest, getestet auf i5-3210M. Die Unterschiede wiederholter "Bench"-Testläufe ein- und derselben Engine sind möglicherweise größer als die verschiedener Kompilate...

By Ingo Bauer Date 2013-05-06 18:36

[quote="Michael Scheidl"]
AMD gibts für mich nicht mehr; Erfahrung spricht mehr als tausend Worte. -
[/quote]

Da hast du wohl schlechte Erfahrungen gemacht ... ganz im Gegensatz zu mir. Immer noch "most bang for your bucks" wie es auf Neudeutsch heißt.

[quote="Michael Scheidl"]
Nicht geringe Unterschiede sind z.B. zwischen 5,9 und 7,1 Sekunden oder derartiges. Diese Bandbreite stelle ich seit kurzem oft anhand der Stockfish-Entwicklerversionen fest, getestet auf i5-3210M. Die Unterschiede wiederholter "Bench"-Testläufe ein- und derselben Engine sind möglicherweise größer als die verschiedener Kompilate...
[/quote]

Bist du sicher das das an einem Entwicklercompile und nicht an deinem Rechner liegt? Wenn ein Entwicklercompile solche Unterschiede aufweisest ist er eigentlich unbrauchbar zum testen ... und das sollte der Sinn einer Entwicklerversion sein. Solche Unterschiede kenne ich nicht!
(Hyperthreading kommt mir sofort in den Sinn, kann ich aber auch nicht erklären)

Gruß
Ingo

By Michael Scheidl Date 2013-05-06 20:47

Also ich zweifle ja nicht daß mein Rechner ein Eigenleben führt

aber diese "Bench"-Unterschiede habe ich immer. Kann das mit Hyp. zu tun haben? Ich glaube, bench ohne Parameter ist Singlethread.

Z.B. Version vom 5.5.; ich gebe einfach "bench" mehrmals direkt hintereinander im Kommandozeilenmodus ein:

===========================
Total time (ms) : 7362
Nodes searched  : 4306557
Nodes/second    : 584971

===========================
Total time (ms) : 7064
Nodes searched  : 4306557
Nodes/second    : 609648

===========================
Total time (ms) : 6779
Nodes searched  : 4306557
Nodes/second    : 635279

===========================
Total time (ms) : 7329
Nodes searched  : 4306557
Nodes/second    : 587604

By Ingo Bauer Date 2013-05-07 05:58

Dann wiederhole das doch mal mit dem offiziellen 3er Intel POP. Der läuft bei mir wie gezeigt stabil. Wenn der bei dir auch schwankt ist es dein Rechner, wenn nicht ist es das "Development"-Compile (letzteres will ich nicht glauben, das wäre katastrophal für das Development".

Ich tippe darauf das be dir irgendetwas (SW/HW) dazwischenfunkt.

Gruß
Ingo

By Ingo Bauer Date 2013-05-07 05:59 Edited 2013-05-07 06:03

[quote="Ingo Bauer"]
Dann wiederhole das doch mal mit dem offiziellen 3er Intel POP. Der läuft bei mir wie gezeigt stabil. Wenn der bei dir auch schwankt ist es dein Rechner, wenn nicht ist es das "Development"-Compile (letzteres will ich nicht glauben, das wäre katastrophal für das Development".

Ich tippe darauf das be dir irgendetwas (SW/HW) dazwischenfunkt.

Gruß
Ingo
[/quote]

PS: Du mußt nicht mal "bench" neu eingeben. Nach einem run einfach "Enter" und er macht das nochmal.

PPS: Ich stelle mir nur vor wie Leute mit deinen Problemem and der verteilten Engineentwicklung teilnehmen ...

By Michael Scheidl Date 2013-05-07 09:08

Danke Dir und Stefan f.d. Hinweise. Ergebnis dasselbe. Ich vermute, es hat mit der "dynamischen" Taktfrequenz der beiden i5-3210M-Cores zu tun. In CpuZ sehe ich eigentlich nie die nominelle Frequenz von 2,5 GHz. Unter Vollast mit 2 oder 4 Threads taktet er beide auf 2,9 rauf, was allerdings einige Sekunden in Anspruch nimmt. Bei nur einem Thread wiederum sieht es so aus, als würde er diesen auf zwei Cores aufteilen die dann nur mit je 1,2 GHz laufen...

Darauf habe ich keinen Einfluß, auch nicht via BIOS. Als Fehler betrachte ich das Ganze nicht: Da es sich um ein Notebook handelt, soll dadurch wohl die Erwärmung geringstmöglich gehalten werden. Aber wenn die max. Leistung angefordert wird, bringt die CPU sie eh. Ich vermute, daß die beobachteten Schwankungen nur anfangs auftreten; der Standardbenchmark dauert ja nur ca. 4...7 Sekunden je nach Version.

By Stefan Pohl Date 2013-05-07 05:58 Edited 2013-05-07 06:02

[quote="Michael Scheidl"]
Also ich zweifle ja nicht daß mein Rechner ein Eigenleben führt

===========================
Total time (ms) : 7362
Nodes searched  : 4306557
Nodes/second    : 584971

===========================
Total time (ms) : 7064
Nodes searched  : 4306557
Nodes/second    : 609648

===========================
Total time (ms) : 6779
Nodes searched  : 4306557
Nodes/second    : 635279

===========================
Total time (ms) : 7329
Nodes searched  : 4306557
Nodes/second    : 587604

[/quote]

Hi Michael,

also das muß irgendwie an deinem Rechner liegen. Der 64bit auto-compile von Stocki 3.0 zeigt auf meinem alten Intel-Quad (ohne popcount) als total time nach 5 Versuchen folgende Zahlen an:
3674, 3627, 3657, 3681, 3663

also nur sehr, sehr geringe Unterschiede...

Gruß - Stefan