Stockfish vom Mon Feb 16 20:36:13 2015 +0000

By Benno Hartwig Date 2015-02-18 10:12

Der aktuelle dev-Stockfish ist schon seltsam beschrieben:
http://abrok.eu/stockfish/
So sehr unterschiedliche Auswirkungen bei verschiedenen Tests sah ich noch nie.

Author: Joona Kiiski 
Date: Mon Feb 16 20:36:13 2015 +0000 
Timestamp: 1424118973 
...

There are huge differences between different machines and autopurging makes it very difficult to measure the improvement in fishtest, but the following was recorded for 16 threads at 15+0.05: 

For Bravone (1000 games): 0 ELO 
For Glinscott (1000 games): +20 ELO 
For bKingUs (1000 games): +50 ELO 
For fastGM (1500 games): +50 ELO

Für kleinere Thread-Anzahlen soll zumindest kein Nachteil entstehen:

Finally it was verified that there was no (significant) regression for 

4 threads: 
ELO: 0.09 +-2.8 (95%) LOS: 52.4% 
Total: 19908 W: 3422 L: 3417 D: 13069 

2 threads: 
ELO: 0.38 +-3.0 (95%) LOS: 60.0% 
Total: 19044 W: 3480 L: 3459 D: 12105 

1 thread: 
ELO: -1.27 +-2.1 (95%) LOS: 12.3% 
Total: 40000 W: 7829 L: 7975 D: 24196

By Michael Scheidl Date 2015-02-18 10:48

Die Transparenz ist eine bemerkenswerte... bei einer kommerziellen Engine werden wir derartiges wohl niemals erleben. Der individuelle User erfährt somit: Je nach Konfiguration, CPU usw.usf. könnten es bei mir +50 Elo, oder aber auch nix sein. Das erkennt man dadurch als Etwas in der Bandbreite des Normalen befindliches, und es löst keine sinnlosen Beunruhigungen aus.

Vorbildhaft.

By Benno Hartwig Date 2015-02-18 13:12

> CPU usw.usf. könnten es bei mir +50 Elo, oder aber auch nix sein

Ich stelle mir gerade vor, eine neue Engine-Version wird angepriesen mit
"hat 50 ELO mehr, oder auch weniger, oder auch gar nichts!"
Die Offenheit mag dann ja gelobt werden. Die Überzeugungskraft dieses Werbeslogans bleibt aber fraglich.

Benno

By Gysi Date 2015-02-18 15:47

Naja, man sollte auch bedenken, dass diese Tests nicht dazu da sind, um ELO-Sprünge möglichst genau zu berechnen oder die eigene Stärke zu dokumentieren, sondern nur um zu prüfen, ob Änderungen sinnvoll sind und daher übernommen werden. Den Rest können andere machen.

By Benno Hartwig Date 2015-02-18 16:59

Klar, ich will auch nicht meckern.
Es gibt Grund für die Annahme, dass hier ein Fortschritt gelungen ist, und das wie und wann wird ja ggf. noch geklärt und kann dann auch zu einer Konsolidierung dieses Fortschritts genutzt werden.
So richtig zufrieden wird man aber sicher erst sein, wenn dies genauer verstanden ist, denke ich.
Alles gut, soweit.

Michael hatte "Transparenz" und "kommerziell" in seinem Posting, und so dachte ich nur mal kurz konkret daran, wie es aussähe, wenn genau diese Transparenz auf der Pappschachtel eines Kaufprogrammes gedruckt wäre.

Benno

By Benno Hartwig Date 2015-02-18 14:14 Edited 2015-02-18 14:17

Der Blick auf die Grafik ganz unten auf
http://www.fastgm.de/threads2.html
lässt auch den Wunsch stark werden, dass Stockfish irgendwie lernt, mehr damit anzufangen, wenn er mehr als 8 Threads aufmachen darf. (vielleicht sogar schon bei eben 8 Threads etwas mehr)
Diese Grafik lässt ja sogar die bange Frage aufkommen, ob Stockfish bei Nutzung von 32 Kernen womöglich bislang sogar geschwächt würde.

Benno

By Benno Hartwig Date 2015-02-20 13:40

CEGT 40/4
http://www.husvankempen.de/nunn/40_4_Ratinglist/40_4_AllVersion/rangliste.html
hat inzwischen auch die 12-Thread-SF6-Ergebnisse in der Liste:

Th   Stockfish   Komodo   Diff
--------------------------------
1       3210      3144     +66
4       3258      3236     +22
8                 3290
12      3354      3310     +44

Auch ohne den jüngsten Patch, der ja ggf. auch schon bei 12 Threads Vorteile bringen könnte(?), schlägt sich SF hier auch mit recht vielen Kernen sehr wacker!

Benno