SPCC: Stockfish 140513 testrun online

By Patrick Götz Date 2014-05-18 10:43

Die Ergebnisse im endless RoundRobin zeigen eine neue Definition der "großen Drei" auf:
Die "großen Drei" sind:
Gull 3, Houdini 4 und Komodo TCECr
mit 44-48% wohingegen Stockfish unantastbar und mit großen Abstand über allem schwebt.

By Stefan Pohl Date 2014-05-18 10:45

Patrick Götz schrieb:

Die Ergebnisse im endless RoundRobin zeigen eine neue Definition der "großen Drei" auf:
Die großen Drei sind:
Gull 3, Houdini 4 und Komodo TCECr
mit 44-48% wohingegen Stockfish unantastbar und mit großen Abstand über allem schwebt.

So isses.
Allerdings sind es noch immer recht wenige Partien. Es geht halt nur langsam vorwärts.

Gruß - Stefan

By Benno Hartwig Date 2014-05-20 13:09

Bemerkenswert ist dabei aber außerdem, dass Houdini sich aber bei diesen Bedingungen noch einigermaßen deutlich vor Komodo und Gull hält. Die hier 'unangefochtene' Nr. 2 sozusagen.

SF > H > K = G >> Rest

Benno

By Stefan Pohl Date 2014-05-20 15:41

Benno Hartwig schrieb:

Naja. Deutlich ist für mich was anderes. Zumal bei so wenigen Partien.
Houdini liegt vor Komodo und Gull, weil er in den direkten Duellen die Nase vorn hat. Gegen Stockfish läufts bei allen 3 Engines gleich desaströs.
Mal sehen, wieweit sich Komodo 7 wird steigern können...Aber da werden wir wohl mindestens 2 Wochen bis nach dem Release warten müssne, bevor wenigsten ein halbwegs brauchbares Ergebnis vorliegt.

Stefan

By Benno Hartwig Date 2014-05-20 18:51

> Deutlich ist für mich was anderes

1 Stockfish 140507 x64s     : 3258  5000 (+1975,=2323,-702), 62.7 %

Houdini 4 x64                 : 1000 (+313,=448,-239), 53.7 %
Komodo TCECr x64              : 1000 (+355,=495,-150), 60.2 %
Gull 3 x64                    : 1000 (+358,=501,-141), 60.9 %
Rybka 4.1 x64s                : 1000 (+506,=419,- 75), 71.5 %
Fire 3 x64s                   : 1000 (+443,=460,- 97), 67.3 %

Benno

By Stefan Pohl Date 2014-05-20 19:45

Benno Hartwig schrieb:

"Einigemaßen deutlich" formulierte ich auch etwas abschwächend.

Aber ist der Vorsprung von H vor K und G nicht immerhin ungefähr so groß wie der von SF vor H?
Und der wurde oben ja sogar überschwänglich mit "unantastbar und mit großen Abstand" beschrieben.

<code>1 Stockfish 140507 x64s    : 3258 5000 (+1975,=2323,-702), 62.7 %

Houdini 4 x64    : 1000 (+313,=448,-239), 53.7 %
Komodo TCECr x64 : 1000 (+355,=495,-150), 60.2 %
Gull 3 x64 : 1000 (+358,=501,-141), 60.9 %
Rybka 4.1 x64s : 1000 (+506,=419,- 75), 71.5 %
Fire 3 x64s    : 1000 (+443,=460,- 97), 67.3 %</code>

Benno

Eigentlich ging es doch bei den Beiträgen in diesem Thread um das EndlessRoundRobin-Turnier, nicht die reinen Stockfish-Schnelltests, auch wenn ich den Thread damit begonnen hatte...Irgendwie reden wir in letzter Zeit öfter aneinander vorbei...
Ich bezog mich jedenfalls auf das EndlessRR - nachdem Patrick Götz in diesem Thread damit angefangen hatte - mit den langen Bedenkzeiten und den deshalb rel. wenigen Partien. Und da hat Stockfish einen Riesenvorsprung vor den anderen 3 Engines, die alle rel. dicht zusammenliegen.

Code:


Individual statistics:
1 Stockfish 140430 x64s     : 3260  332 (+107,=193,- 32), 61.3 %
Gull 3 x64                    : 111 (+ 37,= 63,- 11), 61.7 %
Houdini 4 x64                 : 110 (+ 35,= 66,-  9), 61.8 %
Komodo TCECr x64              : 111 (+ 35,= 64,- 12), 60.4 %
 
2 Houdini 4 x64             : 3192  332 (+ 66,=190,- 76), 48.5 %
Stockfish 140430 x64s         : 110 (+  9,= 66,- 35), 38.2 %
Gull 3 x64                    : 111 (+ 30,= 56,- 25), 52.3 %
Komodo TCECr x64              : 111 (+ 27,= 68,- 16), 55.0 %
 
3 Komodo TCECr x64          : 3176  332 (+ 49,=204,- 79), 45.5 %
Stockfish 140430 x64s         : 111 (+ 12,= 64,- 35), 39.6 %
Gull 3 x64                    : 110 (+ 21,= 72,- 17), 51.8 %
Houdini 4 x64                 : 111 (+ 16,= 68,- 27), 45.0 %
 
4 Gull 3 x64                : 3172  332 (+ 53,=191,- 88), 44.7 %
Stockfish 140430 x64s         : 111 (+ 11,= 63,- 37), 38.3 %
Houdini 4 x64                 : 111 (+ 25,= 56,- 30), 47.7 %
Komodo TCECr x64              : 110 (+ 17,= 72,- 21), 48.2 %

Stefan

By Benno Hartwig Date 2014-05-21 07:22

> Eigentlich ging es doch bei den Beiträgen in diesem Thread um das EndlessRoundRobin-Turnier...

Sorry, da habe ich natürlich zu flüchtig gelesen.
Und deine Hinweise auf die jeweils sehr kleine Partienzahl sind natürlich berechtigt.
Wie mögen da die 95%-Errorbars sein von einer Engine, die z.B. 61 % holt.

Benno

By Stefan Pohl Date 2014-05-21 11:27 Edited 2014-05-21 11:30

Benno Hartwig schrieb:

Das will ich lieber gar nicht wissen

Es ist ja auch keine Rangliste, und wird aus diesem Grund auch keine werden.
Aber ich lasse das Ganze ja bis zum nächsten Notebook-Neukauf (nicht vor 2015) weiterlaufen und werde Stockfish frühestens nach 1000 absolvierten Partien durch eine neue Version ersetzen, es sei denn es kommt ein offizieller Release. So wie jetzt bald bei Komodo. Dann fliegt die alte Version natürlich sofort raus aus dem Turnier.

Bei dem Tempo schaffe ich eben nur 38-40 Partien pro Tag und damit knapp 1200 pro Monat. Und bei 4 teilnehmenden Engines ist jede Engine an jeder 2. Partie beteiligt, ergo schafft jede Engine knapp 600 Partien pro Monat.
Das Ganze ist eben sehr langfristig angelegt und läuft gerade mal seit 3 Wochen. Es dauert eben, bis da was statistisch brauchbares bei rumkommt. Und Genauigkeitswerte wie in der LS-Liste oder wenigstens der IPON, können wir uns bei diesem Turnier sowieso abschminken.
Das Ganze ist so als Mittelweg zwischen Ranglistentesterei und dem TCEC angesiedelt. Bei Letzterem werde ja Ergebnisse mit noch weit, weit weniger Partien heiß diskutiert...Übrigens führt Stockfish beim TCEC im Moment (wie von mir vorausgesagt) sehr deutlich mit 6-3. Hoffentlich bleibts so, wäre schön, wenn meine Prognose stimmen würde...

Stefan