SPCC: Stockfish 140723 Testrun durch

By Stefan Pohl Date 2014-07-29 12:15

Stefan Pohl schrieb:

The result of Stockfish 140723 is now online.

<a class='urs' href='http://spcc.beepworld.de'>http://spcc.beepworld.de</a>

Stefan

(Perhaps you have to clear your browsercache or reload the website)

Der Regression-(Self-)Test dieser Version ergab im Framework +19.6 Elo zu Stockfish 5. Bei mir sind es (mit mehr Bedenkzeit und eben gegen 5 andere Engines) +17 Elo. Das paßt also ganz gut. Leider stagniert Stockfish aber nun seit dem 11.6., da diese Version auch schon so gut gescored hatte.
Naja, vielleicht bringt der neue Patch vom 27.6. ja was...Der Start ist jedenfalls gut gelaufen. Samstag sollte das Ergebnis voraussichtlich vorliegen. Alle Zeitangaben wie immer ohne Gewähr.

Stefan

By Benno Hartwig Date 2014-07-29 13:36 Edited 2014-07-29 13:38

Knapp zwar, aber erfreulicherweise mal wieder ein "neuester Stockfish", der sich an die Spitze deiner Liste setzen kann.
Benno

PS und nur aus Neugierde:
Wodurch kommt es eigentlich, dass bei jeweils 5000 Partien meistens +-7 angegeben wird, zweimal aber auch +-6?
Was war in diesen Fällen anders?

By Stefan Pohl Date 2014-07-29 14:00 Edited 2014-07-29 14:04

Benno Hartwig schrieb:

Tja, das liegt an bayeselo, da hab ich keinen Einfluss drauf. Wahrscheinlich liegt die Errorbar bei allen Ergebnissen so um die 6.5 Elo (bayeselo rundet ja alles automatisch auf- bzw. ab). Und eine leicht höhere Zahl von Remisen drückt die Errorbar dann auf 6.4 und eine geringere Zahl von Remisen erhöht sie dann auf 6.6...Oder die Ergebnisse der jeweiligen Stockiversion sind gegen die 5 Gegnerengines gleichförmiger oder weniger gleichförmig. Kann ich nicht genau sagen.
Das sind Nuancen, die kannst du getrost ignorieren. Soooo genau sind die Messungen sowieso nicht. Ob die Errorbar nun 6 oder 7 ist (bzw. gerundet so angezeigt wird), spielt gar keine Rolle.

Stefan

By Hauke Lutz Date 2014-07-30 14:56

Es müsste die Standardabweichung / der Streubereich der Leistungen gegen die unterschiedlichen Engine sein, aber um das genau nachzurechnen bräuchte ich die Elo der Referenzengines.

Gruß
Hauke

By Tom Paul Date 2014-08-01 08:22

Stefan Pohl schrieb:

The result of Stockfish 140723 is now online.

<a class='urs' href='http://spcc.beepworld.de'>http://spcc.beepworld.de</a>

Stefan

(Perhaps you have to clear your browsercache or reload the website)

Bei dem Stockfish ist mir aufgefallen, dass dieser viele Vorteile zum Sieg nicht verwerten konnte.
Der Stockfish, mit weiß, erreichte in meinem Test der 20 möglichen Eröffnungszüge bei einer Bedenkzeit von 10min pro Partie + 5sek pro Zug gegen Komodo 7a 30min pro Partie und 15sek pro Zug ein Ergebnis von +1 =15 -4.
Und nach dem Seitenwechsel hatte Komodo mit weiß ein +1 =16 -3 erreicht.

Der Stockfish vom 27.07.2014 scheint besser seine Vorteile zum Sieg verwerten zu können.
Mit weiß: +6 =10 -4
Schwarz kommt noch.

Ps. wie sieht es mit deinem Zwischenstand aus?

By Tom Paul Date 2014-08-01 08:48

Ich muss das Ergebnis korrigieren, Stockfish mit weiß +7 =9 -4 unglaublich das sich der Fish noch durchgesetzt hat.