Testrun von Stockfish 141109 durch

By Benno Hartwig Date 2014-11-14 08:14

Huch, ein +10ELO-Sprung nach oben. *frohlock*
Ein gewisses Rauschen begleitet natürlich die Messungen. Mal abwarten was man sonst noch so liest.
Aber zumindest ein sehr interessantes, schönes, ein Lust auf 'mehr' machendes Ergebnis!

Thanx, again! (für deinen Einsatz. Nicht dafür, dass das Ergebnis heute erfreut)
Benno

By Tom Paul Date 2014-11-14 09:04

Ja der +10 ELO Sprung ist wirklich toll.
Und diese Version müsste jetzt so stark sein wie Komodo 1324 (Stage 3), wenn es darum geht gegen unterschiedliche Gegner viele Punkte zu holen.
Im direkten Zweikampf scheint mir Komodo immer noch stärker zu sein.
Bsp. Komodo spielt X ELO stärker durch besseres SMP, Steigerung von 8 auf 16 Kerne. Stockfish bekommt 0 ELO, falls er nicht sogar etwas verliert.
Komodo profitiert von mehr Zeit an X ELO, vergleichbar mit einer Steigerung von 16 auf 32 Kerne.

Die ~0.00 Endspiele, Stockfish mit Dame + X + Bauern vs keine Dame + X + Bauern werden regelrecht verloren.
Stockfish, es wird zu oft abgetauscht, obwohl bessere Züge vorhanden sind. Bessere Züge = gleiche Bewertung wie der Abtausch, nur bleibt durch die Abtauschvermeidung das benötigte Gewinnmaterial auf dem Brett.

By Benno Hartwig Date 2014-11-14 09:59

> Im direkten Zweikampf scheint mir Komodo immer noch stärker zu sein.

Oh, dieser Schein war bei mir noch nicht angekommen.
Die gängigen Listen zeigen, dass ja sogar der 'uralte' SF5 noch mit K8 mithalten kann.
Auch auch falls K8 wirklich besonders gut mit vielen Kernen umgehen kann und auch wenn manche SF-Schwäche korrekt beschrieben wurde, sehe ich nicht, dass die letzten SF-Dev-Versionen irgendwie hinter K8 lägen.
Wodurch hattest du deinen Eindruck gewonnen?

Benno

By Tom Paul Date 2014-11-14 10:52 Edited 2014-11-14 10:54

Nicht hinter K8 aber hinter K1324, je nach Anzahl der Kerne und der Bedenkzeit.
Es wird ja meistens nur mit einem Kern getestet.
Beim TCEC traue ich Komodo zu, im Moment noch, den ersten Platz zu holen.
Bei Stockfish müssen dringend weitere Patches folgen, Stage 3 ist schon zu 1/5 durch.

By Benno Hartwig Date 2014-11-14 13:04

> Bei Stockfish müssen dringend weitere Patches folgen, Stage 3 ist schon zu 1/5 durch.

Immerhin führt SF hier (nach schlappen 5 Spielen) mit einem halben Punkt vor K.

Benno

By Joachim Müller Date 2014-11-14 18:15

Kaffeesatzleserei.

By Patrick Götz Date 2014-11-14 09:22

Ja, die interne Framework Messung ergab nur ein Sprung von +5Elo, so dass man vermuten darf, dass diese Version etwas zu hoch bewertet wurde.
Nichtsdestotrotz zeigen die beiden letzten Messungen von Stefan, die beide neue Nr. 1 wurden, dass Stockfish weiterhin signifikant verbessert wird.

By Stefan Pohl Date 2014-11-14 09:41

Patrick Götz schrieb:

Ja, die interne Framework Messung ergab nur ein Sprung von +5Elo, so dass man vermuten darf, dass diese Version etwas zu hoch bewertet wurde.

Möglich. Allerdings gab es seit der letzten von mir getesteten Version immerhin drei echte functional patches (also patches, die nicht nur als non-regression getestet wurden). Das ist für nur eine Woche sehr viel. Ergo halte ich +10 Elo durchaus für möglich.
Mal sehen, was am Wochende noch kommt und wann ich den nächsten Testrun starte. Bisher gab es keinen echten functional patch seit dem 9.11., daher macht ein Test jetzt noch keinen Sinn.

Stefan

By Tom Paul Date 2014-11-14 17:48

Sehr beeindruckend ist auch, wenn man von den Remis absieht, dass Stockfish Dev. doppelt so viele Siege wie Niederlagen gegen Stockfish 5 hat. Z.B. (gerundet) 10000 zu 5000 oder 8000 zu 4000.