Stockfish 160120 auf Quadcore stark!?

By Stefan Pohl Date 2016-01-23 09:54

Hallo zusammen,

nachdem Stockfish 160113 bei seinem singlecore Bullettestrun ordentliche +11 Elo gegenüber Stockfish 7 zulegen konnte, habe ich mich gestern dazu entschlossen im Endless RoundRobin, welches ja z.Zt. ein Enginezweikampf Stockfish-Komodo ist, den gestern aktuellsten Stockfish von abrok.eu, also Stockfish 160120 (for modern computers) ab sofort gegen Komodo 9.3 spielen zu lassen. Beide Engines nutzen jeweils alle 4 cores des Testrechners (ohne permanent brain, versteht sich), ohne Endspieltabellen, mit der ordentlichen Bedenkzeit von 15'+3''. Diese Bedingungen des Endless RoundRobin könnt ihr ja auf meiner Website auch nochmal genau nachlesen.
Stockfish 7 lag unter diesen Bedingungen nach 568 Partien bei einem Erfolgsscore gegen Komodo 9.3 von 52.9%, was laut Ordo +15 Elo entspricht. Siehe dazu auch meine Website.
Stockfish 160120 liegt nach 44 Partien (ja, ich weiß, daß das noch sehr wenig ist) bei unfaßbaren 63%. Das wären mehr als +70 Elo.
Daher fände ich es schön, wenn vielleicht der eine oder andere, der ein bißchen Rechnerkapazität erübrigen kann, den aktuellen Stockfish auch mal mit wenigstens 4 cores gegen Komodo testet. Denn dieses Ergebnis ist einfach zu heftig. Es gab am 18.1. einen Patch in Stockfish, der den multicore-Betrieb betrifft und der auch sehr glatt durchging, aber dennoch. Schon seltsam.
Ich warte schon gespannt, wie sich das Ergebnis bei mir in den nächsten Tagen entwickeln wird. Vielleicht ist es auch nur ein statistischer Ausreißer. Mal sehen...Bei mir werden ca. 40 Partien pro Tag absolviert. Bis halbwegs sichere Ergebnisse mit mindestens 200 Partien vorliegen, wird es also noch 4 Tage dauern. Frühestens dann werde ich auch meine Website diesbzgl. aktualisieren.

Stefan

By Peter Martan Date 2016-01-23 10:55

Danke, Stefan!

By Stefan Pohl Date 2016-01-23 16:23

Peter Martan schrieb:

Danke, Stefan!

Als kleine, ergänzende Anmerkung sei bemerkt, daß die Stockfishe (also auch zuvor Stockfish 7) in meinem EndlessRoundRobin mit Contempt=10 spielen. Das kann aber nicht die Erklärung sein, weil, wie erwähnt, auch Stockfish 7 mit diesem Contempt spielte und 52.9% Erfolgsscore erzielte.
Jetzt sind übrigens 54 Partien absolviert und der Erfolgsscore von Stockfish 160120 liegt immer noch bei knapp über 61% (Score ist 33-21). Kaum zu glauben.

Stefan

By Heiko Bruns Date 2016-01-23 17:27

Ich habe gerade mal das Tunier mit deinen Bedingungen auf einem 6Kerner (i7-980x) gestartet.
Die Wettkampf läuft unter der Fritz 13 GUI.
Morgen werde ich mal einen Zwischenstand posten.

Gruß Heiko

By Stefan Pohl Date 2016-01-24 06:35

Heiko Bruns schrieb:

Ich habe gerade mal das Tunier mit deinen Bedingungen auf einem 6Kerner (i7-980x) gestartet.
Die Wettkampf läuft unter der Fritz 13 GUI.
Morgen werde ich mal einen Zwischenstand posten.

Gruß Heiko

Super. Bin gespannt, wie es auf 6 Kernen aussehen wird!
Jetzt, nach 76 Partien, ist der Erfolgsscore 57.9%. Es geht zwar abwärts, aber es sind immer noch 5% mehr als bei Stockfish 7. Also immer noch exorbitant gut.
Naja, Dienstag oder Mittwoch werde ich das Ergebnis bis dahin auf meiner Website einbauen. Dann sollte es schon halbwegs sicher sein. Dann kann jeder, der mag, sich die Partien auch dort herunterladen.

Stefan.

By Benno Hartwig Date 2016-01-24 12:58 Edited 2016-01-24 13:40

> Jetzt, nach 76 Partien, ist der Erfolgsscore 57.9%.

Andererseits weißt du sicher besser noch als wir, wie leicht bei deutlich weniger als 100 Partien bei zwei gleichstarken Engines mal eine mit 55:45 in Führung geht, und auch 60:40 ist da ggf. nicht selten.
Aber du hast mit deiner Meldung sicher sehr neugierig gemacht.
Und dein letztes SF-Testergebnis ist ja auch spektakulär.

Benno

By Stefan Pohl Date 2016-01-25 05:42

Benno Hartwig schrieb:

Alles völlig korrekt.
Und ein bißchen neugierig machen, war der Sinn des Postings.

Stefan

By Stefan Pohl Date 2016-01-25 12:01

Jetzt 124 Partien. Immer noch 57%. Seit mehr als 50 Partien ist dieser Score jetzt praktisch konstant. Und damit immer noch etwa 4% höher als Stockfish 7 (ca. +30 Elo) hatte. Im Bullettestrun auf singlecore waren es "nur" +11 Elo. Und bei den viel längeren Bedenkzeiten (und 4 cores!) im Endless RoindRobin sollten diese +11 Elo eigentlich auf +5 oder weniger zusammenschmelzen...
Übrigens war das Einzelergebnis von Stockfish 160113 gegen Komodo 9.3 im Bullettestrun 56.9% (1000 Partien). Somit ist der Erfolgsscore im EndlessRoundRobin im Moment etwa gleich. Und das ist bei so viel längeren Bedenkzeiten absolut ungewöhnlich.
Im Bullettestrun dauert eine Partie ca. 200 Sekunden. Im EndlessRR sind es ca. 40 Minuten - konservativ nur mit Faktor 3 multipliziert, wegen der 4 cores also 120 Minuten. Das ist ca. das 36fache an Bedenkzeit (!).

Morgen oder übermorgen aktualisiere ich meine Website. Je nachdem, ob der Score bei ca. 57% bleibt, oder nicht.

Stefan

By Ernest Bonnem Date 2016-01-25 00:17

Stefan Pohl schrieb:

Jetzt, nach 76 Partien, ist der Erfolgsscore 57.9%. Es geht zwar abwärts...

Error-bars, error-bars, lieber Stefan !

By Heiko Bruns Date 2016-01-25 19:36

Musste leider nach 33 Partien den Vergleich neu starten. Stockfisch spielte nur mit Weiß.

Nach 50 Partien steht es nun

Stockfisch - Komodo +9 =33 -8 51%

Gruß Heiko

By Heiko Bruns Date 2016-01-27 20:02

Ein kurzer Zwischenstand nach 129 Partien

Stockfisch - Komodo +31 =77 -21. =53,9%

Gruß Heiko

By Tom Paul Date 2016-01-23 18:59

Stefan Pohl schrieb:

Stockfish 160120 liegt nach 44 Partien (ja, ich weiß, daß das noch sehr wenig ist) bei unfaßbaren 63%. Das wären mehr als +70 Elo.

Daran ist überhaupt und rein gar nicht unfassbar.
Ich habe fast genau das gleiche Ergebnis wie du.
Und ein Stockfish, den ich vor ein paar Monaten getestet habe, war bereits ~+50 ELO besser.
Das weiß man eben wenn man mit den 20 möglichen Eröffnungszügen testet und die Engines selbst die Eröffnungen erfinden müssen.
Deshalb bin ich der einzige Verwunderte der sich fragt, warum sich immer die Leute über Ergebnisse wundern die ich schon vorher wusste.

By Heiko Bruns Date 2016-01-29 18:14

so nun das Endergebnis nach 200 Partien auf dem i7-980x mit 6 core

gleiche Bedingungen wie die von Stefan Pohl nur mit der Fritz 13 GUI

Stockfish 200116 - Komodo 9.3 +55 =115 -30 56,25%

Gruß
Heiko

By Stefan Pohl Date 2016-01-30 14:15

Heiko Bruns schrieb:

Super. Bei mir sind knapp 300 Partien durch und der Score von Stockfish 160120 liegt bei 55%. Deckt sich recht gut. Also ca. 30-35 Elo besser als Komodo 9.3.

Gruß - Stefan

By Tom Paul Date 2016-01-30 15:26

Stefan Pohl schrieb:

Heiko Bruns schrieb:

Super. Bei mir sind knapp 300 Partien durch und der Score von Stockfish 160120 liegt bei 55%. Deckt sich recht gut. Also ca. 30-35 Elo besser als Komodo 9.3.

Gruß - Stefan

Und in welchen Stellungen hat jetzt Stockfish Fehler gemacht die zum Verlust führten?

By Stefan Pohl Date 2016-01-31 13:58

Tom Paul schrieb:

Stefan Pohl schrieb:

Heiko Bruns schrieb:

Super. Bei mir sind knapp 300 Partien durch und der Score von Stockfish 160120 liegt bei 55%. Deckt sich recht gut. Also ca. 30-35 Elo besser als Komodo 9.3.

Gruß - Stefan

Und in welchen Stellungen hat jetzt Stockfish Fehler gemacht die zum Verlust führten?

Habe meine Website gerade aktualisiert. Alle Partien des Endless RoundRobin können heruntergeladen werden. Alle Partien enthalten dank der ShredderGUI für jeden Zug die Bedenkzeit, die Suchtiefe und die Stellungsbewertung der Engine.

http://spcc.beepworld.de/endless-roundrobin.htm

Stefan

By Michael Scheidl Date 2016-01-26 18:15

Ein schönes Zwischenergebnis, das uns wiederum eines bestätigt: Die Stockfishler bleiben am Ball! Diese Entwicklercrew ist aktiv und, Schritt für Schritt, erfolgreich. Doch der nächste Komodo-Release wird auch nicht lange auf sich warten lassen. Das heißt, dieses inspirierende Duell um den Spitzenplatz bleibt uns auch 2016 erhalten.

Optimaler Computerschachgenuß!

By Benno Hartwig Date 2016-01-26 20:44

Inzwischen:

Stockfish_16012016_x64_modern  -  Stockfish 7 x64 popcnt         : 586,5/1136 149-112-875
Stockfish 7 x64 popcnt         -  Stockfish_16012016_x64_modern  : 549,5/1136 112-149-875

Also eine aktuelle Quote 51,63% für den neuen Dev-SF.

Benno

By Benno Hartwig Date 2016-01-29 15:52

Ich hatte dann dieselben Engines, gleiches Buch Perfect2015, jew. 2 Threads, kein Pondern, noch mal mit etwas längerer Zeit antreten lassen: 3m + 0,5s (ist ja auch immer noch kurz).
Hier steht es jetzt:

Stockfish_16012016_x64_modern   - Stockfish 7 x64 popcnt         : 329,5/646 61-48-537 
Stockfish 7 x64 popcnt          - Stockfish_16012016_x64_modern  : 316,5/646 48-61-537

Also eine übersichtliche 51,01%-Quote
Benno

By Benno Hartwig Date 2016-01-31 20:09

Weil das Notebook nichts anderes zu tun hatte, hatte ich es so weiterlaufen lassen, bis wieder über 1000 Partien zusammen gekommen waren.
Heraus kam nun:

Stockfish_16012016_x64_modern  - Stockfish 7 x64 popcnt         : 537,5/1038 114-77-847
Stockfish 7 x64 popcnt         - Stockfish_16012016_x64_modern  : 500,5/1038 77-114-847

Der SF vom 20. Januar erspielte also bei 3m+0,5s die Quote: 51,8%

Benno

By Benno Hartwig Date 2016-02-01 20:37

Bevor sich der Rechner um was anderes kümmern soll, musste er noch mal bei sehr sehr kurzen Zeiten ran. 20s+0,2s

Einfach um zu sehen, ob was Ähnliches dabei heraus kommt:

Stockfish 7 x64 popcnt         - Stockfish_16012016_x64_modern  : 529,5/1020 187-148-685
Stockfish_16012016_x64_modern  - Stockfish 7 x64 popcnt         : 490,5/1020 148-187-685

Hier war nun SF7 vorn. (51,9%)
Weil bei ca. 1000 Parien so kleine Vorsprünge noch Zufall sind?
Oder doch, weil bei so ultrakurzen Zeiten die Weiterentwicklung nach SF7 eher nachteilig war? (Kann ich mir irgendwie gar nicht so recht vorstellen)

Benno

By Tom Paul Date 2016-02-21 14:59

21-02-16 II tmm2 diff
ELO: 63.98 +-6.6 (95%) LOS: 100.0%
Total: 6760 W: 2730 L: 1499 D: 2531
10000 @ 2+0.02 th 1 New time management, an elo measure at VSTC. I have a doubt that variants better at one TC will be frequently worse at another TC, and I want to trace that problem.

By Tom Paul Date 2016-02-21 16:06

21-02-16 II tmm2 diff
ELO: 91.13 +-8.4 (95%) LOS: 100.0%
Total: 5003 W: 2461 L: 1178 D: 1364
10000 @ 2+0.02 th 1 New time management, an elo measure at VSTC. I have a doubt that variants better at one TC will be frequently worse at another TC, and I want to trace that problem.