SPCC: Endless RoundRobin: Stockfish marschiert

By Stefan Pohl Date 2014-05-15 11:51 Edited 2014-05-15 11:57

Hallo zusammen,

mittlerweile sind in meinem Endless Round-Robin-Turnier mit rel. langer Bedenkzeit (15'+3'') und 4 cores immerhin mehr als 500 Partien absolviert worden, sodaß man schon mal einen Blick auf die Ergebnisse riskieren kann. Auch wenn diese noch immer statistisch recht wackelig sind (habe meine Website gerade aktualisiert)
Ich hatte ja die Hoffnung, daß der der Traumstart von Stockfish (ca. 11% besserer Erfolgsscore als Houdini (unfaßbar viel!) nach ca. 200 Partien) sich auf ein "normaleres" Maß reduzieren würde, wenn mehr Partien absolviert sind (im Interesse der Gesamtspannungssituation im Kampf um die Nummer 1). Aber dem ist bisher nicht so. Im Gegenteil. Mittlerweile ist der Vorsprung im Erfolgsscore auf den Tabellenzweiten (Houdini 4) auf unfaßbare 13.9% Vorsprung angewachsen und Stockfish scort momentan gegen jeden der 3 Gegner über 60%. Houdini scort mittlerweile gegen Stockfish sogar schlechter, als Komodo gegen Stockfish scort.

Ich war zwar schon immer der Meinung, daß Stockfish aufgrund seiner hohen Selektivität in der Suche von mehr Bedenkzeit und Cores überproportional profitiert (im Vergleich zu Houdini & Co), aber daß Stockfish bei diesem ja noch immer recht flotten Spieltempo und meiner bestenfalls mittelprächtigen Notebook-Hardware, die Konkurrenz der anderen Top-Engines derart in Grund und Boden spielt, ist doch recht überraschend.

Sollte Stockfish also das TCEC-Superfinale erreichen (nur dort werden ja halbwegs brauchbare statistische Partiezahlen gespielt, bis dahin ist es reine Glückssache), braucht der Gegner (wer immer es auch ist) eigentlich gar nicht anzutreten. Nach menschlichem Ermessen wird das für die gegnerische Engine eine Beerdigung erster Klasse mit Eichenlaub und Schwertern...

Stefan

http://spcc.beepworld.de/

By Tom Paul Date 2014-05-15 13:16

Ich schätze der Stockfish im Superfinale wird nicht mehr 13,9% erreichen sondern ~17%.
Und der Stockfish am Ende des TCEC wird bei dir die 3200 ELO erreichen.

Stockfish scort momentan gegen jeden der 3 Gegner über 60%.
Könnte besser sein, Putin scort gegen jeden seiner Gegner über 80% und das wird Stockfish auch bald erreichen.
Wie scort Stockfish eigentlich gegen H3, 70-80%?
Das Komodo gegen Stockfish besser scort wundert mich nicht, denn mit steigender Spielstärke + mehr Bedenkzeit + mehr Kerne bekommt das Positionelle mehr an Bedeutung als das Taktische und da Komodo positionell alles abschirmt, ergeben sich keine Schwächen in den Stellungen und somit keine taktischen Abwicklungen die zu einem Gewinn von... und somit zum Partiegewinn führen könnten.

-Ich war zwar schon immer der Meinung, daß Stockfish aufgrund seiner hohen Selektivität in der Suche von mehr Bedenkzeit und Cores überproportional profitiert (im Vergleich zu Houdini & Co), aber daß Stockfish bei diesem ja noch immer recht flotten Spieltempo und meiner bestenfalls mittelprächtigen Notebook-Hardware, die Konkurrenz der anderen Top-Engines derart in Grund und Boden spielt, ist doch recht überraschend.

Früher war das so, dass Stockfish von mehr Bedenkzeit und Kernen überproportional profitiert hat, weil er schwächer war, heute profitieren die schwächeren Gegner mehr davon.
Bei Stockfish DD scheint nach Andreas Strangmüllers Liste bei 8 Kernen schluss zu sein, deshalb vermute ich mal das der wesentlich stärkere Stockfish schon nach 4 oder evtl. 6 Kernen keinen Spielstärkezuwachs mehr verzeichnet, weil die Engine einfach so gut programmiert ist, dass nichts/ ELO messbares mehr durch mehr Kerne gefunden wird.

Deshalb finde ich auch wenn überhaupt, dann ist Stockfish DIE Engine beim TCEC die benachteiligt wird.
Bsp.
Bei Stockfish DD ist bei 8 AMD Opteron Kernen schluss.
Beim TCEC werden 16 Intel Xeon Kerne verwendet.
Die Xeon CPUs gelten als doppelt so stark wie AMD CPUs, dämnach macht Stockfish bei 4 Xeon Kernen schluss (4 Xeon Kerne = 8 AMD Kerne).
Wenn man jetzt noch bedenkt das beim TCEC ein viel stärkerer Stockfish als der DD mitspielt, dann dürfte bei 2 Xeon Kernen für Stockfish schluss sein.
= Somit profitieren nur Komodo und Houdini etc. überproportional von mehr Kernen und mehr Bedenkzeit aber nicht Stockfish.
Die TB bringen nur den schwachen Engines viel, wodurch diese besser gegen Stockfish scoren, Stockfish gewinnt kaum etwas, denn ob Stockfish die Stellung auf Tiefe 45 oder +TB auf Tiefe 47 rechnet das bringt nichts, bei den Schwachen aber Tiefe 28 oder +TB Tiefe 30 schon.
Und die Bedenkzeit müsste auch angepasst werden.

Somit müsste man schon auf nur maximal 2 Intel Kernen testen damit die Ergebnisse fair sind, sonst kann man gleich +500 Kerne einsetzen und TCEC Bedenkzeit und sich darüber wundern, warum Deep Fritz 14 50% gegen Stockfish scort.

PS. besser eine Beerdigung erster Klasse als zweiter Klasse.

Und nicht zu vergessen http://stockfishchess.org/get-involved/
Wie soll Stockfish denn sonst die 3500 ELO erreichen!!!

By Benno Hartwig Date 2014-05-15 14:04

> Deshalb finde ich auch wenn überhaupt, dann ist Stockfish DIE Engine beim TCEC die benachteiligt wird.

Zu Sicherheit wären hier eine Hand voll Zwinkersmilys schön gewesen.

Es ist ja toll, dass SF diese Spielstärke ggf. auch schon fast mit 4 oder 8 Kernen erreichen könnte.
Und ggf. trifft dies auch auf manchen Konkurrenten zu.
Aber falls SF mit 16 Kernen tatsächlich nicht viel anzufangen weiß, dann ist das (neben allen andere Stärken) eben eine Schwäche von SF.
Und ich finde toll, dass TCEC eben 16 kerne (also: sehr viel für 2014) zur Verfügung stellt und die Engines und die Entwickler damit herausfordert.
Die Engine-Rechner-Kombination mit dem besten Preis-Leistungs-Verhältnis kann anderswo ermittelt werden. Bei TCEC geht es um die größte Spielstärke bei reichlich Ressourcen.

Benno

By Philipp Date 2014-05-15 19:50

Für mich persönlich waere eine engine dann gut, wenn sei bei der 1000-fachen Leistung eines (es ist glaube ich ein alter AMD 2 Kerner Referenz) oder mehr die beste Leistung erzielt.

Das extreme cutten von Stockfish mag für genau die Zeitspanne gut sein, aber liefert es auch den besten Zug für viele Knoten, ich denke nein.

Was mir halt auffällt in sehr kurzen games, dass Stockfish oft viel früher den point of winning erkennt als Houdini.

Meiner Meinung nach sollte man den Standard erhöhen auf mindestens 32 Kerne, wer will den schon wissen, wer der bessere Blitzer ist.

By Benno Hartwig Date 2014-05-15 20:03

> Meiner Meinung nach sollte man den Standard erhöhen auf mindestens 32 Kerne

Nur zu. Kauf dir die 32-Kerne-Maschine, mache ein schönes Event darauf, und das Interesse wird dir gewiss sein.
(Ich meine: sobald du mit dem launigen auf dem Boden Rumwälzen fertig bist)
Benno

By Hauke Lutz Date 2014-05-15 20:30

Lass ihn bis 2015 warten... da kommen Intel-Server-CPUs raus die 18 (echte) Kerne haben.. damit kann er sich eine 36 Kern-Monstrum bauen mit 1TB DDR4-Speicher und allem.. dann lässt er am besten auf 35 Kernen spielen (Übertaktet bis nach Meppen) bei 4h + 240" selbstverständlich... da drunter ist doch alles langweilig..

By Tom Paul Date 2014-05-15 19:42

Wenn ich mich recht erinnere, enthält das Stockfish Buch Vorgabestellungen von maximal -0.30 bis +0.30.
-0.20 bis +0.20 würde ich hier besser finden, weil ausgeglichener und die schwächeren Engines punkten schlechter gegen Stockfish und dieser gewinnt mehr.

By Benno Hartwig Date 2014-05-15 19:49

Bei etwas unausgeglichenen Eröffnungen mag der überlegenen Engine mit größerer Wahrscheinlichkeit nur ein 1,5:0,5 gelingen. OK.
Wie konkret begründest du, dass dieser Engine bei einer (vielleicht sogar ideal!) ausgeglichenen Eröffnung wirklich Besseres gelingt?
Benno