SPCC: Testrun von Stockfish 141012 durch

By Tom Paul Date 2014-10-18 08:35

Endlich hat Stockfish die 3203 ELO erreicht.
Vielleicht solltest du diese Version in deinem EndlessRoundRobin verwenden.
Da eben die 3200 ELO Grenze geknackt wurde und diese Stockfish Version ganze 9 ELO stärker ist und du auch Komodo und Equinox aktualisiert hast.

By Stefan Pohl Date 2014-10-18 12:51

Tom Paul schrieb:

Zu spät. ich habe das Turnier letzte Woche gestartet, da gabs diese Version noch nicht.

Stefan.

By Frank Brenner Date 2014-10-18 23:52

Hast du die 141012 Version - im Gegensatz zu früher - mit deinen neuen Eröffnungstellungen getestet?

So wie ich das verstanden habe handelt es sich dabei um Startstellungen in denen beide Seiten bereits die Rochade durchgeführt haben und zwar stets in entgegengesetzte Richtung.

Rein vom Gefühl ist diese Auswahl ungesund.. Du solltest noch genausviele Stellungen aufnehmen mit gleicher Rochaderichtung und dann noch Stellungen wo die Rochade noch gar nicht durchgeführt wurde.

By Stefan Pohl Date 2014-10-19 03:58

Frank Brenner schrieb:

Ja, so wie es auch in den Testbedingungen steht, benutze ich ab sofort das 500er SALC Set für die Stockfish-Tests. Wie ich im Readme-File des SALC-Ordners erläutert habe, habe ich mit Stockfish 140928 zwei komplette 5000-Partien Testruns gemacht. Einen mit dem alten, normalen 500er Vorgabeset und einen mit dem SALC-Set. Beide Ergebnisse wichen nur um 1% (ca. 7 Elo) voneinander ab, was klar innerhalb der Errorbar und damit der normalen statistischen Schwankungsbreite liegt.
Dein Gefühl in allen Ehren, aber ich verlasse mich lieber auf valide Testdaten. Und diese zeigen ganz klar, daß die Stellungsauswahl eben nicht ungesund ist, sondern ein praktisch identisches Ergebnis produziert hat (eben bis auf die viel niedrigere Remisquote). Und genau das war ja das Ziel bei der Entwicklung des SALC-Sets.

Stefan

By Frank Brenner Date 2014-10-19 09:39

Ich habe das Gefühl mein Gefühl könnte besser sei als zb das Ergebnis von 50.000 Partien.

Du legst sehr viel Wert auf die Abdeckung einer großen Bandbreite beim Eco Code. Im selben Atemzug aber reduzierst du die Eröffnungsstellungen auf 1.) entgegengesetzte und 2.) durchgeführte Rochaden.

Das steht sehr stark im Widerspruch.

Das ist vergleichbar als wenn du nur 1.e4 e5 .... Startstellungen nimmst.

By Benno Hartwig Date 2014-10-19 16:46

Stefan hat auf die eine Art die möglichen Eröffnungen stark eingeschränkt (Rochaden, aus nachvollziehbaren Gründen)
und er wollte nicht auch noch auf andere Arten (grundlos) noch weiter einschränken.
Das finde ich schon verständlich.
Benno

By Frank Brenner Date 2014-10-20 04:02

Ich habe nicht dafür gevotet stets mit 1.e4 e5 zu starten, sondern ich habe geschrieben, dass durch die Tatsache dass in allen Startstellungen 1.) bereits rochiert wurde und zwar 2.) entgegengesetzt, die Einschränkung der Bandbreite der resultierenden Startstellungen derart groß ist, dass trotz Abdeckung aller Eco Codes die tatsächlich erzielte Breite der ausgewählten Startstellungen vergleichbar ist mit einer Menge an Startstellungen die stets mit 1.e4 e5 beginnen.

Zum Beispiel kann nun sämtlicher Code für die Behandlung von Rochaden aus den Engines entfernt werden. Bei Stefans test würde dies gar nicht auffallen.

Der ganze Stellungsaufbau bis hin zur Rochade und ggf das Hindern bzw Stören des Gegners an der Durchführung der Rochade entfällt. Positionelle Leistungen einer Engine in diesem Bereich werden durch Stefans neue Startstellungen nicht mehr festgestellt und erst recht nicht honoriert.
Noch schlimmer: Die Fähigkeit einer Engine selber zu entscheiden ob gleich oder entgegengesetzt oder ob überhaupt rochiert wird, wird ebenfalls vollständig durch die neuen Startstellungen ignoriert. Dieser Code kann ebenfalls aus den Engines entfernt werden.

By Stefan Pohl Date 2014-10-20 05:34 Upvotes 1

Frank Brenner schrieb:

Das ist klingt zwar nicht ganz falsch. Andererseits müßte man, würde man dieser Argumentation folgen, alle Tests von Engines nur noch ab der Grundstellung durchführen. Denn andere, "normale" Eröffnungsvorgaben entbinden die Engines ja z.B. auch von Entwicklungszügen der Leichtfiguren und dem schnellen Vorstoß der Zentralbauern. Denoch wird ja kein Engineautor den dafür hilfreichen Code aus der Engine entfernen. Das ist doch absurd.
Jedwede Eröffnungsvorgabe ist immer eine schachliche Einschränkung der Möglichkeiten aus der Grundstellung heraus.
Sicher ist diese Einschränkung bei den SALC-Sets etwas größer als bei anderen Sets, aber dafür ist die Remisquote deutlich niedriger und es gibt mehr interessante Partien. Wenn das der Preis ist, den ich zahlen muß, um den Remistod des Computerschachs zu verhindern oder wenigstens deutlich hinauszuzögern, so bin ich bereit, diesen zu bezahlen. Wer das nicht ist, braucht ja die SALC-Sets nicht zu benutzen.

Stefan

By Benno Hartwig Date 2014-10-20 07:21

> Jedwede Eröffnungsvorgabe ist immer eine schachliche Einschränkung der Möglichkeiten aus der Grundstellung heraus.

Stimmt.
Engines sind daher auch seit einiger Zeit zu "Mittelspiel-Engines" verkommen.
Zumindest seit Rybka wurde klar, dass Autoren es als überflüssig erachten können, ihren Programmen selbst elementares Endspielwissen mitzugeben,
und der Anreiz für den Entwickler, Mühe in eine Behandlung der Entwicklung von Anfang an zu stecken, ist auch schon sehr lange nicht mehr da.

Auch wenn ich damit natürlich überhaupt nicht praxisnah bin, lasse ich die Engines auch sehr gern mal aus Stellungen heraus starten, bei denen nur wenige Bauern ein Feld bewegt wurden.
Beispielsweise 1) b3 g6 oder so. Und natürlich dann auch ohne Tablebases.
"Sollen die Kisten doch mal zeigen, wie sie selbst es können!"

Benno

By Frank Brenner Date 2014-10-20 11:52 Edited 2014-10-20 11:56

> Andererseits müßte man, würde man dieser Argumentation folgen, alle Tests von Engines nur noch ab der Grundstellung durchführen

Das ist nicht richtig, da liegt ein gehöriger Denkfehler in deiner Argumentation.

Also: Wir gehen von einem Set an Startstellungen aus und führen dann ein sehr großes Turnier durch.

Anschließend schauen wir uns die gespielten Partien an.

Die Partiedatenbank bezüglich einer Engine ist umso vollständiger je mehr unterschiedliche "vernünftige" Eröffnungslinien auftreten. Die Länge einer Eröffnungslinie können wir willkürlich festlegen. Zb alle Längen von 0-10 Vollzügen.

Im wesentlichen ist jede Eröffnungslinie die zu einer spieletheoretischen Remisstellung führt vernünftig.

Wenn du nur die Grundstellung al Startstellung zugrunde legst, so wirst du in der Datenbank am ende deutlich weniger Eröffnungslinien vorfinden wie bei einer Breit angelegten Buch. Damit erzielst du eine Abdeckung von deutlich unter 1%

Bei deinen neuen Starstellungen wirst du nur eine Abdeckung von maximal (gefühlten) 25 % erzielen, auch wenn du nicht nur 500 sondern 1000 oder 5000 oder 10.000 oder beliebig mehr Startstellungen auswählst die nach Deiner Methode berechnet wurden.

Wenn du hingegen JEDE vernünftige Eröffnungslinie (Länge: 0-10) vorgibst, so wirst du 100% abdecken, wenn die Anzahl der Startstellungen immer größer wird.

In der Praxis ist es sicherlich nicht geschickt JEDE Remiseröffnungslinie vorzugeben: Bei den meisten ist es gar nicht so einfach zu entscheiden ob die Endstellung überhaupt noch ein spieletheoretisches Remis darstellt.

Du wirst also ohnehin eine Teilmenge aller Remiseröffnungslinien auswählen.

Wenn du zusätzlich die Remisquote senken möchtest, so wirst du eine noch stärkere Selektion vornehmen müssen.

Dies führt zwangsweise zu einer Reduzierung der Bandbreite.

Die Reduzierung der Bandbreite sollte dann aber so gestaltet werden dass jede Codesequenz in jeder beliebigen Engine prozentual MÖGLICHST genauso häufig durchlaufen wird wie als wenn du jede Remiseröffnungslinie vorgibst.

Hierbei ist das "MÖGLICHST genauso häufig" ein optimalitätskriterium welches von Dir optimiert werden sollte.

Du hast es dir sehr einfach gemacht - VIEL zu einfach: Deine Starstellungen legen alle Rochade relevanten Codeabschnitte jeder Engine lahm.

Da ich sehr gerne mißverstanden werde: Mit Remiseröffnungslinie meine ich jede Linie die in eine spieletheoretischen Remisstellung mündet. Also keinesfalls nur 0.00 Linien oder so was. Es kann durchaus sein, dass es eine 10 Zügige Remiseröffnungslinie gibt die von Stockfish und Komodo und Gull und Rybka mit über +4,18 bewertet wird.

By Chess Player Date 2014-10-20 11:56

Code:

Da ich sehr gerne mißverstanden werde: Mit Remiseröffnungslinie meine ich jede Linie die in eine sSpieletheoretischen Remisstellung mündet. Also keinesfalls nur 0.00 Linien oder so was. Es kann durchaus sein, dass es eine 10 Zügige Remiseröffnungslinie gibt die von Stockfish und Komodo und Gull und Rybka mit über +4,18 bewertet wird.

Ja, das ist es! Es gibt noch sehr viel zu tun...

By Ralf Mueller Date 2014-10-20 12:03

Frank Brenner schrieb:

Wenn du hingegen JEDE vernünftige Eröffnungslinie (Länge: 0-10) vorgibst, so wirst du 100% abdecken

Dann hast du aber nur 100% der vernünftigen Eröffnungslinien (wobei vernünftig eben auch subjektiv ist, weil, wie du selber sagst, auch die Engines gehörigen Fehlbewertungen haben) und nicht 100% der möglichen Eröffnungslinien. Es würde bspw. nie getestet werden, ob sich eine Engine nach 1.e4 a6 2.d4 a5 möglichst effektiv aufbauen kann und ihren Vorteil ausspielen kann. Jede Form der nicht-vollständigen Vorgabe ist eine Einschränkung.

By Benno Hartwig Date 2014-10-20 07:12

> Zum Beispiel kann nun sämtlicher Code für die Behandlung von Rochaden aus den Engines entfernt werden. Bei Stefans test würde dies gar nicht auffallen.

Der Kritikpunkt hat was.
"Nur Eröffnungen bei denen je ein Läufer fehlt!" wäre ähnlich, oder
"Nur Eröffnungen, bei denen bereits je mindestens 2 Bauer vorm Brett sind"
oder eben auch
"Nur Eröffnungen, bei denen noch alle 16 Bauern auf dem Brett sind"

Man bekommt möglicherweise schöne, spannende Spiele zu sehen, ggf. auch tolle Kombinationen,
man hat aber nur etwas eingeschränkt ein Geschehen, das die normale Praxis abbildet.

Wer etwas über "normale Praxis" erfahren will, muss ggf. auch mit "normaler Praxis" testen. OK.
Da das aber ggf. auch Nachteile (viele Remisen) hat, muss man das nicht als den alleinglücklichmachenden Weg ansehen.

Benno

By Griesshammer Christian Date 2014-10-28 01:45

500er SALC Set?
Wo kann ich die als chessbase Datei runterladen?
Danke Griesshammer

By Stefan Pohl Date 2014-10-28 06:59

Griesshammer Christian schrieb:

500er SALC Set?
Wo kann ich die als chessbase Datei runterladen?
Danke Griesshammer

Beide SALC-Sets (es sind beides PGN-Datenbanken, die auch in Chessbase geöffnet werden können), gibt es als einen gezippten Ordner auf meiner Website (in der "Downloads & Links"-Sektion)

http://spcc.beepworld.de

Stefan