Stockfish CLOP

By Tom Paul Date 2013-11-11 14:57

Seit einem Tag gibt es bei den Stockfish Verbesserungen etwas neues -> CLOP

Keine Ahnung wofür diese Abkürzung genau steht.

Dieses CLOP dient dem automatischem Parameter Feintuning.
->Es wird nie wieder eine Zeitspanne geben, in der nichts bei Stockfish getestet wird.

Z.B.
Aggressiveness[0, 200] Cowardice[0, 200]

Ergebnis:
17280 - # of samples
2989 - # of wins
3351 - # of losses
0.471451 - win %
84 - best value for Aggressiveness
125 - best value for Cowardice

Damit kann man extrem schnell und sehr genau die unterschiedlichsten Parameter verbessern.
-> Was in ELO bedeuten würde -> die Entwicklungsgeschwindigkeit von Stockfish würde sich mindestens!!! verdoppeln.
Und das CLOP soll immer die letzten Tage eines Monats laufen, quasi erst nachdem die neuen Patches in den Code implementiert oder entfernt wurden.
Es würde keinen Monat mehr geben wo Stockfish 0 ELO dazugewonnen hätte.
Es hilft auch neue Patches zu entwickeln.

Der oben genannte Test war erfolgreich und die neuen Parameter wurden bereits von einem Entwickler in die neueste Dev eingefügt (gibt es noch nicht zum download) und getestet und es gibt jetzt schon einen ELO Gewinn.

Es wird jetzt nur noch über die restlichen Details beim CLOP gesprochen.

Damit dürfte Stockfish extrem stark im Superfinale auftreten.

By sachista Date 2013-11-11 16:50 Edited 2013-11-11 18:08

[quote="Tom Paul"]
Seit einem Tag gibt es bei den Stockfish Verbesserungen etwas neues -> CLOP

Keine Ahnung wofür diese Abkürzung genau steht.
[/quote]

Confident Local OPtimization: http://remi.coulom.free.fr/CLOP/

By Ingo Althöfer Date 2013-11-11 19:48

Die CLOP-Prozedur zum Parameter-Optimieren hat Remi Coulom "erfunden"
und zuerst in der Conputer-Go-Szene vorgestellt. Das war im Herbst 2011,
vor der Computer-Olympiade in Tilburg. Nach und nach hat sich dann herum
gesprochen, dass man es auch bei vielen anderen Anwendungen (auch Spiele-
Programmierungen) anwenden kann.

CLOP ist aber kein Wundermittel...

Ingo Althöfer.

By Wolfram Bernhardt Date 2013-11-11 20:03

Hallo Herr Althöfer,

das klingt sehr interessant. Ich habe im Zusammenhang mit der Implementierung einer Engine für Dvonn selber viel mit automatischem Parameter-Tuning experimentiert.
Allerdings nur mit dem schon klassischen Ansatz genetischer Algorithmen. (Parametersätze erzeugen, gegeneinander spielen lassen, die besten kreuzen und mutieren, und wieder gegeneinander spielen lassen usw.)

Lässt sich in ein paar Zeilen umreissen, wo demgegenüber Unterschiede/Vorteile/Weiterentwicklung von CLOP liegen oder ist CLOP etwas grundsätzliches anderes?

Viele Dank und viele Grüße,
Wolfram Bernhardt

By Wolfram Bernhardt Date 2013-11-11 19:55 Edited 2013-11-11 20:05

[quote="Tom Paul"]
Dieses CLOP dient dem automatischem Parameter Feintuning.
->Es wird nie wieder eine Zeitspanne geben, in der nichts bei Stockfish getestet wird.
[/quote]

Das stimmt noch.

[quote="Tom Paul"]
Damit kann man extrem schnell und sehr genau die unterschiedlichsten Parameter verbessern.
[/quote]

Ich bin nicht sicher, ob ich das so unterschreiben würde. Es geht automatisch und kann unbeobachtet laufen. Aber es müssen immer noch Partien gespielt oder Teststellungen berechnet werden. Da das einen großen Teil der Testzeit ausmacht, ist der Gewinn nicht so extrem, würde ich vermuten.

[quote="Tom Paul"]
-> Was in ELO bedeuten würde -> die Entwicklungsgeschwindigkeit von Stockfish würde sich mindestens!!! verdoppeln.
Und das CLOP soll immer die letzten Tage eines Monats laufen, quasi erst nachdem die neuen Patches in den Code implementiert oder entfernt wurden.
Es würde keinen Monat mehr geben wo Stockfish 0 ELO dazugewonnen hätte.
[/quote]

Bei aller Begeisterung (die ich teile): Das stimmt jetzt wohl nicht mehr. Wenn der Monat schlecht lief und die eingebauten, vermeintlichen Verbesserungen sich als allgemeine Verschlechterungen erweisen, war der Monat für die Katz, es gäbe keine Elosteigerung.

Aber eigentlich ist dieses Vorgehen so gut und naheliegend, dass es mich wundern würde, wenn es wirklich etwas Neues in der Engine-Entwicklung wäre.

Viele Grüße,
Wolfram

By Benno Hartwig Date 2013-11-12 04:15

[quote="Wolfram Bernhardt"]Ich bin nicht sicher, ob ich das so unterschreiben würde. Es geht automatisch und kann unbeobachtet laufen. Aber es müssen immer noch Partien gespielt oder Teststellungen berechnet werden. Da das einen großen Teil der Testzeit ausmacht, ist der Gewinn nicht so extrem, würde ich vermuten.[/quote]Klar, da sicher nicht weniger Spiele gemacht werden müssen, als wenn man eine einzelne Version verlässlich bewerten will, dauert es auf jeden Fall.
Aber indem man ggf. systematisch und eben automatisch sehr viele Parameterwerte testet, erhält man damit (oder mit nur erträglich mehr Partien) nicht nur diese eine Version getestet, sondern erhält auch eine annähernd optimale Wahl des Parameters.
Siehe 'Ausgleichsrechnung', http://de.wikipedia.org/wiki/Ausgleichungsrechnung

Benno

By Patrick Götz (Mod.) Date 2013-11-11 20:17

[quote="Tom Paul"]
Dieses CLOP dient dem automatischem Parameter Feintuning.
->Es wird nie wieder eine Zeitspanne geben, in der nichts bei Stockfish getestet wird.
[/quote]

Vielleicht könntest Du Dich angesichts dieser Neuigkeiten auch mal wieder dazu aufraffen etwas CPU Leistung beizutragen.
Was den Unterstützerkreis aus Deutschland angeht fühle ich mich beim Stockfish Testing ziemlich einsam.
Wenn ich mir Deine vielen Beiträge hier zu Stockfish lese, hätte ich gerade von Dir einen Beitrag erwartet.
Stattdessen überlässt Du die Arbeit seit Monaten anderen.