Stockfish ab sofort mit default Contempt +20

By Stefan Pohl Date 2018-01-23 19:01 Edited 2018-01-23 19:05

Das wurde auch Zeit...
Man darf gespannt sein, wieviel das in den diversen Ranglisten bringt. In meinem großen Contempt-Experiment waren es nur so ca. 5 Elo, aber ich habe ja auch nur gegen zwei Top-Engines und drei etwas schwächere Engines getestet. In den Ranglisten wird Stockfish ja gegen sehr viel mehr und sehr viel schwächere Engines getestet. Insofern würde ich bei FGRL, CEGT, IPON einen erheblich höheren Elogewinn erwarten.

Author: Stéphane Nicolet
Date: Tue Jan 23 14:26:45 2018 +0100
Timestamp: 1516714005

Contempt 20

Set the default contempt value of Stockfish to 20 centipawns.

The contempt feature of Stockfish tries to prevent the engine from
simplifying the position too quickly when it feels that it is very
slightly behind, instead keeping the tension a little bit longer.

Various tests in November 2017 have proved that our current imple-
mentation works well against SF7 (which is about 130 Elo weaker than
current master) and than the Elo gain is an increasing function of
contempt, going (against SF7) from +0 Elo when contempt is set at
zero centipawns, to +30 Elo when contempt is 40 centipawns.

See pull request 1325 for details:

https://github.com/official-stockfish/Stockfish/pull/1325

This november discussion left open the decision of which "default"
value for contempt we should use for Stockfish, taking into account
the various uses ofStockfish (opening preparation for humans, computer
online tournaments,analysis tool for web pages, human/computer play,
etc).

This pull request proposes to set the default contempt value of SF
to twenty centipawns, which turns out to be the highest value which
is not a regression against current master, as this seemed to be a
good compromise between risk and safety. A couple of SPRT[-3..1]
tests were done to bisect this value:

Contempt 10: http://tests.stockfishchess.org/tests/view/5a5d42d20ebc5902977e2901 (PASSED)
Contempt 15: http://tests.stockfishchess.org/tests/view/5a5d41740ebc5902977e28fa (PASSED)
Contempt 20: http://tests.stockfishchess.org/tests/view/5a5d42060ebc5902977e28fc (PASSED)
Contempt 25: http://tests.stockfishchess.org/tests/view/5a5d433f0ebc5902977e2904 (FAILED)

Surprisingly, a test at "very long time control" hinted that using
contempt 20 is not only be non-regressive against contempt 0, but
may actually exhibit some small Elo gain, giving a likehood of superio-
rity of 88.7% after 8500 games:

By Stefan Pohl Date 2018-01-24 19:29

Es läuft ein inoffizieller IPON Testrun der neuen Stockfishversion mit dem default-Contempt von +20.

http://www.inwoba.de/C20.html

Und hier das Ergebnis von Stockfish 180113, eine sehr zeitnahe Version noch mit Contempt=0 (der Gesamt-Erfolgsscore von Stocki war hier 81%)

http://www.inwoba.de/SF.html

By Benno Hartwig Date 2018-01-25 08:13

Wow, sehr interessant.
Interessant, ob am Ende noch mehr Erfolg herausspringt.
Und interessant, ob dies für die Ergebnisse gegen Komodo und Houdini nicht schädlich ist.

Aber: Ob "sehr zeitnah" nicht vielleicht doch Zweifel an der Vergleichbarkeit belässt?

Benno

By Stefan Pohl Date 2018-01-25 12:44

Benno Hartwig schrieb:

Nein, das denke ich nicht. Abgesehen vom neuen default-Contempt gab es nur zwei non-functional patches, die zwischenzeitlich in Stockfish eingebaut wurden. Die dürften in Elo betrachtet keine nennenswerten Auswirkungen haben.

Der IPON Testrun ist mittlerweile recht weit fortgeschritten. Nach über 2400 Partien liegt Stockfish 180123 bei 83% Erfolgsscore. Stockfish 180113 hatte im IPON-Testrun 81%. Und Stockfish 8 hatte 76.9% (jeweils identische Gegner und Bedingungen). Laut Elo-Tabelle ergäbe das ungefähr folgendes Bild:

Stockfish 180113 wäre +43 Elo besser als Stockfish 8 (in der IPON wurde das Ergebnis ja tatsächlich mal inoffiziell von Ingo eingebaut (siehe talkchess) und das ergab dann sogar +48 Elo, weil ein besseres Stockfish-Resultat natürlich die Gegner-Engines etwas herunterzieht)
Stockfish 180123 (mit Contempt=+20) wäre z.Zt. (noch ist es ein Zwischenstand) laut Elotabelle +66 Elo besser als Stockfish 8 und +23 Elo besser als Stockfish 180113.

Es scheint also, also brächte der Contempt knapp +25 Elo Zugewinn in der IPON. Das ist letzlich auch erwartbar. Denn wie in allen richtigen Ranglisten hat Stockfish nur zwei starke Gegner (Houdini, Komodo) aber sehr viele, sehr deutlich schwächere Gegner (13 Stück in der IPON). Bei meiner Mini-Rangliste, wo Stockfish gegen 2 starke und nur 3 schwächere Gegner spielt, hat der Contempt von +15 und +25 in meinem Contempt-Experiment daher sehr viel weniger gebracht, nämlich nur +5 Elo (siehe meine Website (Experiments-Unterseite)). In allen richtigen Ranglisten herrscht ja ein krasses Mißverhältnis von starken und schwachen Gegnern, wenn es um Stockfish geht, einfach weil es eben nur zwei starke Gegner gibt. Und je breiter eine Ranglisten-Testrun angelegt ist, desto mehr wird dann der default-Contempt in Elo bringen. Ganz logisch.

By Stefan Pohl Date 2018-01-25 19:51

Der Testrun ist jetzt durch. Endergebnis von Stockfish 180123: 83.3%
(Stockfish 8: 76.9% und Stockfish 180113 (noch mit Contempt=0): 81.0%

Laut Elotabelle bedeuten diese Erfolgsscores folgendes:
1) der Contempt=+20 brachte satte +27 Elo Zugewinn (!)
2) Stockfish 180123 liegt +70 Elo vor Stockfish 8

Beim Hineinrechnen der Partiedaten in die IPON-Datenbank können sich leicht abweichenden Elo-Werte ergeben. Erfahrungsgemäß sind diese Abweichungen aber nicht sehr groß.

By Stefan Pohl Date 2018-01-25 20:52 Edited 2018-01-25 20:55

Die IPON ORDO-Auswertung ist da und die Ergebnisse sind nochmal besser, als das Elotabellen-Nachschlagen ergab:

http://www.talkchess.com/forum/viewtopic.php?topic_view=threads&p=748658&t=66363

Der Contempt=+20 brachte +33 Elo Zugewinn und Stockfish 180123 liegt nun +81 Elo besser als Stockfish 8 (!), was ganz nebenbei Platz 1 in der IPON mit +31 Elo Vorsprung auf Houdini bedeutet (welcher übrigens ja auch mit einem Contemptwert von +20 centipawns per default spielt)

By Tom Paul Date 2018-01-25 21:05

Gegen Komodo und Andscacs hat Stockfish mit Contempt=20 aber deutlich schlechter abgeschnitten.