Endlich neuer Contempt

By Stefan Pohl Date 2017-12-05 13:51

The round 2 of TCEC season 10 demonstrated the benefit of having a nice contempt implementation: it gives the strongest programs in the tournament the ability to slow down the game when they feel the position is slightly worse, prefering to stay in a complicated (even if slightly risky) middle game rather than simplifying by force into a drawn endgame.

The current contempt implementation of Stockfish is inadequate, and this patch is an attempt to provide a better one.

Passed STC non-regression test against master:
LLR: 2.95 (-2.94,2.94) [-3.00,1.00]
Total: 83360 W: 15089 L: 15075 D: 53196
http://tests.stockfishchess.org/tests/view/5a1bf2de0ebc590ccbb8b370

This contempt implementation is showing promising results in certains situations. For instance, it obtained a nice +30 Elo gain when playing with contempt=40 against Stockfish 7, compared to current master:

• master against SF 7 (20000 games at LTC): +121.2 Elo
• this patch with contempt=40 (20000 games at LTC): +154.11 Elo

This was the result of real cooperative work from the Stockfish team, with key ideas coming from Stefan Geschwentner (locutus2) and Chris Cain (ceebo) while most of the community helped with feedback and computer time.
In this commit the bench is unchanged by default, but you can test at home with the new contempt in the UCI options. The style of play will change a lot when using contempt different of zero (I repeat: not done in this version by default, however)!
The Stockfish team is still deliberating over the best default contempt value in self-play and the best contempt modeling strategy, to help users choosing a contempt value when playing against much weaker programs. These informations will be given in future commits when available.

Ich werde die etwas ruhigere Zeit über den Jahreswechsel nutzen, um ein paar experimentelle Testruns mit einigen positiven Contemptwerten durchzuführen, mit meinen üblichen Testbedingungen (siehe meine Website). Wenn mein BrainFish-Testrun durch ist und Thomas Zipproth den neuen Stockfish-Code compiliert hat, werde ich loslegen. Zunächst mal mit dem default-Wert (also Contempt=0), um einen Referenzwert zu bekommen. Dieses Ergebnis wird dann als ganz normaler Stockfish-Testrun natürlich auch in meine gamebase eingebaut. Danach denke ich an drei experimentelle Testläufe (a 5000 Partien) mit C=+15, C=+25 und C=+40. Dann sehen wir, wie sich das neue Contempt-Konzept gegen 2 starke Gegner (Houdini, Komodo) und 3 etwas schwächere Gegner (Fire, Shredder, Fizbo) bewährt. Oder auch nicht...

Bin gespannt!

Stefan (SPCC)

By Benno Hartwig Date 2017-12-07 07:20

Thanx.
Bina auch gespannt darauf!
Benno

By Stefan Pohl Date 2017-12-21 13:21

So, der erste der drei Testruns mit Contempt (+15) ist jetzt durch (Testruns mit Contempt=+25 und +40 folgen) und das Ergebnis ist online. Auf der Experiments-Seite meiner Website zu finden. Dort auch ein Downloadlink, um sich die Partien der Testruns (inklusive des Testruns mit dem default-Contempt (0) zu Vegleichszwecken) herunterzuladen.

http://www.sp-cc.de/experiments.htm

Nächsten Donnerstag sollte dann das Ergebnis mit Contempt=+25 online gehen. Zeitangaben wie immer ohne Gewähr!

Stefan (SPCC)

By Stefan Pohl Date 2017-12-27 13:20 Upvotes 2

Stefan Pohl schrieb:

So, der erste der drei Testruns mit Contempt (+15) ist jetzt durch (Testruns mit Contempt=+25 und +40 folgen) und das Ergebnis ist online. Auf der Experiments-Seite meiner Website zu finden. Dort auch ein Downloadlink, um sich die Partien der Testruns (inklusive des Testruns mit dem default-Contempt (0) zu Vegleichszwecken) herunterzuladen.

<a class='urs' href='http://www.sp-cc.de/experiments.htm'>http://www.sp-cc.de/experiments.htm</a>

Nächsten Donnerstag sollte dann das Ergebnis mit Contempt=+25 online gehen. Zeitangaben wie immer ohne Gewähr!

Stefan (SPCC)

Der zweite Testrun mit Contempt=+25 ist jetzt auch durch...

By Guenter Stertenbrink Date 2017-12-29 01:33

wir brauchen 3 Elo-listen

eine fuer Partien gegen gleichstarke engines
eine fuer Partien gegen engines 200 Elo staerker
eine fuer Partien gegen engines 200 Elo schwaecher

die Bedenkzeiten werden so angepasst, dass die erwartete Elo-Differenz 0,200,-200 ist

oder die Werte werden interpoliert

By Stefan Pohl Date 2018-01-05 10:02

Stefan Pohl schrieb:

So, der erste der drei Testruns mit Contempt (+15) ist jetzt durch (Testruns mit Contempt=+25 und +40 folgen) und das Ergebnis ist online. Auf der Experiments-Seite meiner Website zu finden. Dort auch ein Downloadlink, um sich die Partien der Testruns (inklusive des Testruns mit dem default-Contempt (0) zu Vegleichszwecken) herunterzuladen.

<a class='urs' href='<a class='ura' href='http://www.sp-cc.de/experiments.htm'>http://www.sp-cc.de/experiments.htm</a>'>http://www.sp-cc.de/experiments.htm</a>

Nächsten Donnerstag sollte dann das Ergebnis mit Contempt=+25 online gehen. Zeitangaben wie immer ohne Gewähr!

Stefan (SPCC)

Der zweite Testrun mit Contempt=+25 ist jetzt auch durch...

Der dritte und letzte Testrun mit Contempt=+40 ist auch durch...

By Thomas Müller Date 2018-01-05 10:44

danke!
Das bedeutet C=+40 hat das beste ergebnis und weniger remis....nicht schlecht!
Was würde bei einem negativen contempt (evt. -25? ) raus kommen

gruß
thomas

By Stefan Pohl Date 2018-01-05 12:51

Thomas Müller schrieb:

danke!
Das bedeutet C=+40 hat das beste ergebnis und weniger remis....nicht schlecht!

Schon. Allerdings ist der Score gegen Houdini nicht gerade berauschend. Gegen die anderen 4 Gegner aber schon. Interessant wäre, diesen Contempt +40 mal in einer Rangliste zu testen, wo Stockfish ja gegen viel mehr (und damit auch gegen viel mehr schwache und sehr schwache) Gegner spielt.
Vielleicht macht ja Andreas mal ein Bullet-Run für seine FGRL-Bulletliste, nur so zu Forschungszwecken. Das wäre sicher interessant.

By Frank Brenner Date 2018-01-05 11:54

Interessantes Ergebnis, Danke für den Test.

Solange bisher das Ergebnis stets besser wird von +15 -> + 25 -> + 40 würde ich die Testreihe noch nicht beenden, sondern als nächstes mit +55 o testen.