Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Einfluss von Veränderung von Contempt bei Stockfish 11
- - By Reinhold Stibi Date 2020-02-07 10:37
Zur Zeit läuft Match: 

Lc0 0.23.2  Leelenstein 13.2 Kiudee + Laskos  RTX 2070   gegen  Stockfish 11  Contempt -50  Xeon X5690  24 Threads

Stefan Pohl 4-Züge Vorgabeeröffnungen   1 Min. + 3 Sek.pro Zug

nach 24 Partien sage und schreibe nur Remispartien, keine einzige Gewinnpartie.

Das wundert mich doch etwas; man könnte doch meinen wenn Lc0 scharf und auf Risiko spielt, Gewinn-und Verlustpartien herauskommen.
Nach meinen Testreihen ist Lc0 Leelenstein nur geringfügig besser, ca. 15 Elo als Stockfish 11.
Diesen Vorteil von Lc0 könnte aber Stockfish 11 durch Contempt -50 aushebeln.
Da müsste also nachgeholfen werden durch bestimmte Eröffnungsvorgaben. Bin gespannt welche TCEC verwendet.
Bin jetzt noch nicht informiert bzw. habe mich noch nicht darum gekümmert wo man die bisherigenTCEC-Eröffnungsbücher downloaden kann.

Die bisherigen Ergebnisse mit verschiedenen Contenpt-Einstellungen bei Stockfish 11  teile ich später mit, damit man
einen Überblick hat.
Parent - - By Tom Paul Date 2020-02-07 10:48
Reinhold Stibi schrieb:

Zur Zeit läuft Match: 

Lc0 0.23.2  Leelenstein 13.2 Kiudee + Laskos  RTX 2070   gegen  Stockfish 11  Contempt -50  Xeon X5690  24 Threads
nach 24 Partien sage und schreibe nur Remispartien, keine einzige Gewinnpartie.
Diesen Vorteil von Lc0 könnte aber Stockfish 11 durch Contempt -50 aushebeln.


Ich sag es doch die ganze Zeit, dass ein negativer Contempt für Stockfish der Hammer ist und da ist nix mehr mit LC0 gewinnt durchgehend und mit Abstand.
Parent - - By Reinhold Stibi Date 2020-02-07 11:15 Edited 2020-02-07 11:18
Allerdings nach 34 Partien  +2  =32  - 0   = 52,9 %  = +20 Elo für Lc0 Leelenstein.

Das Match geht weiter bis 100 oder 200 Partien.

Vielleicht wäre der Unterschied noch geringer bei längerer Bedenkzeit; aber damit teste ich nicht.
Parent - - By Reinhold Stibi Date 2020-02-07 12:25 Edited 2020-02-07 12:30
Nach 54 Partien  +4  =50  -0  =53,7 %  =+26 Elo für Lc0.

Stockfish 11 hat bisher keine einzige Partie gewonnen. Die Gewinnrate ist sehr niedrig mit 7,4 %.

Überraschenderweise hat SF 11 in den zwei Folgepartien gewonnen und liegt nun 12 Elo hinter Lc0 Leelenstein 13.2
Parent - - By Reinhold Stibi Date 2020-02-07 14:34
Nach 86  Partien  +6  = 76  -4  = 51,2 %  = + 8 Elo für Lc0 Leelenstein.

Testbedingungen s. oben.

Vielleicht ist bei Stockfish 11 die Einst. Contempt -50 die Beste. Match geht noch bis 200 Partien.
Wie sich Contempt  -50 gegenüber anderen  Engines bewährt muss noch geklärt werden.

Bisher sehe ich auch in den Ranglisten Lc0 nur unbedeutend  knapp vorne. Das wird noch einige
Zeit dauern bis da aussagekräftige Ergebnisse vorliegen

Die Entwicklung von Stockfish 11 geht ja auch weiter; es bleibt spannend !
Parent - - By Eduard Nemeth Date 2020-02-07 15:01
Könntest du nach dem Match auch mit meinem NYO2020.pgn Testset testen? Es handelt sich um 50 Kurzvarianten die alle am Neujahrstag 2020 auf InfinityChess und PlayChess in den beiden Turnieren vorgekommen sind. T59 hat damit auch nur knapp verloren gegen Brainfish auf Stufe 3+2 und Ponder ON. Den Download gibt es auf meiner Homepage (Link siehe unten).
Parent - - By Reinhold Stibi Date 2020-02-07 15:05
Werde ich machen.
Parent - - By Eduard Nemeth Date 2020-02-07 15:32
Übrigens: Ich habe mit Contempt 0 getestet, weil ich damit online derzeit spiele.
Parent - - By Reinhold Stibi Date 2020-02-07 15:48
Soll ich auch mit Contempt 0 spielen ?

Inzwischen sind 110 Partien gespielt, der Vorsprung von Lc0 Leelenstein 13.2 schmilzt immer weiter.

110 P  +6  =99  -5  = 50,5 %  = +3 Elo für Lc0.
Parent - - By Eduard Nemeth Date 2020-02-07 18:26
Da du jetzt mit contemt -50 testest wäre jetzt erstmal interessant zu sehen was damit rauskommt. Es handelt sich um Varianten (Bauernstrukturen) die speziell in der Praxis öfters vorkommen.
Parent - - By Reinhold Stibi Date 2020-02-08 08:18 Edited 2020-02-08 08:39
Mein Match, wie ganz oben angeführt, ist nun zu ende:

202 Partien  +15  =178  -9  = 51,5 %  = + 10 Elo für Lc0 Leelenstein 13.2


Match wie oben aber mit Eröffnungsvorgaben von Eduard Nemeth MY0220.pgn

nach 80 Partien  +6  =71  -3   = 51,9 %  = + 13 Elo für Leelenstein 13.2

Da es 50 Eröffnungen sind, wird bis 100 Partien gespielt.

nach 84 Partien +6  =74  -4  =51,2 %  = +8 Elo für Leelenstein 13.2
Parent - - By Tom Paul Date 2020-02-08 09:23
Somit ist LC0 keine +47 oder sonst was an ELO besser als Stockfish 11, sondern nur +10 ELO. Falls die 10 ELO nicht zufällig den Vorgabestellungen geschuldet sind.

Contempt -50 ist also bis jetzt am besten, solange niemand Contempt -75 testet oder lieber gleich -100?
Parent - - By Reinhold Stibi Date 2020-02-08 11:43
Das denke ich auch.

Match mit Eduard Nemeth Eröffnung contempt - 50 bei Stockfish 11 ist mir stehen geblieben
und da die Datenbank im Beschrieb mir das nicht erfasst hat sind die Partien zum Vorgängerturnier
schlecht zu trennen.
Das bisherige habe ich ja dokumentiert.

Bei einem Neustart mit Eduard Nemeth Eröffnung  Stockfish 11 Contempt -50
Nach 30 Partien  +1  =27  -2  = also 48,3 %   = -12  und + 12 Elo  für Stockfish 11.

Im Endergebnis also ganz kleiner Vorteil für Lc0 Leelenstein 13.2 von ca. 7 bis 10 Elo
Parent - - By Reinhold Stibi Date 2020-02-08 11:50
Nun kommt noch zum Schluss ein Match

Lc0 Leelenstein 13.2  gegen  Stockfish 11 Contempt  -100  mit Eduard Nemeth Eröffnungsbuch wie oben über 100 Partien.
Parent - - By Eduard Nemeth Date 2020-02-08 19:49
Danke für die Tests! Es zeigt sich nun alles in Allem dass Stockfish nur einen Tick besser ist als das kleine T59 Netz. Und die grösseren Netze sind nur klein wenig besser als Stockfish. In der Praxis gibt es keinen Unterschied weil man mit dem Eröffnungsbuch einiges beeinflussen kann (ich entlasse auf Schach.de das kleine Netz immer in geschlossene Systeme, während ich mit Stockfish offene Stellungen anstrebe). Es mag sein dass contempt -50 gut ist für Stockfish gegen Lc0, aber für das Spiel gegen andere Fische halte ich Contempt 0 für besser. Da man sich die Gegner kaum aussuchen kann, halte ich Ergebnisse mit Contempt 0 für wichtiger.
Parent - - By Reinhold Stibi Date 2020-02-09 06:43 Edited 2020-02-09 06:55
Ja das stimmt. Bei Stockfish 11 dürfte die beste Einst. Contempt 0 sein, geht man darüber entstehen zu viele Remispartien.
Dies könnte sich auch nachteilig bei Matches gegen andere Engines auswirken.

Habe ein Match LS 13.2 gegen SF 11, Testbedingungen wie oben, mit Stefan Pohl 4-Züge-Vorgabeeröffnungen und Stockfish 11 mit Contempt 0 gestartet.

Nach nun 54 Partien  +6  =41  -7  = 50,93 %  = +6  Elo für Stockfish 11 und die Gewinnquote ist wieder über 20 %

Das Blatt kann sich nach weiteren Spielen natürlich wenden. Bei einem Unterschied von nur 10 Elo kann man kaum von besser sprechen;
das bedeutet praktisch Gleichstand.
Parent - - By Reinhold Stibi Date 2020-02-09 09:30 Edited 2020-02-09 09:40
Nach nun 42 Partien  LS 13.2  Kiudee mit Laskos  gegen  SF 11 Contempt 0
weitere Testeinstellungen s. oben

+3  =30  -9   =42,9 %  = - 50  bzw. + 50 Elo für Stockfish 

Kaum zu glauben, fast schon verrückt  dass ein neuer Testdurchgang eine solche Veränderung
bewirken kann.

Das System läuft für beide Engines einwandfrei, habe es überprüft. Habe das Match abgebrochen.
Die gesamten Einstellungen habe ich überprüft, es hat sich nichts verändert, alles war einwandfrei.
Parent - By Reinhold Stibi Date 2020-02-09 11:17 Edited 2020-02-09 11:52
Übrigens, weil schon der Verdacht aufgekommen ist, dass bei der Fritz GUI bei den Kiudee Settings die Einstellungen
vielleicht nicht übernommen worden sind, stimmt nicht.
Verwende die Fritz GUI 16.

Hatte mal versehentlich bei den Kiudee Settings den Punkt bei  bei Policy Temperature  1.607 vergessen und schon waren die
Stellungstest total schlechter.(das war jetzt beim neuen großen Sergio Net).
Up Topic Hauptforen / CSS-Forum / Einfluss von Veränderung von Contempt bei Stockfish 11

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill