Stefans "Stockfish 6 with 5 with different contempt-setting"

By Thomas Müller Date 2015-04-22 19:57

Zitat:

Ist der Contempt-Wert im Moment eigentlich auf 50 beschränkt?

ist +100 bis -100

gruß thomas

By Tom Paul Date 2015-04-22 23:46

ja klar und vor allem spielt dann auch kein 1648 dwz Spieler gegen Stockfish remis.

By Ai L Date 2015-06-03 15:57

Ich bin 1227 Spieler und ich hab' auch grad wieder Remis gegen Stockfish 6 gespielt. Das ist der ganze Grund, warum ich gerade dieses Forum besuche. -_-

Stockfish ist einfach total glücklich, wenn er als Schwarz innerhalb von 8 Zügen gegen mich Remis spielen kann. Dass er bei längeren Spielen immer gewinnt ist ihm dann egal.

By Stefan Pohl Date 2015-04-29 12:23

Benno Hartwig schrieb:

Ich habe jetzt erst auf <a class='urs' href='http://spcc.beepworld.de/experiments.htm'>http://spcc.beepworld.de/experiments.htm</a> das Experiment "Testrun of Stockfish 6 with 5 different contempt-setting" gesehen. Und ich finde dieses Experiment von Stefan ja richtig spannend.
Hier deutet sich ja an, dass Stockfish bei Contempt=+50 nicht erkennbar an Spielstärke verloren hat, vielleicht ja sogar an Stärke gewinnen konnte, und dass andererseits die Remisquote spürbar gesunken ist (54,2% --> 46,6%) und dass Stockfish sich dann insbesondere nach Kräften bemüht, Stellungswiederholungen zu vermeiden (27,4% --> 5,1%).

Ist der Contempt-Wert im Moment eigentlich auf 50 beschränkt?
Aber OK, ein noch höhere Wert macht vielleicht eh keinen Sinn, weil er ja vor allem die 3-fach-Wiederholung verändert, und deren Häufigkeit ist ja auch bei Contempt=+50 schon sehr klein geworden.

Wenn nun gegen K8 ein Contempt=+50 für die Spielstärke nicht hinderlich ist, dann möchte ich irgendwie schon erwarten, dass dieser Contempt gegen schwächere Gegner sogar messbar vorteilhaft ist...

Benno

Schön, daß dir das Experiment gefällt. Ich habe einfach mal sehen wollen, was passiert, wenn der Contempt die Zahl der Remisen durch 3-fach-Wiederholung senkt. Denn Stockfish produziert in der default-Einstellung von allen Spitzenengines die mit Abstand meisten Remisen durch 3-fach-Wiederholung. Und zwar mit großem Abstand. Dank der LittleBlitzerGUI, die einem die Remisarten gesondert anzeigt und mitzählt, ist das glücklicherweise klar zu beobachten.
Vielleicht mache ich, wenn es mal sonst nix zu testen gibt (Sommerloch?), mal einen regulären Stockfish-Testrun der dann aktuellen Dev-Version mit Contempt=+25 (zuzüglich des Testruns mit der Default-Einstellung, versteht sich). Mal sehen.
Generell kann ich nicht begreifen, warum man bei Stockfish nicht einen kleinen Contempt wie +10 oder +15 zur default-Einstellung macht. In Ranglisten mit vielen schwächeren Gegnern, wie der IPON z.B., könnte das evt. durchaus einige Elos bringen. Ob es bei mir (mit nur 7 recht starken Gegnern) was bringen würde bzw. wird, weiß ich allerdings nicht. Aber wie gesagt probiere ich das evt. mal aus, wenn sonst nix anliegt.

Stefan

By Benno Hartwig Date 2015-04-29 12:45 Edited 2015-04-29 13:33

Dein Experiment hat sehr schön gezeigt, dass die Quote des Remis durch Wiederholung drastisch kleiner wird, wenn positive Contempt-Werte gesetzt werden.

Was mir bei dir und auch bei meinen eigenen Untersuchungen aber nicht klar wurde (auch bei je 1000 Partien nicht) ist, wie sich dies auf die resultierende Spielstärke auswirkt.
Ich fänd schon sehr interessant, was du gegen die von dir favorisierte starke Gegnerschaft damit erspielen lassen kannst.
(Ggf. auch nur: ob sich der Schaden in Grenzen hält)

In Franks Thread
http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=92526#pid92526
habe ich schon mal Ähnliches geschrieben, wobei die von Frank bevorzugte Gegnerschaft durchweg ja deutlich schwächer ist als Stockfish.
(Hier die Frage: ob im Durchschnitt ein echter Vorteil für Stockfish entsteht)

Ich zumindest fänd dieses doppelte Experiment sehr spannend!
Benno

By Stefan Pohl Date 2015-04-29 14:45 Edited 2015-04-29 14:50

Benno Hartwig schrieb:

Dein Experiment hat sehr schön gezeigt, dass die Quote des Remis durch Wiederholung drastisch kleiner wird, wenn positive Contempt-Werte gesetzt werden.

Was mir bei dir und auch bei meinen eigenen Untersuchungen aber nicht klar wurde (auch bei je 1000 Partien nicht) ist, wie sich dies auf die resultierende Spielstärke auswirkt.

Wie sich ein Contempt auf die Spielstärke einer Engine auswirkt, hängt primär logischerweise davon ab, wie stark der Gegner/die Gegner sind, gegen die gespielt wird (dafür wurde der Contempt ja auch mal erfunden).
Da Stockfish z.Zt. die beste oder mindestens zweitbeste Engine der Welt ist, wäre ein positiver Contempt als default daher sicher sinnvoll, denn die allermeisten Gegner sind ja mehr oder weniger schwächer. Zumindest sollte er nicht schaden (selbst ein hoher Contempt von +50 hat gegen einen relativ starken (wenn auch schwächer als Stockfish 6 selber) Gegner wie Komodo 8 in meinem Experiment zumindest nicht geschadet.).
Das scheint ja auch das Komodoteam so zu sehen, denn bei Komodo ist ja ein kleiner positiver Contempt (+7 glaube ich) voreingestellt.
Deshalb würde ich für Stockfish, der ja doch etwas extremer bewertet als Komodo, einen Default-Contempt von +15 sinnvoll finden. Nur leider setzt sich so eine Einstellung in Stockfish-Framework natürlich nicht durch, wenn Stockfish dort gegen sich selber, also einen gleichstarken Gegner, spielt. Auch logisch. Trotzdem sollte man hier mal aus Vernunftgründen nicht nur einen erfolgreichen Frameworktestrun als das Maß aller Dinge ansetzen.

Naja, ich behalte so eine Testrun-Wiederholung einer Dev-Version mit Contempt mal auf dem Schirm. Wenn mal Zeit ist. Muß mir nur noch überlegen, ob ich mit Contempt +15 oder +25 testen würde. Oder gar beides....
Zuerst aber ist mal Komodo 9 dran. Und dann der nächste "normale" Stockfish-Testrun. Dann sehen wir mal weiter. Vor Mitte Mai wird es also keinesfalls was.
Aber sicher wäre das ganz interessant, socher mehr, als irgendeine neue Sugarversion zu testen.

Ich nehme gerne Meinungen über die sinnvolle Höhe des Contempts entgegen: +15, +25, +35 ?!?
Bei +25 würden die Ergenisse sicher eindeutiger werden, bei +15 bestünde aber evt. die Hoffnung, daß ein gutes Ergebnis evt. auch im StockfishTeam ein Umdenken auslöst und diese Einstellung als default übernommen würde.

Stefan

By Frank Qy. Date 2015-05-09 07:52

Hi Benno,

Contemp ist mit Vorsicht zu genießen.
Ein zu hoher Wert verursacht Einbußen in Aggressivität.

Das ist mir bei den Experiment mit Contemp 17 aufgefallen.
Der Wert war deutlich zu hoch.

Hatte ja Stockfish mal mit Contemp 17 getestet und als Ergebnis dann ca. nur 1% weniger kurze Remispartien und deutlich weniger kurze Gewinnpartien. Auswirkungen hat Contemp nicht auf den Stärke von Stockfish im späten Mittelspiel.

Insofern denke ich eher ist ein kleiner Contemp besser und führt eher zum Ziel die vielen kurzen Remispartien minimal einzugrenzen. Der Wert 7 bei Komodo kann es nicht allein sein bei der Frage warum ist Komodo hier so extrem gut optimiert. Allerdings wird bei Stockfish Contemp 7 gegen die besten Schachprogramme der Welt Auswirkungen haben. Dies sollte aber seitens der Stockfish Seite als Default einfließen und nicht von Ratinglistenbetreibern ausgetestet werden. Eher von Testern denn dafür ist einfach keine Zeit. Stockfish ist nicht allein auf der Welt.

Und bei mir spielen keine schwachen Engines, sondern das Beste was verfügbar ist.
Wir können nicht hingehen und Programme vervielfältigen um dann zu sagen ... die besten Schachprogramme der Welt sind schlecht weil 100 billige Kopien entstanden sind.
Das wäre ja der größte Schwachsinn den ich bislang im Computerschach gehört habe und ich habe da schon so einiges gehört.

Gruß
Frank

By Benno Hartwig Date 2015-05-09 08:11

> Und bei mir spielen keine schwachen Engines, sondern das Beste was verfügbar ist.

Ja. Und wenn ein moderater positiver SF-Contempt bei dir zumindest unschädlich ist, dann könnte er sich in anderen Listen, die mehr deutlich schwächere Gegner enthalten, positiv auswirken.
So meine Vermutung/Erwartung.
Benno

By Tom Paul Date 2015-04-29 13:05

Stockfish default, der schwächste Spieler war mit 1648 DWZ und schaffte ein Remis gegen Stockfish.
Seit ich Stockfish mit Contempt 50 teste, hatte es kein Spieler mehr geschafft ein Remis zu erreichen.

By Ai L Date 2015-06-04 12:05

Ich hab' mein Stocki jetzt auf diesen Hinweise einfach auch Mal auf Contempt +50 gestellt.

Er spielt nun in der Situation in der er früher die Zugwiederholgung gemacht hat, nun was komplett Anderes.

Ich finde es absurd von den Entwicklern, dass sie die Engine nicht von Haus aus glauben lassen, dass sie überlegen ist und somit verhindern, dass potentiell extrem viel schwächere Spieler wie ich ein Unentschieden rausholen.

Ich meine wenn Stocki gegen Komodo 1/1000 Partien verliert statt unentschieden, dann kostet das doch viel weniger ELO als wenn sie auch nur eine einzige Partie gegen einen 1227er unentschieden spielt.

Vor allem, wenn sie laut der Tests hier eben keine Einbußen in der Richtung hat.

Vielleicht wäre ja auch ein dynamischer Contempt gut, der mit dem Wert der noch auf dem Brett befindlichen eigenen Figuren skaliert:

Also statt einem fixen: 50 Centipawns lieber die eigene Stellung um 1% besser bewerten als sie nüchtern betrachtet ist.

Wenn also beide Stellungen einen Wert von je 50 Bauernwerten haben, dann könnte Stocki seine Stellung mit 50.5 Bauernwerte bemessen.

Sind kaum noch Figuren übrig auf beiden Seiten wird der geschätzte Vorteil dann relativ gesehen auch kleiner.

By Stefan Pohl Date 2015-06-04 12:14

Ai L schrieb:

Mein Testrun mit Contempt=50 ist noch am Laufen. Ein paar Elo schwächer wird das Ergebnis schon sein. Diesen Test habe ich ja auch primär gemacht, um zu sehen, was bei einem so radikalen Setting passiert.
Für den normalen Anwender empfehle ich einen Contempt von 10-15. Ich benutze in meinem Endless RoundRobin Turnier einen Contempt von +10, und mein Testrun mit +15 ergab ein schönes Ergebnis: wenig bis keinen Eloverlust und erheblich weniger 3fach Remisen und Kurzpartien.
+50 würde ich also nur gegen erheblich schwächere Gegner (Menschen) empfehlen, nicht aber gegen Komodo...

Stefan

By Frank Brenner Date 2015-06-05 01:44

> Ich finde es absurd von den Entwicklern, dass .....

Ein Glück werden die Engines nicht von Leuten wie Dir oder S. Pohl programmiert/Gepatcht/erweitert.

Wir wären sonst mit der Leistung der Engines bei bestenfalls 1000 Elo

Die ganzen Contempt Tests sind alle unnütz.

Aber so wie in einem anderen Thread könnte ich genauso gut meiner Oma die Quantenphysik oder dem Ingo Bauer oder dem Peter Martan die Endpsieldatenbanken erklären als euch von eurem Betondenken zu erlösen dass es wirklich keinen Sinn hat Contempt Testspiele durchzuführen.

Das Problem dass Engines gerne ein Remis annehmen ist im Schach ein sehr tiefes und bisher ungelöstes Problem. Deswegen spielen die Engines im Jahre 2015 noch immer so gerne Remis.

Der Contempt faktor ist nur eine winzige ad hoc Idee aus den 80er Jahren die nur den äußersten Rand dieser Remisproblematik berührt.

Aber bitte, es sind ja EURE Rechnerresourcen.

By Wolfgang Battig Date 2015-06-05 09:51 Upvotes 2

Irgendwie kommst Du - nicht zum ersten Mal - ziemlich arrogant/überheblich/besserwisserisch/unverschämt daher. Mag mich täuschen, glaube es aber nicht...

By Benno Hartwig Date 2015-06-05 10:26 Upvotes 1

> Die ganzen Contempt Tests sind alle unnütz.

Dann ignoriere die entsprechenden Postings doch einfach, und wir können alle glücklich sein.
Die einen mit einem sie interessierenden Gespräch, die anderen mit der Genugtuung über die eigene Weisheit, so wie sie eben selbst empfunden wird.

Benno

By Wolfgang Battig Date 2015-06-05 10:43

Danke Benno!

Du kannst so schön diplomatisch sein, eine Eigenschaft, die mir leider abgeht...

By Frank Rahde (Mod.) Date 2015-06-07 07:53

Beides stimmt, Wolfgang. Es wäre also schön, wenn du das Motto "Meinen und Meinen lassen" "mitleben würdest. Persönlich werden musst du hier nicht.

By Wolfgang Battig Date 2015-06-07 12:32 Upvotes 1

Hallo Frank,

dann wäre es aber ebenso schön, wenn du F.Brenner auch auf seine durchaus ins persönliche gehenden Formulierungen hinweisen würdest.

Nur aus diesem Thread (alles wörtliche Zitate):

- Ein Glück werden die Engines nicht von Leuten wie Dir oder S. Pohl programmiert/Gepatcht/erweitert.
Wir wären sonst mit der Leistung der Engines bei bestenfalls 1000 Elo

(Anmerkung: mit "Dir" war nicht ich, sondern ein anderer Forist gemeint!)

- Die ganzen Contempt Tests sind alle unnütz.

- Aber so wie in einem anderen Thread könnte ich genauso gut meiner Oma die Quantenphysik oder dem Ingo Bauer oder dem Peter Martan die Endpsieldatenbanken erklären als euch von eurem Betondenken zu erlösen dass es wirklich keinen Sinn hat Contempt Testspiele durchzuführen.

- Aber es ist sinnlos hier im Formum diesen Sachverhalt näher zu erläutern, denn die meisten (bis auf Benno) die hier antworten haben so ein Betondenken mit einer Betondicke die der Anzahl der Jahren entspricht in der sie dem Schachcomputerhobby frönen

Mit "meinen und meinen lassen" hat das auch nicht wirklich viel zu tun...

In anderen Threads pflegt Frank auch teilweise diesen Stil, daher habe ich hier mal - unabhängig vom Thema - dazu etwas gesagt. Möglicherweise übertrieben, aber so what, wer austeilt (s.o.) muss auch mal einstecken können...

Für mich hier: EOD

Viele Grüße
Wolfgang

By Frank Rahde (Mod.) Date 2015-06-07 17:54

Hallo Wolfgang, danke für die Zitate. Du hast recht, auch Frank argumentiert nicht sachlich. Ich entschied, an dieser Stelle einzuschränken, weil du nachlegtest und ich befürchte, dass hier was eskalieren könnte. Die Arroganz von Frank gefällt mir übrigens auch nicht, aber verbieten lässt sie sich nicht. Seinen Beleidigungen muss anders entgegnet werden, z. B. nicht mit ihm diskutieren, solange er keinen Respekt zeigt. Er steht kurz vor einer Verwarnung.
Gruß, Frank

By Wolfgang Battig Date 2015-06-07 23:40

Hallo Frank,
danke für die Klarstellung. Das "Nachlegen" war zugegebenermaßen überflüssig, ich hätte es einfach so belassen sollen.
Grüße
Wolfgang

By Ludwig Buergin Date 2015-06-05 11:45

Hallo Frank

Habe das mal mit Contemp 50 im Maschinenraum einen Tag lang gespielt .Etwas weniger Remise waren da schon zu sehen.Bei 6 min. Partien war es nicht so auffällig, bei 16 min.Partien glaubt man schon positieveres in Richtung mehr Gewinne zu sehen.

Viele Remise:Ein von beiden Seiten gut gespieltes Schachspiel endet immer Remis.

Gruß Ludwig

By Frank Brenner Date 2015-06-06 20:48

Ludwig,

deine Aussage erinnert mich an ähnliche Aussagen die ich früher häufig in der CSS Zeitung gelesen habe:

Der Tester hat nach ein paar manuell durchgeführten Spielen von Schach 3.0 eine druckvollere, aktivere und taktisch stärkere Spielweise attestiert als dem unmittelbaren Vorgänger Schach 2.0.

Als ob es möglich ist mit ein paar Partien solche Merkmale abzuleiten wenn die Spielstärke real lediglich um 5 oder 10 oder 30 Elo gestiegen ist.

Grüße
Frank

By Ludwig Buergin Date 2015-06-07 09:53

Hallo Frank

Von ELOs habe ich nichts geschrieben.
Von Manuell auch nichts.Auch nichts von Steigerung der Spielstärke.
Die Spiele wurden von mir im Maschienenraum, bereitgestellt von CB ,gegen verschiedene Gegner gespielt.
Der Maschinenraum ist meiner Meinung nach sehr empfehlendswert.Man bekommt hautnah mit wie ELOs funktionieren.

Gruß Ludwig

By Gysi Date 2015-06-06 13:14 Upvotes 1

Frank Brenner schrieb:

Die ganzen Contempt Tests sind alle unnütz.

Diese Aussage ist sinnlos, sofern man nicht die Standards spezifiziert, nach denen man so eine Bewertung vornimmt. Eine Darstellung der Opportunitätskosten wäre ein erster, sehr kleiner Schritt, um so eine schwachsinnig pauschale Aussage ansatzweise zu rechtfertigen.

By Frank Brenner Date 2015-06-06 20:40

Die Contempt Tests sind in jeder Hinsicht unsinnnig, jedenfalls die Tests die in der letzten Zeit durchgeführt werden.
Es ist bereits seit vielen Jahren bekannt dass die Änderung des Contempts so wie er in den heutigen Engines realisiert ist die Spielstärke so gut wie gar nicht ändert und lediglich hier und da ein paar Zugwiederholungen vereitelt. Eine Grundsätzliche remislichefreundliche Spielweise wird durch einen Contemptfaktor nicht verändert.

Aber es ist sinnlos hier im Formum diesen Sachverhalt näher zu erläutern, denn die meisten (bis auf Benno) die hier antworten haben so ein Betondenken mit einer Betondicke die der Anzahl der Jahren entspricht in der sie dem Schachcomputerhobby frönen.

By Wolfgang Battig Date 2015-06-07 01:10 Upvotes 1

Oberlehrerhaft und herablassend sind mir noch eingefallen...

By Frank Brenner Date 2015-06-07 01:46

Es sei mir in diesem Zusammenhang gestattet auf die Beleidigungen die du mir gegenüber ausgestossen hast einmal zusammenzufassen:

arrogant,überheblich,besserwisserisch, unverschämt und Oberlehrerhaft und herablassend

Es sind alles Ausdrücke von DIR.

Darüber hinaus enthalten deine Beiträge nicht ein einziges sachliches Argument zu den Themen welche in den letzten Tagen diskutiert wurden, nämlich den Sinn von Contempt Tests und wie man aus einer hypothetischen 32Steiner Datenbank ein Spielstarkes Programm konstruieren kann welches "spielstarke" Remiszüge auswählt.

By Gysi Date 2015-06-07 12:24 Edited 2015-06-07 12:28

Frank Brenner schrieb:

Es ist bereits seit vielen Jahren bekannt dass die Änderung des Contempts so wie er in den heutigen Engines realisiert ist die Spielstärke so gut wie gar nicht ändert und lediglich hier und da ein paar Zugwiederholungen vereitelt. Eine Grundsätzliche remislichefreundliche Spielweise wird durch einen Contemptfaktor nicht verändert.

Die kleinen Änderungen in Sachen Spielstärke und die Vereitelung von Zugwiederholungen stoßen hier aber durchaus auf Interesse.
Interessant ist, welche Alternative hier impliziert wird: eine Änderung der grundsätzlichen Spielweise.
Falls VW auf einmal Motoren herstellt, deren Effizienz um 20 Prozent höher liegt, wirft man denen auch an den Kopf, das sei völlig sinnlos, weil ein perpetuum mobile doch viel toller sei?
Oder, etwas treffender: wenn eine Privatperson sich die Mühe macht, herauszufinden, welches Auto für bestimmte Bedingungen das Beste ist und hier auf die Ergebnisse hinweist, muss sich diese Person dann anhören, das sei "unnütz", weil kein perpetuum mobile existiert?

By Frank Brenner Date 2015-06-07 12:37

Ja, genau. Die Contempt Experimente sind vor allem deswegen unnütz, da die Spielstärke nicht um 20% gesteigert wird so wie bei einem enorm weiterentwickelten Moto sondern nur um geringste mengen im Bereich von -10 bis +10 Elo.
Tatsächlich wird noch nicht mal die taktische oder die positionelle Spielstärke verbessert sondern lediglich - und das auch nur sehr schwach- die gelegentliche Vereitelung von Zugwiederholungen.

Würde heutzutage der bisher effizienteste Benzinmotor in der Effizienz um 20% verbessert (ohne Eingeständnisse an andere Parametern) so würde das den Nobelpreis verdienen.

Aber in Anblick der völlig daneben gewählten Vergleiche ( perpetuum mobile und 20% effizienterere Motor) glaube ich dass Du selbst nicht in der Lage bist die Relevanz von Contempt Tests zu beurteilen.

By Gysi Date 2015-06-07 14:05 Edited 2015-06-07 14:10 Upvotes 1

Frank Brenner schrieb:

Aber in Anblick der völlig daneben gewählten Vergleiche ( perpetuum mobile und 20% effizienterere Motor) glaube ich dass Du selbst nicht in der Lage bist die Relevanz von Contempt Tests zu beurteilen.

Machst Du es Dir nicht ein wenig einfach, wenn Du den Diskussionspartnern die Fähigkeit absprichst, sich mit diesem Thema sinnvoll zu beschäftigen?
Ein Teilnehmer hier kündigt einen Test an, der viele Nutzer interessiert und Du grätschst herein, weil er damit das Rad nicht neu erfindet? Angesichts so hochentwickelter Software eine grundsätzlich andere Spielweise zu verlangen, halte ich für vermessen. Statt Dich mächtiger Allegorien zu bedienen, um die geistige Unterlegenheit Deiner Mitmenschen zu konstatieren, könntest Du die Schachwelt ja mit Deiner großen Geisteskraft beglücken und nachhaltige Veränderungen bewirken.
An ihren Taten sind sie zu erkennen. Von Herrn Pohl kommt da recht viel, was kommt von Dir?
Ich kann mich ob der Ironie einer gewissen Erheiterung nicht erwehren. Contempt interessiert Dich nicht, wenn es um Software geht, Du selbst indes bist voll davon.

By Frank Brenner Date 2015-06-07 16:08

> Machst Du es Dir nicht ein wenig einfach, wenn Du den Diskussionspartnern die Fähigkeit absprichst,

Grundsätzlich mache ich dies nur wenn mein Diskussionspartner durch eher unqualifizierte sachliche Beiträge glänzt (oder gar keine) und im gleichen Atemzug im selben Posting zusätzlich auch noch beleidigend wirkt . Sehr kritisch wird die Sache dann noch (so wie bei einem anderen Teilnehmer hier im Forum) der selbst nicht in der lage ist seinen eigenen Standpunkt zu belegen sondern stattdessen schreibt "bitte selber nachdenken"

Wenn du dir einmal die Contempt Tests der letzten Quartale anguckst, so wirst du mit den Ergebnissen

1. weder die Spielstärke von Stockfish vergrößern

und

2. weder die Remisfreudigkeit von SF verkleinern

und

3. kein dokumentierbares Resultat extrahieren können welches nicht schon seit über einem Jahrzehnt bekannt ist

Die winzigen Miniresultate die aus diesen Contempt tests abgeleitet werden (+/- 10 Elo und +/- 2% Remisquote) sind von der Ausprägung so geringfügig dass ein Stockfish in 5 Jahren mit sehr vielen neuen Algorithmen in bezug auf diese Miniresultate ganz andere "Ergebnisse" hervorrufen könnte.

Sicher, die Gemeinschaft der Hobbycomputerschachler interessiert sich für jede Nahrung. Selbst eine Live-Übertragung eines oldie Turniers (zb die Spiele der SSDF von 2001 nochmal neu live aufgelegt mit gleichen Gegnern von damals) würden durch Lobeshymmnen gefeiert werden. Von daher können selbstverständlich gerne auch weiterhin Contempt Experimente gemacht werden ...

By Ai L Date 2015-07-07 01:35

Die Behauptung, dass der Contempt nichts an der Remisfreudigkeit verkleinert ist schlichtweg falsch.

Ich habe vorher 1/10 Partien als weiß Remis gespielt (immer bei einer bestimmten Eröffnung) und jetzt eben nicht mehr.

Mit der Änderung holt Stockfish jetzt gegen mich statt "nur" 95% die vollen 100% raus.

Jemand der 95% gegen einen 1227er spielt ist nur 512 ELO stärker, wäre also bei 1739.

Ich selber habe keine Engine vs. Engine tests gemacht. Mir ging es nur darum, dass ich es irgendwie "lächerlich" finde, wenn eine 3200 ELO-Engine gegen mich manchmal nur unentschieden holt. Nicht weil sie es nicht besser könnte sondern einfach weil sie mich maßlos überschätzt.

Und hier sollte eben die Frage geklärt werden, ob es ihr gegen Gegner von ihrem eigenen Kaliber schadet, wenn sie sich besser einschätzt.

Du sagst es gibt keinen Elo Gewinn... Tja aber nur weil die Engine nie gegen Gegner wie mich spielt. Würden die Elo-Tests Menschen beinhalten, dann sähe das ganz anders aus!

Interessieren Ergebnisse gegen Menschen nichtmehr?

By Benno Hartwig Date 2015-07-07 06:48

Höhere Contempt-Werte veranlassen SF, Stellungswiederholungen zu vermeiden, die Partien dauern länger.
Dass ein 1227-Spieler dann "sicher" irgendwann den Fehler macht, glaube ich sehr gern.

SF muss sich halt viel gegen ungefähr gleichstarke Gegner behaupten.
Und wenn es gegen schwächere geht, dann ist dabei wohl meist mehr um Engines mit mindestens immer noch 2500 ELO gedacht.
Da kommt es dann ggf. doch zu mehr Verlusten.
Und die Remis nehmen am Ende doch nicht so deutlich ab.

Benno

By Frank Brenner Date 2015-07-07 10:07 Edited 2015-07-07 10:09

Was die meisten gar nicht verstehen ist (die meisten sind diejenigen die ständig contempt experimente machen bzw die sich motiviert fühlen solche experimente durchzuführen), dass es sich beim Contempt lediglich um ein Instrument handelt um ein drohendes Remis wegen der 50-Züge Regel bzw wegen der 3-fachen Stellungswiederholungen zu vermeiden.

Für die Hauptentwickler von SF ist dies Egal ob Du mit 1127 ELO gelegentlich einmal gegen SF ein Remis spielst wegen Zugwiederholung, wenn der Contempt 0 ist.

Dafür ist ja der Contempt gedacht damit das nicht so schnell passiert. Man setzt ihn einfach hoch oder runter. Dies ist seit den 70er oder 80er Jahren bekannt.

Das prinzipielle Problem des heutigen Schachspiels, nämlich dass es sehr remislich ist auf sehr hohem Niveau (zb das menschliche Computerfernschach) kann durch "Content-algorithmen" in überhaupt keiner Weise auch nur im geringsten Maße verbessert werden.

By Tom Paul Date 2015-07-07 12:44

Würde da nicht schon ein Contempt von -1 reichen?

By Stefan Pohl Date 2015-06-01 15:41

Benno Hartwig schrieb:

Stefan hat angekündigt, dass er seinen 7000-Partien-Satz jetzt auch mal mit Stockfish mit Contempt=50 durchziehen möchte.
<a class='urs' href='http://spcc.beepworld.de/index.htm'>http://spcc.beepworld.de/index.htm</a>
Finde ich gut, bin gespannt, was dabei herauskommt.

Viel(!) weniger Stellungswiederholungen,
etwas weniger Remis (Bei vielen Partien, in denen SF dann der Wiederholung aus dem Weg geht, wird es am Ende dann wohl doch remis)
und eine ein wenig schlechtere Punkte-Ausbeute.
So meine Erwartung

Benno

Mich interessiert natürlich die Veränderung zum Testrun mit Contempt=15 und ob und wieviel sich das Ergebnis gegen Komodo 9 verändert, dem stärksten Gegner im Feld. Gegen Komodo 9 sollte man eigentlich bei so einem hohem Contempt eine erhebliche Verschlechterung erwarten. Das letztere ist aber bisher (2300 von 7000) nicht eingetreten. Etwas überraschend.
Naja, Freitag sollte das Endergebnis vorliegen. Abwarten.

Stefan

By Tom Paul Date 2015-06-01 21:17

Was passiert eigentlich bei hohem Contempt und langer Bedenkzeit???

By Thomas Müller Date 2015-06-01 21:19 Upvotes 2

es dauert lang.

By Tom Paul Date 2015-06-02 13:01

Da verliert Stockfish seltener im Vergleich zur kurzen Bedenkzeit und hat trotzdem eine niedrige Remisquote.

By Benno Hartwig Date 2015-06-02 09:34

> Gegen Komodo 9 sollte man eigentlich bei so einem hohem Contempt eine erhebliche Verschlechterung erwarten. Das letztere ist aber bisher (2300 von 7000) nicht eingetreten.

Als du das erste Mal von deinen Contempt-Experimenten berichtet hattest, hatte ich auch mal geguckt, was SF6 mit verschiedenen Contempt-Werten (-10 bis +100) bei recht kurzen Zeiten so gegen K8 leistet (jeweils gut 1000 Partien).
Bei diesen Bedingungen muss K8 schon als ein "etwas schlechterer Gegner" eingestuft werden.

Über den ganzen Bereich hin gingen die ggf. auftretenden Unterschiede bei der Spielstärke im Rauschen unter, naja ein leicht abnehmender Trend war bestenfalls zu sehen.
Die Quote der Stellungswiederholungen ging aber recht schnell drastisch runter

Dies resultierte aber nur in einem recht moderaten Rückgang der Remisquote an sich. Das Remis wurde halt sehr häufig einfach länger ausgespielt.

Benno

By Stefan Pohl Date 2015-06-04 06:58

Benno Hartwig schrieb:

Dies resultierte aber nur in einem recht moderaten Rückgang der Remisquote an sich. Das Remis wurde halt sehr häufig einfach länger ausgespielt.

Benno

Das ist wohl im Wesentlichen die Quintessenz dieser ganzen Experimente. Die Frage ist und bleibt aber, wie es gegen sehr deutlich schlechtere Gegner aussieht, wie sich also ein contempt z.B. in einem IPON-Testrun auswirken würde.
Dort sollte das "längere Ausspielen" doch eigentlich die Erfolgsquote von Stockfish erhöhen, weil die viel schwächeren Gegner mehr Zeit bekommen, Fehler zu machen...

Eventuell mache ich im Sommerloch mal ein paar Testruns gegen deutlich schwächere Gegner...

Stefan

By Benno Hartwig Date 2015-06-04 09:09

> Die Frage ist und bleibt aber, wie es gegen sehr deutlich schlechtere Gegner aussieht, wie sich also ein contempt z.B. in einem IPON-Testrun auswirken würde.

Stimmt! Und dies ist meiner Meinung nach auch eine wirklich sehr interessante Frage!

Benno

By Tom Paul Date 2015-06-05 08:54

Die Lösung ist, Stockfish mit Contempt spielen lassen und 1 Sekunde pro Zug mehr in die Bedenkzeit investieren.
Dann haben wir weniger Remis und kein ELO Verlust, vielleicht sogar ein Gewinn.

By Benno Hartwig Date 2015-06-05 09:07

Dein Ernst?
Schwächen, und dafür mehr Zeit geben?
Und dem Gegner nicht??
Dann lass uns besser tricksen, und der Engine im Geheimen einfach einen zweiten Prozessor geben. Pssst....

Benno

By Stefan Pohl Date 2015-06-05 12:26

Stefan Pohl schrieb:

Benno Hartwig schrieb:

Stefan hat angekündigt, dass er seinen 7000-Partien-Satz jetzt auch mal mit Stockfish mit Contempt=50 durchziehen möchte.
<a class='urs' href='<a class='ura' href='http://spcc.beepworld.de/index.htm'>http://spcc.beepworld.de/index.htm</a>'>http://spcc.beepworld.de/index.htm</a>
Finde ich gut, bin gespannt, was dabei herauskommt.

Viel(!) weniger Stellungswiederholungen,
etwas weniger Remis (Bei vielen Partien, in denen SF dann der Wiederholung aus dem Weg geht, wird es am Ende dann wohl doch remis)
und eine ein wenig schlechtere Punkte-Ausbeute.
So meine Erwartung

Benno

So, das Ergebnis ist jetzt online. Man klicke auf "Experiments"...

http://spcc.beepworld.de

Stefan

By Benno Hartwig Date 2015-06-05 20:58 Edited 2015-06-05 21:20

Thanx, ja sehr interessant.
Mit steigendem Contempt-Wert scheint die SF-Spielstärke sich bei dieser Gegnerschaft leicht zu verringern,
und die Remisquote verringert sich auch leicht,
aber die Zugwiederholungen werden wirklich drastisch seltener.
--> Die Remisen dauern also im Wesentlichen einfach länger.

Mich verwundert aber schon, dass Contempt=50 gerade gegen die 4 schwächsten Engines in dieser Runde recht wenig erfolgreich war.
Da hatte ich mehr erwartet/erhofft.
Immerhin schon so 150 ELO liegen diese Gegner halt hinter Stockfish.

Benno