CEGT 40/120: SF7 und K9.3

By Tom Paul Date 2016-02-22 09:25

Benno Hartwig schrieb:

Bei CEGT beschäftigt man sich auch mit Komodo 9.3 und Stockfish 7 bei langen 40/120-Zeiten.

<a class='urs' href='http://cegt.forumieren.com/t533-stockfish-7-0-x64'>http://cegt.forumieren.com/t533-stockfish-7-0-x64</a>
<a class='urs' href='http://cegt.forumieren.com/t490-testing-komodo-9-3-x64'>http://cegt.forumieren.com/t490-testing-komodo-9-3-x64</a>
Schön, dass auch solche Tests mit langen Zeiten laufen. Dadurch gewinnt man eine Vorstellung, inwieweit die Ergebnisse bei kürzeren Zeiten übertragbar sind. Thanx!

50 Partien in der direkten Begegnung sind natürlich nur ein sehr kleiner Blick.
Interessant finde ich aber doch, dass SF7 hier doch recht deutlich die Nase vorn behalten konnte: 28,5:21,5 (+11/=35/-4 57.00% 28.5/50)
Trotz langer Zeit, die ich eher als Vorteil für K vermutet hätte.

Gegen SF6 hatte K9.3 noch mit 26,5:23,5 gewinnen können.
Aber, OK, jeweils nur 50 Partien, mal abwarten...

Benno

Interessant finde ich immer wenn manche Leute mit Stockfish 5, 6, 7 testen sich aber weigern die neuesten Devs zu nehmen. Aber bei Komodo wird 5, 6, 7, 8, 9, getestet inklusive der Devs wie z.B. 9.1, 9.2, 9.3 und dann wird eine glaubwürdige

Rangliste erstellt.

By GS Date 2016-02-22 09:35

Erst "schlau machen" und danach schreiben !
Komodo 9.1, 9.2 und auch 9.3 sind offizielle Releases und keine so-called DEVs !

By Tom Paul Date 2016-02-22 09:51

GS schrieb:

Erst "schlau machen" und danach schreiben !
Komodo 9.1, 9.2 und auch 9.3 sind offizielle Releases und keine so-called DEVs !

Und was genau macht für dich den Unterschied zwischen einer Dev Version und einem Release aus?

By Benno Hartwig Date 2016-02-22 09:36

> inklusive der Devs wie z.B. 9.1, 9.2, 9.3

Ich denke, das sind keine Devs, das sind ganz reguläre Komodo-Releases!
Niemand hindert das SF-Team übrigens daran, auch von Zeit zu Zeit ein "offizielles" 7.x rauszugeben.
Ob die Ratinglistenersteller dies interessiert, entscheiden sie natürlich selbst, aber ich stelle mir vor, dass mancher dann die Komodo- und die Stockfish-Releases ähnlich behandelt. Zumindest wenn die Taktung ähnlich wäre.

Benno

By Tom Paul Date 2016-02-22 09:59 Edited 2016-02-22 10:02

Benno Hartwig schrieb:

Das macht das Stockfish Team schon lange nur anstatt 7.1, 7.2 usw. zu verwenden wird halt das aktuelle Datum benutzt.
Weil man die 8.0 bei mindestens 50 ELO Zugewinn veröffentlichen will.
Und man müsste dann 7.0.1, 7.0.2 usw. verwenden sonst passen die ganzen Versionen nicht zwischen 7 und 8 rein.
Und das Komodo Team macht halt auch 9.1, 9.2, 9.3 weil sie eben nicht so viele Versionen herstellen können wie Stockfish Team und deshalb kein Datum verwenden müssen.
Und alle Versionen die bei beiden Teams herausgegeben werden sind halt geprüft mit x Partien z.B. 40000 Partien und stärker als die Vorgänger innerhalb der Errorbars.
Ich sehe Dev Versionen als Dev Versionen solange an, solange sie von beiden Teams getestet werden. Sobald diese bestanden haben und öffentlich verfügbar sind, sind es vollwertige Versionen.
Und wenn Devs bei Stockfish oder Komodo durchfallen dann fallen sie halt durch und werden nicht öffentlich.

By Benno Hartwig Date 2016-02-22 10:39

> Das macht das Stockfish Team schon lange nur anstatt 7.1, 7.2 usw. zu verwenden wird halt das aktuelle Datum benutzt.

Die Ansicht, dass das damit reguläre Releases sind, hat sich bei den Listenbetreibern dann aber noch nicht duchgesetzt!

Im Ernst: Diese Dev-Versionen haben schon einen sehr anständigen Test absolviert, klar.
Und dass sie uns ständig angeboten werden, ist ein ganz toller Service des SF-Teams.
Trotzdem sind sie ganz ausdrücklich "Stockfish Development Versions", "build automatically" und gleich versehen auch mit dem Hinweis "Use it at your own risk."
Und das letzte offizielle Release von Stockfish ist eben SF7, den Nachfolger eben von SF6.

Benno

By Tom Paul Date 2016-02-22 10:59

Benno Hartwig schrieb:

Die Ansicht, dass das damit reguläre Releases sind, hat sich bei den Listenbetreibern dann aber noch nicht duchgesetzt!

Im Ernst: Diese [url]Dev-Versionen[/url] haben schon einen [url]sehr anständigen Test[/url] absolviert, klar.
Und dass sie uns ständig angeboten werden, ist ein ganz toller Service des SF-Teams.
Trotzdem sind sie ganz ausdrücklich "Stockfish Development Versions", "build automatically" und gleich versehen auch mit dem Hinweis "Use it at your own risk."
Und das letzte offizielle Release von Stockfish ist eben [url]SF7[/url], den Nachfolger eben von [url]SF6[/url].

Benno

Klar die Test Ergebnisse vom Stockfish Team sind sicherer als vom Komodo Team.
Build automatically spielt überhaupt keine Rolle.
Use it at your own risk spielt auch überhaupt keine Rolle, dass ist bei allen Engines so.
Außerdem ist Stockfish wesentlich fehlerfreier / stabiler als Komodo, dass sage ich aus eigener Erfahrung.
Und nur weil das Stockfish Team auf die Idee kam die Versionen zwischen den ganzen Zahlen als Stockfish Development Versions zu bezeichnen, während das Komodo Team auf die Idee kam zwischen den ganzen Zahlen auch die anderen Versionen als vollwertig zu bezeichnen, sehe ich deshalb überhaupt keinen Unterschied zwischen den Versionen der beiden Engines außer in der Bezeichnung.

By Thomas Müller Date 2016-02-22 11:40

Komodo-Team testet halt nicht so öffentlich.
Da gibt es genauso dutzende von builds mit 10000en partien.

Von den 5 sätzen von dir sind min 3 komplett falsch und die 2 anderen kann man zumindest anderer ansicht sein.
Und die ranglisten testen was sie wollen.
Es ist doch vom aufwand her gar nicht möglich jede SFdev in eine liste einzupicken.
Das macht glaube ich nicht mal Stefan der praktisch nur SF testet.

was für ein.....

By Tom Paul Date 2016-02-22 12:03

Thomas Müller schrieb:

Deine Ansicht.
Nur macht die Rangliste wenig Sinn wenn man immer den neuesten öffentlichen Komodo gegen einen veralteten öffentlichen Stockfish antreten lässt.
Und umgekehrt wird ein Stockfish 7 beim erscheinen gegen einen Komodo 9.3 antreten müssen anstatt gegen einen Komodo 9.0.
Und wenn ein neuer Komodo öffentlich verfügbar ist, dann sollte man ihn ruhig gegen den neuesten öffentlichen Stockfish testen, umgekehrt ist es schließlich auch der Fall.
Es sei denn man will das Komodo möglichst gut dasteht.
Und wo du gerade Stefans Liste erwähnst:
Stockfish 7 160102 : 3304
Stockfish 160113 x64 : 3314
Und seit dem Stockfish vom 13ten gab es bereits 14 neuere Versionen, somit ist der aktuelle Stockfish schon deutlich stärker als Stockfish 7.

By GS Date 2016-02-22 12:41

Tom Paul schrieb:

[...snip...]
Nur macht die Rangliste wenig Sinn wenn man immer den neuesten öffentlichen Komodo gegen einen veralteten öffentlichen Stockfish antreten lässt.
[...snip...]

Na dann erstellen sie doch einfach eine "sinnvolle" Ratingliste
und binden dabei jede neue Stockfish-DEV ein !

By Tom Paul Date 2016-02-22 13:06

GS schrieb:

Tom Paul schrieb:

[...snip...]
Nur macht die Rangliste wenig Sinn wenn man immer den neuesten öffentlichen Komodo gegen einen veralteten öffentlichen Stockfish antreten lässt.
[...snip...]

Na dann erstellen sie doch einfach eine "sinnvolle" Ratingliste
und binden dabei jede neue Stockfish-DEV ein !

Es reicht vollkommen aus wenn ein neuer Komodo erscheint, dann soll er auch gegen den aktuellen Stockfish getestet werden. Dabei ist es gar nicht nötig diesen Komodo gegen jede Stockfish Dev zu testen.

By Frank Rahde (Mod.) Date 2016-02-22 17:32

Es gibt nun mal diese Ungleichzeitigkeit. Ich muss keinen Test einer Dev-Version Stockfish gegen eine Release-Version Komodo sehen. Ich will als Betrachter der Ranglisten sehen, wie die freigegebenen, also zu offiziellen Versionen erklärten Engines (fehlerarm, zu erwartende Steigerung) gegeneinander abschneiden. Die Dev-Versionen testet ja der Hersteller intern. Es wäre umgekehrt wieder "ungerecht": die aktuellste SF-Dev-Version gegen eine offizielle Komodo, die vielleicht schon wieder veraltet ist! Warum jedoch soll ein Engine-Hersteller gezwungen sein, seine Dev-Versionen zu veröffentlichen? Release gegen Release ist am fairsten und einfachsten zu bewerkstelligen.

By Michael Scheidl Date 2016-02-22 19:21

Genau, wir können doch wirklich problemlos in einer gewissen Grauzone - die nicht breit ist! - leben. Was Stockfish betrifft, so zeigen die Untersuchungen von Stefan Pohl unter http://spcc.beepworld.de/ daß SF-Devs ohne weiteres vertraut werden kann. Kleinere Abweichungen von der Datumsfolge usw. sind marginal, gehen in den Errormargins unter und sind für alle praktischen Zwecke bedeutungslos. Die neuen Devs sind im allgemeinen stärker.

Wer nun aktuellst unter verschiedensten Bedingungen die Nummer Eins beanspruchen kann, ist natürlich statistisch schwer abzuklären, aber: Nur deswegen weil die beiden Platzhirsche derzeit so eng beieinander liegen. Ambitionierte User benutzen ohnehin beide und darüber hinaus. Ich sehe keine Dringlichkeit eines ständigen topaktuellen Vergleiches jedes Woche... aber eventuell quartalsweise. Das wäre schon interessant. - Andererseits, ich würde nicht wollen das deswegen Tests anderer interessanter Engines und -Versionen vernachlässigt werden.

Also zum Beispiel, ein Testergebnis einer neuen Texel- oder Nirvanaversion (die typischerweise viel seltener updaten) interessiert mich persönlich mehr als der irgendeiner Stockfish-Zwischenversion. Ich denke, die Ratingagenturen haben diesbezüglich schon ihre eigenen wohlbegründeten Prioritäten gefunden, und wer so wie ich absolut gar nichts dazu beiträgt, sollte nicht viel hineinmeckern.

Unter Umständen ein bißchen vielleicht schon, aber das muß man diplomatisch dosieren können.

By Frank Rahde (Mod.) Date 2016-02-22 20:04

Michael Scheidl schrieb:

weil die beiden Platzhirsche derzeit so eng beieinander liegen.

Genau.

Für mich sind Engines, die so eng beinander liegen, beide auf Platz 1 - irgendwie. Knappste Entscheidungen (Hundertstel Sekunde beim Bobsport) bei Wettkämpfen mögen spannend sein, aber mich interessiert eher, ob ich durch den Kauf von Komodo die kostenfreie Stockfish übertrumpfen kann oder umgekehrt, also bei Stellungsanalysen einen Vorteil erringe (nicht wegen Engine-Überlegenheit gegenüber Fernschachgegner), um in der gemeinsamen Analyse von dem besten künstlichen Supergroßmeister beraten zu werden auf dem Weg zur schachlichen "Wahrheit". Bei der Dichte an der Spitze jedoch ist die Wahl fast beliebig, vom Spielstil vielleicht abgesehen.

By Tom Paul Date 2016-02-23 12:55 Edited 2016-02-23 15:58

Michael Scheidl schrieb:

Wer nun aktuellst unter verschiedensten Bedingungen die Nummer Eins beanspruchen kann, ist natürlich statistisch schwer abzuklären, aber: Nur deswegen weil die beiden Platzhirsche derzeit so eng beieinander liegen. Ambitionierte User benutzen ohnehin beide und darüber hinaus. Ich sehe keine Dringlichkeit eines ständigen topaktuellen Vergleiches jedes Woche... aber eventuell quartalsweise.

Der Vergleich lohnst sich ja auch nur wenn ein neuer Komodo da ist und der soll dann auch gegen den neuesten Stockfish getestet werden.
Bsp. Graham Banks, seine Testbedingungen gefallen mir nicht besonders, trotzdem testet er immer den neuesten Komodo ganz egal ob 9.3 oder 1574 oder was auch immer gegen den neuesten Stockfish ganz egal ob Stockfish 7 oder 160123 oder was auch immer.
Vor einiger Zeit gab es keinen Stockfish 7 und er wäre nie auf die Idee gekommen den aktuellen Komodo gegen Stockfish 6 antreten zu lassen und dann zu sagen seht her Komodo ist 100 ELO stärker als Stockfish.

Und kann jemand wegen der dicken Schrift das blöde B am Ende killen welches sich nicht entfernen lassen will?

By Frank Quisinsky Date 2016-02-28 10:48

Hallo Michael,

so sehe ich das auch!

Vermutlich wird es so sein ... zumindest nach meinen Eindrücken der vielen Vergleiche zwischen SF dev. und aktuellen Komodo Versionen, dass die Unterschiede wirklich im Contempt zu suchen sind. Vermutlich sind beide Engines auf einem Level. Durch einen nicht vorhandenen Contempt bei SF Standard Setting verliert SF weniger Partien als Komodo aber spielt mit einer ca. um 3.5% höheren Remisquote. Das wirkt sich z. B. bei vielen schwächeren Gegnern (aus der Sicht der beiden TOPs) dann direkt im Ergebnis aus.

Ich bleibe grundsätzlich bei den gesammelten Eindrücken:
- Stockfish spielt nach den Eröffnungszügen ein wenig aggressiver und hat das bessere Endspiel.
- Komodo spielt abgeklärter während der Partiephasen durch und im Mittelspiel aufregender aber auch hierdurch etwas riskanter.

Ob nun SF dev. Versionen oder private Beta Versionen von Komodo. Die Entwickler haben offenbar ein System was funktioniert und leichte Verbesserungen können ausgemacht werden. Was z. B. bei den SF dev. Versionen zu beobachten ist kann auch schön auf der Seite von Stefan Pohl verfolgt werden.

Für die Ratinglisten die sich auf die Masse konzentrieren macht es keinen Sinn zu oft diese beiden zu testen. Dadurch wird im Grunde nur Test-Zeit für andere Engines verschwendet. Es reicht wenn SF und Komodo maximal 2x im Jahr getestet werden (aus meiner Sicht für meine Ratingliste). Zumal ein Test-Run bei mir gegen 59 Gegner nun über 2.950 Partien läuft und für sich auch sehr viel Arbeit ist (Buchoptimierung, Statistiken, Webseiten Aktualisierungen).

Im Grunde sind schon bei ca. 100 Elo Unterschied zur Nummer 3 die Ergebnisse vernichtend. Für alle anderen in der Liste dann erst Recht. Zwar denke ich das mit 59 Gegnern pro Test-Run sehr genau gemessen werden kann aber selbst das macht einfach keinen Sinn mehr bei der hohen Elo von SF und Komodo.

Also ich bin immer froh wenn ich Verbesserungsvorschläge erhalte und richtige mich meist auch danach (Aufnahme von mehr Engines, habe Rybka und Houdini hinzugeholt und andere Engines die ich nicht unbedingt mag). Habe sehr viele Ideen von Ferdinand einfließen lassen oder auch von anderen Usern. Bin da immer sehr offen denn durch jede Verbesserung wird die Arbeit besser). Muss da also nicht nur die eigenen Brötchen backen. Allerdings ist jede Umstrukturierung kompliziert und sorgt für Verwirrung bei den Betrachtern einer Liste. Aber das ist immer noch besser als an alte Muster fest zu halten.

In ca. 2 Monaten wird jede der 60 engines gegen jede andere in der Liste 50 Partien gespielt haben. Zu diesem Zeitpunkt wird sich die ohnehin schon sehr gute Aussagekraft der Liste nochmals deutlich steigern zumal auch sehr viele interessante Statistiken möglich sind. Diese interessieren mich persönlich mit der Entwicklung des speziellen Buches für die Erstellung einer Ratingliste viel mehr als die blanken Elo Zahlen.

Zumal wenn der neue Shredder verfügbar ist ... wird ein richtig gutes Eröffnungsbuch zum Testen von Engines zur Verfügung stehen. Die Arbeit zahlt sich aus und das ist dann auch ein Dankeschön an Stefan Meyer-Kahlen, zumindest ein Beitrag von meiner Seite.

Viele Grüße
Frank

By Frank Quisinsky Date 2016-02-28 11:25 Edited 2016-02-28 11:38

Hallo zusammen,

daher ist natürlich für mich klar warum SF im direkten Vergleich zu Komodo besser punktet.
SF hat das bessere Endspiel und je näher die Engines zusammenliegen, desto höher der Zügedurchschnitt, desto eher geht es ins Endspiel und desto mehr ist der Unterschied dann bei einer Statistik zu den Partiephase zu sehen. Das geht aus allen Statistiken hervor die ich bislang bei den Vergleichen gemacht habe. 30 ELO besser im Endspiel macht ca. 7.5 Elo mehr bei der Gesamtspielstärke aus wenn die Gegner gleich stark sind (hatte ich vor kurzer Zeit mal errechnet). Und je geringer die Zeiteinteilung desto mehr kommt die Endspielstärke von SF im Vergleich zu Komodo zum Ausdruck. Das heißt was auch schön in Analysen zu sehen ist ... Komodo benötigt im Endspiel etwas mehr Zeit um vergleichbares zu finden. Genau das wirkt sich dann auf die vielen Ratinglisten bei Blitz-Schnellschachbedingungen aus. Daher auch leicht unterschiedliche Ergebnisse.

Also die für mich logische Schlussfolgerung aus den eigenen Resultaten in Verbindung mit eigenen Analysen und den Ergebnissen anderer. Und dafür muss ich kein Großmeister sein, bzw. ist es interessant was so an Kommentaren von starken Spielern aus dem Ärmel gezaubert wird. Am sichersten ist immer zu sagen ... die beiden Programme sind ca. gleichstark. Abgeklärte eher menschliche Spielweise von Komodo vs. aggressives Computerschach mit Endspielstärken. Die Endspielstärke legitimiert sich bei höheren Bedenkzeiten ... auch SF sieht mehr bei längeren Bedenkzeiten. Die Stärken und Schwächen legitimieren sich verbleibt nur das SF mehr kurze Remispartien gibt.

Hat also gar nichts mit den Eröffnungen zu tun, wenn gleich SF ohne Contempt hier viele mögliche Punkte gegen die schwächeren lässt.

Vermutlich ist SF gar leicht leicht besser als Komodo (bei vielen schwächeren Gegnern) wenn Contempt auf einen kleinen Wert gestellt werden würde (z. B. 6 oder 8). Meine Experimente mit Contemp 15 und 17 waren zu hoch. Dadurch hat sich im Grunde der Zügedurchschnitt von SF nur deutlich erhöht. Ein kleiner Contempt ist vermutlich ausreichend. Stockfish 7 hat im Vergleich zu Komodo 9.3 nur 19 Partien schnell verloren. Bei Komodo waren es fast doppelt so viele. Vermutlich werden es ganz wenige Verlustpartien bei SF mehr werden wenn an der Contempt Schraube gedreht wird.

Nach wie vor ...
Ein intelligenter Contempt würde das Problem lösen. Wenn wir Ponder Treffer zu Beginn einer Partie könnte das Programm selbstständig bestimmen. Bei weniger Pondertreffer könnte der Contempt automatisiert eingeschaltet werden, denn es wäre zu vermuten dass es sich um einen schlechteren Gegner handelt. Das wäre zwar auch sehr experimentell aber würde sicherlich in 75% der Fälle greifen. Eine bessere Idee hierzu hätte ich jetzt auch nicht.

Gruß
Frank

By Frank Quisinsky Date 2016-02-28 11:46 Edited 2016-02-28 11:48

Noch einer ...

Damit jeder gegen jeden in meiner Ratingliste angetreten ist müssen ich ehemalige Liga 1 Programme gegen die ehemaligen Liga 3 Programme spielen.
Diese fehlenden Partien folgen im April des Jahres.

Das ist nicht uninteressant !!!
In der ehemaligen Liga 3 spielen Scorpio und Tornado.
Das sind Programme mit richtigen Endspielstärken.

Stockfish und Komodo werden die Programme der Liga 3 nicht nur vernichtend an die Wand spielen sondern an die Wand klatschen. Nicht abwertend gemeint aber der Elo Unterschied ist eigentlich zu hoch.
Dennoch ... sie müssen gegen Scorpio und Tornado antreten. Wenn diese beiden Programme es schaffen das Endspiel zu erreichen wird es Remispartien geben. Das heißt diese beiden werden mehr Punkte einfahren als alle anderen die darüber stehen. Denn die Stärken und Schwächen der Liga 3 Programme (wenn es nicht um das Endspiel geht) sind aus der Sicht von Stockfish und Komodo keine bzw. stehen diese über alle drüber.

So schön kann das sein wenn man sich mit Spielstilen ... besser Stärken und Schwächen ... beschäftigt.
Immer wieder verblüffend wenn es dann zu den Statistiken geht.

Bin schon sehr neugierig darauf.
Diese Partien werde ich mir gar reinziehen, auch wenn ich kein Fan vom Endspiel bin.

By Wolf Karl Date 2016-02-28 13:05

Frank Quisinsky schrieb:

Ein intelligenter Contempt würde das Problem lösen. Wenn wir Ponder Treffer zu Beginn einer Partie könnte das Programm selbstständig bestimmen. Bei weniger Pondertreffer könnte der Contempt automatisiert eingeschaltet werden, denn es wäre zu vermuten dass es sich um einen schlechteren Gegner handelt. Das wäre zwar auch sehr experimentell aber würde sicherlich in 75% der Fälle greifen.

Die Idee greift in 100% der Fälle, die andere Engine kann schlechter sein (50%) ... oder besser (die anderen 50%). Ob das eine oder andere weiß man erst wenn die Bewertung entsprechend hoch oder tief ist. Dann braucht man aber auch keinen Contempt mehr weil die Bewertung schon weit von 0.00 weg ist. Mit obiger Idee geht das mit dem "Auto-Contempt" nicht zuverlässig.

WK

By Frank Quisinsky Date 2016-02-28 13:12 Edited 2016-02-28 13:14

Da ist auch wieder etwas dran.
Verflucht!

Nur, unabhängig von der Bewertung ... mit mehr Ponder Treffer ist die Wahrscheinlichkeit höher das es ein vergleichbar starker Gegner ist, Contempt wird nicht benötigt. Zumal, wenn keine wirkliche taktische Schwäche in der Eröffnung ist (und hier liegen die Programme viel enger zusammen wie auch im Endspiel als es die Elo ausgibt, nur wenige Programme haben hier eine wirkliche Schwäche) greift dann doch wieder die Idee mit dem intelligenten Contempt. Könnte natürlich modifiziert werden aber es wäre schon geil einen solchen Contempt zu haben. Natürlich mit UCI Option: Intelligent Contempt = on/off.

Wäre dann natürlich auch bei jeder anderen Engine denkbar ... Contempt könnte auch gar in den - Bereich gehen. Je nach Engine Spielstärke wäre ein solcher Contempt gar universal einsetzbar ... laut gedacht aber nicht sicher und auch nicht wie genau umzusetzen.

By Wolf Karl Date 2016-02-28 13:28

Frank Quisinsky schrieb:

Nur, unabhängig von der Bewertung ... mit mehr Ponder Treffer ist die Wahrscheinlichkeit höher das es ein vergleichbar starker Gegner ist, Contempt wird nicht benötigt. Zumal, wenn keine wirkliche taktische Schwäche in der Eröffnung ist (und hier liegen die Programme viel enger zusammen wie auch im Endspiel als es die Elo ausgibt, nur wenige Programme haben hier eine wirkliche Schwäche) greift dann doch wieder die Idee mit dem intelligenten Contempt. Könnte natürlich modifiziert werden aber es wäre schon geil einen solchen Contempt zu haben. Natürlich mit UCI Option: Intelligent Contempt = on/off.

Wäre dann natürlich auch bei jeder anderen Engine denkbar ... Contempt könnte auch gar in den - Bereich gehen. Je nach Engine Spielstärke wäre ein solcher Contempt gar universal einsetzbar ... laut gedacht aber nicht sicher und auch nicht wie genau umzusetzen.

Wenn ich eine Idee hätte, würde ich die mit Sicherheit nicht durch eine UCI Option abschaltbar machen, sondern die wäre immer an!

Ja, schöne Idee, laut gedacht; nur ohne jeden Fingerzeig "wie" ist es wie mit "Energie for free", schöne Idee ...

WK

By Frank Quisinsky Date 2016-02-28 13:41 Edited 2016-02-28 13:47

Hallo Wolf,

gibt es nicht.
Ideen fließen über kurz oder lang ein oder verschwinden ganz oder vorübergehend! Alle Konstellationen vorstellbar ... unbestimmt!

Schrieb es mal symbolisch in einer Frage bei dem Troja Interview mit Stefan Meyer-Kahlen.

Wie viele Ideen landen in dem Papierkorb.
Nur, wie viele Ideen werden auch wieder aus dem Papierkorb ausgegraben.
Sinnbildlich die logische Antwort von Stefan!

Die Programmierer werden es wissen wie und ob etwas umzusetzen ist. Nicht jede umgesetzte Idee die ich mit Martin besprochen habe war gut für die Arena GUI. Viele Ideen mussten modifiziert oder ersetzt werden. Ob Engine, GUI, Webseiten, Ratinglisten oder sonst was ... das ist immer das Gleiche egal zu welchem Thema.

Und insofern Energy for free or Energy for commercial ... wo liegt der wirkliche Unterschied.
Wird eh alles genutzt was an guten Ideen vorhanden ist, egal ob free oder commercial.

Jede gute Idee wird unter verschiedenen modernen Namen immer wieder neu verkauft. Der alte Hut wird zum Dauerbrenner über dem Haupt.

Sich Gedanken zu machen ist niemals Zeitverschwendung.
Unser Gehirn hat ja nur von den ca. 7% Auslastung ca. 10% sinnvolles drin (wenn überhaupt). Wenn alles das was darin so rumtreibt immer genau wäre ... mein Gott. Bzw. Gott bewahre mir die Unsinnigkeiten oder das Leben wäre nicht mehr lebenswert. Wir würden keine Fehler machen, hätten nichts mehr zu jammern. Die Menschen würden ja noch depressiver wenn es keine Gründe für Despressionen geben würde.

Gruß
Frank

By Benno Hartwig Date 2016-02-28 15:49

> die andere Engine kann schlechter sein (50%) ... oder besser (die anderen 50%).

Ich finde es OK, wenn ein Engineentwickler die "reale Umgebung" einbezieht.
Das bedeutet hier: sowohl Komodo als auch Stockfish dürfen gern annehmen, dass ihr Gegner nicht wesentlich stärker ist als sie selbst.
Oder diese Annahme könnte zumindest per Konfiguration einschaltbar sein.
(denn, OK, ein SF könnte ja auf meinem i3 in den Maschinenraum gehen, und da wären viele Gegner dann doch auch deutlich stärker.)

Benno

By Wolf Karl Date 2016-02-28 17:33

Benno Hartwig schrieb:

Wenn eine Option "Auto Contempt" von mir per Konfiguration ein- oder ausgeschaltet wird, kann ich auch gleich den normalen Contempt benutzen.
Und gerade die "reale Umgebung" einzubeziehen ist das was Komodo macht - Contempt etwas hoch weil die meisten Gegner schwächer sind (Auto Contempt!). Dumm nur, das das auf dem Playchess Server schief geht, weil dort die meisten Gegner ( momentan SF oder andere Komodos) etwa gleich stark sind ...

FQ geht es darum in einer frühen Phase des Spiels einen Contempt je nach Gegner festzulegen. Schöne Idee, wie das gehen soll sehe ich aber (noch) nicht. Sobald ich die nötigen Infos für einen Contempt habe, nämlich Eval, brauche ich den Contempt nicht mehr - oder es ist schon zu spät.

WK

By Frank Quisinsky Date 2016-02-29 09:09

Hallo,

nicht an Eval fest machen.
Wirklich nur nach den erwarteten Zug schauen.

Wie gesagt, das wird auch nicht zu 100% greifen aber zu 75% und mithin werden schon deswegen die Remispartien gegen schwächere minimiert und Auswirkungen auf das Spiel gegen Stärkere wird es kaum haben.

Aber wie gesagt, die Idee lässt sich auch mit weiteren Vorgaben mixen.

Gruß
Frank

By Wolf Karl Date 2016-02-29 09:49

Frank Quisinsky schrieb:

nicht an Eval fest machen.
Wirklich nur nach den erwarteten Zug schauen.

Wie gesagt, das wird auch nicht zu 100% greifen aber zu 75% ...

Ein letztes mal, ohne zu wissen ob eine Engine bei "Pondermisses" besser oder schlechter wird weißt man nicht in welche Richtung der Contempt gedreht werden soll. Wie die 75% zustande kommen weiß ich nicht, auf Playchess z.B. wären es heute zu 95% gleich starke Engines.
Wenn ich hingegen vermute das meine Engine die beste weltweit ist, kann ich auch von vornherein einen Contempt einstellen. Komodo macht das so, SF hat sich dagegen entscheiden (was ich den ehrlicheren Ansatz finde).

Schöne Ideen kann ich am laufenden Band liefern (Teleportation, Rasen der max 5cm lang wird, Autos die mit Wasser fahren, Haushaltsroboter die tatsächlich auf Zuruf den Abwasch und die Wäsche machen und mir ein Bier bringen, Flugzeuge ohne Lärm, Pille die Krebs verhindert und heilt, gerechte Verteilung von Eigentum, Engines die nach dem ersten gemachten Zug des Gegners wissen wie die Partie ausgeht ... alles tolle Ideen, bei denen ich genauso wenig weiß wie das gehen soll wie bei "Autocontempt ohne Eval" (und mit Eval ist es zu spät wenn ich es weiß).

Mehr kann ich dazu nicht sagen.

WK

By Frank Quisinsky Date 2016-02-29 23:22

Hi Wolf,

aber wer interessiert sich für Playchess?
Da spielen doch immer die gleichen TOP Engines mit anderen Büchern und anderer Hardware. Vielleicht hier und dort mit einem anderen Setting.

Weiß nicht ...
Wäre ja z. B. als würde ich 10x Stockfish oder Komodo mit anderen Büchern und anderen Settings zu Hause spielen lassen.

Klar, wäre wenn ich das tun würde auch die Contempt Frage dann anders zu beantworten.

Es kommt ja immer darauf an.

Tatsache ist das wir 2 Engines mit sehr hoher Spielstärke haben.
Wenn die gegeneinander antreten wird die Einstellung ohne Contempt sicherlich besser sein.
Ob Komodo wirklich die mehr Partien verliert weil ein Contempt benutzt wird (im direkten Vergleich) glaube ich nicht.

Schrieb ja warum ... die Partien werden alle einen sehr hohen Zügedurchschnitt haben. Lt. statistischen Auswertungen ist Stockfish stärker im Endspiel.
Im Endspiel bzw. Übergang werden die meisten Partien entschieden und von daher ... klar im direkten Vergleich wird Stockfish gegen Komodo höher punkten.

Die Frage ist eher ... in der Regel sind die Gegner von Stockfish deutlich schwächer.
Contempt macht Sinn ... siehe die um 3.5 niedrigere Remisquote in meiner Ratingliste gegen schwächere Engines.

Nun kann einfach ein Contempt eingestellt werden oder auch nicht.
Das kann ja jeder selbst entscheiden wer möchte.

Je näher Engines, die gegeneinander antreten, hinsichtlich Spielstärke zusammenliegen, desto höher ist die Remisquote.
Diese Aussage denke ich wird ca. zu 75% stimmen.

Desto höher auch die Anzahl der Pondertreffer!
Es wird mehr Ponder Treffer geben und erst Recht wenn es Engines sind die dann wie SF und Komodo ein sehr hohes Rating erreichen.

Sprich:
Wenn SF7 - K9.3 spielt ... hagelt es Remispartien, die durchschnittliche Partielänge ohne Aufgabefaktor wird sicherlich an die 100 Züge gehen und je höher die Bedenkzeit desto höher dann hier nochmals die Remisquote und die Partielänge nach Zügen.

Daher ...
Mehr Pondertreffer bei ca. gleicher Spielstärke. Weniger Pondertreffer wenn die Spielstärke nicht gleich ist. Mithin logisch für mich, ich mache einen Auto Contempt wenn ich merke das keine Pondertreffer kommen oder wenn ich merke das der nächste Zug ein anderer ist als welchen ich selbst in der Variante hatte (bei Partien ohne Ponder). Dann ist einfach davon auszugehen das der Gegner wahrscheinlich schwächer ist. Das messe ich nicht an der Stellungsbewertung.

Natürlich könntest Du sagen ...
Wenn die Stellungsbewertung schnell steigt setze ich einen Contempt aber den brauchst Du dann nicht weil die Bewertung schnell gestiegen ist. Das macht keinen Sinn.

Wenn nach den Buchzügen die Stellung ausgeglichen bleibt aber sich weniger Ponder Treffer einstellen macht das durchaus Sinn. Und nochmals, nach den Eröffnungszügen entscheiden sich deutlich weniger Partien als im Übergang zum Endspiel. Nach den Eröffnungszügen liegen die Engines wesentlich näher zusammen bzw. klaffen die Spielstärken noch nicht so weit auseinander.

Lade Dir mal die SF7 Partien von meinen Webseiten (unter Downloads Games by Players) herunter und schaue Dir mal die vielen Remispartien von Stockfish an. Schaue Dir die Eröffnungssysteme an ... wie lange gegen deutlich schwächere die Partie ausgeglichen lief. Dann kannst Du vielleicht nachvollziehen was ich hier schreibe.

Nicht am der Stellungsbewertung ausmachen, das bringt gar nichts.

Und wie gesagt, wenn für Dich Schach auf Servern wichtig ist und Du immer nur Stockfish und Komodo sehen möchtest ... sollte es für Dich egal sein ob Auto-Contempt oder nicht. Der würde nur ziehen bei Partien gegen Schwächere.

Und ja, Komodo hat eine extrem gute Optimierung um schnelle Remispartien zu vermeiden.
Der Zauberer hier ist Houdini ... arbeitet mit einem Extrem Contempt und hat aber auch hierdurch einen Zügedurchschnitt der um 20 Züge höher liegt als der von Komodo und Stockfish.

Viele Grüße
Frank

By Tom Paul Date 2016-03-01 18:30

Frank Quisinsky schrieb:

Wenn nach den Buchzügen die Stellung ausgeglichen bleibt aber sich weniger Ponder Treffer einstellen macht das durchaus Sinn. Und nochmals, nach den Eröffnungszügen entscheiden sich deutlich weniger Partien als im Übergang zum Endspiel. Nach den Eröffnungszügen liegen die Engines wesentlich näher zusammen bzw. klaffen die Spielstärken noch nicht so weit auseinander.

Lade Dir mal die SF7 Partien von meinen Webseiten (unter Downloads Games by Players) herunter und schaue Dir mal die vielen Remispartien von Stockfish an. Schaue Dir die Eröffnungssysteme an ... wie lange gegen deutlich schwächere die Partie ausgeglichen lief.

=Es fehlt die Eröffnungsphase im Code bei beiden Parteien.
=Wie du schon sagst im Endspiel sieht man den Unterschied auch deutlich, da haben zwar beide Engines die Endspielphase im Code nur wenn eine Engine dadrin kaum etwas hat und Stockfish eben dadrin ganz viel hat, dann ist es so als ob eine Engine ohne eine Endspielphase im Code gegen eine Engine mit einer Endspielphase im Code spielt.

By Benno Hartwig Date 2016-02-23 08:17

> Ich will als Betrachter der Ranglisten sehen, wie die freigegebenen, also zu offiziellen Versionen erklärten Engines

Und wie wäre es, wen SF so alle Vierteljahr auch ein 7.x herausbrächten, so als ein ganz offizielles Release?
Die Listen-Betreiber würden natürlich selbst entscheiden, ob sie darauf einsteigen wollen. Klar, es hängt ja auch viel Mühe und Rechenzeit dran.

Ich muss aber gestehen: als die diversen Komodo-9er-Versionen herauskamen und ich in den großen Ratings lange nur den Vergleich zum da schon recht betagten SF6 fand, da hätte ich schon auch gern erfahren, wie ein aktuellerer SF in diesem Umfeld bestehen kann.

Benno

By Tom Paul Date 2016-02-23 13:07

Benno Hartwig schrieb:

Es sind doch offizielle Releases, die heißen nur: Stockfish Datum, weil das Stockfish Team nicht die geringste Lust hat ständig 7.0.0.1, 7.0.0.2 usw zu schreiben.
Komodo ändert auch nur die z.B. 1574 usw. Bezeichnung in eine Komodo 9.3, 9.4 usw Bezeichnung.
Wenn du alle Vierteljahr das haben willst, dann nimmst du alle Vierteljahr den Stockfish und kannst am PC ganz leicht die Bezeichnung von Datum in 7.25 umändern, falls du das wirklich nötig hast.
Und du sagst es ja selbst viele Ranglisten mit Steinzeit Stockfish 6 gegen neuesten Komodo waren einfach nur Müll/überflüssig/zum wegschmeißen.

By Benno Hartwig Date 2016-02-23 13:11

Ein wenig gewollt merkbefreit bist du schon, oder?
Benno

By Joachim Müller Date 2016-02-23 18:48 Edited 2016-02-23 18:50 Upvotes 1

A propos merkbefreit. Eine insgesamt fruchtlose, überspitzfindige Diskussion, von der beim Adressaten nichts ankommen wird. Das SF Team denkt gar nicht daran, irgendwem irgendetwas "anzubieten", noch kümmert es sich irgendwie auch nur von fern um die möglichen Vorlieben der verschiedenen Ranglistenersteller oder um die "Neugier" des Publikums.

Das einzige Ziel besteht darin, SF so stark zu machen wie möglich, und dafür wären wir eher auf reales Engagement angewiesen.

By Benno Hartwig Date 2016-02-24 07:05

> Das SF Team denkt gar nicht daran, irgendwem irgendetwas "anzubieten",...

Aha!
Warum eigentlich wird uns (dankenswerterweise!) deiner Meinung nach ermöglicht, stets die aktuellen Stockfish-DEV-Kompilate herunterzuladen?
Benno

By Jörg Oster Date 2016-02-24 09:43

Benno Hartwig schrieb:

Aha!
Warum eigentlich wird uns (dankenswerterweise!) deiner Meinung nach ermöglicht, stets die [url]aktuellen Stockfish-DEV-Kompilate[/url] herunterzuladen?
Benno

Das hat aber überhaupt nichts mit dem SF-Team zu tun.
Das ist netterweise ein Service einer Einzelperson!

Gruß, Jörg.

By Benno Hartwig Date 2016-02-24 12:31

Oh, thanx, da habe ich "SF-Team" womöglich nicht differenziert genug gesehen.
Das der tatsächlich nicht zum SF-Team gehört, hatte ich mir nicht vorstellen können.
Benno

By Joachim Müller Date 2016-02-24 11:38

Das geschieht schlicht nach dem Prinzip "take it or leave it" und bezieht sich in keiner Weise auf Wünsche und Vorstellungen des Publikums. Stockfish hat keine "Kunden". Die Leute machen das aus Interesse bzw. Idealismus. Das Ärgernis besteht im Grunde darin, dass davon ausgegangen wird, andere – wer auch immer – werden es schon machen, natürlich umsonst. Hierzu der folgende, extrem lehrreiche Kurzdialog aus dem Fishcooking-Forum (16.12.2015):

Zitat:

Kasan: "I know many of you will not bother with this small and worthless request of mine, since you're all very busy men, but I will put this request here in case if any developer has enough sympathy to help me since I do not know anything of programming; I would like Stockfish to have UCI options to alter the values of Mobility, PawnStructure, PassedPawns, Space, KingSafety and the new Threats (for both midgame and endgame). That is all."

elan...@gmail.com: "Hi Kasan, sorry, it's not that people won't bother, it's that you are basically asking them to work for you for free. People will only work for free if it benefits a large community, not just 1 individual. There needs to be some incentive – either money or collective good. Your request doesn't look like it fits the latter. Try offering a bitcoin for the job, you may get some responses."

Eine Antwort folgte nicht.

By Benno Hartwig Date 2016-02-24 12:32 Edited 2016-02-24 12:36

> ...und bezieht sich in keiner Weise auf Wünsche und Vorstellungen des Publikums.

und ich naiver Mensch hatte tatsächlich gedacht, dass derjenige das tut, weil er vermutet, dass ein Interesse an diesen Kompilaten besteht.
Vielleicht auch, um dieses Interesse weiter zu befördern.
SCNR
Benno

By Joachim Müller Date 2016-02-24 15:32

So als würde er, nachdem er das einmal getan hat, "dankenswerterweise", dieses Forum fieberhaft daraufhin durchforsten, ob vielleicht noch weitere Wünsche zu erfüllen sind, weil er befürchtet, dass sonst kein Interesse besteht?

Das bleibt Spekulation. Klar ist dagegen, dass eine Intelkiste, mit der man auf 24 Kernen testen kann, viele k€ kostet.

By Benno Hartwig Date 2016-02-24 16:03

> So als würde er, nachdem er das einmal getan hat,...

Du hast ja skurile Ideen.

Aber die regelmäßige SF-Dev-Veröffentlichung hat natürlich eine Motivation. Sicher stimmst du mir zu, trotz deiner forschen Postings, dass es naiv wäre, tatsächlich etwas anderes zu vermuten.
Und ich denke, dass diese Motivation jeweils gar nicht so weit von der entfernt liegt von der, mit der offizielle Zwischendurch-Releases erstellt werden könnten.

Denkbar aus meiner Sicht im Detail:
- selbstlose Befriedigung des Interesses der Computerschach-Interessierten
- Verbreiterung der laufenden Test-Szene
- Chance auf vermehrte Rückmeldungen von Beobachtungen/Fehlern/Hässlichkeiten und Einschätzungen
- Wachhalten des allgemeinen Interesses
- (mehr?)

Benno

By Joachim Müller Date 2016-02-24 16:17

Skurril? Forsch? Du lässt mir keine Wahl, daher: Die Frage war natürlich pure Ironie. Aber wenn es dich wirklich interessiert, was die genaue Motivation für abrok.eu ist, dann wäre es von Vorteil, die "Einzelperson" einfach danach zu fragen. Am besten aber wäre es, etwas zu tun, das hilft Stockfish am meisten; z.B. SMP-Tests (ein Thema, das bei dir immer wieder mal kommt, gern auch in Verbindung mit LTC) sind ein enorm teures Unterfangen, und ich weiß, wovon ich da rede.

By Tom Paul Date 2016-02-24 16:48

Joachim Müller schrieb:

Testers 669, Active testers 48
=Am meisten hilft es Stockfish, wenn man endlich eine einfache Möglichkeit für get involved entwickelt.
Ein Programm das jeder! Anwender versteht.
Und das automatisch beim PC start läuft.

By Benno Hartwig Date 2016-02-25 07:27 Edited 2016-02-25 07:41

Ich hatte halt auf deine Behauptung diesbezüglich reagiert, die ich als forsch und in der Sache falsch empfand.
Benno

By Joachim Müller Date 2016-02-25 16:17

Dann empfinde. Ich denke, ich habe bewiesen, was ich behauptet habe.

By Benno Hartwig Date 2016-02-25 16:23

> ich habe bewiesen

ganz sicher nicht mal andeutungsweise, Joachim!
Aber schön ist, dass das ja nicht mal annähernd ähnlich sehen müssen.
Benno

By Joachim Müller Date 2016-02-26 12:39

Ganz ehrlich, Benno: Man kann auch schlicht nicht verstehen wollen.

By Tom Paul Date 2016-02-24 13:02

Joachim Müller schrieb:

Zitat:

Eine Antwort folgte nicht.

Naja man kann sich aber durchaus einen Namen in der Szene machen, wenn man die erste Person wird die eine Eröffnungsphase in den Stockfish Code eingefügt hat.

By Michael Scheidl Date 2016-02-24 15:52

Jetzt hast Du's uns aber gegeben!

By Joachim Müller Date 2016-02-24 16:25

Wenn's der Sache dient, tu ich alles für den Fisch.

By Frank Quisinsky Date 2016-02-28 11:00 Edited 2016-02-28 11:05

Hallo Benno,

ein Test-Run mit ca. 2950 Partien kostet mich ca. 15 EUR an Strom und viel meiner Freizeit.
Ferner die Anschaffung der Test-Rechner, die Kosten für die Webseite und Kosten für diverse Programme selbst.

Seitens der User wurden bislang 81 EUR in den 2 Jahren gespendet.
Seitens der User wurden aber x Forderungen gestellt die ich so per eMail erhalten habe.

Allerdings habe ich auch schon drei Werbeangebote ausgeschlagen um meine Webseiten frei von Werbung zu halten.
Eine Schachseite wollte meine Ratingliste gar in einem größeren Maße hochziehen ... was ich gar nicht will.
Wer sich für Ergebnisse interessiert wird die Seite finden.

Das steht natürlich in keinem Verhältnis mehr.
Die erzeugte Datenbank wurde z. B. im Verlauf der über 2 Jahre von 14.200 verschiedenen IP Adressen heruntergeladen.
Das Eröffnungsbuch wurde z. B. im Verlauf der über 2 Jahre von 3.187 verschiedenen IP Adressen heruntergeladen.
Hätte nur jeder 1 EUR gespendet ...

Unabhängig davon, dass es mir natürlich Spaß macht aber die Erwartungshaltung der User ist schrecklich.
Ich erwarte selbst nichts bei dieser Community, nicht das ich falsch verstanden werde, aber das sind Zahlen hier eher abschreckend für Personen sind die eine eigene Aktivität starten möchten.

Für mich persönlich ist lediglich wichtig.
Animieren, denn Animation bedeutet Fortschritt ... mehr Personen finden sich ein.
Wenn sich mehr Personen durch Animation einfinden habe ich selbst mehr Events denen ich folgen kann.
Und mehr dann von diesen Personen z. B. meine Arbeit eher kritisch sehen, umso besser.

An dieser Meinung hat sich grundsätzlich nichts geändert.
Und die hatte ich schon in WB und UCI Zeiten, in Arena Zeiten etc..

Gruß
Frank