CEGT 40/120: SF7 und K9.3

By Frank Quisinsky Date 2016-02-29 09:05

Hallo Benno,

na ja, es hielt sich ja noch alles im Rahmen.
Meist ging es um Engines die hinein sollten oder eher raus sollten oder um Ideen die zugegeben auch nicht alle gut waren.
Der Ton macht immer die Musik.

Aber grundsätzlich versuche ich ja schon dass es für viele Beobachter so interessant wie möglich ist.

Auf Ponder = on kann ich nicht mehr umschalten und viele Engines beherrschen auch Pondern nicht korrekt oder es stimmt dann die Zeiteinteilung nicht. Es gibt sehr viele Engines aus der Gruppe der Clones. Das Interesse ist aber meist immer nur von kurzer Dauer, weil die Programme kommen und gehen und würden auch nur aufhalten. Unabhängig davon das sie die Ratinglisten nicht wirklich bereichern sondern eher schwächen, weil sie gleich zu irgend etwas sind.

So wichtig ist die Webseite nicht und so viele Zugriffe hat sie auch nicht und das ist auch gut so.
In Arena Zeiten war das viel krasser nur wurde die Arena Seite auch bis zu 40x mehr täglich aufgerufen.

Irgendwie bin ich froh das die Zeit raum ist.
Es war einfach zu viel Arbeit.

Gruß
Frank

By Tom Paul Date 2016-02-23 12:46

Frank Rahde (Mod.) schrieb:

Es gibt nun mal diese Ungleichzeitigkeit. Ich muss keinen Test einer Dev-Version Stockfish gegen eine Release-Version Komodo sehen. Ich will als Betrachter der Ranglisten sehen, wie die freigegebenen, also zu offiziellen Versionen erklärten Engines (fehlerarm, zu erwartende Steigerung) gegeneinander abschneiden. Die Dev-Versionen testet ja der Hersteller intern. Es wäre umgekehrt wieder "ungerecht": die aktuellste SF-Dev-Version gegen eine offizielle Komodo, die vielleicht schon wieder veraltet ist! Warum jedoch soll ein Engine-Hersteller gezwungen sein, seine Dev-Versionen zu veröffentlichen? Release gegen Release ist am fairsten und einfachsten zu bewerkstelligen.

Eine Dev Version ist eine Entwicklungsversion, somit sind auch Stockfish 5, 6, 7 und Komodo 7, 8, 9, 9.1, 9.2, 9.3 Entwicklungsversionen, dass erkennst du an der Nummer, unabhängig davon ob diese Version öffentlich zugänglich ist oder nicht.
Eine Release-Version ist nichts anderes als eine Dev Version die öffentlich zugänglich ist. Ganz im Gegensatz zu Dev Versionen die nicht öffentlich zugänglich sind.
Das sind z.B. die Dev Versionen die im Stockfish Framework durchgefallen sind!
Jede öffentlich verfügbare Version ist eine offizielle Version, unabhängig davon ob du sie Dev, Release oder e2d2 nennst.
Bzgl. fehlerarm, da ist Software technisch jede Stockfish Version fehlerfreier als Komodo, somit müsstest du die Stockfish Devs jeder Komodo Version vorziehen.
Ich erinnere gerne nochmal daran das beim TCEC eine Komodo Dev Version, nach dem TCEC einfach öffentlich verfügbar gemacht wurde(Release Version) und nur der Name wurde geändert!
Die Dev-Versionen testet ja der Hersteller auch intern aber nicht unbedingt nur intern.
-Es wäre umgekehrt wieder "ungerecht": die aktuellste SF-Dev-Version gegen eine offizielle Komodo, die vielleicht schon wieder veraltet ist!
Aha also findest du es besser wenn es Stockfish gegenüber ungerecht ist aber bloß nicht Komodo gegenüber?
Außerdem habe ich nicht davon gesprochen jede neue Stockfish Dev die erscheint gegen Komodo zu testen, sondern davon: Wenn ein neuer Komodo erscheint nimmt man auch den neuesten Stockfish als Gegner!
Umgekehrt ist es schließlich genauso und somit wäre es dann auch fair.
Außerdem ist kein Hersteller gezwungen neue Dev Versionen zu veröffentlichen, wenn er nicht will dann muss er nicht.
Wenn die Konkurrenz das macht dann ist das ihre Entscheidung.
Wenn dann aber die Engine des Herstellers von der Konkurrenz platt gemacht wird, dann soll sich der Hersteller nicht beschweren, es war schließlich seine Entscheidung!
-Release gegen Release ist am fairsten und einfachsten zu bewerkstelligen.
Genau also soll man damit auch endlich anfangen.

By Horst Sikorsky Date 2016-02-24 16:36

ein Ratloser fragt, was hat das mit nur 50 Partien zu tun... 25 Eröffnungen (PGN) also gleiche Chancen

1: Stockfish_16022121_x64_modern ELO 3400 Punkte 34,5/50

·················································· ==1=========11==111=1=1=1=1110110=11===111====1=1= 534,75

2: Komodo-9.3-64bit ELO 3400 Punkte 15,5/50

==0=========00==000=0=0=0=0001001=00===000====0=0= ·················································· 534,75

50 Partien gespielt / Turnier beendet Name des Turniers: ST160221-K9.3 1CPU
Spielstufe: Blitz 6/2 Hardware: Intel(R) Core(TM) i5-3570 CPU @ 3.40GHz mit 16,0 GB Speicher
Betriebssystem: Windows 8.1 Home Edition (Build 9200) 64 bit

By Benno Hartwig Date 2016-02-25 08:52

> was hat das mit nur 50 Partien zu tun

Bei 50 Partien und angenommenen 50% Remisquote und gleichstarken Spielern, ist die Wahrscheinlichkeit dafür, dass es einen gibt, der mindestens 34,5 Punkte macht, kleiner als 0,02%
Auch übersichtliche 50 Partien reichen dann wohl aus, damit man eine These "Eigentlich waren die Engines bei diesen Gegebenheiten gleich stark!" als widerlegt betrachten kann.
Vorausgesetzt: diese 50 Partien wurden so hintereinander weg gespielt und nicht irgendwie nachträglich selektiert.
und es gab auch nicht diverse solche Testreihen und es wurde die extremste gewählt. (aber sowas macht wohl wirklich keiner)

Benno

By Peter Martan Date 2016-02-25 10:03

Benno Hartwig schrieb:

damit man eine These "Eigentlich waren die Engines bei diesen Gegebenheiten gleich stark!" als widerlegt betrachten kann.

Aber diese These kannst du auch schon nach einer Partie als widerlegt betrachten, wenn eine von den engines diese eine Partie gewinnt, war sie bei dieser Gegebenheit (Gelegenheit) mit Weiß (oder Schwarz) stärker als die andere.

Nein, im Ernst, das alles läuft längst nur mehr auf die Frage hinaus, was du unter gleich stark verstehst, andererseits lief es darauf natürlich immer schon hinaus.

By Benno Hartwig Date 2016-02-25 10:46

> Aber diese These kannst du auch schon nach einer Partie als widerlegt betrachten...

Vermutlich hast du mich nicht verstanden, denn:
bei 50%-Remiswahrscheinlichkeit und nur einer Partie Gleichstarker hat du mit der stattlich Wahrscheinlichkeit 50% irgendeine der Engines mit 1,0 Punkten.
Bei 50 derartigen Partien hast du aber nur mit Wahrscheinlichkeit 0,02% irgendeine der Engines mit mindesten 34,5 Punkten vorn.

Daher:
Wenn du nach 1 Partie beobachtest, dass Engine-A mit 1,0:0,0 führt, betrachte ich nichts als wiederlegt.
Wenn ich nach 50 Partien beobachte, dass Engine-A mit 34,5:15,5 führt, glaube ich an "Doch, doch, doch, sie sind gleichstark!" nicht mehr.

In beiden Fällen könnte ich frech von Widerlegung sprechen.
Im Ersten Fall ist die Wahrscheinlichkeit für eine Fehleinschätzung dann aber 100 mal so groß wie im zweiten Fall.

Benno
PS: "Im Ernst" schreibst du, ok, dann hätte ich mir diese Erklärung schenken können.