Hallo Guenter,

kannst sicherlich vieles feststellen aber Dir wird nach so einigen Versuchen die Rübe qualmen.
Was mich oft ärgert ... ich habe natürlich auch so einige Ideen für Stats und gehe immer mit voller Energie an die Sache. Aber dann nach einigen Stunden lässt die Energie nach weil ich mich einfach aufgrund eigener Unkenntnis geschlagen geben muss. Ich merke bei dem Niveau immer mehr wie hilflos ich bin im Eifer irgend etwas herausfinden zu wollen.

Irgendwann stoßen wir dann selbst mit den besten Hilfsmitteln auf Granit bzw. laufen eigentlich immer nur gegen die Wand und wollen es nicht glauben, verstehen und akzeptieren.

Gruß
Frank

ach so, das Problem war Menschen und Computer Elo automatisch zu vergleichen
trotz Fehlen von Mensch-Computer Partien.
Oder sogar Menschen-Partien zu simulieren.

Als erstes misst man da , als Computer, natuerlich die Zahl der taktischen Fehler.
Dann evtl. wie oft gegen taktisch gleichwertige Gegner ein eval-Vorteil erspielt wird.

OK, mal konkret : Ich vergleiche die Zuege mit Stockfish Stufe x und messe die
Summe der evals nach den gespielten Zuegen minus die evals nach den
besten Stockfish Zuegen. Sagen wir Zuege 30-50 und nur, wenn -2<eval<+2 .

Dann der Durchschnitt pro Zug, das waere mein erster Ansatz einer stockfish-x-wertungszahl.
Kann ich ja vielleicht sogar mal machen mit den stockfish 40/40-Partien
... und wenn ich irgendwo solche stockfish-bewerteten Menschen-Partien finde.

hmm, Oder besser : bewerte nur zuege, deren eval auf stufe x-k um mehr als delta abweichen
von der eval auf stufe x - ob also der Mensch hier die "Falle" vermeiden konnte.

Nehmen wir mal x=20,k=5,delta=0.10

Hallo Thomas,

wie gesagt, schaue heute maximal auf CEGT 5+3.

Was immer wieder unterschätzt wird ist die Anzahl der Gegner. Mit wenigen Gegnern gelingt keine gute Messung, egal wie viele Partien. Das lässt sich leicht an Experimenten ablesen wenn Du aus meiner bestehenden Datenbank Gegner wegnimmst und neu berechnen lässt.

Das Problem ist eher, es gibt nicht ausreichend Gegner für Stockfish und Komodo die auf gleichem Level spielen. Insofern ist die Messung die ich so treibe auch nicht optimal. Würde nie etwas anders behaupten wenn ich sehe das es so ist. Allerdings, wird es meines Erachtens dennoch genauer wenn wir mehr Gegner hinzufügen, genauer für alle anderen im Test-Feld.

Und je mehr ich mich mit dem Thema beschäftige desto unsinniger halte ich die Messung von Elo-Zahlen im Computerschachbereich, weil ich eher dazu neige zu perfektionieren und das gelingt mir nicht. Egal wie viel Mühe ich mir gebe. Der Grund warum mir an der eigenen Liste das Buch oder die Spielstile wichtiger sind als die blanken Zahlen.

Wir können aber Erklärungsversuche bei dem Komodo Ergebnis versuchen. Auch das Stockfish Ergebnis ist schlechter als gedacht.

Grund 1:
Mein Buch!
Stelle Dir vor Du hast 100 Positionen. Nun jagst Du permanent 50 Engines über die Stellungen in x verschiedenen Versionen. Irgend eine sagt schlecht und filtert weg. Das heißt das langfristig mein Buch höhere Remisstatistiken erzeugt. Höhere Anzahl von Remispartien wäre für Stockfish und Komodo bei über 85% Punktausbeute fatal ... die Elo schwankt gewaltig. Für diese Theorie dagegen spricht, dass ich 85.000 Varianten im Buch habe und zig hunderttausende Partien notwendig wären um wirklich alles rauszufiltern. Auch Komodo 10 ein paar Test-Runs vorher wurde durch dieses Buch mithin auch nicht groß bevorteilt.

Grund 1 scheidet meines Erachtens aus. Auch wenn von den 85.000 Varianten schon 7.000 herausgefiltert wurden und von den 7.000 ca. 4.000 dabei sind die viele Engines für ausgeglichen halten ... zumindest 3 Züge nach dem Buch ... im Verlauf aber dann kläglich scheitern.

Grund 2:
Mir ist vor ca. 2 Test-Runs aufgefallen das ich 3-4% zuviel A00-A99 im Buch hatte und 3-4% zu wenig E00-E99 Eröffnungen. Ich änderte maßgeblich mein Buch in dem ich 1. c4 und 1. f4 2-3% Prozent weniger gab, 1. d4 d5 ca. 20% weniger und 1.d4 Sf6 ca. 20% mehr. Damit kann ich einfach regulieren. Könnte sein, dass Komodo vorher mit den Varianten besser klar gekommen ist. Das könnte Auswirkungen haben, aber die werden gering sein.

Grund 3:
Komodo 10 hatte noch 26:24 gegen Stockfish aus April gewonnen. Derzeit liegt Komodo 10 klar hinten bzw. verlor ja mit 23:27. Es gibt ein paar weitere eher schwache Einzelergebnisse von Komodo 10.1. Wird Auswirkungen haben.

Grund 4:
Die bisherigen Statistiken ... Komodo spielt deutlich mehr Remis! Spielt mit schwarz deutlich verhaltener als mit weiß.

Letztendlich könnte es sein, dass wenn ich später nur die Gegner nehme die auch von anderen im Test gegen Komodo benutzt wurden ich gleiche Ergebnisse produziere. Meist ist das so, und schon sind wir wieder beim wahrscheinlichsten Punkt. Wie gesagt, mit meiner Ratingliste lässt sich alles reproduzieren wenn denn nicht andere Listenbetreiber noch irgend welches nicht verfügbare Zeug nutzten würden. Nicht nur deswegen schlecht weil wir Ergebnisse schwieriger reproduzieren können, sondern weil niemand etwas mit den Ergebnissen wirklich anfangen kann weil die Engines nicht nutzbar sind.

Das Komodo 10.1 Update kam sehr schnell nachdem noch nicht mal 60 Tage vorher Komodo 10.0 veröffentlicht wurde. In der Regel geht das in die Hose wenn ich mir ansehe wie oft das passiert ist und was dabei heraus kam. Andascas, Pedone, EXchess, Arasan Versionen ...

Innerhalb von 60 Tagen kann niemals, mit noch so vielen Maschinen getestet werden welche Auswirkungen die Änderungen bei längeren Bedenkzeiten haben. Diese Updates gehen meist gewaltig in die Hose.

Wenn im Blitz schnell mal was festgestellt wird, heißt das nicht das die Auswirkungen beim Schnellschach greifen. Auch das könnte ein Grund ein.

Fest steht, zumindest nach Leistung in Elo ... es sieht nicht nach einer Verbesserung aus und egal was ich vergleiche ... Komodo 10.0 zu Komodo 10.1 ... es wird in jeder, absolut jeder Statistik bestätigt. Und nun nach über 1600 Partien wird sich daran auch kaum noch etwas ändern. Vielleicht korrigiert sich Komodo 10.1 noch auf -10 aber das wäre auch schon Maximum bis zum Ende vom Test-Run nach 2.450 Partien.

Es werden 2.450 weitere Partien folgen ohne Contempt.
Insgesamt werden fast 5.000 Partien auf mittleren Bedenkzeiten vorliegen.

Wir können die Auswirkungen von Contempt vergleichen, können später auch alle schnellen Remispartien von unter 40 Zügen aus den beiden Test-Run weglöschen und schauen ob das ein Zufallsprodukt war.

Was kann getan werden um noch aussagekräftigere Ergebnisse ... mit dem was vorliegt ... zu erreichen?
Bin für jeden Tipp dankbar! Ich sehe nichts, absolut nichts wie ich die Messung noch verbessern könnte (innerhalb meines Test-Systems).

Gruß
Frank

Hallo Gerhard,

daran hatte ich vor lauter Blindheit in eigener Sache noch gar nicht gedacht. Klar, das könnte Auswirkungen habe (auch wenn selten in der Vergangenheit). Nun verliert Nirvana ca. 1% auf Zeit, wenn das nicht korrigiert wird ... die Eigenheiten von vielen Engines. Mittlerweile kenne ich die in und auswendig. Gerade von denen die nicht upgedatet wurden und bei mir immer wieder spielen. 23 der Top-50 in meiner Liste wurden im letzten Jahr upgedatet. Ein Normalwert im Computerschach. Schön ist, dass einige die upgedatet wurden sich so langsam nach oben spielen.

Wenn ich so lese wie weit Komodo und Stockfish schon vor den Anderen sind aber die Engines dann tatsächlich nur x Elo stark sind ... Welten dazwischen! Elo wird völlig überschätzt aufgrund der vorhandenen Spielstärke. Selbst ein 46:4 von Komodo 10 gegen Octochess ... die meisten würden sagen wow ... in Wirklichkeit spiegelt ein 46:4 160 Elo weniger als 3.210 wieder. Und das ist das Problem, Engines auf dem Level von Komodo und Stockfish werden in Elo Höhen gelobt die noch gar nicht da sind.

Ja, schade mit dem Tipp-Spiel.
Was solls, hatte ehrlich gesagt auch in diesem Forum mit keinen Reaktionen gerechnet. Oftmals ist es auch sehr mühsam sich hier Mühe zu geben. Aber ich gebe die Hoffnung nicht auf und hier und da entstehen auch immer wieder ein paar spannende Diskussionen.

Ziehe mich ja auch bald wieder zurück. Brauche eine Computerschachpause und die Flughäfen in aller Welt warten auf meine Camera. Werde wieder mehr spotten und mir den einen oder anderen Campingplatz dabei ansehen.



Gruß
Frank