Hallo Kurt,

freue mich über Deine Antwort weil ich Dich als sehr kritischen Menschen in Deinen Forenbeiträgen kennengelernt habe.

Noch kurz ein Hinweis.
Beispiel Test-Run startet und die hier im Eingangsposting aufgeführte Liste dient als Basisberechnung.

Bedeutet, dass wenn nun ein neuer Stockfish Test-Run läuft die 2050 Partien dieser Stockfish Version aus der Basisliste gelöscht werden müssen.
Nun werden die neuen Stockfish Partien vom Test-Run hinzugefügt (es bleibt also bei einer Stockfish Version).

Und das schaut dann wie folgt aus ...
Derzeit spielt Stockfish 7 ...

Basis war 71.150 Partien (Liste 1)
- 2050 Partien ... = 69.100 Partien
derzeit hat Stockfish 1.353 (nach Runde 33 von 50 gespielt)
69.100 + 1.353 Partien = 70.453 Partien (Liste 2)

Und nun kann korrekt verglichen werden ...



Wobei jetzt auch schön zu sehen wie sich ein Rating eines Gegners von SF noch verändert wenn ein besonders gutes oder schlechtes Resultat vorliegt.
Das kommt hinzu und macht alles sehr viel spannender!

Bedeutet ... ich muss die Basis-Liste nach 71.150 Partien und die Liste mit dem derzeitigen Resultat einblenden, damit dann letztendlich mittels der Elo aus den beiden Listen die wie beschrieben besseren Vergleiche möglich werden.

Gruß
Frank

Hallo Kurt,

habe eine kleine Agenda Seite eingeführt.
Hier kannst Du beobachten wie sich die interne Datenstruktur der "FCP Test Rating List" verbessern wird.

Die Ratingliste findet sich jetzt auch im Menü-System von meinen Seiten, wie natürlich auch die FCP Rating List (alle Partien).
So kannst Du auch wild zwischen den Ratinglisten hin- und herspringen und schauen wie die Unterschiede zwischen den beiden Listen ist.

Status zur Zeit:
Die 60 eingepickten Engines in meiner Liste spielten zu 80.5% gegeneinander.
Klar, es fehlen viele Paarungen von ganz oben zu ganz unten (macht keinen Sinn, zu großer Elo-Unterschied).
Aber es fehlen auch Paarungen die Sinn ergeben (meist von älteren Engines). So versuche ich dann auf 90% zu kommen um die Sache zu perfektionieren.

Eine Frage der Zeit zumal ich zukünftig Test-Runs mit 2.950 Partien spielen lasse (also gegen alle 59 Gegner durch, sofern die Engines in der Mitte bei ca. 2700 - 2900 Elo liegen).

Was fehlt ist nun eine GUI, die in der Lage ist eine Datenbank einzulesen und ein Ergebnis auszuspucken.
Dann könnten User beliebige eingelesenen Engines einpicken und daraus dann beliebige Turniere / Ratinglisten simulieren.

Also:
GUI liest ein, User stellt die Gruppe der Engines zusammen, GUI wirft eine Ratingliste oder Turniertabelle aus.
Das alles wird machbar und noch vieles mehr wenn eine solche Datenbank existiert!

Viele Grüße
Frank

Clemens,

bin endlich auch mal zufrieden gestellt.
Finde die Liste auch Klasse ... auch wenn Eigenlob stinkt aber in diesem Fall ... soll es stinken.



Gruß
Frank

Hallo Ingo,

nur weil es keine Berechnungsgrundlage für das Verhältnis Anzahl der Partien in Kombination zu Anzahl der Gegner gibt sollten wir nicht hingehen und und den Umstand ignorieren bzw. argumentieren was irgendwelche Mathematiker herausgefunden haben welche diese Komponente offenbar gar nicht auf dem Schirm hatten. Wobei irgendwelche nicht abwertend gemeint ist, gab nur so viele davon.

Richtig ist natürlich, dass bei 1.000 Partien, ermittelt zwischen 2 oder 20 Engines, das Ergebnis jeweils korrekt ist wenn es darum geht wie es im Verhältnis zwischen den eingesetzten Testkandidaten ausschaut. Das streite ich nicht ab allerdings spiegelt Elo eine allgemeine Spielstärkeeinstufung wieder, nicht zuletzt weil wir kaum etwas vergleichbares haben.

Du sagst ja auch nicht Karpow hat 2.700 Elo, ermittelt gegen 10 oder gegen 400 Spielern. Du sagst Karpow hat eine Elo von 2.700. Wir hegen den Anspruch eine möglichst genaue Einstufung einer Engine zu erhalten.

Kein User würde sagen ...
Komodo hat 3.200 Elo bei 16 Gegnern und 3.175 Elo bei 32 Gegnern, sondern Komodo hat x Elo.

Auf der einen Seite wollen wir genau sein, auf der anderen Seite vergleichen wir Äpfel mit Birnen. Vergleichen CEGT mit IPON oder von mir aus meiner Ratingliste ... was so nicht so ganz korrekt ist wenn mittels unterschiedlichen Beeinflussungsfaktoren ermittelt.

Selbst versuche ich unter den Voraussetzungen, die mich interessieren, ein möglichst realitätsnahes Ergebnis zu erhalten unter der Prämisse dies mit so wenigen Partien wie möglich zu bewirken. So ganz nach dem Grundsatz, mit den geringsten Mitteln den größtmöglichen Erfolg und hinter den Faktor mit den geringsten Mitteln verbirgt sich für mich ... mit weniger Partien.

Oh, doch es ist viel mehr ...
Während eines Test-Runs wird viel genauer dargestellt ob sich eine Engine verbessert hat ... selbst kleine Verbesserungen in Elo werden sichtbar durch viele Gegner und deutlich weniger Partien. Es muss nur richtig dargestellt werden.

Auch wenn ich Deine Arbeit keinesfalls angreifen möchte aber bei weniger Gegnern passiert immer wieder gleiches. Schaue in Deine Liste, schaue auf Elo von denen die unten stehen, vergleiche das mit meiner Liga 1 Tabelle. Engines oben oder unten in einer Liste weichen um ca. durchschnittlich 20 Elo ab. Das ist dann bei meiner Liga 1 Turniertabelle nicht anders als bei Dir. In einer Liste mit vielen Gegnern wird genau das minimiert. Das wird richtig schön ersichtlich wenn meine Liga 1 Turniertabelle mit der Ratingliste verglichen wird. Was bringen mir dann 10.000 Partien wenn sich daran nichts ändert und schon die Darstellung von 2.000 Partien dies deutlich aufzeigt wenn einfach mehr Gegner vorhanden sind.

Möchte keine Streitdiskussion zumal diverse Ansichten unterschiedlich sind. Um das nochmals klar zu stellen, ich will keine andere Arbeit angreifen und schaue selbst oft und gern auf Deine Liste wenn gleich ich Deine Zahlen sicherlich anders lese als Du es tust aufgrund unterschiedlicher Sichtweisen.

Viele Grüße und ein schönes WE.

Gruß
Frank

Komodo und Stockfish
Meine Meinung war hier immer sehr klar. Stockfish spielt einfach zu oft Remis gegen schwächere. Das wird aus jedem meiner Test-Runs sehr deutlich. Contemp funktioniert bei Komodo extrem gut. Fraglich ist ob Komodo bei längeren Bedenkzeiten besser als Stockfish ist. Vermutlich eher nicht, glaube nicht so wirklich daran. Wenn dann liegt das maximal vermutlich in einem kaum messbaren Bereich. Komodo 9.3 ist minimal besser als Komodo 9.2. Vielleicht 10 Elo. Das bei Dir dann Stockfish vorne liegt ist für mich logisch bei den Bedingungen die Du einsetzt. Eigene Ergebnisse sollten auch gar nicht in Frage gestellt werden. Was interessanter ist ... wie kann ich etwas verbessern, genau das versuchen die Programmierer und genau das versuche ich natürlich mit dem was ich tue auch. Mit der Darstellung der FCP Test Rating Liste bin ich sehr zufrieden (endlich bin ich mal selbst zufrieden, bin eher auch immer zu kritisch, auch mit eigenen Dingen).

Die neuen Ordo Optionen zeigen mir beim Betrachten einer Ratingliste ... wie viele Gegner. Gleiche Anzahl an Partien. Bei der Darstellung Deiner Liste und gleicher Anzahl an Partien ist es im Grunde egal denn es ist klar das Du 15 Gegner hast. In anderen Listen ist das beim Betrachten nicht klar. Es ist einfach geil zu sehen das ein Rating mittels 50 Partien sauber gegen 59 Gegner erzielt wurde. Entspricht meinen Ansprüchen bei Engines die in der Mitte einer Liste stehen. Erst Recht wenn ich jetzt beginne zu simulieren ... einfach mal 10 weg nehmen und schauen wie sich ein Rating verändert. Einfach geil ... es verändert sich kaum etwas ... bleibt im +-2 Elo Bereich. Glaube mir ich habe bzw. mache deutlich mehr von diesen Statistiken bevor ich etwas veröffentliche wenn gleich ich zugegeben muss das ich mich natürlich auch hier und da habe irren lassen weil ich Stats einfach falsch angepackt habe.

Von gleichen Eröffnungsvorgaben halte ich absolut nichts.
Es ist scheiß egal ob eine Engine eine gleiche Eröffnung mit weiß oder schwarz spielt oder unterschiedliche wenn diese ausgeglichen sind. Die Partie entscheidet sich nicht direkt nach der Eröffnung wenn diese ausgeglichen ist. Es wird zwar vorgegaukelt das eine Beeinflussungsfaktor ausgeschaltet wird aber letztendlich ist es keiner.