FCP-Tourney 2020 - Ranking tool

By Klaus Wlotzka Date 2020-10-31 16:08 Upvotes 2

Hallo Zusammen,

das FCP-Tourney 2020 befindet sich nach etwa 4 monatiger Laufzeit mittlerweile in Runde 40 von 50 Runden. Wir verfolgen mit dem Turnier hauptsächlich das Ziel, anhand von Statistiken möglichst viel von den Engines in Erfahrung zu bringen. So gibt es bereits unzählige Statistiken über Spielstärken in verschiedenen Spielphasen kurzen Gewinn- und Verlustpartien, "Angstgegner" etc.

Neu, ist das so genannte Ranking tool. Was verbirgt sich dahinter.

Nach über 32.000 Partien unter gleichen Bedingungen liegt soviel Datenmaterial vor, sodass ich diese Daten dazu verwendet habe, um ausfindig zu machen, welchen Einfluss auf die Rangliste hat es, wenn ich bestimmte, sprich eine oder mehrere Engines, quasi per Knopfdruck aus dem Turnier nehme und sofort eine Rangliste mit den verbliebenen Engines erhalte.

Das hört sich vielleicht etwas kompliziert an, ist aber mit dem Excel-Tool denkbar einfach.

Die unveränderte Rangliste mit allen 41 Engines sieht so aus:

Im Rahmen unserer statistischen Auswertungen haben wir mit der Excel-Datei die Möglichkeit, für jede Engine das erzielte Resultat gegen jeden Gegner und die zugehörige Elo-Leistung zu ermitteln. Anhand vom Beispiel von Wasp sieht das so aus:

Deaktivieren wir jetzt mit dem Ranking tool die "Angstgegner" von Wasp, erkennbar an den schlechteren Elo-Leistungen, ergibt sich praktisch sofort folgende Rangliste:

Das Ranking tool errechnet die Rangliste mit den verbliebenden Engines und zeigt die Differenzen bezogen auf die Scores, Elo-Leistung und Remisqouten zur unveränderten Rangliste auf. Positive Veränderungen werden dabei grün, negative rot markiert. Durch diese Maßnahme verbessert sich Wasp um einen Tabellenplatz als es theoretisch mit der Herausnahme der 4 Engines sein sollte.

Als weiteres Beispiel habe ich ein Rangliste mit den zu Wasp in etwa gleichstarken Engines erstellt. Diese sieht dann so aus:

Theoretisch hätte Wasp auf Platz 3 liegen müssen. Durch den ersten Platz wird deutlich, das Wasp mit seinem Spielstil gegen die gleichstarken Engines überdurchschnittlich gut punktet.

Auf diese Art und Weise kann man unzählige Dinge analysieren, beispielsweise wie sich die Remisquote mit zunehmender Spielstärke verändert, und so weiter. Jede nur denkbare Kombination kann dargestellt werden. Eine echte Spielwiese.

Dieses Tool ist Bestandteil der Excel-Datei aus dem FCP-Tourney 2020. Diese Exceltabelle wird nach jeder Runde aktualisiert und kann auf der Webseite von Frank heruntergeladen werden. Das Programm benötigt mindestens Excel 2010.

Viel Spaß damit.

Grüße

Klaus

By Frank Quisinsky Date 2020-10-31 19:08 Edited 2020-10-31 19:25

Hallo Klaus,

gut gemacht ...
Wir haben wirklich eine statistische Bereicherung mehr!

Mal jetzt über das Forum (liege gerade gemütlich und schaue das Gladbach Spiel).

Kannst Du auswerten, welche von den Engines, die FCP Tourney-2020 spielen und bei FCP-Tourney-2021 an den Start gehen
die stabilsten bzw. gleichmäßigsten Statistiken aufweist, oder am besten direkt eine Liste aller 41 derzeit laufende Programme.

Von GullChess gibt es eine neuere Version als die, die ich immer verwende.
Habe das neuere Compile ne ganze Zeit übersehen (ist mir aufgefallen als ich die Tage meine Link-Übersichten mal kräftig upgedatet habe).

Erklärt auch warum GullChess z. B. in der CEGT höher bewertet wird als nur +35. +35, weil meine Elos ca. im Durchschnitt 35 geringer sind.
Habe meine Gründe dafür (-35), rechne durchschnittliche Inflation großer Listen raus.

Auf GullChess eiche ich ja bekanntlich (GullChess mti 3035 Elo).
Du machst das ja anhand einer anderen Berechnung mit durchschnittlicher Elo aller.
Das ist immer schlechter wenn ein Turnier gestart wird, weil wir die durchschnittliche Elo erst genauer später ermitteln können.

Das wäre perfekt, dann könnte ich das neuere GullChess Compile ins FCP Tourney-2021 setzen und auf eine andere Engine eichen.
Meines Erachtens bzw. aus dem Gefühl heraus wirklich GullChess 3, evtl. daneben dann Shredder 12 oder Laser 1.7.
Du kannst das sicherlich schneller herausfinden.

Wichtig wären wirklich die absolut gute Durchschnittswerte ...
Von Remisquoten über erzielte Elo, weniger schnelle Verlustpartien und vor allem ca. gleich stark in den vier Partiephasen.
Ferner sollte die Engine ca. in der Mitte der Liste stehen.

Am besten wäre es so eine Reihenfolge der stabilsten Engines zu haben (hinsichtlich gleichbleibender Statistiken).
Dann wäre das Thema auch endlich mal vom Tisch.

Fest steht, Wasp ist es nicht ... so oft wie das hoch- und runter geht (aufgrund der Endspielschwäche).

Werde die Daten von Runde 41 später hochladen bzw. berechnen lassen.
Gladbach spielt gerade ...

Hoffe das ist für Dich nicht mit zu viel Arbeit / Aufwand verbunden.
Obwohl, bei dem was Du schon alles geleistet hast ...

Viele Grüße
Frank

PS: Habe ich eine solche Auswertung, kann ich leicht sehen welche nicht upgedatete Engine für das kommende Turnier sich am besten für die Eichung eignet.
Dann könnten wir die ermittelte Elo dieser ausgesuchten Engine zunächst mal als Wert für das kommende Turnier nehmen.
Natürlich berechne ich auch die durchschnittliche Elo, muss diese aber wie beim laufenden Turnier dann öfters mal neu justieren.

By Klaus Wlotzka Date 2020-10-31 19:32

Hallo Frank,

welche Engines am stabilsten punkten kann man am besten aus der Runden-Score-Übersicht erkennen, dort gibt es für jede Engine das schlechteste und beste Rundenergebnis.

Die Engines mit den kleinsten Differenzwerten zwischen dem Min. und Max.-Wert sind demzufolge die infrage kommenden Engines.

Grüße

Klaus

By Frank Quisinsky Date 2020-10-31 19:38

Hi Klaus,

schaue ich mir an und vergleiche die in Frage kommenden dann aber noch mit Remisquote (in der Regel haben die Engines eine höhere Remisquote) und mit
Ratings zu den vier Partiephasen (sollte auch ca. gleich sein).

Werde das Morgen in Ruhe mal auswerten und mir nach dem Turnier dann nochmals ansehen.

Übrigens passen sich die Ratings zu den _4 Partiephasen_ mit den Werten der Ratings zu _Anzahl der Figuren auf dem Brett_ immer mehr an.
Finde das auch sehr interessant, wobei das eigentlich auch logisch ist.

Schön ist allerdings immer wieder zu sehen, ob es Engines gibt die eine Partiephase besonders gut oder schlecht spielen.
Wie z. B. bei Wasp das Endspiel negativ auffällt.

Viele Grüße
Frank

By Clemens Keck Date 2020-10-31 21:53

wow !
Gratualtion zu diesem hochinteressanten tool.
So ist es ohne viel Aufwand möglich festzustellen
zb welche engines großen Einfluß auf die Liste haben, und welche weniger.

Jetzt wäre noch ein RundenTool klasse, auch wenn ihr da schon eine klasse Auswertung gemacht habt.
Aber vielleicht lässt sich feststellen , wie viele Runden nötig sind in Abhängigkeit der Gegnerzahl X
um eine verlässliche Genauigkeit einer Rangliste der Teilnehmer zu erreichen.

Klasse Turnier
Hut ab !

Clemens

By Klaus Wlotzka Date 2020-10-31 22:14

Hallo Clemens,

das Thema, wieviel Partien sind für eine gute Aussagefähigkeit notwendig, hatten wir in einem Thread vor ein paar Tagen.

Wir sind zu dem Ergebnis gekommen, dass nach etwa 1200-1400 Partien die Performance-Differenzen nur noch minimal sind. Die genauen Zahlen sind in grafischer Form dort abzulesen.

Das gilt bei 41 Engines und der relativ langen Bedenkzeit. Ich gehe davon aus, dass sich dieser Wert bei der Durchführung des Turniers mit weniger Engines erhöht. Einfach deswegen, weil es weniger Möglichkeiten gibt, ein Ausreißerergebnis halbwegs auszugleichen.Es ist aber auch davon abhängig, welche Engines teilnehmen. Manche Engines Punkten extrem stabil, andere weniger. Auch hierüber haben wir eine Statistik mit dem minimalen und maximale Rundenscore jeder Engine.

Wenn das Turnier abgeschlossen ist, werde ich dieser Frage mal auf den Grund gehen.

Viele Grüße

Klaus

By Klaus Wlotzka Date 2020-11-01 12:38 Edited 2020-11-01 12:56

Clemens Keck schrieb:

wow !

Jetzt wäre noch ein RundenTool klasse, auch wenn ihr da schon eine klasse Auswertung gemacht habt.
Aber vielleicht lässt sich feststellen , wie viele Runden nötig sind in Abhängigkeit der Gegnerzahl X
um eine verlässliche Genauigkeit einer Rangliste der Teilnehmer zu erreichen.

Hallo Clemens,

ich habe jetzt die Elo-performance-Differenzen in das Ranking-tool integriert. Das heißt, wenn man jetzt Engines rein oder rausnimmt, zeigt das Diagramm rechts daneben, wie sich das auf die Performance-Differenzen auswirkt.

Hier mal ein paar Beispiele:

1. Komplette Liste

2. Nur die 18 Engines welche am stabilsten Punkten

3. Nur die 18 Engines welche am unstabilsten Punkten

4. Nur die 9 Engines welche am stabilsten Punkten

5. Nur die 9 Engines welche am unstabilsten Punkten

6. Gezielt Engines aus der kompletten Liste rausnehmen

Was kann man hieraus schlussfolgern.

Nun, es scheint so, dass es bei stabil punktenden Engines nicht ganz so wichtig ist, wieviel Partien man spielt. Schon 800-1000 Partien reichen aus, um ein verlässliches Bild zu bekommen. Allerdings muss man bei 9 Engines schon die Rundenzahl deutlich erhöhen, um überhaupt an die 800 Partien zu kommen. Bei den wenig stabil punktenden Engines sind wir schon eher bei 1200-1400 Partien. Die Kurve wird homogener, wenn man mehr Engines verwendet. Aber erstaunlicher Weise sind die Unterschiede nicht so sonderlich groß. Lediglich bei sehr wenigen Engies sind die Ausreißer (Engines über +-5 Elo größer.
Auch schön zu sehen, wie sich die Kurve abflacht, wenn man gezielt ein paar Engines rausnimmt (Beispiel 6)

Eine echte Spielwiese das Ganze.

Diese neue Version steht in der aktuellen zip-Datei auf Franks Homepage zum Download zur Verfügung.

Übrigens für diejenigen, welche kein Office haben, gibt es von den Statistiken aus der Excel eine pdf-Version, damit man sich diese auch ansehen kann. Natürlich funktionieren die Auswahl-Buttons der interaktiven Seiten, um beispielsweise Statistiken verschiedener Engines abzurufen nicht.

Grüße

Klaus

By Alexander Holzhaeuser Date 2020-11-01 13:55

Großes RESPEKT !
Tolle Arbeit und super Info Tool !

Gruss
Alex