Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / KECR jetzt mit eigenem Ratingsystem
- - By Klaus Wlotzka Date 2017-09-21 17:43
Hallo Zusammen,

hier im Forum wurde in den letzten Tagen sehr intensiv über die Einbindung einer Elozahl innerhalb des FEOBOS-Buchprojektes beziehungsweise KECR diskutiert.

Was mich daran störte, dass bei den Vorschlägen immer ein Bezug zur eigentlichen Elozahl der Engine bestand und nur über einen Zusammenhang (Korrelation) zu den Bewertungen oder gefundenen gleichen Zügen bestand. Insbesondere bei den Bewertungsvergleichen im Vergleich zu einer Referenzengine lässt sich aus meiner Sicht nur sehr schwer eine Spielstärke ableiten.

So wollte ich das Thema eigentlich schon wieder beiseitelegen.

Nach längerem Überlegungen habe ich nunmehr ein Ratingsystem entwickelt, welches:
•  Ohne Berücksichtigung der aus den einschlägigen Ranglisten bekannten Elo-Spielstärke funktioniert
•  Keinen Bezug zum Elosystem hat
•  Sich ausschließlich aus den Daten der Bewertungen aus dem FEOBOS-Buchprojekt die Ratingzahl ermittelt
•  Differenzierter als das ausschließliche Zählen der gewonnen und unentschiedenen Zweikämpfe vorgeht

Wie funktioniert das System nun:
Das Programm ermittelt anhand der Ergebnisse eine Ratingzahl welche die Eröffnungs-Analysefähigkeit darstellen soll, dass sogenannte KECR-Rating. Diese Ratingzahl ist keinesfalls mit der allgemein verwendeten Elozahl für die Spielstärkeermittlung einer Schachengine, vergleichbar sondern vielmehr eine Ratingzahl, welche sich unabhängig von der Elo-Zahl der jeweiligen Schachengines ausschließlich aus den Ergebnissen der Analysen bildet. Es erfolgte zur besseren Übersicht lediglich die Einbindung eines Multiplikators.

Das KECR-Ratingsystem ist eine sehr aufwendige Berechnung, welches neben den reinen Resultaten aus den Enginevergleichen, eine Wichtung der gefundenen Züge vornimmt. Bei der Wichtung wird berücksichtigt, welche Anzahl anderer Engines den aussichtsreichsten Zug ebenfalls ausgeben. Je mehr Engines diesen aussichtsreichsten Zug gefunden haben, desto höher die Wichtung.

Nicht gewertet werden folgende Stellungen :
1.  Zuvor in FEOBOS manuell aussortierte Positionen (derzeit 998 Positionen)
2.  Positionen ohne eindeutig aussichtsreichsten Zug (derzeit 1.588 Positionen)
3.  Positionen bei denen bisher von allen Engines der gleiche Zug ausgegeben wurde (derzeit 6.869 Positionen). Sollen auch diese Positionen in die Wertung (kann im Setting-Bereich vorgegeben weren) erfolgt eine Abwertung des nachfolgend beschriebenen Remisfaktors.

Im Detail wird das KECR-Rating wie folgt ermittelt:

Zunächst wird bei den Zweikämpfen geschaut, wie oft bei der entsprechenden Position ein Zweikampf gewonnen wurde. Danach wird ermittelt, wie oft der aussichtsreichste Zug auch von den anderen Engines gefunden wurde. Mit diesen beiden Werten wird dann eine Punktzahl für die Stellung ermittelt. Bei zum Beispiel 3 gewonnen Zweikämpfen und 7 von den anderen Engines ebenfalls gefundenem aussichtsreichsten Zug, gibt es für die betreffende Stellung insgesamt 3 x 7 = 21 Punkte.

In gleicher Weise erfolgt eine Bewertung für die unentschiedenen Vergleiche, also wenn beide Kontrahenten den aussichtsreichsten Zug gefunden haben. Die unentschiedenen Vergleiche erhalten dann allerdings eine Abwertung mit einem Faktor exakt zwischen 0,33 und 0,50, also von 0,414. Dieser Faktor orientiert sich an dem Mittel zwischen dem klassischen 2-Punkte- und modernen 3-Punktesystem.

Dann werden die ermittelten Punkte für die gewonnenen und unentschiedenen Zweikämpfe für jede Position summiert.

Auf diese Art erfolgt eine Bewertung für alle 42.000 Positionen für jede Engine.

Das eigentliche Rating jeder einzelnen Engine ermittelt sich dann aus der ermittelten Gesamtpunktzahl dividiert durch die Anzahl der gewerteten Vergleiche und dividiert durch die Anzahl der bisher ausgewerteten Engines. Die sich hieraus ermittelte Zahl liegt bei spielstarken Engines etwa zwischen 0,29 und 0,35 und wird dann zwecks besserer Übersicht mit 10.000 multipliziert.

Die Berechnung des KECR-Ratings ist im jeden Falle differenzierter als der reine Vergleich über die Anzahl der gewonnenen und unentschiedenen Zweikämpfe, da auch eine Wichtung der gefundenen Züge stattfindet.
Hier die derzeitig aktuellen Ratingzahlen, welche sich aus der oben geschilderten Berechnung ergeben haben:



Ich möchte nochmal darauf hinweisen, dass die ermittelten Ratingzahlen in keinem Zusammenhang zu den bekannten Elozahlen stehen sondern als eigenständiges Rating, welches die Analysefähigkeit einer Schachengine in der Eröffnungsphase zeigen soll, zu betrachten sind.

Das aktuelle Excel-Programm mit dem integrierten Ratingsystem steht zum Downlaod auf Franks Webseite in der Version v10.00-28 in Kürze zur Verfügung.

Die nächste Veröffentlichung von KECR erfolgt mit den Ergebnissen von Komodo 11.22 X64 etwa Anfang kommender Woche.

Viele Grüße

Klaus
Parent - By Frank Quisinsky Date 2017-09-21 17:50 Edited 2017-09-21 18:05
Hallo Klaus,

ist hochgeladen.
Komodo ist zwar schon am Sonntag durch aber da habe ich überhaupt keine Zeit.
Am Dienstag hat Spark alle Stellungen durch.

Wasp 2.5 Beta Test steht an wenn Spark durch ist. Mein zweiter Rechner ist belegt und Junior muss warten.
Mal ein paar Partien spielen lassen schauen wie die Ergebnisse sind.

Junior folgt bei den "Experimentellen Engines" danach.

Nochmals der Hinweis:
Feobos v10 wird dann nächste Woche released. Wahrscheinlich am Mittwoch!
Das ist mehr oder weniger die erste finale Version, denn alle 10 Engines haben dann die 26.146 Positionen der Basis-Datenbank durch.

Es folgt nachsitzen mittels über 15.000 upd-1 Stellungen!
Was so alles bei den Basis Daten fehlte, drei Züge nach ECO Code Bildung.
Die Vorrichtung hierzu wurde schon längst in die Excel Tabellen von Klaus implementiert.

Erst wenn dann wieder die 10 "Standard Engines" diese Update Datenbank analysiert haben (ca. Mitte bis Ende Januar 2018) erfolgt die Veröffentlichung der Release FEOBOS v.20!
Zwischendurch also keine Buchupdates!

Viel zu kompliziert genau das zu tun wegen den Berechnungen in der Excel bzw. greift bei den Zwischenversionen dann unser Rating System für die Positionen nicht.

Gruß
Frank

Am Ende wurden dann über 41.000 Endpositionen von 10 "Standard Engines" und wahrscheinlich 3 "Experimentellen Engines" analysiert. Mehr als 500.000 Positionen über 1 Jahr hinweg.
Die 41.000 Endpositionen sind in sortiert nach Güte in einem Ranking System. In 5 Contempt Stufen wird dann das Buch ohne Zugumstellungen und mit Contempt 2 das Buch mit Zugumstellungen angeboten. Sehr leicht können aus den Daten beliebige Test-Set ... ob Test-Set zu E38 oder A09 oder zu den besten Positionen oder was auch immer ... erstellt werden. Das Projekt wird dann abgeschlossen und der Spuk ist vorbei ... Thema Eröffnungen und Test-Set ist dann für mich erledigt. Gibt hier nichts mehr zu tun.
Up Topic Hauptforen / CSS-Forum / KECR jetzt mit eigenem Ratingsystem

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill