Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / KECR - finaler Arbeitsstand
- - By Klaus Wlotzka Date 2017-09-09 16:00 Edited 2017-09-09 16:12
Hallo Zusammen,

nachdem wir beim FEOBOS-Buchprojekt des finalen Stand des Excel-Auswertungstools erreicht haben, sind wir auch beim KECR (Klaus-ECO-Code-Rating) nun soweit. In den letzten Wochen wurden einige Auswertungsbugs entfernt, welche die Ergebnisse massiv beeinflussten. Zuletzt wurden folgende Punkte abgearbeitet:

1. Punktesystem

Das klassische Punktesystem (1-0,5-0) wurde geändert in das modernere System (3-1-0) um den gewonnenen Vergleichen einen größeren Stellenwert zu geben. Innerhalb der Exceltabelle kann zwischen beiden Punktesystemen gewechselt werden, die Rangliste aktualisiert sich automatisch. Die 500 ECO-Einzelranglisten müssen nach jeder Änderung des Punktesystems per Makro aktualisiert werden.

Das 3-Punktesystem wurde bereits mit den Ergebnissen von Stockfish eingebaut und ausgewertet (noch nicht umschaltbar). Die aktuelle Rangliste sieht wie folgt aus:



2. Hervorheben der Ergebnisse einer bestimmten Engine

Um den Ergebnissen einer bestimmten Engine besser folgen zu können, können die Felder dieser Engine in allen Tabellenblättern optisch hervorgehoben werden. Auf der Startseite kann man über einen Auswahlbutton eine Engine auswählen. Die obere Grafik zeigt die Hervorhebung an der Engine "Andscacs".

3. Staistikerweiterungen und optische Verbesserungen

Aus den 500 ECO-Einzelranglisten ermittelt das Programm, wie oft die jeweiligen Engines welchen Rang erzielt haben und erstellt eine Rangliste bezogen auf die Anzahl der Ränge je ECO-Code-Bereich (A, B, C, D, E) und insgesamt.



Ebenso gibt eine Rangliste angelehnt an die Gesamtrangliste allerdings bezogen auf die vorgenannten ECO-Bereiche



Diese Statistiken erleichtern die Auswertung der 500 ECO-Einzelranglisten.

Die Veröffentlichung dieser finalen Excel-Version (v10.00-24) erfolgt mit den Ergebnissen vom laufenden Test mit Spark in den nächsten Tagen. Dann wird Spark 26.142 Analysen durchgeführt haben. Im Anschluss daran folgen die Ergebnisse vom ebenfalls laufenden Test mit Komodo. Sobald alle Engines (es folgen noch Junior und Hakkapeliitta) müssen sämtliche Engines über die Update-Datenbank sodass am Ende jede der 13 Engines 41.614 Analysen durchgeführt haben wird. Für KECR bedeutet dies, dass dann über 4,30 Millionen !!! Vergleiche vorliegen wodurch die Rangliste noch aussagekräftiger wird. Ich bin schon sehr gespannt, welche Engine dann in Bezug auf die Eröffnungsanalysefähigkeit die Nase vorn haben wird.

Sobald die finale Excel-Version mit den Ergebnissen von Spark zum Download zur Verfügung steht, informieren wir hier kurz. Es wird dann auch eine überarbeitete, ausführliche Anleitung zur Verfügung stehen.

Viele Grüße

Klaus
Parent - - By Frank Quisinsky Date 2017-09-09 18:27 Edited 2017-09-09 18:36
Hallo,

denke morgen früh hat dann Spark die erforderlichen Analysen erreicht. Spark gehört sein Jahren zu meinen TOP-3 Engines hinsichtlich Eröffnungsanalysen. Hoffe das geht aus den Stats dann auch hervor wie stark diese Engine hier ist. User schauen ja leider immer nur auf Gesamtspielstärke und so gehen viele positive Engine Eigenschaften leider immer wieder verloren ... nein gehen sie nicht, zumindest nicht bei uns bzw. bei mir. Spielstile sind mir wichtiger als ELO Endergebnis ... Elo Endergebnis interessiert mich persönlich genauso wie der Sack Reis in China der gerade umgekippt ist.

Nochmals der Hinweis:
Für FEOBOS oder KECR ist nicht wichtig das möglich viele Engines Einzug erhalten!!
Oder dummerweise die neuesten Versionen drin sind ... spielt hierfür überhaupt gar keine Rolle (müssen umdenken).

Wichtig ist, dass Engines Einzug erhalten, die sich durch einen stark unterschiedlichen Spielstil von anderen unterscheiden. Nur dann bilden die Engines zusammen ein Team um die Eröffnungsoptimierung durchzuführen. Das wir nun diese Engines im Detail auswerten ist nicht als allgemeine Wertung der Engines selbst gedacht, sondern eher um herauszustellen, welche Engines bei welchen ECO Code besonders auffallen. Sprich, mit der Stellung als solche umgehen können, die verschiedenen ECO Codes grundsätzlich verstehen.

Ich hätte gerne Smarthink, Fizbo und ICE drin.
Aber Smarthink und ICE sind nicht Mehrprozessorfähig und Fizbo versteht Analyse in x Minuten nicht. Andere Engines sind nach FCP Statistiken zu gleich zu bereits vorhandenen bzw. fallen eher durch viele schnelle Verlustpartien in der Eröffnungsphase auf und eignen sich für die Eröffnungsoptimierung nicht.

Auch können bei FEOBOS Standardengines durch andere einfach ausgetauscht werden. Unser Feobos Rating berechnet sich dann natürlich automatisch neu. Daher sind die Excel Tabellen sehr wichtig. So erhält jede Stellung ein Rating und sortiert nach Rating wird die Datenbank angeboten.

Ich denke wir haben alle Register gezogen, haben alles was auszuwerten ist in Excel drin. Mehr gibt EPD nicht her.
Uns fällt nichts mehr ein was noch ausgewertet werden könnte.

Also, FEOBOS in Kombination mit KECR ...
Unsere TOP Engines (stark unterschiedlich spielend) optimieren sich ihr eigenes Buch in enger Zusammenarbeit, in Teamwork.
Sollen die Engines bestimmen was sie haben möchten ... nicht wir da wir hierzu selbst nicht stark genug sind.

Das Projekt wird ca. Ende Januar 2018 abgeschlossen.
Im Rating dann über 42.000 Positionen aus denen die Bücher erstellt werden können bzw. auch beliebige Test-Set Verfahren, als meines Erachtens, die stärkste derzeitige Basis für Engine-Engine Testverfahren. Sehe kein auch nur ansatzweise vergleichbares Projekt welches gestartet wurde. Buchunstimmigkeiten werden schätzungsweise reduziert auf 95%. Nach meinen Test haben selbst die besten Bücher Fehlerquoten von 15%. Das heißt egal welche Engine welches Buch nutzt, die Evals schlagen zu 15% zu hoch aus. Bei Feobos kann sehr schön gesehen werden, dass jede Engine durchschnittlich 1.5% der Stellungen aussortiert. Je mehr laufen desto geringer die Prozentquote. Auch werden Stellungen die zum schnellen Remis durch 3-fache führen eliminiert.

Nach Komodo werde ich dann in den nächsten 3-4 Monaten keine Buchupdates mehr durchführen (bis das Update 1 von allen 10 untersucht wurde). Maximal werden die Analysen der Engines angeboten. Die Entwicklung der Auswertungsprogramme unter Excel ist also abgeschlossen. In der Zeit der Entwicklung erfolgten viele Updates, nicht zuletzt damit wir selbst immer wieder prüfen konnten um Fehler zu korrigieren. Leider hatten wir hier keine große Hilfe aus der Usergemeinde erhalten. Keine wertvolle Tipps wie etwas besser gestaltet werden könnte. Allerdings unterstützten Programmierer die wir fragen hervorragend, so Ferdinand der ein grandioses Tools für uns programmiert hat.

Denke mit FEOBOS v20 in ca. 4-5 Monaten wird ein großartiges Werkzeug zur Verfügung stehen um Engine-Engine unter einem sehr viel höheren Niveau durchzuführen. Ergebnisse werden hinsichtlich der Eröffnungsvorgaben auf dem höchstmöglichen Niveau stehen. Zu jeder Vorgabe stehen dann 13 Einzelanalysen zur Verfügung (wenn sich jemand unsicher ist ... ist die Stellung wirklich gut, kann er in Excel schauen und sieht die entsprechende Statistik).

Also, wir bleiben am Ball und bringen nun in den nächsten 4-5 Monaten das Projekt zum Abschluss.
Eine ausführliche Doku werde ich hierzu noch erstellen.

Und dann ...
Auf i9 20 Cores und 5 Ghz mit längeren Bedenkzeiten ... werden die Engines aufeinander gejagt mit komplett neuen Ideen und es geht an die nächste Partiephase ... die spannendste ... das frühe Mittelspiel. Hoffe der Cutechess Programmierer spielt mit, sonst muss ich umdisponieren ...

Gruß
Frank

Natürlich sind für offen für Ideen und Hinweise, auch jetzt noch.
Etwas großartiges entsteht leider nicht von heute auf morgen und die Projektzeit ist mehr als angemessen um wirklich jede Überlegung zu nutzen, neues zu entwickeln.
Parent - - By Klaus Wlotzka Date 2017-09-09 23:30
Hallo Frank,

ich denke auch, wir haben alles rausgeholt was aus der Engineanalyse rauszulesen ist und mit der Masse an Informationen sehr tief in die Stellung bzw. in das Bewertungsschema der verschiedenen Engines eingedrungen. Tiefer als ich mir je erträumt hätte. Es war auch sehr hilfreich, dass das Excelprogramm deutlich vor dem Projektende fertig wurde. So hatten wir genügend Zeit die Masse an Informationen übersichtlich aufzubereiten und alle Ideen zu verwirklichen. In dieser Zeit sind wertvolle Dinge entstanden, beispielsweise das Ranking jeder Eröffnungsstellung oder auch das ECO-Rating.

Das die Resonanz beim Buchprojekt eher zurückhaltend ist, liegt vielleicht daran, dass der Eindruck herrscht, in der Eröffnungsphase gibt es nichts mehr zu entdecken. In der Tat gibt es in keiner Sport- oder Spielart soviel Lektüre, wie über den Bereich der Schacheröffnungen. Nur beschäftigen sich fast ausschließlich menschliche Schachautoren mit diesem Thema, mit den mittlerweile viel stärkeren Schachengines beschäftigt man sich nur am Rande mit diesem Thema.

FEOBOS räumt damit auf und lässt die Engines selbst nach den besten Zügen bzw. Positionen suchen um ein ausbalanciertes Eröffnngsbuch für den Test gegeneinander zu kreieren.

Und genau dieses Buchprojekt kann die Grundlage sein, die Phase nach der Eröffnng zu erkunden. Ich bin jedenfalls gespannt, was sich daraus entwickelt und bin gerne, wenn es um die Aufbereitung der Ergebnisse geht, dabei.

Grüße

Klaus
Parent - By Frank Quisinsky Date 2017-09-10 10:45 Edited 2017-09-10 10:53
Hallo Klaus,

wir haben noch zwei Fehler in der FEOBOS Excel drin.
Habe Dir alles gemailt.

Die Spark Analysen bis 26.146 sind auch durch.
Ist der König im Schach, muss schlagen (5x der Fall) bricht Spark 1.0 unter Shredder GUI die Analyse ab.
Unter Chessbase konnte ich dann analysieren und habe die 5 Ausgaben korrigiert.
So hat auch Spark ein kleines Problem mit den EPD Analyse ... vergleichbar wie Booot, allerdings stürzt Spark dann nicht ab und analysiert die nächste Stellung.
Wissen wir ja, insgesamt bis 26.146 waren das also 5 Stellungen.

Lade dann am späten Abend alles hoch, sofern Du es schaffst die beiden Fehler zu korrigieren.
Denke so nach 21:30 Uhr, komme vorher nicht dazu.

Viele Grüße
Frank

Lasse mich dann überraschen auf welchen Platz Spark landet, tippe Platz 1-3.
Aber vielleicht liege ich auch falsch ...
Konnte Spark 1.0 leider nicht mehr in KECR einbinden, muss gleich weg.
Kannst ja mal kurz hier berichten oder eine eMail schreiben, sehe das dann von unterwegs ... bin sehr neugierig!
Parent - - By Robert Bauer Date 2017-09-12 13:32
Hallo,

ich würde mich freuen, wenn für einen Laien ein Fazit aus den Ergebnissen gezogen würde.
Bedeutet das hohe Ranking von Andscacs, dass diese Engine die beste Engine während der Eröffnungsphase ist?
Wie kann man denn überhaupt sagen, dass eine Engine eine bessere Quote erzielt, da die absolut besten Züge in einer Eröffnungsstellung doch niemals feststehen?
Ich würde es interessant finden, wenn Brainfish aufgenommen würde. Dann würde man abschätzen können, was das Cerebellum-Buch wirklich bewirkt oder andersrum, wie sich die Engines ohne Buch im Vergleich dazu schlagen.

Viele Grüße,
Robert Bauer
Parent - By Klaus Wlotzka Date 2017-09-12 19:22 Upvotes 1
Hallo Robert,

nach Beendigung des FEOBOS-Buchprojektes, welches Grundlage für diese Rangliste ist, werden wir selbstverständlich ein Fazit aus den Ergebnissen ziehen. Hier musst du dich aber noch ein wenig gedulden, dass Projekt wird noch einige Monate in Anspruch nehmen.

Selbstverständlich gibt es in der Eröffnungsphase nicht den ultimativen besten Zug, vielmehr gehen wir davon aus, dass der aussichtsreichste Zug im Bereich des derzeitigen Berechnungshorizontes den Referenzzug für die Bildung der Rangliste darstellt. Den aussichtsreichsten Zug ermitteln die bisherigen Testkandidaten selber wobei Eröffnungsbücher der verschiedenen Testengines im FEOBOS-Projekt bewusst keine Rolle spielen. Es soll letztlich über die Analysen von 10 sehr starken Schachengines ein ausgewogenes Buch erstellt werden

Viele Grüße

Klaus
Up Topic Hauptforen / CSS-Forum / KECR - finaler Arbeitsstand

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill