FEOBOS-Excel mit Rochade-Statistiken

By Klaus Wlotzka Date 2017-10-22 21:54 Edited 2017-10-22 22:09

Hallo Zusammen,

In Anlehnung an das SALC-Eröffnungsbuchprojekt von Stefan Pohl welcher sich zum Ziel gesetzt, die Remisquote unter anderem durch die ausschließliche Verwendung von Positionen mit unterschiedlichen Rochaden signifikant zu verringern, sind auch wir der Meinung, dass derartige Positionen für unser Buchprojekt Berücksichtigung finden sollten.

Im FEOBOS-Buchprojekt wird entgegen des vorgenannten Buchprojekts darauf Wert gelegt, frühe Remisen durch Zugwiederholung deutlich zu verringern, da diese unserer Meinung nach ergebnisverzerrend im Bereich von Enginematches und Ranglistenerstellung sind. Auch wir gehen davon aus, dass die Remsiquote bei Positionstypen mit gegensätzlicher Rochden geringer ist, da hier oftmals ein taktischer und offener Schlagabtausch erfolgt.

Aus diesem Grund haben wir derartige Positionen, insofern sie in der Positionsdatenbank vorhanden sind, nunmehr im Rankingsystem untergebracht und daher einen Bonus erhalten.

Das FEOBOS-Excel-Programm liest die EPD-Strings nach diesen Stellungstypen aus und gibt für jede Stellung folgende Informationen aus:

• Kann der Anziehende noch rochieren
• Kann der Nachziehende noch rochieren
• Kann weder der Anziehende noch der Nachziehende rochieren
• Wurden gegensätzliche Rochaden ausgeführt

Für sämtliche Kriterien wird die Anzahl ermittelt, bei wieviel Positionen der Gesamtdatenbank diese Rochadekriterien gegeben sind.

Folgendes hat das Excel-Programm aus den EPD-Strings der 41.614 Positionen ausgelesen:

Es wurden in der kompletten Datenbank demzufolge 561 Positionen gefunden. Eher ernüchternd war, dass die 10 Standard-Engines schon gut 80% wieder als ungeeignet aussortiert haben. Da noch 9 Engines durch das 1. Update müssen, gehe ich davon aus, dass das noch weniger werden. Immerhin haben von den 108 verbliebenen Positionen mit gegensätzlichen Rochaden es immerhin 67 in das Automatische Testset der 500 besten Positionen geschafft. Beim anderen Testset, bei dem immer nur die beste Position je ECO-Code vertreten ist, haben es immerhin 37 geschafft.

Auch bei den anderen Rochadestatistiken waren die 10 Standard-Engines rigoros.

Mal sehen, wie sich das mit den weiteren Analysen noch entwickelt.

Auch wenn die Ausbeute geringer ausgefallen ist als erwartet, so ist die Berücksichtigung dieser Positionen im Rankingsystem bzw. dem automatischen Testset eine Bereicherung für unser Buchprojekt. An dieser Stelle meinen Dank an Stefan für die guten Ideen beim SALC-Buchprojekt. Nicht alle Ideen lassen sich bei FEOBOS sinnvoll einsetzen. Die Idee der halboffenen Positionen gehört zum Beispiel dazu. Es wäre unter anderem auch kaum möglich, derartige Positionsbilder mittels Excel aus dem EPD-String auszulesen.

Schon die Rochadestatistiken mit Excel daraus zu filtern, war eine Herausforderung. Für Interessierte hier eine kurze Beschreibung der Vorgehensweise innerhalb der Exceltabelle.

Der EPD-String ist eine vordefinierte Textzeile aus 11 Einzelstrings welche eine Momentaufnahme der aktuellen Stellung darstellt. Aus dem EPD-String ist nicht der Verlauf der Partie ablesbar.

Die ersten 8 Einzelstrings geben die aktuelle Figurenaufenthalte wieder beginnend von links oben (schwarzes Feld a8) nach rechts unten (weißes Feld h1). Die ersten 8 Einzelstrings sind durch Schrägstriche „/“ getrennt, wobei der erste Einzelstring somit die 8. Reihe, also schwarze Grundreihe darstellt, der 2. Einzelstring somit die 7. Reihe und der 8. Teilstring somit die weiße Grundreihe. Die Figuren sind mit der Figurenabkürzung entsprechend der internationalen Notation gekennzeichnet wobei die schwarzen Figuren mit Kleinbuchstaben, die weißen Figuren mit Großbuchstaben unterschieden werden.

Der 9. bis letzte Teilstring wird mit Leerzeichen getrennt und gibt zusätzliche Informationen wie zum Beispiel das Zugrecht („w“ für Weiß, „b“ für Schwarz), ob noch das Rochaderecht besteht, symbolisiert durch die Groß- und Kleinbuchstaben des Königs für die kurze Rochade und der Dame für die lange Rochade. Groß- und Kleinbuchstaben zeigen, ob das Rochaderecht für Weiß oder Schwarz besteht. Weiterhin gibt es noch Informationen hinsichtlich der Sonderzüge „En Passant“ und der „Bauernumwandlung“.

Die Grundstellung hat somit folgenden EPD-String:

rnbqkbnr/pppppppp/8/8/8/8/PPPPPPPP/RNBQKBNR w KQkq - 0 1

Das FEOBOS-Excelprogramm liest beispielsweise aus, ob die Damen noch auf dem Brett sind und sucht somit im 1. Bis 8. Teilstring nach einem Q oder q.

Bei der Erkennung, ob gegensätzliche Rochaden vorliegen, ist das Prozedere wesentlich komplizierter. Hier kommt man in mehreren Einzelschritten zum Ziel.

Als Beispiel nehmen wir einen EPD-String aus einer Position des holländischen Staunton-Gambits:

r1bq1rk1/ppppbnpp/5p2/3P4/3QN3/8/PPP2PPP/2KR1BNR w - - 0 10

Zunächst reduzieren wir über Excel den EPD-String auf die wesentlichen Bestandteile, dass ist der 1. und 8. Teilstring und die Informationen aus der Rochaderecht.

r1bq1rk1/ppppbnpp/5p2/3P4/3QN3/8/PPP2PPP/2KR1BNR w - - 0 10

Entfernt werden die nicht fett markierten Einzelstrings, es verbleibt somit:

r1bq1rk1 /2KR1BNR - -

Wir untersuchen den 1. und 8. Teilstring auf folgende Erkenntnisse:
• Liegt eine schwarze lange Rochade vor müsste der Anfang des 1.Teilstrings mit 2k (2 Leerfelder und k für schwarzer König) oder 1k (für König auf b8) beginnen
• Liegt eine schwarze kurze Rochade vor müsste das Ende des 1.Teilstrings mit k1 (k für schwarzer König und 1 Leerfeld) enthalten
• Liegt eine weiße lange Rochade vor müsste der Anfang des 8.Teilstrings mit 2K (2 Leerfelder und K für weißer König) oder 1K (für König auf b1) beginnen
• Liegt eine weiße kurze Rochade vor müsste das Ende des 8.Teilstrings mit K1 (K für weißer König und 1 Leerfeld) enthalten

Nach diesen Gegebenheiten untersucht Excel nun unter anderem über die Funktionen „rechts“ bzw. „links“ und „finden“ die getrennten Textteile.

r1bq1rk1 /2KR1BNR - -

Am oberen Beispiel erkennt man nun, das eine schwarze kurze und weiße lange Rochade vorliegt. Die beiden Bindestriche am Ende zeigen, dass für beide Seiten natürlich kein Rochaderecht mehr vorliegt.

Auf diese Art und Weise lassen sich auch die anderen Rochadestatistiken auslesen.

Das nunmal so am Rande.

Die aktuelle Excel-Version in der Version v101 ist voraussichtlich am Dienstag mit den Ergebnissen von Shredder auf der Webseite von Frank verfügbar.

Gruß

Klaus

By Frank Quisinsky Date 2017-10-22 22:28 Edited 2017-10-22 22:37

Hi Klaus,

das war mehr als nur ein Update bzw. als Versions Nummer 101 aussagt!
Ranking ergänzt um eine neue Option und neue Suchmöglichkeiten im wichtigen Tabellenblatt "Eval out".

Die Ergebnisse spiegeln genau meine Erfahrungswerte wieder bzw. sind gar noch krasser als ich dachte!!

Im Vorfeld von FEOBOS erspielte ich die FCP Rating Liste und prüfte 300.000 Partien auf schlechte Variante. Ferdinand Mosca hat hierfür dann im Verlauf der Ratingliste ein Tool programmiert um mir die Arbeit zu erleichtern. Das Tool prüft die Stellungsbewertungen 3 Züge nach den Buchzügen. Insofern wurden in den fast drei Jahren viele Stellungen aus dem FCP Live Buch genommen und darunter waren auch etliche mit entgegengesetzten Rochaden. 85% der Basis FEOBOS Datenbank der 26.146 Positionen beruht auf den besten knapp 160.000 der 300.000 FCP Rating List Partien.

Bei der weiteren Suche nach fehlenden Material machten Stockfish und Komodo die Fehleranalyse bei 30 Sekunden pro Stellung und dem knallharten Setting 0.50 / -0.30. Da blieb erneut sehr viel auf der Strecke. Schauen wir uns nun an, was die 10 Engines mit doppelter Bedenkzeit an Stellungen mit unterschiedlicher Rochaden rausgeworfen haben, ist das Ergebnis, wie Du so schön schreibst, ernüchternd.

Bedeutet mit anderen Worten, dass grob gesagt 75% der Stellungen mit unterschiedlichen Rochaden von Engines bei der Error-Analyse gekillt werden. Zeigt ferner auf wie hart es bei FEOBOS überhaupt ist eine Chance zu haben zu überleben.

Es wird kaum möglich sein sehr viel mehr an Positionen zu generieren, bei denen Positionen mit unterschiedlichen Rochaden nicht zu größeren Vorteilen führen um gar auf zu hohem Engine Niveau nicht Partie entscheidend Einfluss zu nehmen.

Einzig interessant wäre es bei Abschluss von FEOBOS an einer Datenbank zu arbeiten, die den FEOBOS Daten später hinzugefügt werden kann.
Eine Datenbank mit gleicher Zuglänge innerhalb der ECO Codes aber mit angehobenen Settings damit eben nicht 75% aussortiert wird. Wobei auch hier genau geprüft werden muss ob sich die Positionen wirklich eignen. Das wird schwierig weil ich zunächst kein Engine Spielmaterial habe. Sprich diese Datenbank muss im Eng-Eng Einsatz unzählige Partien generieren.

Diese Taktik Datenbank muss nicht bei unserem Ranking System berücksichtigt werden bzw. muss unsere Excel hierfür nicht weiter ergänzt werden.
Vielmehr können wir die bestehende Excel nehmen (also neue ohne die bisherigen Daten) und dann einfach die Positionen hier einführen. Natürlich muss zu der FEOBOS v20 dann auf Zugumstellungen geprüft werden. Es sollten natürlich keine Doppelten produziert werden.

Dann könnte diese Datenbank später bei der Bucherstellung FEOBOS v20 hinzugefügt werden und wir hätten die Version FEOBOS v20T (für Taktik).

Das wäre meines Erachtens sinnvoll.
Wer möchte kann dann mit FEOBOS v20 oder FEOBOS v20T testen.

So könnte es funktionieren und die durchaus interessanten Ideen von Stefan würden in FEOBOS einfließen.
Nur, wenn ich für das Aussortieren die Settings um 25% höher setze, um mehr dieser Stellungen mit unterschiedlichen Rochaden zu generieren, wird die PGN. aus der dann von FEOBOS v20 die Version FEOBOS v20T erstellt werden kann. auch nur maximal 2.000 Stellungen beinhalten. Grobe Schätzung nach Stichproben die ich heute Morgen machte.

SUPER ARBEIT am Wochenende!
FEOBOS ist um eine interessante Statistik reicher geworden und auch ich habe wieder was gelernt zum Thema Eröffnungen. War mir schon klar das viel aussortiert wurde aber das ca. 25% überlebten hätte ich jetzt auch nicht gedacht.

Melde mich dann morgen ...
Shredder fehlen noch ca. 1.100 Positionen dann stehen wir bei Version 12 von 20.

Gruß
Frank

Witzig sind die drei Stellungen die bislang überlebt haben (keine Rochade für weiß oder schwarz mehr möglich).
Die muss ich mir gleich ansehen ... Highlight am Abend!

By Stefan Pohl Date 2017-10-22 22:38

Hallo Klaus,

Was du alles mit Excel machst - unglaublich.
Es war aber klar, daß das SALC Kriterium für ein so kleines Stellungsset wie FEOBOS ein viel zu strenges Kriterium ist. Für mein SALC V3 Buch wurden gut 12500 Partien ausgefiltert und nach dem Check mit Komodo als brauchbar befunden - aus gut 2 Millionen Partien, die ich aus der BigDatabase gefiltert hatte (beide Spieler mindestens 2000 Elo und Partielänge mindestens 30 Züge). Insofern ist klar, daß bei gut 40000 FEOBOS Stellungen plus wesentlich strengerer Engine-Selektion nur sehr wenige SALC Stellungen übrig bleiben können.

Interessanter wäre eher, die von mir spezifizierten half-closed Kriterien auf FEOBOS anzuwenden. Was aber wegen der unterschiedlichen Variantenlänge der FEOBOS Stellungen nur umständlich machbar wäre. Wenn das FEOBOS Projekt mal fertig ist, müßte man eben für jede Variantenlänge (5-17(?)) eine eigene Datenbank anlegen und die nötigen Filteroperationen durchführen. Das wäre recht aufwendig, aber nicht unmöglich. Da ich mittlerweile einige Übung mit den Filtern der FritzGUI habe, würde ich sicher nur ca. 15 Minuten pro Datenbank brauchen. Insofern sollte das in 3-5 Stunden durchaus zu machen sein. Vielleicht mache ich mir die Mühe. Aber erst, wenn FEOBOS fertig ist.

Grüße - Stefan

By Frank Quisinsky Date 2017-10-22 22:44 Edited 2017-10-22 23:00

Hallo Stefan,

ja, das können wir dann gerne mal angehen.
Zusammen eine Datenbank erschaffen die FEOBOS ergänzt und als T gekennzeichnet wird (Taktik) oder meinetwegen FEOBOS v20SP (Stefan Pohl Optimierungen).

Das dann aber in einem neuen Excel Tabellenblatt und die genauen Settings müssen auch richtig gut gewählt werden.

Die 26.146 FEOBOS Varianten sind gezogen aus einer 14 Millionen Partie Datenbank bzw. die Daten vom FCP Live Buch (bevor ich mit dem Buch vor 3 Jahren begonnen hatte). Natürlich mit sehr harten Kriterien. Wurden sehr stark gekürzt damit Engines dann ab Zug 6 selbst mit neuen Varianten durch die Ratingliste ergänzen konnte. Das ist eigentlich auch das wirklich besondere an FEOBOS, viele Varianten sind in keiner Datenbank zu finden. Na ja, viele ist übertrieben nach dem nun alles aussortiert ist. Einiges könnte Neuland bei der Theorie sein wobei dann ja später bei den FEOBOS Daten wieder die übernommen Daten aus den guten Partien der Ratingliste auf Zuglänge gekürzt wurden. So grob nach Prüfung sind es aber noch ca. 400-500 Varianten bei Contempt 2 die in keiner bekannten GM Partie vorkommen ... hatte ich mal bei FEOBOS v5 geprüft.

Die UPD.1 Datenbank ...
Hier habe ich die Kriterien gelockert mich auf die Small Enclopaedia of Chess Openings gehalten um fehlende Theorie zu ergänzen. Maßgeblich aber immer weiter gelockert um zu seltenen ECO Codes mehr zu generieren. Dieses UPD.1 wird ziemlich viel korrigieren und dann hinsichtlich Vielfalt FEOBOS v10 deutlich verbessern. Viele dieser Stellungen waren also noch nie bei der FCP Rating Liste auf dem Brett weil durch die gewählten Selektierungen wirklich gutes nicht durch ging.

C38 ist ein echtes Thema.
Nach Houdini v.11 sind jetzt wieder 6 Stellungen drin und mehr geht nicht.
Bin bei c38 bis auf 2.100 ELO in Datenbanken runter gegangen ... um mal ein Beispiel zu nennen.
Ich will zu jedem ECO Code etwas in der Datenbank haben und C38 ist extrem.
C37 nicht minder ...

Gruß
Frank

By Klaus Wlotzka Date 2017-10-23 13:32

Hallo Stefan,

ja, mit Excel ist (fast) alles möglich und es eignet sich ideal für statistische Auswertungen. Ich habe mit Tabellenkalkulationsprogrammen schon gearbeitet, da gab es noch kein Windows, also auf der DOS-Ebene. Die Funktionen und Arbeitsweisen waren sehr ähnlich, natürlich war der Funktionsumfang wesentlich kleiner und die grafischen Möglichkeiten spartanisch. Ich benutze nur einen Bruchteil der Funktionen von Excel, da geht noch wesentlich mehr. Zeit müsste man haben.

Die Verwendung der halboffenen Linien aus deinem SALC-Eröffnungsprojekt auch in FEOBOS ist nicht mit vertretbaren Einsatz möglich. Dabei geht es mir nicht um das Auffinden derartiger Stellungen über die verschiedenen Einzeldatenbanken mit der Fritz- oder Chessbase-Oberfläche sondern vielmehr um die Integration in der Excel-Datei.

Die Excel-Datei ist grundsätzlich so aufgebaut, dass die Auswertungen und unzähligen Statistiken nicht nur mit der FEOBOS-Datenbank funktioniert sondern uneingeschränkt mit jeder x-beliebigen anderen Datenbank auch. Das heißt, jeder welcher sich mit Bucherstellungen beschäftigt kann die Excel-Datei benutzen.

Wollen wir bei Positionen mit halboffenen Linien mit der Excel Statistiken erstellen, muss Excel erkennen können, welche Positionen aus der Datenbank derartige Stellungsmerkmale aufweist. Hierzu müsste Excel, wie ich es am Wochenende mit der gegensätzlichen Rochade gemacht habe, den EPD-String auslesen. Dies ist aufgrund der immensen Kombinationsmöglichkeiten in Bezug auf die Figurenkonstellationen auf den Zentrumslinien- bzw. reihen ein schwieriges wenn nicht unmögliches Unterfangen. Dazu fehlt mir einfach die Zeit.

Von daher scheidet die zusätzliche Auswertung der Positionen mit halboffenen Linien aus.

Gruß

Klaus

By Guenter Stertenbrink Date 2017-10-22 23:16

aber die Zuege liegen doch auch vor ?! Ich hab die 26000+ FENs und die Zuege die dazu fuehren

feobos_2.pgn