2 Jahre später kam die Idee (FEOBOS Projekt).

By Frank Quisinsky Date 2020-05-06 22:31 Edited 2020-05-06 22:43

Hallo,

hatte zu Zeiten von FEOBOS ja unter anderem hier ausführlich berichtet.
Das ist nun auch schon wieder über 2 Jahre her seit Klaus Wlotzka und meine Wenigkeit dieses Horror Projekt realisierten.

Kurz zu FEOBOS:
Drei Züge nach ECO Code Ende wurden alle ausgeglichene Stellungen gesammelt und von 10 Schachprogrammen überprüft. Es wurde eine Excel erstellt (ca. mit 16 Millionen Formeln), mit deren Hilfe wir dann alles was nicht ausgeglichen war, oder zu remisträchtig ist (Vermeidung schneller 3-facher Stellungwiederholungen) herausgefiltert. Es wurde ein Bewertungssystem entwickelt und das *.pgn der finalen Arbeit wurde sortiert nach dem Rang des Bewertungssystemes. FEOBOS steht in 5 Contempt Varianten zur Verfügung. Es gibt eine ausführliche Doku zum Projekt auf meinen Webseiten. Projektzeit war inklusive der Datenbankbarbeit und Buchvorabeiten ca. 4 Jahre.

Das finale Ergebnis steht seit nun über 2 Jahren und bei einem Test-Run von z. B. 2.000 Partien sollten dann auch um die 440-470 ECO Codes ausgespielt werden. Grundsätzlich können alle ECO-Codes ausgespielt werden, aber zu einigen gibt es wenig ausgeglichenes Material und daher ist die Ausspielung seltener.

Das dicke fette FEOBOS Problem unter der Shredder GUI.
Lässt man nach Anzahl der Stellungen die Eröffnungen ausspielen, entstehen meist 25-30% A00-A99 Partien. Das liegt daran, dass es bei diesen ECO Codes mehr Zugumstellungen gibt. Es gibt gar eine Endstellung in FEOBOS (bei Zugtiefe 10) die mittels 128 Zugumstellungen innerhalb 9 ECO Codes erzeugt wird. Ferner werden heute seltene Systeme zu oft oder beliebte Varianten zu selten ausgespielt. Zwar ist innerhalb der Datenbank alles Roger (keine Fehler drin) aber das geschilderte nervt gewaltig. Gerade beim Wasp Beta Test, wenn ich John laufend Datenbanken mit Unmengen an A00-A99 Partien sende.

Die Lösung für das Problem wären Buch Prioritäten zu setzen (bei Shredder GUI dann A-D ... die Prios E-G werden nicht ausgespielt). Das ist eine wahnsinnige Arbeit, die ich mir beim FCP-Live Buch gemacht habe. Das FCP-Live Buch der FCP-Ratingliste diente als Vorarbeit für FEOBOS aber ist nicht annähernd so leistungssstark wie FEOBOS.

Dabei ist die Lösung doch so einfach ...

Wir nehmen eine GM Datenbank. Habe mal die GM Partien von 2008 - aktuell herausgepickt ohne Blitz und Simultan. Mindestens 30 Partien pro Spieler und Zugtiefe 20-160. Mindestens muss ein Spieler 2.400 Elo haben, der ELO-Durchschnitt sollte mindestens 2.550 Elo sein. Das Ergebnis ist 86.371 Partien. Diese Partien kann ich FEOBOS natürlich nicht hinzufügen, weil ca. 23% solcher GM-Partien für Schachprogramme nicht mit einer ausgeglichenen Stellung enden. Ferner weiß ich aus FEOBOS Stats das 9% der GM-Varianten insofern fehleranfällig sind, das auf dem Weg einer Endvariante etwas übersehen wurde oder zu viele Schachprogramme mit 0.8 aufwärts die Positionen bewerten.

Aber ...
Ich kann die Statistiken dieser GM-Partien für das Ausspielverhalten der FEOBOS Daten nutzen!!

Vorgehensweise:
Ich erstelle ein neues Shredder GUI Buch. Kopiere dann die FEOBOS 20.1 Contempt 3 Datenbank mit Zugumstellungen in dieses Buch. Experortiere das Buch als *.dat Datei und setzte in der *.dat Datei alle Prioritäten zunächst mal auf "D". "D" bedeutet wird noch ausgepielt und ich behalte mir offen, später doch mal Prios für jeden Zug zu setzen. Ich weiß aber ... Prio "D" sind die FEOBOS Varianten. Kopiere dann nach dem Editieren das Buch (importiere Eröffnungsbuch, die *.dat Datei) einfach wieder zurück in das angelegte Shredder Buch und alle Varianten stehen auf Prio "D". Nun kopiere ich 86.371 Partien (aktuelle GM-Theorie) hinzu und exportiere dann wieder alles in eine *.dat Datei. Nun setze ich für alles was neu ist (gekennzeichnet mit Prio -) einfach die Prio "G". Prio "G" bedeutet wird nicht ausgespielt. Da ich die Statistiken mit importiere habe ich mithin einen Baum erzeugt den ich leicht mittels Shredder Buchoptionen beeinflussen kann (Gewinn und Verluststatistik, Anzahl der Partien, Elo-Stärke).

Und Bingo ...
Das erstellte neue Shredder Buch spielt nun anhand der Buchstatistiken aus aber wählt nur FEOBOS Varianten.
Sind nur Prio "D" und Prio "G" Varianten im Buch. Und mithin kann ich leicht folgendes bei einem 2.000er Test-Run erzeugen:

So schaut die aktuelle GM-Theorie von 2008 - heute aus (9 ECO-Codes haben die Damen / Herren nicht angespielt, A76, A82, A99, C31, C53, D67, D68, D69, E79). In FEOBOS ist spielbares natürlich drin, zu alles 500 ECO Codes alles was ausgeglichen ist. 870 Spieler mit durchschnittlich 2630 Elo erzeugen diese Statistik.

2630 Elo erzeugt auch einen Remisquote von 50,73%.

Code:


Games        :  86371 (finished)

White Wins   :  26517 (30.7 %)
Black Wins   :  16034 (18.6 %)
Draws        :  43820 (50.7 %)
Unfinished   :      0

White Perf.  : 56.1 %
Black Perf.  : 43.9 %

ECO A =  13887 Games (16.1 %)
ECO B =  19723 Games (22.8 %)
ECO C =  17334 Games (20.1 %)
ECO D =  20324 Games (23.5 %)
ECO E =  15103 Games (17.5 %)

ECO Aufteilung A-E stimmt mit der aktuellen GM-Theorie zu 90-95% überein !!!!!

Und FEOBOS spielt nicht nur bevorzugt die aktuelle Theorie aus, sondern hat logischer Weise auch alle anderen älteren Varianten hinten dran (spielt die dann aber seltener aus).

Die Geschichte hat zwei entscheidende Vorteile:

- 90-95%ige Simulation der aktuellen GM-Theorie nach z. B. einen 2.000er Test-Run.
- enden die FEOBOS Varianten sehe ich immer noch die "G" Züge der aktuellen Theorie und kann beobachten ob die Programme die finden, wie gesagt FEOBOS spielt maximal 3 Züge nach ECO-Code Ende.
- bei einem Test-Run von 2.000 Partien werden nun wirklich 440-470 ECO-Codes ausgespielt. Bei einem Test-Run von 4.000 Partien sind es gar 460-480 ECO-Codes. Bei einem Test-Run von ca. 15.000 Partien fehlt selten mal einer-drei der 500 ECO-Codes. Und immer mit der Maßgabe, dass alles was heute beliebt ist auch öfters ausgespielt wird.

Der perfekte fehlerfreie Eröffnungs-GM Simulation bei einem Test-Run!

FEOBOS selbst nochmal zu verändern macht allerdings keinen Sinn.
Ich habe die Partien von 2016- aktuell mal grob überprüft. Bei Contempt 3 hätte ich gerade mal 22 neue FEOBOS Varianten. FEOBOS aufwendig upzudaten und nochmals Rechner über Jahre laufen zu lassen macht keinen Sinn. Aber der Anwender kann z. B. in dem Shredder Buch ja "G" Varianten zu "D" Varianten befördern und Bingo spielt das Buch die dann auch aus.

Also, wer sich ein perfektes Test-Buch zum Testen von Engines unter der Shredder GUI wünscht kann das gerne herunterladen und ausprobieren.

Download:
http://www.amateurschach.de/download/feobos_v21.0_shredder-gui.zip (46,933Mb).

Bringe das Buch auch später mal auf meine Webseite wenn Wasp released wird.
Läuft der 5-Test-Run und es schaut nun wirklich nach genau 3.000 CEGT Elo aus, bedeutet 2.700 echte ELO auf DGT-Pi, einstellbar von 1.600 - 2.700 unter Beibehaltung des menschliches Spielstils (größtes Ziel, Simulation von Eröffnungs, Mittelspiel und Endspiel-Stats der stärksten GMs).

Viele Grüße
Frank

PS: Bilder zu den Bucheinstellungen und die Stats zu der Arbeit finden sich im Download.

By Frank Quisinsky Date 2020-05-06 23:26 Edited 2020-05-06 23:51

Noch ein Hinweis zu FEOBOS:
Ich habe jetzt mittels ca. 80.000 gespielter Partien mit FEOBOS 20.1 Contempt 3 Buch 142 schnelle Remispartien unter 20 Zügen gesammelt. Ich dachte ich setzte die Prio auf "E" und die werden dann auch nicht ausgespielt. Aber das macht keinen Sinn, weil die Engines im weiteren Verlauf nach der Buchvorgabe eher produzieren, als das ich FEOBOS dafür verantwortlich machen könnte. Ich habe die 142 Varianten mit 20 Schachprogrammen überprüft und in keinem Fall würden mehr als 3 der 20 Schachprogramme auch schnell in Remis abwickeln. Insofern beruhigt mit die Arbeit, die wir uns mit der Excel von Klaus gemacht haben. Was wirklich und immer wieder zu schnellen Remis nach 3facher Stellungswiederholung sorgt, ist durch die langjährige Arbeit um FEOBOS schon längst ausgeschaltet bzw. gar nicht mehr in den FEOBOS Release Daten vorhanden.

Auch können wir bei immer mehr Schachprogrammen selbst Contempt einstellen. Das mache ich bei den Gegnern von Wasp auch, so dass ich pro 2.000er Test-Run 1-2 Partien dabei habe wo mal ein schnelles Remis unter 20 Zügen erzeugt wird aber wie gesagt 17 von 20 unterschiedlichen Schachprogrammen dieses Remis nicht erzeugt hätten.

Insofern habe ich die Idee aufgegeben hier weiter zu forschen!

FEOBOS 20.1 ist perfekt und durch die Idee, die aktuellen Stats der GM-Theorie hinzuzufügen, ohne das die hinzugefügten Züge ausgeführt werden noch perfekter geworden. Weil alles das, was in den letzten 12 Jahren bis 3-Züge nach ECO-Code gespielt wurden ist, schon längst zu 99% in FEOBOS enthalten ist.

Die wirklichen Neuerungen in unserer Eröffnungstheorie finden also nicht nach "nur" 3 Züge nach ECO-Code Ende statt sondern liegen viel tiefer. Aber fürs Computerschach nicht wirklich interessant weil die FEOBOS Vorgaben sollen eher dazu dienen das viel unterschiedliches Eröffnungsmaterial angespielt wird. Schließlich sollen die Engines im Kampf gegenander auch in der Eröffnung schon ihr Können beweisen. Bücher mit langen Buchvorgaben sind die für Entwicklung und Ratinglisten eher untinteressant.

Beispiel: SmarThink
Beschäftige mich viel mit dieser Engines.
SmarThink beherscht 84 ECO Codes zu 90%, weitere 148 ECO Codes zu 80%. Das kann man leicht bei der Nutzung mit FEOBOS herausarbeiten. Erstelle ich nun ein spezielles SmarThink Buch und versuche das immer wieder diese 232 ECO-Codes angespielt werden, könnte Smarthink bis ca. Zugnummer 25-30 gegen Stockfish locker halten.

Ich mache natürlich das Gegenteil.
Ich nehme die Varianten die Smarthink nicht versteht und setzte gegen Wasp an.
Und Bingo schiebt Wasp Smarthink derart zusammen, dass der Elo-Unterschied 200 mehr beträgt als das er in Wirklichkeit ist.

So einfach ...
Könnte natürlich auch Wasp in die Knie zwingen mit verschiedenen Sizilianern und schwierigen Spanieren.
Aber darüber schweigt man besser!

Oder ...
Es gibt nur 4 Engines die Holländer so gut verstehen wie Wasp.
Holländer und Franzosen ... der Graus früherer Zeiten im Computerschach.
Wobei die Französisch Stats bei Wasp im Normbereich, ELO-entsprechend liegt.

Gruß
Frank

Was natürlich auch möglich wäre ist folgendes:
Ich nehme nicht die aktuelle GM-Theorie für die Buchstats bzw. Ausspielverhalten für FEOBOS, sondern nehme die Partien der Altmeister bis ca. dem 4. Weltmeister Aljechin. Die sind natürlich auch bis 3 Züge nach ECO-Code Ende in FEOBOS drin (ausgeglichenes). Nun könnte ich ein zweites FEOBOS Buch erzeugen, bei dem die bevorzugten Eröffnungen der Altmeister immer wieder angespielt werden. Allerdings ist das nicht so interessant, weil es bei den Altmeistern zu viele Varianten gibt, die nicht mehr ausgeglichen sind. Die opferten schon wild spekulativ in Eröffnungen wie Königsgambit, Mittelgambit etc. rum und vieles von dem Zeug ist heute wirklich wiederlegt. Insofern habe ich die Idee noch nicht umgesetzt, weil es zum Testen von modernen Engines weniger bringt. Allerdings für Wasp auf DGT-Pi bei einer einstellbaren Spielstufe von 1.600 - 2.700 Elo interessant sein könnte. Gerade wenn ich Wasp auf 1.700 Elo stelle und gegen den Super Conny antreten lasse.

By Frank Quisinsky Date 2020-05-07 00:40 Edited 2020-05-07 00:51

Einer noch ...

Mit dieser Erklärung ist im Umkehrschluss auch das große Geheimnis der Buchexperten hinsichtlich Optimierung von Engines Bücher gelüftet.

Frage:
Warum programmiert Stefan Meyer Kahlen die Buch-Prio E-H wenn doch schon E nicht mehr ausspielt.
Welchen Sinn macht dann F, G und H?

Stefan war einer der ersten Programmierer, welcher sich auch viele Gedanken zur Buchoptimierung machte. Die Shredder GUI bietet nichts unnützes an und im Detail, meist auch etwas versteckt, birgt die GUI ein paar Geheimnisse. Wir sind ja früher bei Arena nicht anders vorgegangen aber haben meist die Geheimnisse immer schnell offen gelegt.

Ich könnte mit dem beschriebenen Trick mehrere spezielle Datenbanken in ein Buch einführen, dessen Zügen aber nicht ausgeführt werden (Überprüfung und Optimierung ist wichtiger als bestehende Werke direkt durch unvorsichtiges hinzufügen zweifelhafter Variaten zu gefährden). Sandro (Buchautor Shredder) ist leicht zu durchschauen anhand seiner Prioriäten (zeige mir wie Du einstellst und ich sage Dir wer Du bist). Er ist wahrscheinlich ein eher vorsichtiger Spieler und vermeidet eher riskante Varianten. Könne aber auch im Hinblick auf die frühere Shredder Optimierung daran liegen, weil Shredder immer schon anfällig für schnelle Königsangriffe war. Sieht man leicht anhand der Ratinglisten Datenbanken wenn Shredder 12 mit 2.800 gegen gleichstark spielt. Wobei ich nicht sage, dass die Arbeit von Sandro schlecht ist, ganz im Gegenteil und perfekt auf den Stil von Shredder ausgerichtet. Wobei es kein Buch gibt welches von Hand besser optimiert ist als das Hiarcs Buch. Allerdings ist das Hiarcs Buch nicht auf den Spielstil von Hiarcs optimiert. Dennoch die meines Erachtens beste Bucharbeit im Computerschach.

Ich könnte anhand der Prio erkennen von welchen Arbeitsdatenbanken die Züge kommen welche sich in Überprüfung befinden!!!

Prio E: Spezielle Daten für Turnierpartien
Prio F: Experimentelle Daten
Prio G: Neue Ideen
Prio H: Daten von einem starken Konkurrenzprodukt

Mal so als Beispiele daher geschrieben, kann andere Gründe geben!!
Nun könnte ich schnell ändern.
Buch als *.dat Datei erzeugen und aus Prio E die Prio A mit einem Texteditor produzieren. Danach die *.dat Datei wieder zurückkopieren zum vorhandenen Buch. Könnte auch Bücher gegen Fritz, gegen Hiarcs oder gegen Junior mit den Prios belegen und vor einer Partie das sehr schnell ändern. Etc. etc..

Klar, habe ich für Wasp alles was Wasp sehr gut spielt in einer Datenbank. Ich könnte leicht ein sehr starkes Eröffnungsbuch für Wasp kreieren oder ein sicheres Turnierbuch erstellen. Könnte leicht gegen Gegner X das Anti-Buch erstellen.

Wahrscheinlich setzte Stefan daher vier Prios, die eigentlich für's Auge zunächst keine Bedeutung haben.
Habe z. B. selbst ein ausgefeiltes B01 Buch als Prio "F". An diesen Daten arbeite ich seit mehr als 30 Jahren und experimentiere mal wieder damit rum.

Wie gesagt, diese Ideen kamen mir vor geraumer Zeit und erklären auch den Sinn für die fragwürdigen F-H Buchprioritäten der Shredder GUI.

Viele Grüße
Frank

By Frank Quisinsky Date 2020-05-10 13:58

Hallo,

habe den Download Link zum Buch geändert und die Info in den Wasp News Ticker gestellt.

In den letzten Tagen haben ich mir mal ein paar Eröffnungsbücher angesehen.
Einfach, mit einer Prio die nicht ausgespielt wird in das FEOBOS Buch hinzukopiert.
So sehe ich alles was in anderen Büchern drin ist und bei FEOBOS "fehlt".

Im Grunde fehlt FEOBOS nichts, weil alles was spielbar und ausgeglichen ist, drei Züge nach ECO-Code enthalten ist.

Witzig ist folgender Tatbestand:
Ich habe 620 Schnitzer innerhalb der offiziellen GM Partien (drei Züge nach ECO Code Ende) durch die FEOBOS Datenbank gesammelt. In 9 der 10 überprüften Bücher ist der Schwachsinn enthalten. Nun ja, will niemanden zu Nahe treten aber Bücher aus GM Partien sind schnell erstellt. Das jemand alle Zwischen- und Endspositionen geprüft hat ... wer macht sich diese Arbeit? Bei FEOBOS holten 10 Engines mit tiefen Analysen den ganzen Schrott und andere Dinge heraus.

Insofern kann ich auch wieder mit vielen Tricks, die Züge die in FEOBOS nicht enthalten sind, in eine Datenbank setzen (Editor Tricks) und kann Datenbanken mit den Unterschieden zu allen möglichen Arbeiten anderer generieren. Die dann mit meiner Hauptdatenbank von über 14 Millionen Partien vergleichen um zu schauen wo das Material her kommt. Bin immer wieder begeistert vom Hiarcs Buch, denn vieles was in diesem Buch (tiefer als drei Züge nach ECO Code Ende) enthalten ist, wurde niemals von GMs gespielt. Das sind dann wirklich von Hand gesetzte Analysen. Bei fast allen anderen überprüften Büchern ... ich schreibe es lieber nicht.

Trifft übrigens auch auf FEOBOS zu?!
Durch die FCP-Live Book Optimierung sind viele Varianten von Engines selbst produziert wurden (ohne GM Vorgabe). Die sind natürlich alle in FEOBOS eingeflossen und wurden auch von den 10 Engines überprüft. Der Grund neben Spielstile von Engines für die seinerzeitige Erstellung der FCP-Ratingliste.

Tja, was inaktive Prioritäten E-H der Shredder GUI in Kombination mit einem Editor nicht alles zu Tage bringen.

Gruß
Frank