Ein Problem (nicht nur) von FEOBOS

By Klaus Wlotzka Date 2017-05-26 10:47

Hallo Ulf,

dass von dir beschriebene Problem ist eigentlich keines, wenn beide Engines das gleiche Buch verwenden. Hierfür wird FEOBOS entwickelt. In diesem Falle wäre es nicht zu deiner Ausgangsstellung gekommen.

Das eigentliche Problem besteht darin, dass es Eröffnungen gibt, die nur bedingt ein ausgeglichenes Spiel auf hohem Niveau zulassen und eigentlich nicht in ein derartiges Buch gehören. Wir sind bei dem Buchprojekt noch lange nicht am Ende. Bereits jetzt nach 4 von 10 Durchgängen gibt es Eco-Codes mit nur noch sehr wenigen Positionen welche nach 10 Runden möglicherweise komplett aussortiert sind.

Ziel ist es, ein möglichst breites Buch über alle 500 Eco-Codes zu entwickeln. Ob am Ende tatsächlich noch alle Codes dabei sind oder einige zweifelhafte fehlen wird sich zeigen. Auch im Spiel gegen andere Bücher soll FEOBOS standhalten können. Wenn der Gegner aus seinem anderen Buch eine etwas unausgewogene Eröffnung wählt, sollte das mit FEOBOS spielende Programm dann ohne Buchunterstützung kein Problem haben, da es auf sich allein gestellt eine aussichtsreiche Fortsetzung finden wird.

Viele Grüße
Klaus

By Ulf Flörsheimer Date 2017-05-26 11:11

Klaus Wlotzka schrieb:

dass von dir beschriebene Problem ist eigentlich keines, wenn beide Engines das gleiche Buch verwenden. Hierfür wird FEOBOS entwickelt. In diesem Falle wäre es nicht zu deiner Ausgangsstellung gekommen.

Ja, das ist mir auch klar, aber Frank will ja ein allgemeines Eröffnungsbuch und kein Testset entwickeln.

Klaus Wlotzka schrieb:

Das eigentliche Problem besteht darin, dass es Eröffnungen gibt, die nur bedingt ein ausgeglichenes Spiel auf hohem Niveau zulassen und eigentlich nicht in ein derartiges Buch gehören. Wir sind bei dem Buchprojekt noch lange nicht am Ende. Bereits jetzt nach 4 von 10 Durchgängen gibt es Eco-Codes mit nur noch sehr wenigen Positionen welche nach 10 Runden möglicherweise komplett aussortiert sind.

Die Frage ist, wenn FEOBOS seine Buchlines runterrattert, dann kann es immer zu Problemen kommen, wenn jemand innerhalb der Buchlines abweicht. Ich bin mir nicht sicher, ob Frank das über seine Testmethodik überhaupt erkennen kann. Meines Erachtens geht das nur, wenn FEOBOS gegen andere Eröffnungsbücher mit abweichenden Varianten getestet wird.

Klaus Wlotzka schrieb:

Ziel ist es, ein möglichst breites Buch über alle 500 Eco-Codes zu entwickeln. Ob am Ende tatsächlich noch alle Codes dabei sind oder einige zweifelhafte fehlen wird sich zeigen. Auch im Spiel gegen andere Bücher soll FEOBOS standhalten können. Wenn der Gegner aus seinem anderen Buch eine etwas unausgewogene Eröffnung wählt, sollte das mit FEOBOS spielende Programm dann ohne Buchunterstützung kein Problem haben, da es auf sich allein gestellt eine aussichtsreiche Fortsetzung finden wird.

Aber genau das ist ja im genannten Beispiel eben nicht passiert!

Grüße Ulf

By Klaus Wlotzka Date 2017-05-26 11:35

Hallo Ulf,

was ich mit meinem Posting rüber bringen wollte war, dass am Ende des Buchprojekts eventuell einige Eröffnungen (vielleicht auch C41) nicht mehr dabei sind, weil diese eben kein ausgeglichenes Spiel zulassen.

Dein eigenes Beispiel zeigt, dass Komodo ohne Buch eine aussichtsreiche Fortsetzung gefunden hätte. Also wäre es grundsätzlich kein Problem, wenn im Spiel gegen andere Bücher bei zweifelhaften Systemen die Engine auf sich allein gestellt ist.

Natürlich soll das Buchprojekt von Frank allgemein angewendet werden können. Da es auf hohem Niveau getestet wird sind am Ende möglicherweise nicht mehr alle ECO-Codes enthalten. Aber sicherlich kann Frank dir genauer erläutern, wie mit derartigen Eröffnungen am Ende umgegangen wird.

Gruß
Klaus

By Ulf Flörsheimer Date 2017-05-26 11:43

Hallo Klaus,

ich weiß, was du mir sagen willst, muss dir aber noch einmal konkret widersprechen: Das C41 im Buch hätte zweifellos zu einer ausgeglichenen Position geführt, wenn Rebel wie erwartet 5. 0-0 gespielt hätte, aber Rebel hatte selbst was viel besseres in seinem Buch mit der Folge, dass FEOBAS Komodo in eine vermutlich verlorene Stellung entlassen hat, die Kommodo nur deshalb noch halten konnte, weil er/es viel stärker spielt als Rebel. Aber es bleibt festzuhalten: FEOBOS hat Komodo in die Falle geführt.

Gruß Ulf

By Klaus Wlotzka Date 2017-05-26 12:45

Hallo Ulf,

die Möglichkeiten von FEOBOS sind vielfältig. Wie Frank sehr ausführlich schrieb, ist es im Ursprung für den Emginetests gedacht, wenn alle mit dem gleichen, breit angelegten Buch spielen. Dann kommt es nicht zu deinem beschriebenen Problem.

Man hat durchaus die Möglichkeit, mit dem Exceltool die absolut ausgeglichen Stellungen herauszufiltern und hiermit ein eigenes, allgemeines Buch zu kreieren. Dies enthält derartige Positionen nicht mehr, geht dann aber auch nicht mehr so in die Breite. Deine Ausgangsstellung wird dann über das Buch sehr wahrscheinlich nicht mehr gespielt.

Es ist vieles damit machbar.

Gruß

Klaus

By Frank Quisinsky Date 2017-05-26 12:21

Hi Klaus,

das ist mein Problem mit der DOKU.
Ich habe die Ende Februar nach 20 Seiten abgebrochen und bin noch nicht dazu gekommen die vielen Änderungen einzupflegen.

Muss unbedingt daran arbeiten, liegt jetzt auch wieder im Download ... aber wie gesagt Stand ist Februar.
Und seit dem ist viel passiert hinsichtlich wie kann ich das Projekt noch verbessern.

Einwand von Ulf also berechtigt auch wenn alle Bücher mit diesem Problem leben.
Und wenn ich mir anschaue was so alles in anderen Büchern drin ist ... sämtliche Fehler aus den GM Partien.

Wenn ein Buch aber im Vorfeld so akribisch Variante für Variante von vielen Engines gesprüft wird dann vermeiden wir einfach die 10%.
Ca. 10% der verfügbaren Computerschachpartien beruhen auf zumindest zweifelhafte Buchzüge ... wenn denn 10 Engines auf eine Analyse angesetzt werden.

Die will ich raus haben bei FEOBOS und wir sind nun nach vier Engines bei über 6% die selbst nach den ganzen Filterungen im Vorfeld nun von 4 Engines gefunden wurden.

Gruß
Frank

By Frank Quisinsky Date 2017-05-26 11:42 Edited 2017-05-26 12:03

Hi Ulf,

total im Stress heute ...
Freue mich aber über jeden Kommentar.

Also ...

1. Das Buch wird ja entwickelt für den Einsatz von Ratinglisten, Engine-Turiere oder Engine-Engine Vergleiche (Engine spielen ohne eigene Bücher). Insofern ist es wie Klaus schrieb in der Tat egal aber ...

2. Du hast natürlich Recht wenn Du sagst das innerhalb der Varianten schlechte Züge enthalten sein können, die nicht gesehen wurden und mithin am Ende der Variante wieder eine ausgeglichene Variante herauskommt. Das Problem ist mir bewusst, schrieb auch schon darüber in einen meiner vielen Beiträge. 80% der FEOBOS Stellungen beruhen auf meine Datenbank der FCP Rating Liste bzw. aus der Buchoptimierung vom FCP Live Buch. Dieses Buch hatte ich drei Jahre entwickelt und ständig überprüft ... auch zu dem von Dir angesprochenen Problem. z. B. in einem Fall während er GM Partie wurde eine Dame mit einzügigen Verlust stehen gelassen ... Gegner hat es nicht gesehen ... und im Zug danach war alles wieder ausgeglichen. Während der Optimierungsphase vom FCP Live Buch habe ich in der Tat 34 Varianten gefunden bei dem genau dieses beschriebene Problem aufgetreten ist beim Test vom FCP Live Buch gegen das Hiarcs Buch, Junior Buch und auch einem Buch was ich selbst aus den Partien der "Small Encyclopaedia of Chess Openings erstellt habe. Diese 34 Varianten habe ich entfernt. Nun beruhen ja die FEOBOS Varianten auch auf 20% neuerer Theorie (was fehlte von 2014 bis ca. Oktober 2016) und aufgrund Varianten, die ich dann aus Schachbüchern von Hand einpflegte (zu Codes wo ich nicht genug hatte bzw. es schwierig ist überhaupt ausgeglichenes zu finden). Auch behalf ich mir der Small Encyclopaedia of Chess Openings. Es könnte also sein, dass bei den 20% neueren Partien das von Dir beschriebene Problem vorkommt. Allerdings werden es wahrscheinlich dann nicht mehr als maximal 10 sein, wenn 80% der Ursprungsdaten 34 verursachten. Bzw. von den 80% der Ursprungsdaten können mir auch welche durchgegangen sein. Insofern, das Buch Zug für Zug von den Endstellungen zurück zu analysieren würde Jahre dauern ... wenn ich auch wieder 1 Minute pro Zug ansetzen würde für vielleicht 10-20 Treffer bei sicherlich zwischen 23.000 - 24.000 Varianten die am Ende übrig bleiben.

Dennoch, der Einwand ist berechtigt wurde aber so gut es geht in drei Jahren Buchentwicklung (FCP Live Buch) zuvor bedacht.

3. Dein Beispiel zu C41:
Das kann bzw. wird öfters passieren. Wenn durch die Buchanalysen alles herausgenommen wird was Vorteil bringt hat das einen Nachteil aber auch einen Vorteil.

Nachteil: Beim Spiel gegen andere Bücher schaut FEOBOS ziemlich dumm aus der Wäsche wenn eine Engine innerhalb einer Variante plötzlich einen Zug spielt, der eine gewinnbringende Variante verbirgt. Diese ist logischer Weise im FEOBOS Buch nicht mehr vorhanden (da schon längst aussortiert). Allerdings soll die Engine dann rechnen anstatt einen schlechten Buchzug auszuspielen.

Vorteil: Ergo wird beim Spiel gegen andere Bücher FEOBOS niemals Züge ausspielen die einen großen Nachteil fabrizieren.

Nur, dafür ist FEOBOS nicht gedacht.
Mittels einem Buch soll erreicht werden, dass eine Basis von über 20.000 Stellungen zur Verfügung steht die direkt beim Eng-Eng Vergleich keine Engine in einen spielentscheidenden Vorteil bringen. Mehr oder weniger ist FEOBOS ein Test-Set basierend auf 20.000 Stellungen zu allen A00-E99 ECO Codes. Mittels der Tabelle von Klaus kann dann der Test-Set auf einen echten Test-Set verkleinert werden bzw. können wir uns später die Sahnestücke für einen 100, 200 Test-Set herauspicken (möglich viele unterschiedliche gute Züge nach dem Ende einer FEOBOS Variante sollten möglich sein, schnelles Remis sollte vermieden werden, alle 10 Engines sollten die Stellungen als absolut ausgeglichen werten).

Und abschließend:
Es gibt leider kaum Eröffnungsbücher die A00-E99 in Ihrer Komplexheit ausspielen. Durch die Buch-Stats versuchen die bisherigen Buchkonzepte immer in positive Stellungen zu kommen. Insofern ist es schwierig FEOBOS gegen andere Bücher zu testen. Ein Buch gegen FEOBOS muss dann schon auf zufälliges Ausspielen stehen bzw. die Buch-Stats ignorieren damit möglich viele Testresultate vorliegen um zu prüfen, ob dann innerhalb der Variante etwas nicht gut ist.

Aber grundsätzlich: FEOBOS vermeidet immer den Vorteil als auch den Nachteil (am Ende einer FEOBOS Variante).
Wird immer ausgeglichen verlassen wenn FEOBOS vs. FEOBOS oder wird aus dem Buch geschmissen sei es weil die anderen Bücher tiefer als 3 Züge nach ECO-Code Bildung gehen oder weil sich in einer Variante auf dem Weg zur Endstellung eine Fortsetzung verbirgt die positiv oder negativ verlässt.

Wichtig ist das endlich mal ein Buch vorhanden ist, welches sich zum Engine - Engine testen eignet.
3 Züge nach Bildung des ECO Codes ist die Partie noch nicht entschieden und von daher sollten dann bei der knallharten Messung eines Ratings immer beide Kontrahenten ausgeglichen starten.

Also, FEOBOS eignet sich nicht zum Test gegen andere Bücher!
Es ist vielmehr eine wirkliche Encyclopaedia von absolut ausgeglichenen Stellungen bzw. zu möglichen Stellungen 3 Züge nachdem sich der ECO Code gebildet hat (basierend auf die Endposition). 4 Züge wären zwar besser aber dann würden die Analysen ca. 5-6 Jahre länger laufen.

3 ist optimal, 4 ist hier schon zu viel und 2 zu wenig.
Der Weg ist das Ziel und mit ca. 23.000 - 24.000 Varianten entsteht ein ausreichendes Buch zum Testen von Engines (Variantenvielfalt ist gegeben und die Wahrscheinlichkeit auf doppelte Partien ist sehr niedrig).

Gruß
Frank

PS: Ganz unabhängig davon ...
Das Problem haben alle Bücher die auf reinen Menschen Partien beruhen. Meine das sich innerhalb einer Variante ein Fehler verbirgt. Das ist genau der Kick beim Test ... welches Buch ist das Beste denn genau darauf beruhen die Buchoptimierungen aller. Je weniger davon im eigenen Buch ist desto besser ist das Buch. Aber niemand wird Millionen Partien Zug für Zug analysieren können. Insofern steht mit den FEOBOS Varianten schon großartiges denn ich habe genau das ja auch versucht in drei Jahren FCP Live Buch Entwicklung bzw. deren stetiger Prüfungen herauszuholen.

Gibt übrigens ein Trick dabei ...
Ein Tool von Ferdinand überprüfte die FCP Rating List Partien erst drei Züge nach dem Buchende auf schlechte Stellungen. Diese gefundenen schlechten Varianten wurden im FCP Live Buch deaktiviert. Bei der Erstellung der FEOBOS Partien ging ich Zug für Zug durch und filterte nach EVL nur ca. 150.000 von 300.000 Partien aus. Zumindest beseht das von Dir beschriebene Problem nicht nach Variantenende der FEOBOS Daten. Dann hatte ich im FCP Live Buch immer mindestens Zugtiefe 12. Das FEOBOS Buch allerdings Zugtiefe 3 Züge nachdem sich der ECO Code bildet. Also wurden selbst innerhalb der Varianten kräftig gekürzt, bzw. wurde so schon viele dieser Killer Züge automatisiert eliminiert.

Kenne also kein anderes Buchkonzept was so akribisch auch das von Dir beschriebene Probleme bedacht hat.
Nochmals, die FEOBOS Varianten sind das Resultat aus 3 Jahre harter Arbeit und die 26.146 die übrig geblieben sind (nachdem Stockfish und Komodo nochmals die Endstellungen auf Fehler untersuchten) sind wirklich die Varianten die alle vorherigen Filter überstanden haben. Was nun die 10 Engines bei der Analyse machen ist im Grunde die Detailarbeit ...

By Ulf Flörsheimer Date 2017-05-26 12:02

Hallo Frank,

danke für die ausführliche Antwort. Dann bin ich offensichtlich von falschen Voraussetzungen ausgegangen, bzw. habe nicht richtig gelesen oder das nicht das herausgehört, was gesagt wurde. Ich bin bis zu meinem Posting jedenfalls davon ausgegangen, dass du ein allgemeines Eröffnungsbuch basteln möchtest, das möglichst die ganze Breite des ECO-Systems ausnutzt, aber zweifelhafte Varianten aussiebt.

Dass sich ein solches Buch natürlich dann gut zur Erzeugung von Ratinglisten eignet, ist logisch. Ich bin aber nicht davon ausgegangen, dass du es akzeptierst bzw. hinnimmst, bei "unerwarteten" Abweichungen von den Buchvarianten in schlechte Stellungen zu geraten, weil diese Abweichungen von den gespeicherten Varianten per Definition gar nicht vorgesehen sind.

Ich finde eigentlich gerade die Idee des kleinen, breiten, allgemeinen und taktisch abgesicherten Eröffnungsbuchs super charmant.

Gruß Ulf

By Frank Quisinsky Date 2017-05-26 12:12 Edited 2017-05-26 12:15

Hallo Ulf,

nein, als allgemeines Buch eignet sich FEOBOS nur bedingt.

Bedingt, weil es bei der Erstellung eines eigenen Baumes (wenn das Schachspieler für sich erstellen möchte) zumindest im Step 1 darstellt ...
Diese Varianten werden Dich nicht in Gefahr bringen.

Darauf beruhend kommt erst die zweite Frage ins Spiel.
Was bringt mich dann in Vorteil ...

Fast alle Eröffnungsbücher die wir kaufen können (geschriebene Bücher) bauen völlig falsch auf.
Stellen mittels weniger Symbole da ... Stellung ist besser oder schlechter.

Meines Erachtens muss eine logische Abfolge her:
Was kann ich spielen um nicht in Nachteil zu kommen im Step 1 und dann erst im Step 2 ... wie kann ich hier Vorteil erreichen.

FEOBOS eignet sich also ferner dafür, jedes vorhandene Eröffnungsbuch abzusichern. Sprich die Daten von FEOBOS können als Grundabsicherung in jedes vorhandene Buch kopiert werden. Zunächst um die Variantenvielfalt sicher zu stellen (alles was ausgeglichen ist, ist zu A00-E99 drin ... denke weit über 90% 3 Züge nachdem sich der ECO Code bildet) und dann um fehlendes hinsichtlich "Ausgeglichenheit" zu ersetzen.

So gesehen ist FEOBOS ein Modul für vorhandene Eröffnungsbücher, zumal jede einzelne Variante mittels Excel abgerufen werden kann bzw. 10 Analysen hierzu dann später zur Verfügung stehen.

Spielt z. B. das Hiarcs Buch (FEOBOS Daten sind importiert) einen schlechten Zug aus ... wird sehr schnell für den Buchautor von Hiarcs klar sein ... kann nicht von den FEOBOS Daten kommen, wenn er den Ursprung dann sucht.

Meine ja nur ... als Beispiel!

Gruß
Frank

By Frank Quisinsky Date 2017-05-27 23:36

Vergessen bzw. bitte nicht vergessen das nicht nur das Buch ohne Zugumstellungen zur Verfügung steht, sondern gleiches auch mit Zugumstellungen.
Geschildertes Problem kann weitestgehend auf dem Weg zum ECO Code umgangen werden mit den Zugumstellungen.

Zu einem der ECO Codes gibt es sage und schreibe 116 Zugumstellungen!

Und genau die habe ich mit dem FCP Live Buch provoziert, durch viele Tricks mehr und mehr Zugumstellungen einzubringen.

Lasse mal 1 Minute Blitz-Partien mit FEOBOS spielen und staune wie oft innerhalb der Variante der ECO Code wechselt.
Das ist absolut geil und bringt jedem GM zur Weißglut wenn FEOBOS eingesetzt wird.

By Frank Quisinsky Date 2017-05-26 12:28 Edited 2017-05-26 12:53

Hallo Klaus,

genau!

Wobei es natürlich passieren kann das FEOBOS zu Varianten nur noch den zweit- oder drittbesten Zug ausspielt weil der beste Zug zu Vorteil kommt.
Kann im Grunde sehr einfach geprüft werden.

Nehme Varianten die an sich kritisch sind ... wie C38. Da gibt es eigentlich keine Varianten die bei optimaler Spielweise ausgeglichen sind.
Nun hat mein Buch dennoch welche ... 2 oder 3 ... das sind zweitbeste oder drittbeste Züge, die aus einem eher schlechten Code noch was ausgeglichenes herausholen damit C38 überhaupt mal aufs Brett kommt bzw. das Stellungsmuster als solches.

Aber wie Du es schreibst.
Wichtig ist das nichts simuliert wird.
Die Varianten im Buch sind keine gestellten Positionen sondern kommen aus dem GM Schach, Fernschach und überwiegend aus Engine-Engine Partien welche drei Züge nach Zugtiefe 12 mit dem Tool von Ferdinand sicher aussortiert wurden.

Die Datenbasis von 26.146 ist ein Wahnsinn ...
Das ist viel mehr als es sich anhört, immer im Hinterkopf ... 3 Züge von 500 Eröffnungssysteme nachdem sich der ECO Bild bildet.

Wahrscheinlich gibt es gar nicht mehr als 30.000 die zu logischen Abfolgen und vor allem ausgeglichenen Abfolgen führen.
Bin mir nicht sicher ... vielleicht auch 32.000 ... mehr werden es nicht sein.
Habe hierzu viele Stichproben aus Datenbanken mit mehr als 10 Millionen Partien gemacht.

Das meiste was augenscheinlich mehr ist ... sind einfach nur Zugumstellungen!!
Und die wichtigen Zugumstellungen sind in einer zweiten Datenbank zum FEOBOS Projekt und werden genauso akribisch gepflegt wie die Datenbank ohne Zugumstellungen (basierend auf die Endstellung).

Gruß
Frank

By Klaus Wlotzka Date 2017-05-26 13:53

Hallo Frank,

das Problem von Ulf besteht darin, dass bei FEOBOS die sehr positiv bewerteten Stellungen aussortiert werden. Dies ist meiner Meinung auch völlig korrekt. Das Problem dieser Variante besteht aus den Zügen davor, also bevor der Eco-Code gebildet wurde bzw. die Engines anfangen zu analysieren. Für die Verwendung im Enginetest bei gleichem Buch spielt das keine Rolle.

Bei einem allgemeinen Buch müssten diese kritischen Eco-Codes von vorn herein gelöscht werden. Wenngleich ich davon überzeugt bin, dass davon nur sehr wenige übrig bleiben wenn die 10 Engines erstmal durch sind. Aber wie du schon schriebst, eine Rückwärtsanalyse über alle Eco-Codes steht in keinem Verhältnis zum Nutzen.

Es kommt immer darauf an, was ich mit dem Buch anstellen will.

Gruß

Klaus