Verzweiflung beim FEOBOS Project ... kleiner Hänger!

By Frank Quisinsky Date 2017-06-26 07:34 Edited 2017-06-26 08:15

Hallo,

nachdem Klaus nun in Version 66 der Excel Tabelle die Bewertungsfunktion / Rankingoptionen überarbeitet hat (diverse Dinge aber hauptsächlich mussten die unterschiedlich möglich Züge aus der Endstellung niedriger bewertet werden) habe ich hier noch mit anderen Problemen zu kämpfen.

Kurz zu der Excel ...
Wir haben 3.549 Schlagzüge (erster berechneter Zug) bei den 26.146 Positionen. Diese Schlagzüge müssen eine höhere Bewertung erhalten. Ein Ranking Kriterium ist es ... möglich viele unterschiedliche Züge sollten nach der Vorgabestellung möglich sein was bei diesen Schlagzügen nicht der Fall ist. Daher wird ein Bonus eingearbeitet damit die Schlagzüge nicht zu sehr im Ranking nach unten fallen. Das ist im Grunde hinsichtlich des Rankings jeder Position das einzige Problem was wir haben ... meine einer Stellung ein Ranking zu geben. Ranking ist also in der Excel überarbeitet ... der Bonus für die Schlagzüge ist in Version 66 noch nicht enthalten.

1. Ich dachte aufgrund der Buchoptimierungen meiner FCP Rating Liste immer das es nicht mehr ausgeglichene Stellungen, 3 Züge nach Bildung des ECO Codes gibt. Bei der Test-Set Optimierung ist mir sehr viel aufgefallen zu Eröffnungen mit denen ich mich selbst weniger beschäftigt hatte. So habe ich mein ganzen Eröffnungsmaterial aus vergangenen Zeiten zusammengekramt, auch diverse gesammelte Werke zur Theorie eingesetzt (teils gekaufte Produkte) und eine Master Datenbank aus dem ganzen Zeug erstellt. Dann alles verglichen mit den FEOBOS Daten bevor Stockfish und Komodo die Vorarbeit zum Projekt machten (das waren zu dem Zeitpunkt nicht die 26.146 Positionen die ich jetzt habe, sondern das waren zusammen mit einem kleineren Update um die 31.000 Positionen. Das heißt Stockfish und Komodo musterten schon ca. 5.000 Positionen mit 30 Sekunden Analysen aus, nachdem ich von Hand während die FCP Rating Liste lief schon sehr viel aussortiert hatte.

Lange Rede ich habe über 22.000 neue Positionen gefunden (enthalten auch TWIC bis 1180), die nicht in den 31.000 enthalten waren. Und das sind nicht wie vermutet überwiegend D00-D99 Positionen (dachte immer hier muss viel fehlen, der eigentliche Grund für diese Aktion bzw. erneut auf die Suche zu gehen) sondern eher A00-A99 und B00-B99 Positionen zu denen ich eh schon so viel habe (der doppelte Schock). Enthalten sind meist auch Varianten die heute kaum populär sind, bzw. überwiegend in der Vergangenheit gespielt wurden. Die aktuelle FEOBOS Datenbank ist eher auf Aktualität getrimmt und natürlich auf dem was die Engines in der FCP Ratingliste selbst herausgefunden haben.

Sprich, 3 Züge nachdem sich der ECO Code bildet haben wir entgegen das was üblicher Weise auf höchsten Level gespielt wird, prozentual deutlich mehr ausgeglichene Stellungen in A00-A99 und B00-B99. Bedeutet das die Mehrzahl aus C00-E99 Varianten eher immer zu vergleichsweisen gleichen Forstzungen führt und bei A00-B99 schon sehr früh prozentual mehr Abweichungen möglich sind. War mir so gar nicht bekannt.

2. Nun habe ich 22.000 neue Positionen und darin enthalten wird sein, sehr viel was ich nie während meiner SWCR und FCP Ratingliste auf dem Brett hatte bzw. irgendwann mal aussortiert wurde. Das war ein absolutes Schock Ergebnis und daher total die Ernüchterung. Mir bleibt gar nichts anders übrig als über diese Daten wieder die gleiche Stockfish und Komodo Version zu jagen, wie schon bei den jetzigen Daten um zunächst mal zu schauen wie viele es in Wirklichkeit an neuen Varianten sind.

Klar, ich wollte eh bei Projektende ein Update nachschießen aber hatte niemals im Kopf das es so viele sein können. Wenn denn ca. 14.000 verbleiben (grobe Schätzung) und ich dann wieder alle 13 Engines nach Projektende über das Update jage dann verlängert sich das Projekt um satte 4-5 Monate. Ich hätte zwei Excel Tabellen und müsste mit zwei Datenbanken arbeiten, was die ganze Sache kompliziert macht. Klar, ich hätte am Ende dann das Wunschergebnis und könnte für die Bucherstellung die beiden Datenbanken zusammenziehen.

3. Den Test-Set stelle ich also etwas zurück, zumal ich nach unserem Ranking eh mehr Engine Analysen benötige um wirklich was optimales zu erstellen. Der bereits gefertigte ist zwar schon sehr gut aber das geht natürlich nochmals deutlich besser. Leicht abzulesen im ECO out Tabellenblatt ... dort kann nach Ranking innerhalt der ECO Codes sortiert werden. Zu sehen ist (in Rosa markiert) was im Test-Set enthalten ist.

War mir so sicher mit den Daten die ich hatte und nach vielen Stichproben. Wusste das ich ca. 80% der Stellungen hatte ... wusste nicht das es in Wirklichkeit nur ca. 60% waren (Theorierelevant).

Das nächste Problem wird werden ...
Wenn ich mit den jetzigen 13 Engine Analysen durch bin, mit den 13 Update Analysen durch bin habe ich eine ECO Aufteilung die nicht dem Ausspielungsverhalten der besten Spieler / Fernschachspieler nahe kommt sondern eher wie folgt ausschaut ...

A00-A99 = 24%
B00-B99 = 28%
C00-C88 = 14%
D00-D99 = 17%
E00-E99 = 17%

nach Schätzung ...
Das heißt in der Eröffnungstheorie auf höchsten Level wird A00-A99 versucht zu vermeiden. Auch logisch denn in A00-A99 steckt einiges an Power, gerade bei den Holländern und diese Eröffnungen sorgen für die geringsten Remis-Quoten. B00-B99 wird eh am meisten gespielt und D00-D99 sorgt für die höchsten Remisquoten, daher vermutlich auf höchster Ebene auch nach B00-B99 am meisten populär. Anders kann ich mir das nicht erklären.

Dann ist das halt so, kann es nicht ändern bzw. maximal zu ändern wenn Prioritäten im Buch selbst gesetzt werden was auch nochmals richtig Arbeit wäre und ich diese eigentlich vermeiden wollte. Muss mal überlegen was ich mache. Vielleicht einfach ... ich belasse es wie es ist weil dann ist es einfach so. Was die Computerschachprogramme mögen muss nicht synchron laufen mit dem was die Menschen mögen. Weiß noch nicht so genau.

Also, voll die Ernüchterung ...
Wobei die Update Datenbank steht, die Varianten korrekt gekürzt wurden (auf 3 Züge nach ECO Code Ende, wie auch die jetzige FEOBOS Datenbank) und keine doppelten bzw. Zugumstellungen bei den ca. 22.000 enthalten sind.

Bleiben bei FEOBOS ca. 23.000 übrig und von den 22.000 ca. 12.000 übrig (14.000 und nachdem 13 Engines drüber gelaufen sind 12.000 ... Schätzung) habe ich dann ca. 35.000 ausgeglichene Varianten. Überwiegend draußen sind dann die, die schnell zu Remis führen ... was natürlich ein gigantisches Ergebnis sein wird zumal in zwei Excel Tabellen jede der Stellungen ein Ranking hat. Bin mir sicher die beiden Rankings der beiden Tabellen lassen sich dann auch zusammen sortieren um dann bei Projektende ein Ranking anzufertigen.

Also, alles läuft 4-5 Monate länger, also noch ca. 10 Monate, insgesamt läuft das Projekt dann 18 Monate.
Das es länger dauern wird war mir klar, das es derartig den Rahmen sprengen würde war mir nicht klar.

Ziehe aber durch auch wenn derzeit ein wenig entmutigt aufgrund meiner kompletten Fehleinschätzung hinsichtlich Anzahl möglicher ausgeglichener Stellungen.
Tja, Elo-Nase begibt sich an eine solche Aufgabe ... nun gut habe viel dazugelernt hinsichtlich Eröffnungstheorie.

Gruß
Frank

Also lange Rede ...
Habe knapp über 22.000 neue Varianten, drei Züge nach ECO Code Ende.
Die meisten hatte ich schon mal und wurden in der FCP Rating Liste aussortiert, viele kommen aus der Theorie von 1940 - 1990 welche ich nie wirklich gebührend berücksichtigt hatte aber Theorierelevant sind. Und dann natürlich die aktuellen über TWIC ermittelt der letzten 10 Monate die mir fehlten. Gleiche Stockfish und Komodo Version wird jetzt drüber gejagt wie bei den FEOBOS Daten und dann nach Abschluss des Projektes wieder die 13 Engines. So dann alle Varianten gleich geprüft wurden.

Werde also nach dem Wasp-Wasp Test-Set Test dann Stockfish und Komodo über die 22.000 neuen Varianten jagen und das was übrig bleibt als Update-Datenbank schon veröffentlichen (in ca. 30 Tagen), bzw. nach Projektende wieder alle 13 Engines drüber jagen.

By Guenter Stertenbrink Date 2017-06-26 09:01 Edited 2017-06-26 09:24

die ECO-codes sind vor langer Zeit gemacht worden, kein Wunder dass mittlerweile
die % der gespielten Partien nicht mehr homogen verteilt sind.
Und sie waren an Menschen-Partien angepasst, so ein Computer denkt ja ganz anders.

--------------------------

jagst du erstmal ko_sf mit kleinerer Geschwindigkeit drueber,
kannst ja hinterher nochmal mit Warp-Antrieb updaten

die meisten werden ja ohnehin ihre Lieblingsvarianter noch
tiefer analysieren und mit einbeziehen wollen

.. hmm, gibt es noch nicht das openbook als wiki,
wo jeder mitanalysieren kann ?!?!?

By Frank Quisinsky Date 2017-06-26 10:25 Edited 2017-06-26 10:34

Hallo Günter,

ja genau!
Werde Stockfish und Komodo die neuen Varianten prüfen lassen. Wird massig entfernt werden (bin mir sicher).
Wahrscheinlich dann eine Datenbank von ca. 14.000 neuen Stellungen (Schätzung).
Nehme wie beschrieben die gleiche Stockfish und Komodo Version auf gleichem anderen i7 Rechner wie bei den jetzigen FEOBOS Daten.

Dann jage ich, wenn ich mit den 13 Engines und den jetzigen Stellungen durch bin, die neue Datenbank wieder über die gleichen 13 verwendeten Engines.
So bleibt alles vergleichbar ... alles andere macht jetzt keinen Sinn.

Zumindest bin ich mir jetzt mehr sicher, dass ich alles theorierelevante Zeug berücksichtigt habe (natürlich weniger die vielen Gambits die eh nicht zu ausgeglichenen Stellungen führen, Ausnahmen natürlich Blumendfeld E10 oder so Sachen). Habe alles was mir bislang an Schwachpunkten selbst aufgefallen ist mit dem Update bereinigt.

Dieses Projekt stellt also mehr oder weniger auch die Geduldsfrage.
Dauert alles ein wenig aber wenn fertig wird eine gewaltige Datenbank mit Vorgabestellungen stehen aus der sich Bücher, Test-Sets, Thematurniere etc. generieren lassen und vor allem auch die Remisquote beim Engine-Engine Match gedrückt wird.

Schön ist das die Entwicklung der Excel Tabelle im Grunde sehr schnell schon abgeschlossen wurde. Was Klaus macht sind eher Detailverbesserungen, wie jetzt mit dem eingeführten Ranking. Die Tabelle macht das was Sie eigentlich tun sollte schon lange aber durch die stetigen Verbesserungen die aufgrund neuer Ideen eingeflossen sind ist das was letztendlich bei der ganzen Aktion herauskommt sehr viel interessanter und ausgefeilter.

Natürlich wird bei immer stärkeren Engines die Remisquote beim Engine-Engine Vergleich auch ansteigen. Allerdings meines Erachtens eher leicht ansteigend. Mit Feobos können wir etwas drosseln und für eine Zeit Verzögerung sorgen, wie ja schon schön aus dem Stockfish-Komodo Event zu sehen war. Aber es fallen immer mehr Dinge auf. Klar das die Remisquote bei Stockfish - Komodo bei den A00-A99 geringer waren als bei D00-D99. Viele Dinge erklären sich mit solchen Aktionen sehr viel einfacher. Erst Recht wenn ich bei den Stats zu den ECO Codes noch tiefer gehe als oberflächlich nach A00-A99, B00-B99 zu schauen.

Nur so können wir auch Wissen mitnehmen. Das ist eh besser als laufend Vermutungen in den Raum zu stellen, wie wir es ja verstärkt noch vor 20 Jahren machten. Bewegt sich heute alles auf einem höheren Niveau also noch vor wenigen Jahren.

Wie dem auch ist ...
Klare Fehleinschätzung von mir hinsichtlich wie viele ausgeglichene Stellungen es gibt bzw. bespielt wurden. War zu sehr auf gleiche Optimierungen seinerzeit beim FCP Live Buch fixiert auf denen die FEOBOS Daten maßgeblich beruhen.

Ärgert mich derzeit alles ein wenig und auf der anderen Seiten natürlich wieder einiges dazugelernt. Wird jetzt nur sehr kompliziert werden das ganze Projekt durchzuziehen.

Wann biete ich neue Buchversionen an.
Wann den Test-Set ...
Etc.

Mir qualmt eh schon die Rübe ...
Klaus sowieso ... er macht eine super Arbeit aber das die Excel Tabelle solche Ausmaße annehmen wird war zunächst gar nicht geplant.

Das ist eigentlich auch kein Projekt für 2 Personen.

Gruß
Frank

Zumindest steht ein klares Konzept bei der Vorgehensweise der Analysen und die Excel Tabelle steht.
Das 13 Engines ca. 15% an Material aus der Datenbank killen ... im Vergleich als wenn eine analysiert hätte ... war mir aufgrund der FCP Live Book Optimierungen schon vorher klar.
Vieles trifft ein, einiges überrascht, bei anderen Dingen bin ich überfordert und zeitmäßig sprengt alles den Rahmen.

Und dennoch ...
Es wird zu einem finalen Ergebnis kommen, welches Daten produziert, die meines Erachtens wertvoll sind.

By Stefan Pohl Date 2017-06-26 15:27 Edited 2017-06-26 15:30

Moin Frank,

natürlich ist soviel zusätzlicher Aufwand nicht schön. Allerdings ist es prinzipiell doch gut, wenn das finale Buch/Eröffnugsset soviele Positionen wie möglich enthält. Denn wirklich final wird es ja nie sein: mit zukünftigen Engines und zukünftiger Hardware wird man ja sicher weitere Filter-Runs machen. Dadurch fallen ja wieder Varianten raus und so wird die Gesamtgröße ja mit den Jahren tendenziell kleiner und kleiner werden. Also ist es gut, jetzt mit sovielen Varianten wie möglich zu starten.
Als kleinen Tipp zur Aufwandsreduktion: man könnte zunächst eine Vorab-Grobfilterung machen, also mit deutlich kürzeren Bedenkzeiten durchrechnen und dabei natürlich ein größeres Bewertungsintervall durchgehen lassen. Um zunächst mal die eindeutig und ganz schlechten Varianten herauszufiltern. Das reduziert dann die Zahl an Varianten, die man mit der vollen Bedenkzeit “richtig“ durchanalysiert. Habe ich bei meinen SALC-Büchern auch gemacht und dadurch viel Rechnerzeit eingespart.

Gruß - Stefan

By Frank Quisinsky Date 2017-06-26 22:55 Edited 2017-06-26 22:59

Hallo Stefan,

dachte mir das Du Dich mit diesem Aufhänger meldest.
Mir waren die Positionen ehrlich gesagt auch zu wenig (22.000 werden es werden, vielleicht auch knapp an die 23.000).
Durch das Update wird das Buch besser, hinsichtlich weniger doppelter Partien bei längeren Matches.

Insofern verständlich das Du das gut findest, zumal Du ja schon geschrieben hattest, das wenn zu viel aussortiert wird zu wenig übrig bleibt (logisch).
Das wird jetzt direkt mit dem Update behoben bzw. kann ich mit dem Prüfen des Updates bzw. die 13 Engines drüber jagen erst im November starten.

Vorab kann ich Stockfish und Komodo wie bei den FEOBOS Hauptdaten drüber jagen und genau das mache ich auch wenn die laufenden 1.000 Wasp - Wasp Partien durch sind.
Dauert ca. 1 Monat. Dann steht die Update Datenbank, die ich dann vorab zum Download anbieten werden. Wer dann will kann die ja schon zu den FEOBOS Daten in die Bücher hinzukopieren.

Ja, genau so wie von Dir beschrieben mache ich das auch.
Setze aber die gleichen Stockfish und Komodo Versionen ein wie zu Beginn des Jahres, damit später alle Daten von den gleichen Engine Versionen analysiert werden.
In neueren Versionen werden Stockfish und Komodo dann ja eh nochmal mit voller Power drüber laufen.

Und ja ...
Wenn denn FEOBOS beendet ist (ca. im April / Mai 2018) ist es klar, dass durch stärkere Engines und neueren Analysen das eine oder andere wieder entfernt werden muss.
Nur steht die Excel und die Daten sind und werden dann gut dokumentiert sein.
Es ist einfach dann eine neue Version drüber zu jagen und noch weitere Stellungen auszumustern.

Allerdings wird auf Jahre gesehen dieses Buch dann richtig stark sein und sich zum Testen, eignen denn auch stärkere Engines werden ganz sicher nicht mehr so viel finden wenn jetzt schon 13 Engines alles durchleuchtet haben. Aber ganz sicher werde ich mal Jahre später aktuelle Engines drüber jagen weil mich das selbst interessiert.

In ca. 1 Monat kannst Du Dir die Update Daten mal ansehen ... die 22.100 ... wie viel herausgenommen wurde und wie viele übrig geblieben sind.

Ich sehe das so ...

FEOBOS = Aktuelles und vieles was auf Engine Matches beruht, also aktuelle GM und Fernschachdaten die durch die FCP Ratingliste überprüft und ergänzt wurden. Alles basierte zunächst auf das einfache Samarian Buch und wurde Step by Step ergänzt und erweitert.

Dann die Fehleinschätzung ... dachte es fehlt nicht mehr viel bzw. relevantes sollte ausreichend sein.

FEOBOS Update = Partien der letzten 10 Monate, Sachen die mir die letzten Monate aufgefallen sind und durch mehr Varianten ergänzt wurden und hauptsächlich GM und Fernschach Theorie (wirklich theorierelevante Varianten) aus den Jahren bis ca. 1990 die fehlten. Ferner wird durch das Update auch vieles was in meiner Ratingliste durch die Optimierung deaktiviert wurde jetzt erneut geprüft. Ich gehe eh davon aus, dass von den ca. 11.000 Varianten die ich in der Zeit der FCP Ratingliste deaktiviert habe vielleicht 20-30% zu Unrecht deaktiviert wurde. Hatte nicht immer die Zeit alles im Detail zu prüfen wenn Engines zu hohe Bewertungen ausgegeben hatten.

Hätte jetzt eh keine Ruhe wenn ich das nicht tun würde und bin da viel zu perfektionistisch unterwegs.
Klaus sowieso und dann kommt so ein Ding zu Stande.

Wir können später wenn alles fertig mal SALC im Detail zu FEOBOS testen hinsichtlich Remisquote etc.. wenn Du magst.
Die FEOBOS Zwischenversionen darauf anzusetzen wäre zu früh auch wenn die jetzigen Daten meines Erachtens schon richtig gut sind.

Gruß
Frank

By Frank Quisinsky Date 2017-06-27 01:07 Edited 2017-06-27 01:41

Hallo Stefan,

habe mal die Update Dateien mit einer Readme auf den FEOBOS Seiten hochgeladen.
Es sind genau 22.034 Positionen (*.pgn, *. epd, ecolist.txt, readme.txt).

Die Varianten wurden gekürzt auf FEOBOS Länge (3 Züge nach ECO Code Bildung) und sind die reinen Positionen ohne Zugumstellungen. Beim Update lasse ich die Zugumstellungen außen vor, sind genug davon in FEOBOS drin die ja auf Wunsch verwendet werden könnten um dafür zu sorgen, dass zwischen den ECO Codes stark gesprungen wird. Wurden überprüft auf doppelte, sind keine Stellungen enthalten die bei den 26.146 Stellungen derzeit geprüft werden bzw. schon vorher geprüft wurden. Sind also komplett neu und wie beschrieben noch nicht mit Analysen überprüft (Rohdaten).

Kannst Du Dir ja mal ansehen wenn Du magst.
Auf diese *.epd setze ich dann wie in der Readme beschrieben wieder Stockfish und Komodo mit 30 Sek. auf einen zweiten i7 an (gleicher Rechner den ich unter gleichen Bedingungen für die Fehlerfindung auch bei den jetzigen FEOBOS Daten genutzt hatte).

Findest Du auf der Seite unter:

http://www.amateurschach.de/main/_new-opening-book.htm
"update 1 in preparation".

Also die Rohdaten bei dem ganz sicher heftig aussortiert wird.
Glaube nicht das mehr als 12.000 - 14.000 übrig bleiben mal schauen ...

Wenn denn mehr als 12.000 - 14.000 wäre das die nächste Keule für mich weil ich absolut nicht damit rechne.

Wichtig bei diesen Daten war mir ... das es Linien sind die in der Theorie nach Nachschlagewerken empfohlen werden und Experten auf den jeweiligen Eröffnungsgebieten bekannt sein sollten.

Gruß
Frank

Übrigens werde ich jetzt viel härter als eigentlich vorgesehen die 0,00 Bewertungen aussortieren ... wahrscheinlich schon wenn 4 von den 10 Hauptengines sagen 0,00 fliegt die Stellung raus. So rein nachdem was ich bislang gesehen habe auch notwendig ... wie Testläufe zeigen.

Wie dem auch ist ... bin bedient.
Habe FEOBOS bis ins kleinste Detail vorbereitet und dann das, war mir zu sicher mit den Daten die ich hatte anstatt selbst die nochmals mehr im Detail zu prüfen.
Das Thema ist einfach zu umfangreich, hätte ich besser nicht angepackt.
Jetzt Augen zu und durch und Kritik ist mehr als berechtigt ... muss ich drüber stehen.

Nachteil bei dieser Vorgehensweise ist ...
Ich kann nicht mehr laut rumschreien das die Mehrzahl der Daten aus der FCP Rating List gezogen wurden.
Diese Daten beruhen also auf Partiedatenbanken zu Eröffnungsübersichtigen etc.. was ich eigentlich gar nicht wollte aber dann doch notwendig wurde.

By Frank Quisinsky Date 2017-07-06 23:51

Hallo Stefan,

doch weniger als ich dachte.
Stockfish ist durch, habe einen dicken Vermerk auf meine Startseite gestellt.
Also von 22.034 hat Stockfish allein schon kräftig aussortiert und Komodo kommt noch.

Wahrscheinlich werden weniger als 12.000 neue Positionen für das FEOBOS Update übrig bleiben.
Bin mal gespannt.

Am WE habe ich jetzt erstmal genug zu tun die gefundenen Stockfish Positionen aus der Datenbank herauszunehmen.
Die nach Komodo fertige Datenbank *.pgn und *.epd stelle ich natürlich auch wieder Online.

So kann jeder bei den kommenden FEOBOS Versionen die Update Datenbank schon jetzt zu den Büchern hinzukopieren.

Gruß
Frank

PS: Da es sich überwiegend um Positionen handelt die ich nicht in der FCP Rating Liste hatte sind diese natürlich auch weniger geprüft.
Daher nehme ich Bad Moves und auch alle 0,00 Bewertungen direkt raus, sicherer um später nach Überprüfung der 10 Engines mit längerer Bedenkzeit einfach
weniger Arbeit zu haben.

By Stefan Pohl Date 2017-07-07 05:30 Edited 2017-07-07 05:35

Frank Quisinsky schrieb:

Moin Frank,

Das war zu erwarten. Stockfish hat deutlich höhere Bewertungsschwankungen und vor allem höhere Bewertungsintervalle, als andere Engines. Nimmt man also identische Bewertungsintervalle, und sortiert alles aus, was für eine Engine jenseits dieser Intervalle liegt, wird Stockfish IMMER die meisten Stellungen raussortieren. Dies ist ein prinzipielles Problem. Ich habe es damit umgangen, daß ich für meine Filterungen für meine SALC Stellungen nur Komodo benutze. Natürlich kommt dies für FEOBOS logischerweise nicht infrage, das ist klar. Ich würde aber das Bewertungsintervall von Stockfish etwas weiter einstellen, als für die restlichen Engines. Dafür würde ich empfehlen, daß du auswertest, wieviel weiter von 0.00 entfernt die Bewertungen von Stockfish im Schnitt liegen (verglichen mit den durchschnittlichen Bewertungs-Entfernungen von 0.00 der restlichen Engines). Und dann das Bewertungsintervall von Stockfish entsprechend aufweiten. Über den Daumen gepeilt würde ich mal ca. 20% ins Blaue tippen...
Generell wäre zu überlegen, dieses Verfahren auf alle Engines anzuwenden, also bei jeder Engine die Bewertungsabstände zu 0.00 mit dem Durchschnitt aller anderen Engines zu vergleichen, und dann für jede Engine ein eigenes Intervall zu bestimmen, nach dem dann Stellungen wirklich aussortiert werden, oder eben nicht. Das erhöht natürlich nochmals den Aufwand, aber mithilfe vom Excel-König Klaus, sollte sich das automatisieren lassen...Jedenfalls ist ein für alle Engines gültiges Bewertungsintervall meiner Meinung nach nicht geeignet, um Stellungen aus dem Buch herauszufiltern. Dafür sind die Bewertungs-ausschläge (so nenne ich das mal) der Engines einfach zu unterschiedlich. Besonders gilt das sicher für Stockfish.

Gruß - Stefan

By Frank Quisinsky Date 2017-07-07 06:03 Edited 2017-07-07 06:21

Hi Stefan,

damit hatte ich schon bei den 26.146 experimentiert.
Zum Beispiel ist die durchschnittliche Eval bei Houdini, Chiron, Texel deutlich höher als die von Stockfisch.
Fire hat eine extrem niedrige durchschnittliche Eval, Booot / Wasp / Shredder liegen im Normbereich.

Stockfish hat wie Du schreibst eine höhere als Komodo.

Wie wir ja wissen sortieren die kommenden Engines trotz 0.50 / -0.30 von Stockfish und Komodo noch weitere 15% aus.
15% entspricht auch der Quote die ich beim FCP Live Book hatte, bei Stellungen, die ich während der Durchführung meiner Ratingliste nach oder während einem Test-Runs rausgenommen hatte.

Muss die gleichen Einstellungen nehmen wie bei den FEOBOS Daten sonst stimmen später die Statistiken nicht mehr.
Wahrscheinlich werden wir um die Größe der Update Datenbank die FEOBOS Excel Dateien auch erweitern, so dass dann später die 26.146 und die Update Datenbank zusammen in der Excel von Klaus ist.
Ganz wichtig daher nichts an den Grundeinstellungen zu verändern. Auch wichtig das wenn die finale FEBOS Version eingesetzt wird und eine Stellung unklar ist (schönes Beispiel ist das laufende Turnier von Andreas Wutzke) können wir in der Excel schauen warum die Stellung ausgespielt wurde bzw. wie dann direkt die 10 Stellungsbewertungen der analysierenden Engines waren bzw. die durchschnittliche.

Würde ich mit einer Engine analysieren, wäre auch Komodo meine erste Wahl, meine zweite wäre Chiron nach dem was ich bislang gesehen habe.
Denke in der neuen Excel Tabelle (Ratinglisten zu den 500 ECO Codes) wird das auch später schön ersichtlich werden, meine das Komodo und Chiron hier vorne stehen. Andscacs hat noch nicht analysiert und ich weiß das diese Engine auch extrem stark bei den Bewertungen zu den Eröffnungszügen ist.

Und das Chiron so stark bei der Eröffnungsanalyse ist, hatte ich vorher nicht auf dem Schirm ... meine das Chiron hier gut ist = ja aber überragend ... dazu gelernt!

Also, wenn von den 26.146 ca. 22.000 übrig bleiben (sortiere 0,00 später nicht aus wenn 60% der 10 Engines 0,00 ausgeben sondern 30% der 10 Engines 0,00 ausgeben, daher wird deutlich krasser aussortiert) und von den jetzt 13.700 der Update Datenbank noch Komodo ca. 1.700 raus nimmt, die 10 kommenden Engines wieder die üblichen 15% verbleiben 10.000 und zusammen ca. 32.000.

Es wird also auf ein finales Resultat von 32.000 FEOBOS Stellungen herauslaufen.
Über 30.000 war das Wunschergebnis ... glaube ich schrieb das in meiner ersten Readme zum Projekt und 32.000 sind für alle Zwecke völlig ausreichend ... ferner bin ich mir mehr sicher das ca. 90% der möglichen vernünftigen Stellungen dann auch analysiert wurden (3 Züge nach ECO Code Ende).

Was ich noch machen werde ...

Nehmen wir an wir haben 32.000 gute Positionen werden die später im Shredder Buch Prio A erhalten.
Die herausgenommenen 0,00 Varianten werden später auch ins Buch einfließen mit Prio E (also deaktiviert sein).
Die schlechten Züge werden auch im Buch sein mit Prio F (also logischer Weise auch deaktiviert sein ... nicht die schlechten Züge die Stockfish und Komodo vorher schon aussortiert hat, also die, die dann die 10 Engines mit längeren Bedenkzeiten ausgeben).

Das wiederum ist interessant für Personen, die Buchturniere spielen oder bei Analysen. So sehen wir auch im Buch alles, ausgespielt wird aber nur das was sich am besten eignet. Und bei Buchturnieren kann FEOBOS dann auch auf die anderen Zügen die aussortiert wurden passiv reagieren.

Bei dem Fritz Buch weiß ich nicht wie das geht, bei dem Shredder Buch geht das einfach wenn ich alles im Textformat erstelle und dann mit einem Editor wie Notepad ++ Hand anlege.

Viele Grüße
Frank

PS: Fest steht, am Ende werden es deutlich mehr Stellungen sein und das war wirklich wichtig bzw. Deine Kritik das es nachher zu wenige sind wenn ich das nicht gemacht hätte war berechtigt. Bei dem Test-Set (zu jeden ECO Code eine Stellung) ist mir aufgefallen was eigentlich alles fehlt. Insofern, hätte ich das mit dem Update jetzt nicht gemacht, wäre ich später selbst nie zufrieden mit dem finalen Ergebnis gewesen.

Wenn ich selbst suche in Batsford's Modern Openings, Small Encyclopaedia of Chess Openings, Kaufmann Repertoire for White and Black und anderen geschriebenen Eröffnungswerken die wirklich gut sind ... werde ich durch das Update jetzt mehr als 90% finden. Die 22.034 Stellungen halten sich auch weitestgehend and die Zugfolgen die zu den ECO Codes führen (weitestgehend keine Zugumstellungen auf den Weg dorthin). Das heißt die Kriterien bei den jetzt zu prüfenden 22.034 Stellungen waren teilweise andere um wirklich fehlendes zu finden. Die Zusammenstellung der Update Datenbank war also eine Heiden Arbeit und wurde gleich gekürzt wie die FEOBOS Datenbank ... ECO Code für ECO Code, drei Züge nachdem sich der ECO Code gebildet hat. Nur, hätte ich besser vor dem Projekt gemacht ... war mir zu sicher alles zu haben und das war wie Eingangs geschrieben nicht korrekt. Aber egal, dann mit dem Update hinten herum wenn das Endergebnis nur gut ist.

By Frank Quisinsky Date 2017-07-07 06:44

Werde das dann mit dem Shredder Buch bei der FEOBOS v7 umsetzen.

Also die gesammelten aussortieren 0,00er rein nehmen mit Prio E (aktiv deaktiviert) und die gesammelten aussortieren bad moves mit rein nehmen mit Prio F (aktiv deaktiviert) und natürlich die Update Datenbank, die dann von Stockfish und Komodo geprüft wurde. Etwas Arbeit aber ich will sehen ...

Gruß
Frank

By Guenter Stertenbrink Date 2017-07-07 09:52

besser ist vielleicht die durchschnittliche eval der letzten 3 Tiefen

By Frank Quisinsky Date 2017-07-16 08:41 Edited 2017-07-16 08:49

Hallo Stefan,

nachdem Stockfish und Komodo nun die Update Datenbank mit 22.064 Positionen mit 30 Sekunden analysiert haben und mithin die Vorarbeit / Fehleranalyse für die kommenden längeren Analysen erledigt ist verbleiben 12.229 neue Positionen.

Herausgenommen habe ich natürlich die schlechten Positionen mit dem Setting 0.50 / -0.30 für Beide (übrigens hat Stockfish eine durchschnittliche höhere Eval von 0.09 als Komodo bei den 22.064 Positionen, bewertet also lange nicht so aggressiv wie z. B. Chiron, Texel, Houdini), also auch die 0,00er Bewertungen, schon wenn eine der Beiden 0,00 ausgibt.

Die fast kompletten Daten liegen im Download Cockpit auf den FEOBOS Detail Seiten.

Fast komplett weil:
Ich muss aus den 22.064 noch die 0,00 Bewertungen gesondert in eine Datenbank bringen.
Das ist wichtig für die Bucherstellung, sind genau gesagt 2.739 Positionen!

Die 0,00er Bewertungen, als auch die aussortierten "schlechten" Züge bei den längeren 1-Minute Analysen müssen auch ins Buch.
Die 0,00er mit Prio "E" = passiv (also die 2.739 und die aus der 26.146 Datenbank)
Die schlechten Varianten mit Prio "F" = passiv
Was spielbar ist mit Prio "A" = aktiv.

Wenn verschiedene Bücher gegeneinander antreten habe ich zumindest die passiven drin und das Buch hat keine Lücken.
Spielt mein Buch also nur die ausgeglichenen aktiv später aus.

Habe damit experimentiert gegen das Cerebellum Buch.
Zwar ist das dann ein echtes Buch und spielt natürlich tiefer als mein Buch mit maximaler Länge von 3 Zügen nachdem sich der ECO-Code sich gebildet hat aber es gibt ja Computerschächler die verstehen trotz der vielen Erläuterungen den Sinn von FEOBOS nicht.

FEOBOS ist im Grunde kein echtes Buch, sondern vielmehr eine Sammlung von ausgeglichenen Vorgabestellungen, bei dem die Engines so früh als sinnvoll die Partien starten sollen. Varianten die zu Remisträchtig sind sollen dabei natürlich nicht aufs Brett kommen. Das Experiment gegen Cerebellum, welches ich schon startete verlief positiv. Cerebellum spielt natürlich bei weitem nicht so viele Varianten aktiv aus wie mein Buch aber schön zu sehen das viele von mir aussortierte Remisträchtige Varianten von Cerebellum ausgespielt werden. Deutet darauf hin, dass dieses Buch diesen "Buchcontempt" nicht hat. Glaube das FEOBOS auch das erste "Buch" mit funktionierenden "Buchcontempt" ist.

Bis FEOBOS fertig gestellt wird könnte dann derzeit die 12.229 starke Update Datenbank zu den laufenden FEOBOS Versionen hinzukopiert werden. Natürlich werden alle 10 Engines später diese 12.229 Positionen auch untersuchen (im Anschluss wenn die 26.146 Positionen komplett von allen 10 Engines untersucht wurden).

Nach grober Schätzung, bei sehr starker Selektion der 0,00er Varianten (also wenn 3 von 10 Engines später 0,00 ausgeben wird aussortiert), werden ca. zwischen 31.000 und 32.000 ausgeglichene aktive Positionen im Buch verbleiben. Das wäre über meinem Wunschergebnis von 30.000 vor dem Projekt. Bzw. so viele sind auch notwendig um doppeltes bei Engine-Engine Matches, bei ca. 200 Partien pro Match, und zufälligem Anspielen aus dem Buch weitestgehend zu vermeiden (das Buch wird dann ca. 0,3% doppelte Varianten bei einem 200 Partien Match produzieren ... damit kann ich leben). Habe ich auch schon statistisch hochgerechnet.

Das Problem was ich jetzt noch habe ist folgendes:
Beim Shredder Buch ist das einfach ... Buch in Textformat erstellen ... alles auf Prio A stellen. Die 0,00er importieren, dann wieder ins Textformat und die Prios hier auf E stellen. Dann die schlechten Varianten importieren, alles wieder ins Textformat bringen und auf Prio F stellen. Das ist kein Problem und funktioniert sehr gut. Damit habe ich die passive Varianten im Buch drin.

Wie ich das aber beim Fritz Buch bewerkstelligen könnte ist mir derzeit noch ein Rätsel.
Kenne mich mit dem dämlichen Buchfunktionen dieser GUI einfach nicht gut genug aus. Beim Fritz Buch ist zwar auch vieles möglich aber einiges ist meines Erachtens einfach nicht richtig durchdacht. Bei dem Shredder Buch Format kann ich im Detail mehr mit den Daten spielen auch mit einigen Tricks und Kniffs die Stefan gar nicht so richtig dokumentiert hat.

Gruß
Frank

Freue mich schon sehr auf das abschließende FEOBOS Ergebnis.
Für mich steht dann das perfekte Buch zum Engine Testen für die kommenden Jahre und ich bin endlich mal zufrieden mit einem Buch, welches wirklich zum Testen von Engines geeignet ist.

Habe mir jetzt auch mal im Detail angesehen zu welchen Lücken es bei den bisherigen 26.146 Positionen gekommen ist und das mit meinen Aufzeichnungen der letzten 3-4 Jahre verglichen. Im groben wirklich genau die Systeme die ich stiefmütterlich behandelt hatte, weil ich glaube ich hätte genug drin. Nun, mit dem Update bin ich mir nun sicher ... alles wird gut im wahrsten Sinne des Wortes.