Hallo Thomas,
hatte mich vor ca. 2 Monaten damit beschäftigt.
FEOBOS Test-Set v5.06 ...
http://www.amateurschach.de/download/book/feobos%20v5.06%20test-set.zipZu jedem ECO Code 1 Stellung mit einem Stockfish-Komodo Match mit Farbvertauschung = 1.000 Partien. Das stoß auf viel Gefallen, habe sehr viele eMails hierzu erhalten. Sensationell war die geringe Remisquote für ein solches Match. Bestätigt auch die Arbeit die wir bei Feobos machen, aber es geht noch deutlich besser !!!
Das Problem bei mir war nur ...
FEOBOS ist noch nicht so weit um genau das zu tun.
Mit einem Update müssen wir nachbessern, versuchen mehr Positionen zu seltenen Varianten zu finden um diesen Test-Set deutlich zu verbessern. Feobos errechnet mit der Excel von Klaus auch die besten 500 Stellungen nach einer Berechnungsgrundlage die Klaus sehr schön entwickelt hat. Jede Stellung im Buch hat also ein eigenes Ranking. Später werde ich die Ranking Information ins PGN bringen, besser als 10 Evals ins PGN zu bringen.
Insofern muss ich selbst den Test-Set 1 (zu jedem ECO Code die Stellung mit dem höchsten Ranking) und Test-Set 2 ... die 500 Stellungen mit dem höchsten Ranking zurückstellen bis das Projekt beendet ist. Sonst habe ich im Test-Set nicht die besten Positionen drin, welche ja 10 Engines berechnen.
---
Ja, Königsindisch ist schwierig ... noch schwieriger die vielen Königsgambit Codes. Die A6er Codes ... etc..
Bin seit Wochen Positionen am suchen die sich eigenen könnten zu seltenen Eröffnungen. Siehe Basic Download. Morgen starte ich erneut eine Fehleranalyse mit Komodo und Stockfish für 8.229 neue Stellungen zu seltenen Codes. Wir brauchen einfach mehr, sonst sind viele Stats in der Excel von Klaus nicht so gut weil die Codes nicht mehr gute Stellungen zulassen.
Bei FEOBOS wird innerhalb der Codes alles berechnet, das Ranking Feature funktioniert sehr gut.
Je mehr verschiedene Best-Moves von 10 Engines ausgegeben werden, desto höher das Ranking. Dahinter stehen noch weitere 4 Kriterien die ein Ranking bestimmen.
Führt auch dazu das innerhalb von einem Test-Set der Baum von A00-E99 stark erweitert wird (3 Züge nach ECO Code Bildung) und mithin ein solcher Test-Set auch für eine Ratingliste perfekt ist.
Schaue mir Deine Doku dazu später an, wenn fertig. Bin immer neugierig was andere so entwickeln. Wir haben zwar ein klares Konzept und ich habe während der FCP Rating Liste vieles ausprobiert aber selbst heute noch kommen immer weitere Ideen die wir in Excel dann auch veröffentlichen.
Wie gesagt, Klaus und ich sind durch mit dem Test-Set Thema.
Wir müssen nur die Analysen der Engine abwarten und haben den meines Erachtens perfekten Test-Set.
Zu sagen ein Test-Set für Menschen und für Engines ... ist für uns nicht interessant genug.
Soll alles mathematisch für Engines berechnet werden.
---
Verhindern von 3-facher ...
Wir sagten bei FEOBOS wenn 3 von 10 Engines 0,00 ausgeben ist die Wahrscheinlichkeit hoch das es zu einer dreifachen kommt. Dann wird die Stellung aussortiert. Dann verlieren wir aber ca. 8% aller Stellungen. Das hatten wir in den letzten Tagen geändert.
Sagen nun ...
Wenn die Zugtiefe 04-07 dann wird aussortiert wenn 5 von 10 Engines 0,00 ausgeben. Wenn Zugtiefe 08-11 dann wird aussortiert wenn 4 von 10 Engines 0,00 ausgeben. Wenn die Zugtiefe 12-17 ist wird aussortiert wenn 3 von 10 Engines 0,00 ausgeben. Damit konnten wir 25% der Positionen retten (im Vergleich zu vorher wenn generell unabhängig der Zugtiefe gesagt wird wenn 3 von 10 Engines ...).
Ich teste das immer mit Wasp Test-Runs parallel.
Beim laufenden Test-Run mit FEOBOS v7 (pauschal bei 30%) ist noch keine einzige schnelle Remispartie dabei (unter 20 Zügen) nach jetzt über 900 Partien. Das funktioniert aber ...
Wir verlieren auch einige gute Varianten im Buch.
Hatte heute noch in TalkChess hierzu geschrieben.
Hätten wir eine Engine die speziell nach 3-facher sucht und mögliches wo die Gefahr einer 3-fachen droht auswirft könnte das Problem eleganter gelöst werden.
Schaue mal hier ...
http://www.amateurschach.de/common/feobos/excel/eval%20exp.%201.pngSensationell was Andscacs macht.
Da gibt es kaum 0,00er Bewertungen.
Der hat schon einiges hierzu im Programm drin.
Die perfekte Engine um auf die Suche zu gehen!!?
Wenn Andscacs eine UCI Option hätte die 3fache schon in der Stellungsbewertung markieren könnte wäre das Problem gelöst.
Also Stellungsbewertung 0,0d oder 0,003 ... dann könnten die Positionen selektiert werden und zumindest würden wir bei FEOBOS nichts unnötig verlieren.
Auf der anderen Seiten.
Bei 33.000 ausgeglichenen Stellungen ist immer noch genug im Buch vorhanden. Wenn wir ca. immer noch 500 Positionen durch unsere Vorgehensweise verlieren ist das nicht so schlimm.
Das Problem ist ja das Buchende.
Der Baum wird immer größer und je nach Engine die das Buch nutzt steigt dann mit jedem Halbzug auch wieder die Gefahr der frühen dreifachen. Im Grunde können wir das bei FEOBOS nur vernünftig optimieren bei Varianten die tief sind. Die gibt es aber nicht weil wir pauschal sagen ... 3 Züge nach ECO Code Bildung endet das Buch (meist mindestens 6, ist nur 1 ECO Code mit 4, 2 mit 5 Züge bei uns drin).
Habe mich mit Polyglot auch schon beschäftigt.
Zu wenig enthalten um professioneller das Thema Bücher anzugehen.
Erneut, uns fehlt so viel beim Thema Eröffnungsbücher. Hatte Stefan Meyer-Kahlen mal gefragt ob er Zeit hat das zu verändern. Das war vor ca. 2 Jahren aber da steckte er in anderen Arbeiten fest, verstand glaube ich auch nicht richtig was ich ihm geschrieben hatte zu PGN-Random oder Buchoptimierungen um die Funktionen in Shredder stärker zu machen.
Gruß
Frank