Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / FEOBOS-Excel mit automatischem Setting
- - By Klaus Wlotzka Date 2018-01-10 22:53
Hallo Zusammen,

ab der nächsten FEOBOS-Excel-Version ist die letzte verbliebende manuelle Einstellung innerhalb der Exceldatei verschwunden. Gemeint ist die Festlegung der Bewertungsbereiche je Engine zur Bestimmung, ab welchem positiven bzw. negativen Eval (Bewertung) die Positionen aussortiert werden.

Bisher wurde dieser Wert manuell durch Frank festgelegt. Wenn eine zu umfangreiche Aussortierung stattfand, da die betreffende Engine durchschnittlich höher bewertet, musste auch schon mal nachjustiert werden.

Auch dies überlassen wir jetzt dem Excelprogramm und bestimmen den idealen Bewertungsbereich für jede einzelne der 10 Standard-Engines automatisch.

Wie funktioniert das Ganze:
•  Zunächst bestimmt man die Anzahl der durchschnittlich auszusortierenden Positionen bezogen auf die insgesamt vorliegenden Analysen als prozentualen Wert. Wir haben einen Wert von 2,1% eingestellt und erhalten somit durchschnittlich 800 so genannte bad-positions.
•  Mit dem eingestellten Prozentsatz wird intern eine Aufteilung der positiven und negativen Evals vorgenommen. Von den positiven Bewertungen liegen deutlich mehr vor als von den negativen Bewertungen. Das Verhältnis ist etwa 75%/25%.
•  Das Programm geht nun hin und kopiert die Bewertungen jeder einzelnen Engine und sortiert diese. Dann wird nachgeschaut, welcher Eval an der zuvor ermittelten positiven und negativen Position steht. Dies sind dann die beiden optimalen Werte für die betreffende Engine.
•  Dieses Verfahren wird dann für jede Engine durchgeführt sodass jede Engine ihr eigenes Setting erhält.
•  Dann wird noch die Anzahl der aussortierten positiven und negativen Positionen ermittelt.

So sieht das in der Excel-Tabelle dann aus:



Nun, die Abweichungen zu den vorab von Frank manuell eingestellten Settings sind nur gering. Zeigt aber auch, dass das Bauchgefühl von Frank nicht so schlecht ist.

Mit dieser automatischen Funktion wird nun wirklich alles von der Excel-Tabelle selbst ermittelt und festgelegt.

Ich denke, die nächste Version (v120) mit dieser Funktion wird am Wochenende mit den Ergebnissen von Stockfish zur Download zur Verfügung stehen.

Viele Grüße

Klaus
Parent - - By Frank Quisinsky Date 2018-01-10 23:20 Edited 2018-01-10 23:45
Hallo Klaus,

das war wahrscheinlich der letzte größere Step der nunmehr völlig automatischen Excel Tabelle.
Nun können Bücher ohne Einflussnahme des Menschen, aufgrund der Analysen von 10 unterschiedlich spielenden Programme, voll automatisch erstellt werden.

Die Excel Tabelle ist zu einem schönen Spielzeug geworden und wird keine Wünsche bzw. Möglichkeiten mehr offen lassen.
Vom Test-Set selbst kreieren bzw. kreieren lassen bis über die Varianten die in einem Buch einfließen sollten.

Die Fehlerquelle Mensch ist ausgeschaltet und damit sind wir draußen aus jeder möglichen Kritik der möglichen Einflussnahme. Wichtig, weil wir ja grundsätzlich sagen ... sollen doch die Engines selbst das Buch kreieren und wir nur mit diesem Werkzeug dabei helfen wollen.

Wenn denn wirklich noch Varianten bei A00-E99 drin sind, drei Züge nach ECO-Code Bildung können solche Stellungen auch durch die manuelle Möglichkeit Stellungen zu entfernen herausgenommen werden.

Bin leider in den letzten Tagen nicht dazu gekommen an der Doku weiter zu arbeiten. In den nächsten Tagen aber mit Hochdruck.

Wenn jetzt Engines Partien bei Eng-Eng Match schnell verlieren, kann das zu geschätzt nur zu ca. 1% nicht an einem Blunder liegen. Wenn es denn überhaupt 1% sind. Der Prozentpunkt kann zukünftig durch stärkere Engines und der Wiederholung des kompletten Analysen weiter eingeschränkt werden.

Insofern wird ein Feobos Buch auch für Programmierer sehr wertvoll sein.

Diese wichtige und letzte Funktion konnte erst jetzt erfolgen, da nunmehr fast alle Analysen durch sind. Die Settings die ich seinerzeit gewählt habe, wurden Anfangs nur bei 2 von 10 Engines leicht manuell nachkorrigiert. Meine Settings stimmten deshalb, weil diese auf Erfahrungswerte nach 3 Jahren prüfen von Engine Partien sind. Wer mal über 300.000 Engine Partien von Hand geprüft hat weiß wann eine Engine aufgrund der eigenen Bewertungsfunktion bei einer Eröffnung einen erheblichen Nachteil erhält und wann nicht. Ausgenommen natürlich Engines die grundsätzlich in der Eröffnung sehr anfällig sind. Davon gibt es bei den TOP-50 genau gesagt 8. Bzw. 8 Kandidaten neigen dazu Partien sehr schnell zu vergeigen. Crafty, Tornado um mal 2 Beispiele zu nennen. Interessant sind Engines die sowohl schnell vergeigen als auch schnell gewinnen können (Hiarcs ist solch ein Kandidat). Wird der Hiarcs Programmierer mit FEOBOS auf die Suche gehen, könnte er nachjustieren ... egal. Gibt so einige andere Kandidaten ... Smarthink verliert auch gerne schnell, hat auf der anderen Seite enormes strategisches Wissen bei der Eröffnungsbehandlung ... auch eine zwiespältige Engine hinsichtlich Eröffnungsbehandlung.

Unsere auch noch sehr neue Rescue Funktion greift nun auch besser.
Wenn aufgrund dieser Settings z. B. nur eine von 10 Engines aussortiert fließt die Stellung wieder in die Datenbank zurück wenn die Abweichung zum Setting bzw. automatischen Setting nicht zu hoch ist. Dieser Wert wann Rescue greift kann auch nachjustiert werden.

Das Geheimnis ist:
Faktor unberechtigtes aussortieren von Stellungen vermeiden um möglich viele Positionen für die bevorzustehende Bucherstellung zu retten.

Kann es immer noch nicht glauben:
Wir können Eröffnungsbücher erstellen, die noch nicht mal 15Mb groß sind, alles beinhalten was wirklich spielbar ist (3 Züge nach ECO-Code Bildung) und können gleichzeitig sagen, dieses Buch ist zu 99% perfekt bzw. enthält keine Fehler. Für Eng-Eng Freaks ist der Beeinflussungsfaktor "Buch" ausgeschaltet. Varianten, die zu schnellen dreifachen Stellungswiederholung führen, sind draußen und dennoch wird die Remisquote geringer sein als bei bekannten Eröffnungsbücher mit vergleichbarer hoher ECO Code Ausspielquote. Wobei mir keine Bücher bekannt sind die alle 500 ECO Code ausspielen können.

Das ist wirklich der Wahnsinn!
Nun gut, Projekt lief ja auch mit der FCP Rating List Vorbereitungsphase dann ca. 4 Jahre bzw. die Excel Tabelle wurde von Dir in fast einem Jahr harter Arbeit kreiert.

Gruß
Frank

PS: Testen auf maximal höchsten Niveau durch FEOBOS!
So soll es sein!
Parent - - By Frank Quisinsky Date 2018-01-10 23:54 Edited 2018-01-11 00:02
Hi,

ein Nachteil hat FEOBOS allerdings.
Auch wenn wir durch die letzten Optionen die geschaffen wurden, vieles was Engines zu Unrecht aussortiert haben retten konnten ...

FEOBOS dreht unsere bisherige Denke völlig um!!!

Meine, wir haben später ein Buch ohne Fehler, wissen aber ... das ca. 5% wichtiger Varianten fehlen könnten.
Denn es wird durch unsere Vorgehensweise dennoch gutes verloren gehen, auch wenn wir mit allen Mitteln arbeiten genau das zu vermeiden.

Das dreht wie gesagt den bisherigen Umstand bei Eröffnungsbücher völlig auf den Kopf!

Denn eigentlich ist es eher so:
Es ist alles drin was es so gibt (bei guten Büchern) aber ca. zu 15% sind Varianten enthalten, die für viele Engines nicht spielbar sind bzw. als schlecht beurteilt werden.

Genau diesen Umstand dreht FEOBOS völlig um.
Wir wissen: Das Buch produziert keine Buchfehler aber es könnten Varianten fehlen.
Spiegelverkehrt zu Entwicklungen aus der Vergangenheit.

Nun, perfekt wird es nicht gehen und die Frage ist eher? Was ist uns lieber?
Meine Antwort kann sich jeder an fünf Fingern abzählen.

Gruß
Frank

PS: Wobei ich die Frage im Raum lasse ob gut bekannte Eröffnungslinien wirklich gut sind (die die aussortiert wurden).
Es analysieren immerhin Engines, die bis zu 400-500 ELO stärker als der Schachweltmeister sind. Wobei wir wissen, das diese 400-500 ELO nicht für die Eröffnungsphase zutreffend sind. Denke eher, dass z. B. der Schachweltmeister in seinen bevorzugten A00-E99 Varianten den besten Engines zumindest ebenbürtig ist. Wobei kein mir bekannter Schachspieler in der Geschichte sich zu allen 500 ECO Codes gleichgut auskannte.

FEOBOS wird das Hammerbuch zum Testen von Engines!
Etwas nie dagewesenes auf aller höchsten Niveau.
Hat sich die ganze Arbeit wenigstens gelohnt, denke unbezahlbar was da geschaffen wurde.
Parent - - By Frank Quisinsky Date 2018-01-15 08:33 Edited 2018-01-15 08:41
Hallo,

bin hier umzingelt von Schachcomputern und Dokumentationen.
Gestern haben wir aber nur kurzer Hand v19 von FEOBOS hochgeladen bzw. die Dia-Show upgedatet.

Die neuen Funktionen zum automatischen Setting sind enthalten.
Nun können wir bis zum Lebensende die perfekte Eröffnungsbücher erstellen.
Wahrscheinlich mit Milliarden von Möglichkeiten aufgrund der möglichen Settings.



Gruß
Frank
Parent - By Frank Quisinsky Date 2018-01-15 15:12 Edited 2018-01-15 15:39
Hallo zusammen,

so, FEOBOS ist kurz vor dem Abschluss.
Was ist nun im Detail geplant?

1. Komodo untersucht als letzte der 10 Standard Engines die Update Datenbank. Das dauert noch ca. 8-9 Tage. Dann steht grundsätzlich Version 20, wenn denn nicht die Datenbank mit den Zugumstellungen, die Doku und die experimentellen Engines wären.

2. Wenn Komodo durch ist, muss jede Menge Zeug aus der Datenbank mit Zugumstellungen aussortiert werden, ca. 2.000 Stellungen die schnell zum Remis führen und 1.000 Stellungen der Rescue Option wieder hinzufügen. Dann steht die Datenbank mit Zugumstellungen und wird auch nicht mehr verändert. Genau dieses Aussortieren ist mächtig viel Arbeit, weil jede Stellung von Hand geprüft werden muss. Zu diesem Zeitpunkt erstelle ich auch v20 ohne Zugumstellungen. Da alles passiert bis ca. 04.02.2018.

3. Bei der Doku bin ich bei Seite 23 und kann erst weiter machen, wenn denn Komodo durch ist. Bin an der Stelle angelangt, wo ich die Excel Tabelle anhand von Anwendungsbeispielen erklären werde und dafür müssen die 10 Standard Engines durch sein. Die Doku wird sicherlich weit über 50 Seiten gehen (eher so 70-80?) denn unsere Excel ist mit den vielen Funktionen sehr mächtig geworden.

4. Zwar wäre dann alles fertig aber wir wollen ja die Austausch-Engines / experimentellen Engines. Senpai und Nirvana müssen noch ran und diese Analysen dauern bis ca. Ende Februar. Dann hätten wir 14 Sätze Engine Analysen der 41.614 Stellungen und von den 10 Standard Engines könnten rein theoretisch 4 ausgetauscht werden bzw. kann sich jeder mit den 14 kompletten Sätzen die 10 Standard Engines selbst bilden. Daraus dann mit eigenen Settings selbst die gewünschten Bücher bilden.

Wie das im Detail geht wird alles noch erklärt.

Wir werden also auch eine lehre Excel zur Verfügung stellen, zusammen mit den 14 Sets Engine Analysen.
Grundsätzlich haben wir bei Excel selbst den Stand erreicht, dass alles drin ist. Klaus hat ja von Anfang an dokumentiert und diese Doku steht natürlich schon.

FEOBOS ist also in den letzten Zügen, im wahrsten Sinne des Wortes.

Hoffe ich kann den Zeitplan einhalten, denn das alles ist sehr viel Arbeit. Schön ist, dass ich nach 4 Jahren Buchentwicklung und sicherlich tausende Stunden Arbeit das alles mal zum Abschluss bringe. Auch bin ich mit dem Ergebnis selbst endlich mal zufrieden gestellt. Habe nichts mehr was im Kopf zum Thema Eröffnungsbücher umherschwirrt, alle Ideen sind umgesetzt und das maximal beste ist herausgeholt. Die Ratinglisten SWCR und FCP haben als Sklave der Buchentwicklung Ihren Dienst abgeleistet und die Daten sind optimal genutzt und eingesetzt für zukünftige Zwecke. Das meines Erachtens optimale Buch zum testen von Schach Engines steht, alle 500 ECO Codes werden berücksichtig. Was ich dann noch machen werde, mich lediglich um das Buch mit Zugumstellungen kümmern. Werde zu jeden Zug im Buch wieder die richtigen Prios setzen und das für die Shredder GUI anbieten. Wer das für andere GUIs machen will hat alles was er braucht. Angefangen von der Excel über die Basisdaten im *.pgn und *.epd und die Beschreibungen hierzu.

Gruß
Frank

Noch ein Hinweis:
Die Datenbank mit Zugumstellungen halte ich für interessanter zwecks Simulation der GM-Theorie. Bei der Datenbank ohne Zugumstellungen ist die ECO-Code Aufteilung nicht so wie in der GM-Theorie. C-Codes bilden wenigen Zugumstellungen als z. B. B-Codes oder E-Codes. Wenn wir z. B. 100.000 GM Partien aus Datenbanken nehmen haben wir 70.000 Zugumstellungen drin.

Vorteil bei der Bucherstellung mit Zugumstellungen:
Das Buch ist unberechenbar und springt von ECO Code zu ECO Code. Sehr unangenehm für Menschen wenn das Buch einem Schachprogramm gegeben wird. Auch simuliert es besser das Menschenschach.

Nachteil:
Die Wahrscheinlichkeit, dass doppelte Partien während eines Eng-Eng Zweikampf von z. B. 100 Partien aufs Brett kommt liegt leider bei ca. 1%. Bei dem Buch ohne Zugumstellungen wird es weniger als 0.35% sein (bei 100 Partien). Diese Wahrscheinlichkeiten entsprechen meinen Prio Einstellungen zu den jeweiligen Varianten unter der Shredder GUI.

Der mit den Prios tanzt, bin dann wohl ich.
Der mit der Excel tanzt ist der Klaus.

Das muss dann jeder dann selbst wissen, ob er FEOBOS für die Bildung von beliebigen Test-Sets einsetzen möchte oder die Bücher mit und ohne Zugumstellungen oder ob eigene Bücher anhand vieler möglicher Setting Kombinationen ohne Zugumstellungen neu erstellt werden sollten. Die Möglichkeiten sind dann grenzenlos. Gerade weil die Basisdaten schön sortiert (beste Stellung in Position 1 der Datenbank) in PGN und EPD zur Verfügung stehen werden und der ganze Zauber dann unter jeder GUI betrieben werden könnte.
Up Topic Hauptforen / CSS-Forum / FEOBOS-Excel mit automatischem Setting

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill