Modularer Eröffnungsbuchaufbau (Teil 3) ...

By Frank Quisinsky Date 2017-02-15 07:14 Edited 2017-02-15 07:31

Hallo zusammen,

starte den nächsten Thread zum Thema (die beiden älteren werden unübersichtlich).

Wie beschrieben wird ein Buch in einem modularen System aufgebaut.
Zunächst ein Basisbuch mit Prioritäten gem. GM-Praxis (Modul 1). Später können dann gesammelte Varianten einfach hineinkopiert werden. An den gesammelten Varianten rechnen ja in den nächsten 3-4 Monaten 10 Engines. Die erste Stockfish untersucht alles (inklusive Zugumstellungen) und ist bei 60.172 von 87.417 Positionen angekommen. Deaktiviert wurden bislang 10.906%. Das wäre dann Modul 2.

Modul 1 ist simple aber sehr aufwendig.

Zunächst wurde das Internationale Schlüsselbuch der Schacheröffnungen in ein *.bkt Buch editiert, direkt mit den Prioritäten. Darauf gesetzt wurde die eco.pgn von Barnes (beides ist fertig). Nun steht Feintuning an.

Die readme.txt in englisch zu dieser Arbeit weiter unten:

Halte weiter auf einen laufenden Stand.
Die ganze Buchentwicklung wird ca. 5 Monate dauern.

Endergebnis soll sein:
- ein Buch welches gem. GM Theorie die beliebtesten Codes häufig, unbeliebte Codes weniger häufig ausspielt.
- alle 500 ECO Codes werden ausgespielt.
- alles was im Buch ist bleibt ausgeglichen.
- Vermeidung von doppelten Partien während eines Eng-Eng Wettkampfes, auch über 100 oder weit mehr Partien.
- Stand der Theorie ist Ende 2016
- Interessierte sollen später nicht im Buch arbeiten, sondern in einer beiliegenden Datenbank. Jederzeit kann eine Datenbank im modularen Systemen dem Buch hinzugefügt werden, Prios zum Ausspielverhalten steht.
- Interessierte können geprüfte Varianten in Form von Eröffnungsübersichten selbst hinzufügen, z. B. die Lieblingseröffnungen einfach importieren.

Es werden also über 20.000 ausgeglichene Vorgabestellungen inklusive Zugumstellungen zu einem Buch vereint, welches angepasst auf den 500 ECO Codes wurde und gemäß GM-Praxis ausspielt. Das ganze Buch wird wahrscheinlich nicht mehr als 15Mb im *.bkt Format haben und beinhaltet alles was irgend wichtig ist. Das meines Erachtens perfekte Testbuch für Engine Zweikämpfe / Rating Listen oder auch für Engine Bücher geeignet. Vorarbeit waren meine über 300.000 gespielten FCP Rating List Partien mittels vorbereitendem FCP Live Buch. Hier habe ich versucht das FCP Live Book so einzustellen, dass alles ausgespielt wurde als meine FCP Rating Liste lief aber dennoch nur Partien berücksichtigt wurden die ausgeglichen starteten. So wurden fast 8000 Varianten im Verlauf deaktiviert bzw. auch die vielen möglichen Varianten die zu einem schnellen Remis führten herausgeholt. Auf Basis der FCP Rating List Daten nun im abschließendem Step die Basis für ein nahezu "ultimatives" Buch.

Dieses Buch wird langfristig in drei Formate erstellt werden.
- bkt Shredder Format
- polyglot Format
- Wasp Format

Allerdings kann anhand der Basisdatenbank und der Erklärung der Vorgehensweise auch für jede Engine oder jedes andere Buchformat die Daten verwendet werden. So wird für alle Gruppen an Interessierten, auch die Schachcomputer Fans eine wirklich richtig geile Basisdatenbank stehen bei denen alle Zugumstellungen enthalten sind um ein fehlerfreies Eröffnungsbuch zu erstellen. Zu allen ECO Codes wird ausgeglichenes vorhanden sein. Die Länge der Buchzüge richtet sich nach der Läng des ECO-Codes bzw. geht zu 95% drei Züge tiefer ... nach Bildung des ECO Codes.

Was für eine Arbeit, kann mittlerweile alle 500 ECO Codes runter beten und kenne alle möglichen guten und schlechten Abfolgen (klar nach so vielen Jahren an dem ich daran arbeite). Nun ja, nun soll das ganze Projekt mit allen Ideen die in den letzten Jahren entstanden sind zum Abschluss kommen. Will ja mit den ECO Codes nicht alt werden.

Viele Grüße
Frank

PS:
Übrigens das Internationale Schlüsselbuch der Schacheröffnungen beinhaltet genau gesagt 28 kleinere und größere Fehler (beim editieren von Hand in den letzten Monaten aufgefallen). Dennoch eine fantastische Arbeit, bin immer wieder begeistert. Barnes komplettiert sehr schön modernere Varianten und auch die ganzen seltenen Varianten (viele aber unbrauchbar für Computerschach). Werden mit "g" später im Buch deaktiviert werden.

Code:


Basic opening book
for Shredder Classic GUI
in *.bkt opening book file format!
Later the same in polyglot and Wasp format!

### step 1 (Modul 1)
done

International Opening Keys by Sergiu Samarian
ISBN: 3.88805-299-8 (Beyer-Verlag)
June, 10th 1923 Chişineu-Criş, Romania – June, 03rd 1991, Heidelberg
was a Romanian–German chess master and coach!

Edit by Frank Quisinsky for Shredder Classic GUI by Stefan Meyer-Kahlen!

Priority’s set by hand compared to Grandmaster theory!
Please have a look in the file: gm-ecolist.txt
The new opening book will be later a near to perfect simulation to Grandmaster
theory to ~ 90%! Same as my FCP Live Book in the past.

File: a00-e99_samarian.bkt
= 5.180 moves / 2.781 lines

### step 2 (Modul 1)
done

Interesting is to copy the eco.pgn by David J. Barnes over that work as step 2.
https://www.cs.kent.ac.uk/people/staff/djb/pgn-extract/

David J. Barnes is informed about my project and gave his permission!

File: a00-e99_samarian-barnes.bkt
= 7.517 moves / 3.283 lines

For the moment 2.337 new moves / 502 lines (comes from "David J. Barnes eco.pgn)
have no priorities. Will be corrected with step 3.

### step 3 (Modul 1)
This step need a while!
Start working around middle of February 2017.

- fine tuning with my own notes, collected during my work on FCP Live Book.
- fine tuning with priorities inside the ECO codes.

Note:
Priority "g" will be = deactivated moves from Samarian / Barnes

File: a00-e99_basics.bkt
= ... moves!

### step 4 (Modul 2)
This step need a while and is ...
still running undo ~ end of May 2017.

The error-free opening lines (after engine analyses) can be imported very easy.
10 engines will be analyses the position I collected with my work on
FCP Live Book in addition to newer grandmaster theory and older theory I added
to rarely opening lines.

If you like:
Have a look in my documentation in German language.

### step 5 (Modul 3 = modules of users)

Can be your own *.pgn database with opening lines or if you like you can
created *.pgn databases for your favorite ECO codes. Should be very
easy to added your own work in addition to my Modul 1 and 2.

Note:
Please be informed that this are work files only and not ready yet!
At the moment I am working on step 3 & 4 and on my German documentation.

February 15th, 2017 (06:45)
Frank Quisinsky, Trier (Germany)

By Frank Quisinsky Date 2017-02-15 07:41 Edited 2017-02-15 08:03

Wenn Stefan Pohl mitliest:
Ich habe in meinen älteren Sicherungen mal ein wenig gesucht.

Es gab seit dem Jahr 1996 6 Dateien bzw. Versuche die ECO Codes in eine PGN zu übernehmen (zumindest mir bekannte Versuche die ich verfolgt hatte). Barnes schreibt selbst von Quellen aus der er die Daten hat bzw. neu editiert hat. Kann auch die Quellen nachvollziehen mit den Aufzeichnungen bzw. meiner Sammlung. Barnes ist über mein Projekt informiert. Samarian kann ich leider nicht mehr informieren (ist verstorben).

Bei Samarian ist es oft so dass er schrieb ...
Variante bzw. ECO Code Bildung geht bis Zug 6 ... dann gibt er oft nur 1 Beispiel für Abspiele.
Zu den meisten Codes gibt er mehrere Beispiele.
Letztendlich habe ich jeden Zug aus dem Buch editiert und Barnes oben drauf gesetzt.
Barnes / Samarian wird nun optimiert mittels meiner Eng-Eng Aufzeichnungen bzw. im Grunde bin ich nur der Sklave der Engines und optimiere mit Engine Wissen.

Die beiden Werke werden jetzt mit meinen Aufzeichnungen bzw. Kenntnisse und anderen Werken aus geschriebenen Büchern optimiert und das Ausspielverhalten zu ausgeglichenen Eröffnungen angepasst. Denke das wird ca. 2 Monate dauern. Wichtig hier eigentlich nur das gem. aktueller GM-Theorie ausgespielt wird bzw. das was ausgespielt wird immer ausgeglichen ist und nicht so tiefgehend ist damit die Engines dann selbst frühestmöglich starten können.

Für diesen Zweck habe ich mir ein neues Schachbrett und Figuren bei Niggemann geordert.
Muss mal andere Figuren in die Hand nehmen.

Überlege mein DGT Brett zu verkaufen.
Vielleicht werde ich das bald anbieten, satt gesehen.

Viele Grüße
Frank

PS: Die editierten *.bkt Bücher finden sich im Download zum laufenden Buchprojekt (derzeit fast 100 MB, weil Günter ja unbedingt die Engine Analysen haben möchte).
a00-e99_samarian.bkt und a00-e99_samarian-barnes.bkt.
Später dann die optimierte Datei als a00-e99_basic.bkt.

Datenbank mit Varianten und die a00-e99 Basics müssen einfach getrennt werden!
Meines Erachtens auch der optimale Buchaufbau für die Zukunft um moderne Theorie jederzeit anzupassen.

Es ist so auch einfacher die Prios anzupassen. Wenn jemand z. B. mehr B01 sehen möchte.
Außerdem ist immer alles was im Buch ist in einer begleitenden *.pgn Datenbank. Dort kann gelöscht werden und jederzeit wieder zum Basic Buch editiert werden ohne das Prioritäten gesetzt werden müssen.

Letztendlich werden unsere Engine-Engine Zweikämpfe und ein vielfaches hochwertiger.

Es geht also voran ...
Und vielleicht kannst Du Dein Buch welches aggressiv ausspielt (bei Damen auf dem Brett) später mit diesen Dateien auch selbst anpassen, z. B. mit den Basics zu A00-E99 oder der aus meiner Datenbank noch interessantes herausfischen.

Sinn und Zweck ... jeder soll die Daten so nutzen können wie er es für die eigene Zwecke für sinnvoll hält und meine Arbeit von 3 Jahren an dem FCP Live Book bzw. der Ratingliste war nicht umsonst.

By Frank Quisinsky Date 2017-02-15 08:17 Edited 2017-02-15 08:22

Ach ja und zum Informator ...
Der geht für unsere Zwecks zu tief.

Sahovski ist jederzeit gut um etwas zu überprüfen bzw. nachzuschlagen aber am Ende steht oftmals eine nichtssagende Bewertung und oftmals meines Erachtens auch nicht korrekt wenn ich mir so die Engine Analysen anschaue, vielleicht aber auch eher zu hoch für mich. Dann das herauszupicken was ausgeglichen ist ... bei so tiefen Varianten? Die Engines sollen spielen und maßgebliches als Vorlage haben. Dennoch ist Sahovski das gewaltigste Werk welches es gibt und sicherlich die Nachschlagequelle Nummer 1.

Besser als Sahovski für unsere Zwecke ist eher Batsford's Modern Chess. Allein weil am Ende der Bewertungen besser zu verstehende Kommentare eingepflegt sind. Auch die Übersichten von Larry Kaufmann in seinem Buch sind gar ein wenig auf Computerschach angepasst. Wenn gleich ich oft denke das Larry zwar positionell und strategisch hervorragend arbeitet aber nicht unbedingt selbst zu den eingefleischten Taktikern gehört. Dennoch auch sehr gut das Buch von Larry Kaufmann. Die Übersichten zu A00-E99 von Wolfgang Daniel sind wirklich nur Übersichten wann ein ECO Code beginnt. Gut gemacht aber Samarian ist da doch wesentlich interessanter.

Wer sich denn für Theorie für den Zweck Computerschach interessiert. Auch sehr gut sind immer so Einzelwerke zu Eröffnungen wie z. B. von Jovanka Houska (Eröffnungsreihe, z. B. Skandinavisch). Gut zu lesen für uns und auch zu gebrachen für unseren Zweck.

Alles so Geschichten ... und alles irgendwie auch notwendig für die Arbeit die ich mir hier mache.
Komme immer zum Endergebnis das wir eine wahnsinnig gut herausgearbeitete Eröffnungstheorie haben. Als ich mit Schach begonnen habe war diese schon sehr gut (denke an die 25 Bücher zur Eröffnungstheorie die ich mir bei Mädler mal vom älteren DDR Verlag gegönnt hatte und über viele Jahre meine Quelle war) aber heute um Klassen verbessert. Bin mal gespannt wie es in 10 Jahren dann ausschaut.

Gruß
Frank

By Guenter Stertenbrink Date 2017-02-15 11:24

was haeltst du von Cerebellum (demnaechst ? verfuegbar) , wo liegen Vor-/Nachteile zu deinem Buch

By Frank Quisinsky Date 2017-02-15 11:50 Edited 2017-02-15 11:55

Hallo Günter,

nicht wirklich miteinander zu vergleichen.
Denke die Ideen hinter Cerebellum sind großartig.

Ganz sicher ein professioneller Aufbau entgegen älteren Konzepten die es gilt wirklich mal komplett zu überdenken. Gefragt sind auch GUI Programmierer, denn an den Buchoptionen lässt sich vieles verbessern. Was wir haben halte ich persönlich für nicht ausreichend.

Einzig was mir an dem Cerebellum Buch nicht gefällt ist, das versucht wird immer in beste Bewertungen zu kommen und mithin viele doppelte ECO Codes innerhalb kleinerer Matches. Die Variabilität muss verbessert werden. Aber ansonsten gibt es von meiner Seite nichts zu beanstanden.

Wie gesagt, ich verfolge mit meinem Buch einen ganz anderen Verwendungszweck.

Ansonsten: Cerebellum ist "Must have" ... ganz klar!
Und von den herkömmlichen Bücher ganz klar das Hiarcs Buch ... auch "Must have". Da steckt richtig Handarbeit drin!

Gruß
Frank

Reizvoll für mich an dem Cerebellum Buch ist, dass Theorie-Neuerungen aufzuspüren sind.
Denke für Fernschachspieler als auch Großmeister mindestens "Must-Have"!
Insofern großes Kompliment an den Entwickler.

Und Cerebellum gegen mein späteres Werk ...
Kannst Du mal testen wenn fertig ... mein Buch wird niemals in einen Nachteil geraten wenn unklares kommt wird die Engine selbst berechnen.
Cerebellum ist natürlich viel tiefer ... weil bei mir 3 Züge nach ECO-Code ist Ende Gelände, weil Engines sollen rechnen.

Denke auch das die Remisquote beim Einsatz von Cerebellum zwischen den TOP-Engines höher geht (Varianten gehen teils sehr tief ... und sehr positiv ist ... zu wirklich schwierigen Eröffnungen ist die Tiefe eher besser als das was ich mache). Aber wie gesagt, der Einsatzzweck ist ein anderer!

By Guenter Stertenbrink Date 2017-02-16 09:28

hmm, ich hab gar nicht gewusst, dass es Buch-Turniere gibt !

https://sites.google.com/site/computerschess/scct-book-cs-13

By Frank Quisinsky Date 2017-02-16 10:09 Edited 2017-02-16 10:13

Halte nicht viel davon.
Weil die Partien mit immer weniger Figuren auf dem Brett entschieden werden.
Nur wenn klare Buchfehler drin sind gibt es Book-Niederlagen.

Eigentlich völliger Quatsch!

Was aber Sinn macht wären Buchturniere die nach Buchende die Stellungsbewertung miteinander vergleichen.
Das mache ich z. B. wenn ich Bücher vergleiche um mir einen Überblick zu verschaffen.

Nehme als Referenzbuch immer das Hiarcs Buch.
Und glaube mir, ich habe teilweise noch nie so viel Schmarn gesehen was oftmals in den Büchern drin ist.

Vermutlich sammeln Spieler Großmeister Partien (weil ja vom Großmeister) und schmeißen das alles in ein Buch.

Ganz schlimm ist dann die folgende Situation ...
Großmeister spielt Fehler im Zug 5, Gegner sieht den Fehler nicht bei Gegenzug 5.
Im Zug 6 ist dann alles wieder ausgeglichen.

Was für ein Mist ... und von solchen und vergleichbaren Situationen gibt es sehr viel ...
Auch bei mir oft aufgefallen da die Grundbasis ja nun auch für die ersten Züge die GM Partien sind.

Denke von solchen Partien habe ich ganz sicher schon 40-50 eliminiert.

Ein richtig gutes Buch entsteht mit der Zeit.

Mache mal folgendes Experiment:
Nehme vom Informator (Sahovski) mal A44 und A56 Varianten.
Nun überprüfe die Endstellungen.

Da scheiden gut und gerne 50% aus. Klar bei A44 deutlich mehr ... ist aber auch so ein Ding!
Weil beim Informator auch Ziel ist aufzuzeigen warum die Variante A oder B nicht gut ist.

Und solche Informator Partien wandern ungeprüft in die Bücher für Engines ... weil ja vom Informator.

Bei reinen Engine Büchern schaut es anders aus.
Wäre natürlich gut wenn auf einen schlechten Zug dann direkt die richtige Antwort kommt.
Aber wie gesagt, dass ist nicht mein Ziel.

Dennoch die perfekte Quelle um z. B. zu Eröffnungen wo wenig vorhanden ist zu suchen was spielbar ist (Informator).
Was ich natürlich auch mache, wie auch die vielen anderen Bücher zur Eröffnungstheorie die ich nutze.

Aber zu 80% nutze ich dann "eigenes Material" ... ist ja nichts eigenes Material (kommt alles von hier oder dort und wird nur optimiert) und hiervon haben Engines dann ca. ab Zugtiefe 6 zu 50% bei meinem Material selbst berechnet. Auch das muss nicht gut sein, so musste ich viel im FCP Live Buch was von Engines kam auch wieder deaktivieren. Dennoch macht meine Datenbank dann alles sehr besonders weil es eben nicht nur gesammeltes Zeug ist sondern auch viele Dinge enthalten sind, die z. B. bei GMs noch nicht auf dem Brett waren.

Wie gesagt ...
Ein wirklich gutes Buch entsteht mit der Zeit und ein Buch zu kreieren was nur ausgeglichenes enthält aber alles ausspielt ist eine echte Aufgabe.
Daher reizt mich das auch.

Gruß
Frank

By Guenter Stertenbrink Date 2017-02-16 14:50

Komodo gegen Stockfish sollten doch merken wie gut die Varianten sind.
Rein statistisch; auch wenn die Partien meist spaeter entschieden werden.

Hast du das Buch zur Teilnahme eingereicht oder machen die
das automatisch aus deinen Partien ?

By Frank Quisinsky Date 2017-02-16 15:38 Edited 2017-02-16 15:42

Hallo Günter,

macht keinen Sinn daran teilzunehmen.
Ganz einfach weil ich mittels Buchzüge nicht versuche in Vorteil zu kommen.

Ich versuche mittels Buch immer in ausgeglichener Stellung zu kommen.
Genau das ist für einen engine-engine Zweikampf wichtig.

Engines sollen so früh als möglich starten in ausgeglichener Stellung bei Ausspielung aller 500 ECO Codes.

Es macht für dieses Buch also keinen Sinn teilzunehmen und wie geschrieben, halte davon absolut nichts weil absoluter Quatsch.
Wenn eine Buchvariante endet ist die Partie noch nicht entschieden, es sein denn sie endet in deutlich vorteilhafter Stellung.

Wer hat das beste Killerbuch ...
Auch eine Aufgabe, wenn gleich auch wieder einfach.

Gibt 82 ECO Codes bei denen teils viele direkten Abspiele möglich sind um einen Fehler zu produzieren, sofern nicht mehr als 7 Züge (bezieht sich die Anzahl 82 drauf) ausgespielt sind und aus bis dahin Theorie-Fahrwasser kommt.
Also bis Zug 6 Theorie und dann auf einen harmlosen Zug, der sich als Fehler ortet, den Vorteil zu erringen.

Kennst Du diese 82 ECO Codes bzw. die gefährlichen Abspiele musst Du nur versuchen diese so schnell als möglich zu erreichen.

Wer solche Bücher erstellt benötigt zunächst mal einen Aufbau wie erreiche ich diese gefährlichen Varianten immer wieder durch Zugumstellung. Und schon sind wir beim Thema eines jeden Schachspielers, der sich zunächst mal ein eigenen Baum anlegt bzw. immer versuchen wird in sein Fahrwasser zu gelangen, bzw. in Eröffnungen die er mag.

Nochmals ...
Das alles ist nicht die Zielsetzung von meinem Buch.

Mein Buch dient für Engine Turniere oder Ratinglisten ... damit möglichst keine Engine durch eine Buchvariante benachteiligt / bevorteilt wird und der Kräftekampf dann letztendlich so früh wie möglich starten kann.

Gruß
Frank

Und ganz sicher gibt es auch mehr als 82 ...
Das sind nur die, die ich gesammelt habe seit ich 10 bin ... in 40 Jahren ... zuletzt dann vermehrt durch engine-engine Partien. Aber meist sind es immer die gleichen Eröffnungen und meist sind es in den unterschiedlichen Eröffnungen immer die gleichen Muster und die meisten dieser Muster haben zu tun mit ... "Die Macht der Bauern".

By Guenter Stertenbrink Date 2017-02-17 14:20

ist mir schon klar, dass deine Zielsetzung anders ist.

Aber wenn wir die Analysen schon mal haben, wenn sie fertig sind,
koennte man doch davon auch gut ein geeignetes Buch machen,
das dort teilnimmt.
Verschiedene engines analysieren dieselbe Position, das sollte
ziemlich selten sein und gut fuer ein "Fallenbuch"

Oder fuer SCCT : das Herausfiltern von Positionen,
die stockfish,komodo auf hoher Stufe deutlich anders sehen
als auf 3min-SCCT Stufe

Immerhin wurde das Cerebellum korrekt als "spielstark" erkannt
und steht auf Platz 2.

--------------------------------------

2014 thread hier:
http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?tid=7340

Oh..sorry,Attacker 2.0 is a private book