Einfluss der Eröffnungsbibliothek

By Frank Quisinsky Date 2016-03-18 20:02 Edited 2016-03-18 20:14

Hallo Thomas,

lese ja gerne Deine Beiträge zum Thema Eröffnungen.

Kenne die beiden Sammlungen aber halte von beiden rein gar nichts.
Es sind zu viele Stellungen drin die ich schon längst aufgrund der Eng-Eng Matches in meinem Buch mittels "f" deaktiviert habe.

Bei A-lastig habe ich auch immer ein wenig Bauchschmerzen, denn ...

Hatte bis vor 2 Jahren eine Datenbank gepflegt bei der ich einfach nur die maßgeblichen GM-Partien hinzugeführt habe, die auch meist bei Theorie Kommentare zu finden sind. An dieser Datenbank arbeitete ich auch viele Jahre. Einfach um mir einen Überblick zu verschaffen hinsichtlich welche Eröffnungen wirklich auf sehr hohen Niveau populär sind.

Games : 135430 (finished)

Code:


White Wins   :  47252 (34.9 %)
Black Wins   :  29841 (22.0 %)
Draws        :  58337 (43.1 %)
Unfinished   :      0

White Perf.  : 56.4 %
Black Perf.  : 43.6 %

ECO A =  18877 Games (13.9 %)
ECO B =  36313 Games (26.8 %)
ECO C =  23767 Games (17.5 %)
ECO D =  30737 Games (22.7 %)
ECO E =  25736 Games (19.0 %)

Und die ECO A codes sind ziemlich rar. Wenn ich das nun mit einer normalen GM Datenbank vergleiche geht es auch nur um 3% nach oben.

In meiner Ratingliste erziele ich trotz x Optimierungen dann folgendes Ergebnis:

Code:


ECO A        =  36.652 games (19.0%)
ECO B        =  45.113 games (23.3%)
ECO C        =  38.923 games (20.1%)
ECO D        =  38.183 games (19.8%)
ECO E        =  34.427 games (17.8%)

Bei ECO C dann absichtlich etwas mehr (ist mir zuwenig was die GMs auf höchster Ebene ausspielen). Bei ECO B reichen mir die 23.3%. D könnte 2% höher sein und A könnte 2% niedriger sein. Muss mal schauen wie ich das wieter optimiere.

Im groß und ganzen bin ich ja der Meinung das alles ausgespielt werden sollte aber seltene Systeme dann wirklich selten. Bin der Meinung das ca. die gleiche Gewichtung herrschen sollte wobei zugegeben die B-Codes und auch die D-Codes ein leichtes Übergewicht haben sollten.

Wenn Du nun A-lastig einen Test durchführst wirst Du erkennen dass sich plötzlich verschiedene Ratings leicht verschieben (ca. bei 20% der Engines, schwanken die Werte um bis zu 20 Elo). Damit hatte ich schon mal experimentiert weil ich mit meinem Buch immer schon das gleiche Probleme hatte ... zu A-Lastig. Wie gesagt, mittlerweile bin ich zu 90% mit der Aufteilung der ECO Codes zufrieden aber gerade viele Eröffnungen ab A53 entstehen durch Zugumstellungen, gleiches bei den Engländern. Mein Buch beinhaltet die gängigen Zugumstellungen und das ist das Problem daher habe ich 19%. Auch in vielen Abspielen bei der englischen Eröffnungen kommt es schnell zu Mobilitätsproblemen bei Engines ... mit anderen Worten, eine ganze Reihe von Programmen verpennen viele Tempis und geraten schnell in Nachteil weil der Aufbau nicht so richtig verstanden wird. Dann die ganzen Holländer die in 80% der Bücher zu oft ausgespielt werden weil die ECO Aufteilung nicht korrekt ist. Gerade die Holländer ... die Engländer ... und die vielen Zugumstellungen alleine bei diesen beiden dicken Systemen. Möchte nicht wissen wie viele Stunden ich damit verbracht habe das Problem weitestgehend bei meinem Shredder Buch in den Griff zu bekommen.

Bin halt immer sehr kritisch mit Eröffnungsbücher und solchen Sammlungen. Die meisten bestehen noch nicht mal meine erste Prüfung ...
Wirklich gute Bücher für Eng-Eng testen gibt es meines Erachtens sehr wenige. Das sind meist immer nur gut gemeinte Sammlungen aus irgend welchen GM Partien und in 10% der Fälle geraten bei solchen Sammlungen die Engines schon in schwächere Stellungen. Und das gerade bei den A-Codes, natürlich auch vielen C-Codes und den letzten E-Codes.

Alles nicht so einfach!

Gruß
Frank

PS:
Denke eine Engine sollte grob alles spielen können. Immer mit den gleichen Stellungen zu testen führt dann unter Umständen auch nicht zum gewünschten Erfolg. Vielleicht macht es gerade mehr Sinn die problematischen Eröffnungen zu sammeln und darauf dann eine Engine zu optimieren. Nicht die, die eh gut gespielt werden und darauf das Buch optimieren. Also gerade bei einem Test die Franzosen, Königsinder und Holländer ausspielen lassen, auch viele Gambit Eröffnungen zu probieren um zu versuchen die Eröffnungsphase mittels solcher Eröffnungen besser zu optimieren.

By Thomas Plaschke Date 2016-03-18 20:38

Hallo Frank,
leider habe ich keine "besseren" Bücher (als pgn-Datei). - Und selbst hunderte Varianten Stück für Stück nach meinen Vorstellungen und Vorlieben zusammenzustoppeln ist eine irrsinnig aufwändige Aufgabe. - Etwas für verrückte Überzeugungstäter, oder?

Ich hätte auch gar nicht die richtigen Tools dafür, fürchte ich.

Aber ich wollte die Diskussion gar nicht in Richtung "optimales Buch" führen.

Das Ergebnis meiner beiden Durchläufe scheint mir zu beweisen, dass Ranking-Listen auch von den verwendeten Eröffnungsbüchern abhängen. Bei vergleichbaren Rahmenbedingungen kann das Buch die Reihenfolge stärker beeinflussen als ich es bisher für möglich gehalten habe. In der Diskussion wurden unterschiedliche Ergebnisse nach meinem Eindruck eher auf unterschiedliche Hardware oder andere Unterschiede zurückgeführt. Aber auch bei der Engine-Entwicklung sind unerwünschte Einflüsse möglich. Wenn bspw. eine Rangliste mit dem gleichen Buch ermittelt würde wie es bei einer der getesten Engines in der Entwicklung für Engine-Engine-Vergleiche benutzt wird, stünde diese Engine in dieser Rangliste besser da als es ihrer Spielstärkeverbesserung entspräche.

Ich folgere daraus (für mich) keinen Handlungsbedarf. Bei der Betrachtung von Spielstärke-Rankings werde ich aber künftig daran denken, welchen Einfluss das verwendete Buch gehabt haben könnte.

Viel Grüße
Th. Plaschke

By Frank Quisinsky Date 2016-03-18 21:40

Hallo Thomas,

ich erstelle Dir eine PGN mit ausgeglichenen Eröffnungen.

Bewertung weiß nicht größer als +50 ... Prüfung drei Züge nach den Buchzügen.
Bewertung schwarz nicht größer als -35 ... Prüfung drei Züge nach den Buchzügen.

Kappe die Datenbank nach Zug 12 und hole die doppelten raus.

PGN hast Du dann in ein paar Stunden.
Stelle die dann in diesen Thread.

Ja, natürlich werden die Ratinglisten von den bestehenden Bücher beeinflusst. Allerdings mal mehr mal weniger (Engine abhängig). Gerade Engines die schon in der Eröffnung Probleme haben kommen mit diversen Varianten einfach nicht klar.

Wie gesagt, dauert ein paar Stunden und dann hast Du eine PGN und kannst locker daraus eine Buch formen bei den alle ECO Codes je nach Beliebtheit der Systeme angesprochen werden. Kannst ja dann mal damit testen und mit Deinen Vorgabeeröffnungen das Resultat vergleichen.

Weiterhin viel Spaß ...

Gruß
Frank

By Thomas Plaschke Date 2016-03-18 22:20

Na, da sage ich schon mal "Danke" im Voraus!

Viele Grüße
Th. Plaschke

By Frank Quisinsky Date 2016-03-19 01:36 Edited 2016-03-19 01:45

Hallo Thomas,

das könnte echt die Basis für das ultimative Buch sein.
Frage nur nicht was ultimativ ist ...
Weiß es ja selbst nicht!

http://www.amateurschach.de/download/_equal-positions_20160319.zip

Also eine PGN mit 94.635 ausgeglichenen Positionen.
Geprüft von den TOP-60 die wir so haben.

Hier die Aufteilung dieser Datenbank:

Code:


Games        :  94635 (finished)

White Wins   :  31196 (33.0 %)
Black Wins   :  24047 (25.4 %)
Draws        :  39392 (41.6 %)
Unfinished   :      0

White Perf.  : 53.8 %
Black Perf.  : 46.2 %

ECO A =  20330 Games (21.5 %)
ECO B =  21718 Games (22.9 %)
ECO C =  15524 Games (16.4 %)
ECO D =  20235 Games (21.4 %)
ECO E =  16828 Games (17.8 %)

Im Download File findet sich dann noch die Übersicht wie viele Partien zu jedem ECO Code sich in der PGN versteckt.

Damit sollte sich dann für jedes Programm ein Buch zum Testen erstellen lassen.

Gruß
Frank

Enthalten sind die Zugumstellungen, welche ja optimiert sind (Anzahl der Zugumstellungen die zu den ECO Codes führen).
Wenn Du die draußen haben willst geht das mit der Toolsammlung von Norm.

Für die anderen Leser:
Wer möchte kann das Tool von Volker Annuss von meinen Webseiten laden.
Das erstellt aus dieser Datenbank Test-Sets belieber Größe per Zufallsgenerator und optimaler ECO Aufteilung.
Grundsätzlich sollten sich alle von diesen Stellungen für einen Test-Set eignen, da ausgeglichen.

Interessant an dieser Datenbank ist, dass Engines in ca. 30 - 40% der Fälle ab Zugtiefe 6 zu im Grunde allen Eröffnungen und diversen Varianten Züge selbst herausgefunden habe. Mit anderen Worten, diese Züge finden sich in keiner GM Datenbank oder sonstigen Datenbanken. Die Kraft meiner FCP Rating Liste und gezielter Buchoptimierung mit der ich aber zugegeben auch nur zu 90% zufrieden bin.

By Frank Quisinsky Date 2016-03-19 09:18

Wer die Zeit hat, kann ja nochmals Hakkapeliitta, Stockfish, Komodo, über die Daten laufen lassen.
Vorher eine EPD erstellen und dann die Endpositionen bewerten lassen, macht die Shredder GUI sehr schön.

Vermutlich finden sich dabei weit unter 1% an Stellungen die vielleicht über 0.5 bzw. -0.35 gehen.

Analysezeit bei ca. 1 Minute für jede Stellung:
65 Tage bei einem Core und einer Engine!

Wenn die Datenbank also aufgeteilt wird in 4 kleinere Datenbanken sollte das dann bei 1-Minute und einem Core ca. nur 16 Tage benötigen.
Meine 14 Cores würden dafür ca. 4.643 Tage benötigen. Nur habe ich derzeit noch zu viele Engines zu testen. Vielleicht mache ich das mal wenn nichts zu testen ist.

Also ca. 14 Tage wenn ich die oben genannten TOP-Engines für Eröffnungsanalysen drüber laufen lasse bei 14 Cores, 1-Minute pro Stellung.

Würde mich natürlich freuen wenn jemand die Lust und Zeit hat und mir die Daten die dabei herauskommen mailt.

Gruß
Frank

By Frank Quisinsky Date 2016-03-19 09:34

Unter der Arena GUI kann die PGN Datenbank als PGN-Random Option eingesetzt werden.
Da muss kein Buch erstellt werden.

Per Zufallsgenerator wählt die GUI dann eine der Stellungen für Eng-Eng Matches.
Da schon in der Datenbank, welche nach ECO Code sortiert ist, die ECO Aufteilung stimmt (nur minimal zu A-lastig, vielleicht 2% zu hoch) wird als Resultat auch wieder eine optimale ECO-Aufteilung herauskommen.

PGN-Random ist eine Idee von mir, die Martin vor den Arena Buchoptionen eingepflegt hatte. War seinerzeit wie heute der Meinung, dass Buchoptionen unnütz sind wenn eine vergleichbare Datenbank vorliegt.

Habe Norm Pollock die Daten gerade gesendet.
Er wird sicherlich eine perfekte EPD erstellen und auch mal nach den Zugumstellungen schauen.

Gruß
Frank

By Frank Quisinsky Date 2016-03-19 21:57

Hallo Thomas,

hier dann die Version 2.0 (gleicher Download Link).
Enthalten ist eine EPD die Norm mir gefertigt hat.
Du kannst sehen das es sich genau genommen um 59.911 End-Positionen handelt.

Die doppelten Positionen sind aufgeführt in der EPD selbst.
Also die Zugumstellungen oder doppelte Partien die ChessBase nicht gefunden hat.

Im Grunde müssen die jetzt aus der Datenbank herausgefischt werden.
Habe Norm nochmal gefragt ob das mit seiner Toolsammlung geht.

Dann hätten wir ein reines PGN File ohne doppelte Partien und Zugumstellungen.

Gruß
Frank

By Thomas Plaschke Date 2016-03-20 13:36

Hallo Frank,
ein Vorteil Deiner Datenbank ist, dass die verschiedenen Eröffnungssysteme (einigermaßen) gleichmäßig verteilt sind. Erst dachte ich, dass es besser wäre, wenn die gebräuchlicheren Varianten stärker vertreten wären. Aber je gleichmäßiger alle Schlüssel berücksichtigt werden, desto besser lässt sich erkennen, mit welcher Eröffnungsanlage die Engines besser zurecht kommen. Eine Zusammenstellung von (gerade gebräuchlichen oder persönlich bevorzugten) "Mode-"Varianten leistet das nicht oder nicht so gut, denke ich.

Ein kurzer Test über Nacht

Code:

   # PLAYER              : RATING  ERROR   POINTS  PLAYED    (%)   CFS(next)
   1 Stockfish-160315    :   3270     15    162.5     300   54.2%      88
   2 Komodo 9.1          :   3255     15    153.0     300   51.0%      99
   3 DON-040316          :   3226     15    134.5     300   44.8%     ---

scheint die Abhängigkeit des Ergebnisses vom verwendeten Buch zu bestätigen.

Elostat weist zwar bei diesem Test keine gleichmäßige Verteilung der ECO-Codes aus, aber das muss nicht an der Zufallsauswahl von Cutechess liegen, sondern kann auch von der niedrigen Partienanzahl herrühren.

Code:

ECO A =    154 Games (34.2 %)
ECO B =    104 Games (23.1 %)
ECO C =     74 Games (16.4 %)
ECO D =     52 Games (11.6 %)
ECO E =     66 Games (14.7 %)

Ein Aussortieren der Zugumstellungen halte ich auch für wünschenswert. Ich kenne aber auch kein Tool dafür, dass das leistet (Was Zugumstellung ist und was nicht könnte nur anhand einer Bibliothek erkannt werden, die man mit dem Programm gerade herstellen will. Und wie bekommt man so eine Bibliothek? ... Henne-und-Ei-Problem, oder?).

Viele Grüße
Th. Plaschke

By Frank Quisinsky Date 2016-03-20 14:08 Edited 2016-03-20 14:18

Hallo Thomas,

mittels "txtNarrow" aus der (TXT Sammlung von Norm) die Datenbank Nummern besser filtern.
Dann eine Liste dieser Nummern editieren in eine neue Textdatei "numbers" ohne Dateiendung.
Dann mittels "numExtract" (PGN Sammlung von Norm) die doppelten löschen.

Hört sich einfach an ist es aber nicht.
Das Problem ist die "numbers" Datei anzufertigen.

Über 40.000 Nummern müssen sauber hier rein editiert werden.
Das ist eine Horror Arbeit und würde einige Tage Arbeit bedeuten.

Dann die ca. knapp 60.000 übrig gebliebenen Stellungen mittels EPD 1-Minute Analyse noch von 3 Engines kontrollieren lassen.

Selbst muss ich das nicht machen, bin ja schon viel weiter mit meinem Shredder Buch. Habe für die Eröffnungen die Prios gesetzt, habe sicherlich fast alle schlechte Varianten herausgefiltert und mein Buch spielt nahe an der Perfektion aus. Das Problem ist nur, ich habe begleitend zum Buch keine PGN davon. Diese könnte ich wie oben beschrieben erstellen aber es wäre wie gesagt eine Horror Arbeit, die ich ja dann für andere tun würde. Ich selbst nutze natürlich mein Shredder Buch, an dem ich fast täglich, durch die vielen Partien die ständig hinzu kommen, arbeite.

Aber fest steht ...
Es wäre perfekt die Doppelten und Zugumstellungen aus dem PGN herauszunehmen. Zumal nach dem Ende der Arbeit eine optimale Datenbank mit optimaler ECO Aufteilung stehen würde. Diese optimale ECO Aufteilung wurde durch das setzen der Prioritäten in meinem Buch erzielt ... alleine diese Arbeit (setzen der Prios) hat über 1 Jahr in Anspruch genommen.

Bin auch oft hin- und her gerissen ob ich ein neues Shredder Buch erstelle und dann erneut die ganzen Arbeiten durchführe. Würde aber auch nur das Resultat haben, dass im Buch selbst die "f" Varianten nicht mehr auftauchen und sonst "fast" alles gleich sein würde. OK, das Buch würde dann bis 12 Züge gehen, derzeit hat das Buch ja keine feste Zugtiefe. Die meisten Varianten gehen bis Zugtiefe 10 ... bei ECO Codes die spät enden natürlich auch schon mal weit über Zugtiefe 10. Habe x Variaten per Hand vom Information ergänzt. Das heißt wenn ich dieses PGN file nutzen würde, würden in viele Varianten ab Zugtiefe 10 dann nochmals riesige Bäume entstehen weil oft das Buch mit Zug 10 endet und dann die ganzen Engine Züge danach bis Zugtiefe 12 hinzukommen.

Letztendlich hat das Buch bis Zugtiefe 10 ca. 40.000 Stellungen. Also ca. 20.000 Stellungen von Zug 10-12 durch das abschneiden ab Zugtiefe 12. Was auch notwendig ist, weil sonst einige ECO Codes gar nicht erkannt werden. In meinem Shredder Buch sind derzeit auch ca. 40.000 aktive Varianten enthalten.

Letztendlich würde ich meine eigene Arbeit durch dieses neue Buch gar verschlechtern, ganz unabhängig davon das ich schon viele Steps weiter bin. Aber eine PGN Datei vom Buch würde auch bedeuten ich könnte für alle GUIs oder Engines mit geringen Aufwand ein super geiles Buch erstellen, welches fast die sehr guten Ergebnisse von meinem Shredder Buch simulieren würde.

Das ist der Grund warum ich nur zu 90% zufrieden bin.
Ich hätte die ganzen Arbeiten besser dokumentieren sollen und nebenbei auch die PGN zum Buch pflegen sollen.
Das kann ich aber jetzt nicht mehr ändern.

Viele Grüße
Frank

By Thomas Plaschke Date 2016-03-20 14:58

Frank Quisinsky schrieb:

...
Selbst muss ich das nicht machen, ...

Allerdings nicht!

So ein Tool dürfte ja nicht nur die Endstellungen prüfen, sondern auch, ob eine vorhanden Variante nur verlängert wird.
Ganz mal davon abgesehen, welche Variante rausgeschmissen wird: Damengambit nach 1.d4 oder mit Zugumstellung nach 1.Sf3? Ein bisschen Ästhetik darf ja ruhig sein

Nochmals: Danke schön!
und einen schönen Sonntag
Th. Plaschke

By Hans Nepomuk Date 2016-03-19 11:34

Frank Quisinsky schrieb:

Kappe die Datenbank nach Zug 12 und hole die doppelten raus.

Hallo Frank,
kannst du bitte kurz beschreiben, wie du alle Partien einer DB nach einen bestimmten Zug kappst?

By Frank Quisinsky Date 2016-03-19 21:49

Hallo Hans,

einfach die PGN Toolsammlung von Norm Pollock herunterladen.
Siehe "comparable" Auswahl auf meinen Seiten.

Dann truncate 1.pgn 24

Programm schimpft sich truncate ... dann 1.pgn (Name der PGN Datei) dann 24 ... als Beispiel für 24 Halbzüge.

Dann wird das PGN file abgeschnitten.

Gruß
Frank

By Hans Nepomuk Date 2016-03-20 22:26

Hallo Frank,

das Programm habe ich inzwischen runtergeladen, und nun?
Das Starten des Programm 'truncate.exe' bewirkt aktuell leider nichts.

By Frank Quisinsky Date 2016-03-21 07:02

Hallo Hans,

die kleinen Programme von Norm haben keine GUI.
Du solltest das Programm im Textmode direkt mit Parametern starten ...

Also Eingabe:
truncate 1.pgn 20 ... 1.pgn Name der PGN Datei und 20 ... Anzahl der Halbzüge!

Gruß
Frank

By Hans Nepomuk Date 2016-03-21 13:10

Autsch

Hat einen Moment gedauert, funktioniert jetzt aber.
Danke Frank.