FEOBOS 20.1 v090522 ... nun mit *.pgn Daten!

By Frank Quisinsky Date 2022-05-09 19:48 Edited 2022-05-09 19:55

Der Nachteil dieser Buchidee ist:

Es werden nicht mehr alle 500 ECO Codes ausgespielt.
Derzeit komme ich nach ca. 16.000 Partien, die ich mittels 40 in 40 habe spielen lassen, auf 473 der 500 ECO-Codes!
Von den 473 wurden 22 nicht mehr als 2x ausgespielt.

Dieses hier angebotenen Buch wird noch weiter optimiert und kann im Grunde als Beta 2 betrachtet werden.
Es liefert meines Erachtens fantastische Statistiken in NN-Zeiten.

Ich frage mich nur was ich mache, wenn weitere 3 Jahre ins Land gezogen sind?
Die Remisen werden durch ein immer stärkeres Engine Feld trotz aller Tricks weiter zunehmen.

Wahrscheinlich wird Eng-Eng mit sehr hohen Bedenkezeiten und auf höchsten Niveau eher langweiliger aufgrund zu hoher Remisquoten.
Und bei den Buchoptimierungen bin ich dann mit meinem Latain auch bald am Ende, weil dann ist enormes Schachwissen notwendig um händisch die Bücher zu erstellen.
Das habe ich nicht und selbst GM haben das wahrscheinlich auch nur zu ihren favorisierten Systemen.
Dennoch arbeite ich auch daran in Kombination mit dem Wissen unserer Großmeister und den sagenstarken Engines dieser Zeit.

Diese hier eingesetzten Automatisierungen greifen dann wahrscheinlich immer weniger!
Den schwarzen Peter an die Wand geknallt!

By Stefan Pohl Date 2022-05-10 10:06 Edited 2022-05-10 10:18 Upvotes 2

Das verstehe ich leider nicht. Laut Shredder Anleitung gilt:
"Shredder spielt einen Zug nur dann aktiv aus dem Buch, wenn damit mindestens "Partieminimum" Partien gespielt worden sind, von denen mindestens "Gewinnpartien" Partien gewonnen worden sind."

Ergo ist es doch sinnfrei, wenn (wie in deinen Buchoptionen) "Gewinnpartien" grösser gesetzt ist (bei dir 2) als der Parameter "Partieminimum" (bei dir 1). ???

Laut Anleitung kann es doch nur Sinn ergeben, wenn Partienminium kleiner oder gleich Gewinnpartien ist. Ist Gewinnpartien höher, wirkt das doch so, als wäre auch Partienminimum auf diesem Wert. Falls die Shredder Anleitung korrekt ist.
Denn wenn Shredder nur Züge spielt, die aus einer Partie stammen, die 2 mal gewonnen wurde, dann muß dieser Zug/diese Partie ja auch 2 mal vorhanden sein - logisch. Und das entspricht dann Partienminimum 2, nicht 1.

Ich würde nämlich gerne mittels pgn-extract eine pgn aus der games.pgn erstellen, die den Kriterien der Buchoptionen von Shredder enspricht (oder sehr nahe kommt), denn praktisch niemand nutzt ja ein Eröffnungsbuch (noch dazu nur in einer einzigen, bestimmten GUI (Shredder)) zum testen, sondern pgn-Dateien mit Vorgabestellungen/Linien.
Aber, wenn ich mit pgn-extract nur die Partien aus der games.pgn ausfiltere, die mehr als einmal vorkam (Siehe ShredderBuchsettings bei dir :Gewinnpartien 2 (oder eben auch Partinminimum 2, was m.e. dasselbe ist)), dann bleiben von 44606 Partien fast keine übrig:
Suche ich nach komplett identischen Partieverläufen mit dem Befehl
pgn-extract --quiet -U -dfeobos_beta.pgn games.pgn
Dann bleiben nur lächerliche 420 Partien/Linien übrig.

Wenn ich mit dem weicheren Kriterium filtere, nur die doppelten Endstellungen der Partien (also Zugumstellungen zulasse, die zur selben Endstellung führen) zu suchen:
pgn-extract --quiet --fuzzydepth 0 -U -dfeobos_beta.pgn games.pgn
Dann bleiben 1613 Partien/Linien übrig, also auch extrem wenig.

Ergo macht das hier gepostete Buchsetting keinen Sinn, es sei denn, es ist gewünscht, ca. 99% aller Partien/Varianten nie zu spielen, zumindest nicht bis zu den Endstellungen???

Man könnte natürlich auch mit pgn-extract und einer niedrigeren maximalen Tiefe nach doppelten Stellungen suchen und diese ausfiltern, das wäre kein Problem. Aber wozu reichen die Partien in der games.pgn dann noch weiter? Und wenn man das tut, bis zu welchem ply sollte man das machen? 16? (also 8 Züge) oder 20?

By Stefan Pohl Date 2022-05-10 12:06

Stefan Pohl schrieb:

Laut Anleitung kann es doch nur Sinn ergeben, wenn Partienminium kleiner oder gleich Gewinnpartien ist. Ist Gewinnpartien höher, wirkt das doch so, als wäre auch Partienminimum auf diesem Wert.

Das war natürlich Quatsch von mir, muß natürlich heißen:

Laut Anleitung kann es doch nur Sinn ergeben, wenn Partienminium größer oder gleich Gewinnpartien ist. Ist Gewinnpartien höher, wirkt das doch so, als wäre auch Partienminimum auf diesem Wert.

By Frank Quisinsky Date 2022-05-10 13:54

Hi Stefan,

dachte mir etwas dabei aber ich bin nicht zu Hause. Muss in meine Aufzeichnungen nachsehen. Grundsätzlich logisch was Du erwähnst aber ich glaube ich machte das um die Ausspielwahrscheinlichkeiten zu beeinflussen. Wahrscheinlicher eher das ich hier einen Fehler bei der Erstellung der Grafik machte.

Das nur über 400 Varianten übrig bleiben kann nicht stimmen, weil ich schon alleine 500 Eco-Codes abdecke. Siehe ecocodes.txt. Wie viel es genau sind habe ich nicht geprüft.

Natürlich sind es deutlich weniger Stellungen bzw bleibt bei der Selektierung wenig übrig. Alternativ könnte man aus diesen Positionen anstatt ein Buch ein Test-Set kreieren.

Wichtig ist zunächst zu filtern was von den ausgeglichenen Stellungen zu interessanten Partien führt.

Diese Buchideen können sicherlich noch verbessert werden, daher Stelle ich das ja zur Diskussion. Insofern bin ich ja froh das Du dich meldest.

Schaue heute Abend Mal in Ruhe ob ich bei der Grafik der Einstellungen einen Fehler machte

Viele Grüße, hasse diese Handys ... kann man kaum ohne Fehler schnell antworten.

VG, Frank

By Stefan Pohl Date 2022-05-10 14:16 Edited 2022-05-10 14:19

Letzlich hilft einfach eine reine Shredder Buch Datei nichts. Ich kenne niemanden, der noch mit Büchern testet. Was wir bräuchten, wäre eine reine pgn-Datei, wo die jeweilige Endstellung der Startpunkt zur Partie ist. Sonst hilft das niemandem. Außer dir vielleicht. EPD-Datei mit den FEN-Codes der Endstellungen ginge alternativ auch.
Aus diesen kann cutechess-cli (was anderes nehme ich nicht mehr) zufällig eine auswählen und mit vertauschten Farben wiederholt abspielen. Natürlich hat man so keine Ausspielwahrscheinlichkeiten. Alle Endstellungen sind dann gleichwahrscheinlich, weils halt zufällig gewählt wird.

Man könnte aber erhöhte Ausspielwahrscheinlichkeiten "emulieren", indem man diese pgn-Linien einfach mehrfach hintereinander in dem pgn-File hat. Dann steigt bei zufälliger Auswahl einer Linie die Wahrscheinlichkeit entsprechend an, daß diese Linie gespielt wird. Logisch.

Z.B:

Gebräuchlichste Varianten 5x, dann weniger gebräuchliche 3x und seltene 1x in dem File abbilden. Oder so ähnlich.

By Frank Quisinsky Date 2022-05-10 14:54

Hallo Stefan,

hatte Meyer -Kahlen schon öfters darauf angesprochen. Die Arena Random Idee hatte er seinerzeit nicht verstanden. Schade, das Shredder Buch entstand ja aus einem Notbehelf heraus.

Viele FEOBOS Stellungen, die sehr gut sind, werden auch zu selten ausgespielt, obwohl die zufällige Auswahl bei den Buchoptionen in der GUI Recht gut funktioniert.

Habe damit begonnen Stellungen aus den Quality Chess Eröffnungsbücher zu filtern. Aber hier ist das Problem, die GM Theorie geht teilweise für unseren Zweck zu tief.

Eigentlich war nach FEOBOS das Thema für mich abgeschlossen aber man muss die Schwachpunkte von den vorhandenen guten Ideen vielleicht besser trennen und nochmals neu überdenken.

TestSet schreckt mich immer ab, weil die Spannung bei der Auswahl der Eröffnung ist weg.

Zurück ...
Wenn TestSet müsste man die Partien aus dem angebotenen Buch eher wieder nach Länge der Eco kürzen oder einfach die Varianten aus der FEOBOS Datenbank ziehen.

Oder ein komplett neues FEOBOS Projekt aufziehen. Nur bei den stark unterschiedlichen NN Bewertungen der Engines graut es mir davor.

Die Idee etwas mit den bewährten FEOBOS Stellungen zu tun macht am meisten Sinn. Komme immer darauf zurück je länger ich darüber nachdenke.

VG, Frank

By Stefan Pohl Date 2022-05-10 14:35

Frank Quisinsky schrieb:

Wie gesagt, mit Zugumstellungen sind es 1613 Endstellungen, die mindestens 2x vorkommen.

Das sagt pgn-extract. Und pgn-extract hat immer Recht... Alle meine Tools basieren auf pgn-extract. Mit dem Tool kenne ich mich nun wirklich aus, kannst dir ja mal die .bat Files meiner Tools mit dem Editor ansehen...

Aus der pgn-extract Anleitung:
The following example would suppress the unique games and store the games considered to be duplicate at their final position in dupes.pgn:
pgn-extract --fuzzydepth 0 -U -ddupes.pgn games.pgn

By Frank Quisinsky Date 2022-05-10 15:09

Wenn kein Problem für Dich ..
Könntest Du prüfen wie viele unterschiedliche es insgesamt sind.

Auf dem Weg zur Endstellung wird ja abgebrochen wenn Stats für eine Seite nicht gut sind. Das funktioniert super und ist auch abwechslungsreich genug. Eine Seite rechnet, die andere ist länger im Buch und dadurch allein wird doppeltes schön verhindert. Also meine bisherigen Testergebnisse sind wirklich sehr positiv. Zugtiefe ist optimal und die vielversprechenden Systeme werden angespielt Mehr Daten wäre besser aber mit der von mir eingesetzten Bedenkzeit bin ich eher langsam unterwegs.

By Frank Quisinsky Date 2022-05-10 15:49

Was man tun könnte ...

Achso ... vorab, vergessen.
Zugumstellungen können übrigens nur entstanden sein nach der FEOBOS Vorgabe. Spiele immer mit FEOBOS ohne Zugumstellungen. Also nach Vorgabe bis gekürzten Zug 14.

Aus den entstandenen Partien die FEOBOS Vorgaben herausfiltern. Dann hätten wir die besten Vorgaben in einer Datenbank und könnten dann daraus einenTestSet kreieren oder ein kleineres Buch. Muss ich so oder so noch in Angriff nehmen.

Nur das Problem ist dann, das Engines Vorgabezüge nicht verhindern können, wenn sie merken, sie laufen in eine schlechte Buchstatistik. Genau das will ich ja auch erreichen wenn ich diese 1:0, 0:1 Daten nutze. Das macht ja das neue Buch.

Habe mir schon Stunden den Kopf zerbrochen. Wahrscheinlich reichen auch 1600 Varianten die 2x enthalten sind für die Testerei aus?

By Stefan Pohl Date 2022-05-10 17:47

Frank Quisinsky schrieb:

Habe mir schon Stunden den Kopf zerbrochen. Wahrscheinlich reichen auch 1600 Varianten die 2x enthalten sind für die Testerei aus?

Ja, sicher, das würde schon für 3200 Partien im head-to-head reichen.

By Frank Quisinsky Date 2022-05-10 18:10

Genau!

Gebe Dir einen Hinweis wenn ich aus der FEOBOS Daten die Stellungen herausgefiltert habe.
Wenn erledigt müssten die Stellungen vielleicht nochmals mit ein paar aktuellen Engines überprüft werden ob wirklich ausgeglichen.

Vielleicht können wir ja gemeinsam überlegen wie diese Daten dann sinnvoll eingesetzt werden könnten?!

Wenn also jetzt 1600 FEOBOS Stellungen stehen, müsste man sich im Detail die Häufigkeit bei den ECO-Codes anschauen.
Dies um vielleicht aus den besten dieser 1600 Varianten dann sinnvolle Test-Sets zu erstellen.

Deine sehr guten damaligen Ideen ...
Damen auf dem Brett, unterschiedliche Rochaden berücksichtigen.

Kleiner Testset von 50, über 100, über 200, 500 und 1000 Stellungen.
Oder um dann aus diesen Daten ein kleines Buch zu erstellen.

Wobei die Idee von neuen Buch, hier mit 1:0, 0:1 Stats wirklich nicht schlecht ist.
Sehe ich ja an dem bislang erzeugten Material.

Viele Grüße
Frank

By Stefan Pohl Date 2022-05-10 18:17

Frank Quisinsky schrieb:

Ich bräuchte ein 500er Set für einen 1000er Testrun, um das mit meinen bisherigen Tests für meine UHO 2022 Eröffnungen zu vergleichen (da hab ich ja auch 4 normale Eröffnungssets (das HERT-Set für meine Rangliste, auch Feobos) getestet, es liegen also gute Vergleichsdaten vor, nicht nur UHO).
Vielleicht mache ich da mal eine 500er Filterung mit dem pgn-selection Tool aus den 1613 Endstellungen. Das sollte ja die ECO-Codes dann halbwegs abbilden. Das reicht mir eigentlich. Mal schauen. Bin jetzt auch nicht am Rechner.

By Frank Quisinsky Date 2022-05-10 18:37

Hallo Stefan,

ja, macht Sinn das dann wirklich mal genau mit Deinen Test-Sets zu vergleichen!

Müsste man im Grunde folgendes tun:
z. B. SF - Wasp ... mit uho und 500er Test-Set
z. B. SF - Wasp ... mit FEOBOS und 500er Test-Set

Vielleicht auch unterschiedliche Zeiten.
Um zu sehen wie wirken sich die beiden Ideen für die schwächere Seite (also Wasp) aus.
Vergleichbare Resultate, ja / nein

Dann auch mal mit vergleichbar starken Engines den gleichen Test etc..

Bevor man irgend etwas für tausende von Partien einsetzt und das dann nicht ausgereift genug ist.

Viele Grüße
Frank

By Stefan Pohl Date 2022-05-11 12:12

Frank Quisinsky schrieb:

Also ich würde natürlich die identischen Testbedingungen einsetzen, wie auch bei den anderen Testruns auf meiner UHO 2022 Seite. Das gilt dann auch für die Engines, also SF 14.1 vs. KomodoDragon 2.6:
"Stockfish 14.1 avx2 vs. KomodoDragon 2.6 avx2, 5min+3sec, singlethread, no bases, no ponder, AMD Ryzen 3900 12-core (24 threads) notebook. Cutechess-cli. 1000 games each testrun."
Ansonsten kann ich die Ergebnisse logischerweise nicht mit den bereits erfolgten Testruns (HERT, Feobos, Stockfish 8moves, Balsa und meine diversen UHO-Sets) vergleichen.

Generell, und das ich gleich mal frei heraus, bin ich skeptisch bei allen Eröffnungen, die nicht stark unbalanciert sind, also keinen deutlichen Vorteil für eine Seite (üblicherweise Weiß) haben. Und zwar aus guten Gründen. Insbesondere das Experiment von Andreas Strangmüller mit meinen Drawkiller-Eröffnungen gab mir sehr zu denken. Zu finden unten auf meiner "Anti Draw openings" Seite also hier (ganz runter scrollen):
https://www.sp-cc.de/anti-draw-openings.htm

CPU: Dual Intel Xeon E5-2673 v4, 40 cores (80 threads)
OS:    Windows 10 64-Bit
Tool:    Cutechess-Cli, no draw and resign rules
Engines: Stockfish 13 x64 BMI2, default settings
Hash-Table:   2048 MB
Time control: 60 seconds + 0.6 seconds
Tablebases:   None
Ponder:    Off
Each opening: Repeated with changing colors
Stockfish 13 x64 BMI2 32 threads vs. Stockfish 13 x64 BMI2 16 threads, 1000 games
Score always Stockfish 13 with 32 Threads point of view

4 moves classical openings   : 1000 (+67/=923/-10),   52.9% +20 Elo, Draws 92.3%
Drawkiller_balanced_V4_2mvs : 1000 (+125/=861/-14), 55.6% +39 Elo, Draws 86.1%
Drawkiller_unbalanced_V4_2mvs: 1000 (+333/=517/-150), 59.2% +64 Elo, Draws 51.7%

Hier zeigte sich, daß bei einem sehr remislichen Setup (Stockfish mit 32 Threads gegen Stockfish mit 16 Threads) die Remisquoten selbst mit meinen (damals noch ausbalancierten) Drawkiller Eröffnungen über 85% lagen. Also extrem hoch. Erst ein Neudesign der Drawkiller-Eröffnungen hin zu auch dort unbalancierten Eröffnungen (deutlicher Vorteil für Weiß) brachte auch hier gute Ergebnisse (man beachte auch Elo-Spreizung der Ergebnisse!!!)
Wenn also selbst Drawkiller-Eröffnungen (ausbalanciert) nicht mehr richtig "wirken" (also Remisquoten deutlich unter 70% senken), dann ist für ausbalancierte Eröffnungen "der Ofen aus", meine ich. Auch beim TCEC hat man das ja bemerkt. Früher gabs in den Superfinals ja scharfe aber relativ ausbalancierte Eröffnungen. Und über 85% Remisen. Im letzten Superfinal wechselte man auch dort zu deutlich unbalancierten Eröffnungen und der Erfolg war durchschlagend. Die Remisquote war 63% (!).

By Frank Quisinsky Date 2022-05-11 19:54 Edited 2022-05-11 19:59

Hallo Stefan,

grundsätzlich werden sich alle einig darüber sein zu versuchen die Remisquoten zu drücken.
Wenn viele irgend etwas versuchen ist das grundsätzlich immer gut.

Werde Dir einen Test-Set von 500 Stellungen kreieren.
Zwar nicht mein Hauptziel (eher ein Buch für die Shredder GUI) aber egal.

Wenn ich z. B. 800 Stellungen filtere, 500 benötigt werden, könnte aus dem Pool der übrig gebliebenen ersetzt werden.
Aber die Arbeit mache ich mir nicht, weil wie gesagt für mich das Buch im Vordergrund steht.

Am Wochenende werde ich etwas versuchen.
Ich muss zunächst wissen um welche FEOBOS Postionen (die FEOBOS Datenbank ist nach einem Rating aufgebaut) es sind.
Hatte schon mal vergleichbares aus FEOBOS für einen anderen Zweck gezogen.

Um das zu filtern sind einige Steps notwendig, die Zeit in Anspruch nehmen.

Wenn ich fertig bin, setze ich die Daten in den Download zu meiner experimentellen neuen Buch-Idee.
So kannst Du dich dann an den Daten bedienen (sicherlich haben auch andere Interesse).

---

Meine Testergebnisse mit der neuen Buchidee sind sehr gut.
Ich schaue ja eher wie ich generell die Remisquoten drücken kann und versuche genau das mit ausgeglichenen Stellungen zu errreichen.

Was mich ein wenig an FEOBOS ärgert ist der Tatbestand, dass aufgrund zu ausgeglichener Varianten schwächere Engines mehr Chancen auf Remis gegen deutlich Stärkere haben.
Mit meiner Buchidee kann ich das sehr gut beeinflussen.

So habe ich schon ca. 300 aus den besten 35.000 FEOBOS Stellungen in einer Datenbank ... Stellungen die zu schnell zum Remis führen.
0,17% Remisquote (3fache Stellungwiederholung unter 20 Zügen) ist schon irre!

Es sind z. B. 4 Stellungen in FEOBOS drin, bei den völlig unterschiedliche Engines bis Zugnummer 26 doppelte Partien produzieren.
Unglaublich, teilweise also viel zu ausgeglichen!

---

Grundsätzlich sehe ich hier ca. 5% weniger Remise und noch viel wichtiger ... die Zügedurchschnitt geht zurück.
Im letzten halben Jahr ist der Zügedurchschnitt durch immer stärkere Engines (ohne Aufgabefaktor) von 88,6 auf jetzt 89,8 Züge gestiegen.
Die Anzahl der Partien, die über 300 Züge gehen, nimmt auch beständig zu.

Insofern habe ich auch ein Interesse die Remisquoten zu senken aber mit FEOBOS Daten.
Arbeite zu lange an dieser FEOBOS Idee die heute immer noch zu vielleicht 92% perfekt für meinen Zweck ist.

So genug ...
Melde mich wenn ich die Arbeit abgeschlossen habe und der Test-Set Versuch 1 steht.
Macht ja auch Sinn, das beste aus FEOBOS zu ziehen ... hierfür liegt ja schon eine Menge Material vor.

Viele Grüße
Frank

By Frank Quisinsky Date 2022-05-11 10:00

Hallo Stefan,

war bei der Grafik (Shredder Bucheinstellungen) in der Tat ein Fehler von mir drin.
Habe diverse Dinge berichtigt und die aktuelle Version vom 11.05.2022 in der Rubrik "Downloads-KI" gelistet.

So muss ich eine neue Versionen nicht immer hier angekündigen.

Findet sich also unter:
https://www.amateurschach.de/main/_download-ki.htm

Werde in den nächsten Tagen die Züge wie bei FEOBOS 20.1 schneiden.
Also A00 bis Zugtiefe x, A01 bis Zugtiefe x (identsich zum FEOBOS Projekt, 3 Züge nach ECO-Code Bildung).

So filtere ich die FEOBOS Startpostionen raus.

Wenn fertig sortiere ich die Datenbank nach ECO-Codes in einem Unterverzeichnis Step-2.
Wenn erledigt filtere ich in einem Unterverzeichnis Step-3 dann die doppelten Postionen heraus.

Dann könnte man sehr schön prüfen, welche Stellungen sich für einen 500er Test-Set eignen!

Viele Grüße
Frank

By Stefan Pohl Date 2022-05-11 12:13 Edited 2022-05-11 12:21

Frank Quisinsky schrieb:

Hallo Stefan,

war bei der Grafik (Shredder Bucheinstellungen) in der Tat ein Fehler von mir drin.
Habe diverse Dinge berichtigt und die aktuelle Version vom 11.05.2022 in der Rubrik "Downloads-KI" gelistet.

So muss ich eine neue Versionen nicht immer hier angekündigen.

Findet sich also unter:
<a class='ura' href='https://www.amateurschach.de/main/_download-ki.htm'>https://www.amateurschach.de/main/_download-ki.htm</a>

Werde in den nächsten Tagen die Züge wie bei FEOBOS 20.1 schneiden.
Also A00 bis Zugtiefe x, A01 bis Zugtiefe x (identsich zum FEOBOS Projekt, 3 Züge nach ECO-Code Bildung).

So filtere ich die FEOBOS Startpostionen raus.

Wenn fertig sortiere ich die Datenbank nach ECO-Codes in einem Unterverzeichnis Step-2.
Wenn erledigt filtere ich in einem Unterverzeichnis Step-3 dann die doppelten Postionen heraus.

Dann könnte man sehr schön prüfen, welche Stellungen sich für einen 500er Test-Set eignen!

Viele Grüße
Frank

OK, wenn du ein 500er Set hast, mache ich einen 1000er-Testrun. Der dauert bei mir nur gut 14 Stunden. Bitte einen direkten Download-Link, denn bei allem Respekt, deine Download-Website ist quasi unleserlich. Völlig überladen, viel zu bunt. Da blicke ich Null durch.

Ich würde auch gerne mal eine EAS-Rangliste aus deinen ganzen gespielten Partien der letzten Zeit erstellen, also die Engines nach ihrer Aggressivität ranken. Aber auch hier gilt: Die Website ist für mich unleserlich. Gibts einen Download mit allen Partien aus deinen KI/ nicht KI (Wo ist da der Unterschied?) Testruns/Turnier-Runs? Bitte gerne einen direkten Download-Link...
Ich hab jetzt mal auf gut Glück (keine Ahnung, ob das stimmt) den Link benutzt, der oben steht mit den 88125 Partien... Schaue ich mir mal an. Prinizipiell: Download mit Chessbase-Format ist unötig ineffizient beim packen. PGN und gut ist. Die kann man gut komprimieren. Beim Auspacken hat man nur eine Datei. Und jeder kann sie dann in das Format seiner Wahl umwandlen, falls nötig.

By Stefan Pohl Date 2022-05-11 13:30 Edited 2022-05-11 13:52 Upvotes 2

Ich habe mal die 88125 Partien aus dem Download (keine Ahnung, ob es der richtige ist) durch mein Engines Aggressiveness Statistics tool gejagt. Und somit eine EAS-Rangliste erstellt.
Und außerdem die 22 aller-spektakulärsten Opferpartien mit meinem Sacrifice Games Search Turbo tool herausgefiltert (maximal 60 Züge bis Matt und es wurden durch die siegreiche Engine mindestens 5 Bauerneinheiten (entspricht ganzem Turm) geopfert, um zu siegen). Hammerpartien!

Hab ich mal temporär auf mein Google-Drive gepackt, wenn es jemand interessiert:
https://drive.google.com/file/d/1hf1gFvs_Cv1nkWkvOrUw6MJukI2myrp6/view?usp=sharing

Ich kann meine beiden Tools nur jedem nochmals ans Herz legen. Sie machen Dinge möglich, die vorher schlicht nicht möglich waren... Eine Rangliste nach Aggressivität des Spiels von Engines erstellen. Und eine Opfersuche, die so rasend schnell ist, daß man 80000 Partien in wenigen Minuten durchfiltert... Alles nur möglich dank pgn-extract. Meine Tools laufen praktisch ausschließlich über pgn-extract. Der SourceCode ist ja in den .bat-File mit einem Editor jederzeit einsehbar. Ohne pgn-extract wäre das alles unmöglich. Bestes Tool aller Zeiten - pgn-extract...

https://www.sp-cc.de/files/sacrifice_games_search_turbo_tool_v2.0.7z
https://www.sp-cc.de/files/engines_aggressiveness_statistics_tool.7z

By Frank Quisinsky Date 2022-05-11 19:23 Edited 2022-05-11 19:27

Hallo Stefan,

ich habe mir nach der ersten Kritik Dein Tool die Tage auch noch mal angesehen.
Muss es noch in meine Link-Rubrik aufnehmen.
Grundsätzlich filtert es ausgezeichnet!

Ich werte ein wenig anders aus um Partien zu filtern.
Bin selbst immer auf der Suche nach Stellungen für einen Test-Set, bevorzugt aus Schachbüchern oder meinem eigenen Material.

Du kannst gerne mein Partiematerial nutzen.
Sei es als Beispiel für den Download von Deinem Tool oder wie auch immer Du willst.
Habe kein Problem mit der Weiterverwendung meiner eigenen Daten.

---

Ja, 88.125 sind die aktuell vorhandenen Partien aus meiner KI-Ratingliste.
Mache immer ein Update wenn ein "run" duch ist bzw. die *.cbh halte ich mit jeder Version der Ratingliste aktuell.

Hatte heute die ganzen Datenbanken nochmal überarbeitet, weil ich Engine Namen berichtigt habe.
Bin meine ToDo am abarbeiten.

- Zahak 8.6 dev ... daraus wurde Zahak 8.6 NN dev
- Zahak 9.0 ... daraus wurde Zahak 9.0 NN
- Orion 0.8 NNSf ... daraus wurde Orion 0.8 NN
- Fire 8 MC.3 NNSf ... daraus wurde Fire 8 MC.3 NN

Insofern sind alle Datenbank-Downloads verändert wurde (alle *.pgn und *.cbh) Dateien auf meinen Webseiten.

Viele Grüße
Frank

PGN-Extract ist definitiv das beste Tool aller Zeiten!
Weiß nicht ob Du das gesehen hast, gibt seit ein paar Tagen die Version 22-07 (vorher 22-05).
Habe auch eine Sammlung aller Version von PGN-Extract.

Das ist wichtig!
Verschiedene Tools benötigen ältere "PGN-Extract" Versionen, z. B. Tools von Ferdinand die er mit Python erstellt.

By Frank Quisinsky Date 2022-05-11 20:15 Edited 2022-05-11 20:18

Kleiner Hinweis:

Wenn Du meine aktuellen Daten im PGN Format haben willst.

Die PGN Datenbank aller abgeschlossenen "runs" ziehen von ...
https://www.amateurschach.de/main/_download-ki.htm (derzeit abgeschlossene "Runs" = 80.310 Partien.

Dann über meine Startseite:
https://www.amateurschach.de

Die PGN von den laufenden "Runs" ziehen ...

Da ich nach jedem beendeten "Run" die PGN mit ChessPad 2.09 bearbeite (hinzufügen der ECO-Codes) wäre es zuviel Arbeit das zwischen den "Runs" bei der Auswertung einer Ratingliste zu tun.
Das Setzen der ECO Codes mittels ChessPad 2.09 ist viel genauer als es mittels Chessbase möglich ist.

Vielleicht besser als über die *.cbh Daten in *.pgn Daten mittels Chessbase zu konvertieren (für die Verwendung von Deinem Tool)?

Viele Grüße
Frank

By Stefan Pohl Date 2022-05-10 17:34 Edited 2022-05-10 17:43

Frank Quisinsky schrieb:

Wenn kein Problem für Dich ..
Könntest Du prüfen wie viele unterschiedliche es insgesamt sind.

Du solltest dir wirklich mal die wesentlichen Funktionen von pgn-extract draufschaffen. Das ist nicht so schwierig und das Tool ist extrem praktisch.

Nur Partien finden, deren Endstellung mehr als einmal vorkommt (--quiet unterdrückt die Screen-Outputs, dadurch wird pgn-extract extrem viel schneller):
pgn-extract --quiet --fuzzydepth 0 -U -ddupes.pgn source.pgn
(dupes.pgn ist der Dateiname des Outputs, das -d, was davor steht (es darf kein Leerzeichen dazwischen!!!) ist ein Befehl)

Nur Partien finden, deren Endstellung mit identischer Zugfolge bis dahin mehr als einmal vorkommt:
pgn-extract --quiet -U -ddupes.pgn source.pgn

Alle Doubletten in den Endstellungen rausfiltern:
pgn-extract --quiet --fuzzydepth 0 -D source.pgn --output nodoubles.pgn

Alle echten PartieDoubletten (identische Zugfolge und identische Endstellung) rausfiltern:
pgn-extract --quiet -D source.pgn --output nodoubles.pgn

Nur Siege für Weiß rausfiltern:
pgn-extract --quiet -Tr1-0 source.pgn --output whitewins.pgn
(es geht auch Tr0-1 (Schwarzsiege) und man kann auch mehrere dieser -T kombinieren), es geht also auch Suche nach nur Siegen:
pgn-extract --quiet -Tr1-0 -Tr0-1 source.pgn --output nodraws.pgn
Es gibt noch andere -T Parameter:
-TaAnnotator - Extract games Annotated by Annotator.
-TbPlayer - Extract games where Player has the Black pieces.
-TdDate - Extract games played on Date.
-TeEco - Extract games with ECO designation Eco.
-TfFENPattern - Extract games matching the given FEN pattern.
-ThHashCode - Extract games with HashCode designation HashCode.
-TpPlayer - Extract games where Player has either colour.
-TrResult - Extract games with result Result (1-0, 0-1 or 1/2).
-TwPlayer - Extract games where Player has the White pieces.

Bestimmte Partielängen filtern (-bl ist die Untergrenze (in Voll-Zügen, nicht plies!!!), -bu die Obergrenze. Man kann auch nur eines von beidem nutzen):
pgn-extract --quiet -bl15 -bu30 source.pgn --output patienmitlimit.pgn

Alle Kommentare löschen:
pgn-extract --quiet -C -N -V source.pgn --output nocomments.pgn

Alle Partien nach einer bestimmten ply-Anzahl abschneiden:
pgn-extract --quiet --plylimit 16 source.pgn --output cut16plies.pgn

Sehr hilfreich (für mich), aber etwas kompliziert ist der -c Parameter. Da kopiere ich mal die Anleitung:
In the following example, we wish to select Nimzo-Indian games from newfile.pgn that don't already occur in the master file nimzo.pgn:
pgn-extract -cnimzo.pgn -D -onewnimzo.pgn newfile.pgn
Heißt im Klartext: Nur Partien die nicht im File nimzo.pgn enthalten sind, aber dafür im newfile.pgn schon, werden ins newnimzo.pgn kopiert.

Man kann nun diese Grundfunktionen (pgn-extract kann noch viel, viel mehr) teilweise in einer pgn-extract Zeile auch zusammenfassen. Will man auf Nummer sicher gehen, macht man alles mit einzelnen pgn-extract Zeilen in einem .bat File nacheinander, indem man die output.pgn der ersten Zeile wieder als input.pgn der nächsten nutzt usw. usw. So kann man beliebig viele Operationen automatisch und nacheinander auf einer source.pgn ausführen.

Mit diesen Funktionen kann man schon einiges machen...
Für alles weiterführende dann bitte die pgn-extract Anleitung lesen...
https://www.cs.kent.ac.uk/people/staff/djb/pgn-extract/help.html

By Frank Quisinsky Date 2022-05-10 17:49 Edited 2022-05-10 17:51

Stefan,

nutze das Tool seit vielen Jahren!
FEOBOS Daten wurden mit PGN Extract erstellt, ging vieles nur mit PGNExtract.
Die Datenbank der Zugumstellungen herausgefiltert etc..

Die seinerzeit genutzten Parameter in der Doku dokumentiert.
Einiges wurde gar an dem Programm verbessert, da hatte seinerzeit auch Ferdi noch Ideen.
Thema "Endstellungen bei e.P." Zug ... durch das FEOBOS Project ist also auch einiges an Problemen bei PGN-Extract aufgefallen.

Fragte nur weil ich selbst nicht am PC war um zu prüfen.

Aber die Parameter nochmal aufzulisten ist sicherlich hilfreich für einige die das Programm nicht kennen!

Wie gesagt, selbst bediene ich die Tools von Norm Pollock oder von Barnes blind.
Schrieb auch schon öfters, PGN-Extract ist mehr oder weniger das Master-Tool weil vieles selbst mit leistungsstarken Datenbanksystemen wie ChessBase nicht zuverlässig genug funktioniert.

Viele Grüße
Frank

Werde am Wochenende mal die FEOBOS Stellungen die zu der benutzen Datenbank geführt haben herausfiltern und mir diese Daten im Detail ansehen.
Wollte ich eh am WE machen.

By Frank Quisinsky Date 2022-05-13 17:26

Hallo zusammen,

der Rodent 1.1 NNRe (NNRe = Neural Network Rebel) run-g5 wurde beendet.
Im Vergleich zu Rodent 1.0 NNSF (NNSF = Neural Network Stockfish) ca. 175,75 Elo spielschwächer.

Gestartet wurde nun Zahak 10.0 NN.
https://www.amateurschach.de/fling/zahak_100-nn.html

Bin mal gespannt ob es wirklich +50 Elo sind.

Die Webseite wurde upgedatet.
Partie-Downloads, Rating-Liste ...

Links hatte ich schon mehrfach gepostet.

Viele Grüße und ein schönes Wochenende!
Frank