Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / TCEC Superfinal Eröffnungen
- - By Stefan Pohl Date 2019-07-10 19:35 Edited 2019-07-10 19:37 Upvotes 1
Ich hab mir mal die 7 Eröffnungssets der TCEC Superfinals 9-15 von J.Noomen heruntergeladen und werde diese mal durchchecken.
Bisher habe ich die Grundstellung (ohne jeden Zug) herausgenommen (kam 2x vor), dann alle Vorgaben die nicht länger als 4 plies, (also 2 Züge) waren, herausgenommen (Es gab eine Vorgabe, die war nur 1.b4 und eine, die war nur 1.g4 - so was braucht nun echt niemand, meine ich). Dann habe ich den Rest durch pgn-extract gejagt und identische Schlußstellungen herausgefiltert. (Kommando: pgn-extract --fuzzydepth 0 -D games.pgn --output unique.pgn). Das filterte noch mal gute 20 Linien raus, in denen die Schlußstellung doppelt vorkam.

Es bleiben 310 Linien übrig (von ursprünglich 350). Da werde ich jetzt demnächst mal Komodo mit längerer Bedenkzeit die Endstellungen analysieren lassen (mit dem pgnscanner) und alles rausfiltern, was einen zu großen Vorteil aus der Endstellung heraus für eine Farbe ergibt. Ziel wäre, 250 Linien übrig zu behalten, damit man 500 Partien in einem Engine Head-to-head damit spielen kann. Mal schauen, ob das klappt...Ich peile einen Bewertungsintervall von [-0.50;+0.60] als absolutes Maximum an. Aufgrund meiner gesammelten Erfahrungen mit den SALC und Drawkiller Eröffnungen weiß ich, daß dieser Intervall bei Komodo gerade noch gut spielbare Eröffnungen ergibt.
Ich stelle das Ergebnis dann auf meiner Website zum Download bereit.
Parent - - By Tom Paul Date 2019-07-10 21:14
Stefan Pohl schrieb:

Ich hab mir mal die 7 Eröffnungssets der TCEC Superfinals 9-15 von J.Noomen heruntergeladen und werde diese mal durchchecken.
Bisher habe ich die Grundstellung (ohne jeden Zug) herausgenommen (kam 2x vor), dann alle Vorgaben die nicht länger als 4 plies, (also 2 Züge) waren, herausgenommen (Es gab eine Vorgabe, die war nur 1.b4 und eine, die war nur 1.g4 - so was braucht nun echt niemand, meine ich). Dann habe ich den Rest durch pgn-extract gejagt und identische Schlußstellungen herausgefiltert. (Kommando: pgn-extract --fuzzydepth 0 -D games.pgn --output unique.pgn). Das filterte noch mal gute 20 Linien raus, in denen die Schlußstellung doppelt vorkam.

Es bleiben 310 Linien übrig (von ursprünglich 350). Da werde ich jetzt demnächst mal Komodo mit längerer Bedenkzeit die Endstellungen analysieren lassen (mit dem pgnscanner) und alles rausfiltern, was einen zu großen Vorteil aus der Endstellung heraus für eine Farbe ergibt. Ziel wäre, 250 Linien übrig zu behalten, damit man 500 Partien in einem Engine Head-to-head damit spielen kann. Mal schauen, ob das klappt...Ich peile einen Bewertungsintervall von [-0.50;+0.60] als absolutes Maximum an. Aufgrund meiner gesammelten Erfahrungen mit den SALC und Drawkiller Eröffnungen weiß ich, daß dieser Intervall bei Komodo gerade noch gut spielbare Eröffnungen ergibt.
Ich stelle das Ergebnis dann auf meiner Website zum Download bereit.


Ob nur Komodo reicht ist sehr fraglich.
Stockfish könnte schon +1.00 oder gar +1.50 angeben, während Komodo nur bei +0.50 ist.
LC0 könnte bei +2.00 oder gar +3.00 sein, während Komodo nur bei +0.50 ist.
Parent - - By Stefan Pohl Date 2019-07-14 12:58 Upvotes 1
Tom Paul schrieb:

Ob nur Komodo reicht ist sehr fraglich.


Na, da haben wir ja Glück, daß dich niemand fragt.

Für alle richtigen Computerschächer sage ich es nochmal: Ich habe immer alle Eröffnungslinien mit Komodo analysiert. Auch für SALC und Drawkiller. Das hat bestens funktioniert, wie die vielen Tests, die man ja auf meiner Website einsehen kann, zweifelsfrei gezeigt haben. Komodo ist für diese Aufgabe prädestiniert, weil Komodo nicht so extreme und sprunghaft wechselnde Bewertungen wie Stockfish oder lc0 zeigt. Zudem kann man diese Analysen automatisiert vernünftig nur mit dem pgnscanner machen und dieser arbeitet mit vielen Engines leider nicht korrekt zusammen (erkennt deren Bewertungen nicht). Mit Komodo läuft er. Mit Stockfish und Houdini leider nicht.
Parent - By Tom Paul Date 2019-07-14 14:25
Dann nimmt man einen PgnScanner für Stockfish und einen für Houdini.
Oder ergänzt den aktuellen PgnScanner so das er mehrere Engines schafft.
Parent - - By Stefan Pohl Date 2019-07-14 12:44 Edited 2019-07-14 12:52 Upvotes 2
So, die Analyse der Endstellungen mit Komodo 13.02 ist durch. Da es nur wenige Linien waren, habe ich satte 10' pro Endstellung Rechenzeit spendiert (Quadcore)...

Die verbliebenen 237 (von 350) Eröffnungslinien können ab sofort auf meiner Website heruntergeladen werden (temporär auf der Hauptseite und dauerhaft im Download & Links-Bereich).

https://www.sp-cc.de

Was habe ich gemacht?

1) Alle extrem kurzen Linien (4 plies und darunter), sowie 2x die Grundstellung gelöscht.
2) Alle Linien mit doppelt oder mehrfach vorkommenden Endstellungen gelöscht.
3) Mit Komodo 13.02 jede Endstellung 10 Minuten lang analysiert und alle, die außerhalb des Eval-Intervalls von [-0.50;+0.60] waren, gelöscht.

Es blieben 237 von 350. Leider nicht ganz 250, was ich eigentlich angestrebt hatte. Aber das nächste TCEC Superfinal kommt bestimmt und dann gibt es ja wieder 50 neue Linien (abzgl. einiger Doubletten?!). Dann sollte die 250er Marke überschritten werden...
Wer unbedingt auf 250 auffüllen will, kann das tun: Ich habe die aussortierten Linien in einem File (too_bad.pgn) beigefügt. Die Eval von Komodo steht im Annotator-Tag, zusammen mit der Rechentiefe:
z.B so: [Annotator "game 4, depth=34 val=69 filter=[-50/60] status=rejected"]. Hier war die Eval also +0.69 für Weiß (Bewertungen immer aus Sicht von Weiß). Nimmt man aussortierte Linien mit rein, hat man ebenfalls keine Doubletten, diese habe ich schon vor der Analyse mit Komodo raussortieren lassen.

Jetzt kann man TCEC-Superfinals im Kleinen auch daheim veranstalten. Aber eben nur mit Eröffnungen, die auch für Weiß und Schwarz noch halbwegs spielbar sind. Und ohne Doubletten und ganz kurze, komische Varianten.
Viel Spaß!
Parent - By Jörg Oster Date 2019-07-14 12:47
Danke!
Parent - - By Stefan Pohl Date 2019-07-16 10:15 Edited 2019-07-16 10:20
Ich habe die 237 verbliebenen Eröffnungen durchgetestet (=474 Partien). Mit der Kofiguration, mit der ich alle Eröffnungen bei mir teste. Diese nutzte ich ja auch zur Entwicklung bei SALC und Drawkiller, daher sind die Engines nicht mehr aktuell. Aber es gibt viele Vergleichswerte:

5'+3'', (average game-duration: 15-16 minutes), singlecore, 256MB Hash, no endgame-bases, no ponder, both engines with Contempt=+15, LittleBlitzerGUI
asmFish 170426 gegen Komodo 10.4

Score meint bei den Ergebnissen, das Ergebnis von asmFish - Komodo,
also Score 60.3% - 39.7% meint: asmFish holte 60.3% der Punkte.

Hier einige ältere Testruns zum Vergleich (jeweils 1000 Partien (!)):

SF-Framework standard 8 move openings: Score 60.3% – 39.7%, draws: 63.4%
FEOBOS v20 contempt 5: Score 58.7% - 41.3%, draws: 64.1%
HERT 500: Score: 60.6% - 39.4%, draws: 60.4%
4 GM-moves short book: Score 60.5% - 39.5%, draws: 57.1%
SALC V5 full-closed 500 positions: Score 66.5% - 33.5%, draws: 47.7%
Drawkiller (small 500 positions set): Score: 66.4% - 33.6%, draws 30.5%

Hier nun das Ergebnis der TCEC Superfinal openings:
TCEC Superfinal openings (Season 9-15) edited (237 lines, 474 games): Score: 62.5% - 37.5%, draws: 50.4%

Man sieht, daß dieses Ergebnis besser ist, als das aller anderen klassischen Eröffnungsvorgaben (SF-8moves, FEOBOS, HERT and 4 GM-moves), sowohl was die Remisqoute, als auch was die Ergebnisspreizung angeht und sogar gar nicht sooo weit weg von den SALC-Eröffnungen ist. Drawkiller spielt natürlich in seiner eigenen Liga, was die Resultate angeht. Aber verglichen mit den anderen Testruns ist das Ergebnis der editierten TCEC SuFi Eröffnungen wirklich sehr gut!

Natürlich sind 237 Eröffnungslinien nicht gerade viel. Aber ich werde bei den folgenden TCEC Superfinals die Eröffnungen weiter so editieren und per Komodo-Analyse durchchecken und die dann verbleibenden, neuen Linien, dem Set noch hinzufügen.
Auf jeden Fall sind diese Eröffnungen für Enginetests sicher nicht die schlechteste Wahl und für immerhin 474 Partien in einem head-to-head Vergleich zweier Engines reichen die Vorgaben ja jetzt schon. Das ist ja schon eine ganze Menge.
Parent - - By Reinhold Stibi Date 2019-07-16 11:25
Vielen Dank !
Parent - - By Stefan Pohl Date 2019-07-16 12:38 Edited 2019-07-16 13:17
Reinhold Stibi schrieb:

Vielen Dank !


Keine Ursache!
Aber die eigentliche Arbeit hat J.Noomen gemacht, ich habe das Ganze nur in ein Set zusammengefaßt und durchanalysieren lassen. Das war nicht viel Arbeit. Die Analyse und der anschließenden Testrun lief ja automatisch und dauerte insgesamt eine knappe Woche. Also sehr überschaubar...
Die Filterung der der verschiedenen Drawkiller-Sets dauerte mehr als 2 Monate insgesamt...und zwar nur die, die auch schlußendlich veröffentlicht wurden. Vorentwürfe und Testruns nicht mitgerechnet...nur mal so als Vergleich...

Generell ist das TCEC SuFi Set sicher zum Engine testen nicht schlecht. Was Ergebnisstatistiken angeht, meine ich. Natürlich enthält es nach wie vor schon exotische Linien. Diverse Gambits auch. Ob man das zum Testen benutzen möchte, muß jeder selbst entscheiden. Auf jeden Fall ist das allgemeine Interesse an diesen Vorgabestellungen aufgrund ihrer Nutzung im TCEC natürlich groß. Daher wollte ich das Ganze mal ordentlich editieren und "in Form" bringen.
Parent - - By Stefan Pohl Date 2019-07-16 13:12 Edited 2019-07-16 13:25
Jetzt habe ich mir mal die diversen Noomen Gambit-Eröffnugnssets heruntergeladen, in ein File zusammengefaßt und alle doppelten Endstellungen entfernt (303 Linien blieben übrig) und die 6 Königsinder-Sets (diese waren Dubletten-frei, daher 300 Linien). Die lasse ich jetzt auch mal mit Komodo durchanalysieren. Mit 7'/Zug. Das sollte bis Freitagmittag dann durch sein. Dann schauen wir mal, wieviel da übrig bleibt im Komodo Eval-Intervall von [-0.50;+0.60]. Und dann mache ich damit mal Testruns, um zu sehen, wie Remisqoute und Ergebnisspreizung so sind und ob man das sinnvoll fürs Engine-Testen nutzen kann.

Je nachdem, wieviel übrigbleibt, baue ich dann ein Gambit-Set und ein Königsinder-Set. Oder fasse beides zusammen. Mal schauen.

Ein reines Gambit-Eröffnungsset könnte ja generell auch interessant sein. Zumal es dann nur Linien enthält, die Komodo nach längerer Bedenkzeit noch für Weiß und Schwarz halbwegs für spielbar hält. Allerdings kann ich überhaupt nicht abschätzen, wieviele von den 303 Linien die Filterung durch Komodo "überleben" werden. Wird spannend.
Parent - - By Reinhold Stibi Date 2019-07-16 15:59
Ein reines Gambit-Buch zu erstellen  ist eine super Idee.

Bei mir war mal in der Überlegung von ChessBase die Gambit-Bücher zu
kaufen und dann in ein Buch zusammenzufügen; habe das dann aber
nicht weiterverfolgt.

Leider bin ich für Erstellung eines Buches ein vollkommener Laie.
Parent - By Stefan Pohl Date 2019-07-16 17:15
Reinhold Stibi schrieb:

Ein reines Gambit-Buch zu erstellen  ist eine super Idee.

Bei mir war mal in der Überlegung von ChessBase die Gambit-Bücher zu
kaufen und dann in ein Buch zusammenzufügen; habe das dann aber
nicht weiterverfolgt.

Leider bin ich für Erstellung eines Buches ein vollkommener Laie.


Ein Buch wird das keinesfalls. Es sind schon bevor Komodo die zu schlechten Varianten ausfiltert, nur 303 Linien/Endstellungen in den Noomen-Sets. Also wird es ein pgn-file bleiben. Ich werde die Linien aber dann noch zufällig durchmischen (bisher sind sie nach Marshall-Gambit, Königs-Gambit etc. sortiert). Mehr wird daraus nicht. Aber dann kann man das pgn-file ja als Vorgabeset für Enginetests nutzen.
Parent - By Stefan Pohl Date 2019-07-24 12:32 Edited 2019-07-24 12:40
So, die Filterung (habe doch 10 Minuten pro Stellung genommen, wie gehabt, Komodo Eval-Intervall [-0.50;+0.60]) und die Testruns der Gambit-Eröffnungen (217 Stellungen blieben übrig) und die der KönigsInder-Eröffnungen (256 Stellungen blieben übrig) sind nun durch.

Download hier (alle J.Noomen Sets, also die gesammelten TCEC Superfinal-Eröffnungen, die Gambit-Eröffnungen und die Königsinder-Eröffnungen sind im Download enthalten):

https://www.sp-cc.de/files/jn_openings.zip

Im Gegensatz zu den TCEC-Superfinal Eröffnungen, verliefen die Testruns der Gambit- und der Königsinder-Eröffnungen ziemlich ernüchternd, was Remisqouten und Ergebnisspreizung angeht:

(Auszug aus der ReadMe-Datei)

All games played with 5'+3'' (average game-duration: 15-16 minutes)
Singlecore, 256MB Hash, no endgame-bases, no ponder
both engines with Contempt=+15, LittleBlitzerGUI

Score is the result of asmFish 170426 - Komodo 10.4. Example:
Score 60.3% – 39.7% means, that asmFish scored 60.3% and Komodo scored 39.7%

Here the results of some of my older testruns, which I did for the
development of my SALC and Drawkiller openings:

Each testrun 1000 games:
SF-Framework standard 8 move openings: Score 60.3% – 39.7%, draws: 63.4%
FEOBOS v20 contempt 5: Score 58.7% - 41.3%, draws: 64.1%
HERT 500: Score: 60.6% - 39.4%, draws: 60.4%
4 GM-moves short book: Score 60.5% - 39.5%, draws: 57.1%
SALC V5 full-closed 500 positions: Score 66.5% - 33.5%, draws: 47.7%
Drawkiller (small 500 positions set): Score: 66.4% - 33.6%, draws 30.5%

Here the result of the testrun of the TCEC Superfinal openings Season 9-15):
TCEC Superfinal openings (Season 9-15) edited (237 lines, 474 games):
Score: 62.5% - 37.5%, draws: 50.4%


As you can see, the result is better, than the results of the other
"classical" openings (SF-8moves, FEOBOS, HERT and 4 GM-moves). And
not so far away from the result of my SALC openings. Which is really
impressive. Of course, Drawkiller is out of reach and in its own
dimension...

*****************************************************************************
Here the results of the testruns with the (edited) Gambit-openings and the
KingsIndian-openings:

Gambit-openings (edited) (217 lines, 434 games):
Score: 60.1% - 39.9%, draws: 63.6%


KingsIndian-openings (edited) (256 lines, 512 games):
Score: 60.8% - 39.2%, draws: 57.6%

As you can see, the Gambit-openings give no better statistics than the classical
opening-sets (SF-Framework, FEOBOS) - little disappointing.
The KingsIndian openings statistics are on a level with the 4 GM-moves short
openings.
Both are clearly worse, than the TCEC Superfinal openings by J.Noomen.
Up Topic Hauptforen / CSS-Forum / TCEC Superfinal Eröffnungen

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill