einige Statistiken , CCRL,TCEC..

By Frank Quisinsky Date 2016-09-20 12:08

Hallo Günter,

was bedeutet "realistische Bewertungen". Wir sind weit weg vom verstehen mit mehr als 1.000 Elo weniger. Und tiefer rechnen bedeutet nicht immer mehr sehen, sondern oftmals übersehen! Die Eröffnungsphase ist noch die einzige Partiephase bei dem wir Menschen überhaupt durch Ideen so in etwa auf sehr hohem Niveau dagegen halten können. Die Gesamtspielstärke einer Engine dann auf die wenige Züge der Eröffnungsphase drüber zu spiegeln macht auch überhaupt keinen Sinn bzw. zu sagen eine Engine die teils um 200 Elo mehr im späten Mittelspiel bzw. Übergang Endspiel auf den sowieso Vorteil stärker ist muss auch in der Eröffnungsphase stärker sein? So grundsätzlich passt das nicht.

Kannst nicht sagen Borussia Mönchengladbach hat einen sehr guten Sturm und von daher ist auch die Abwehr sehr gut (Gegenteil ist der Fall).

Kann von mir aus und nach der ganzen Arbeit an dem Buch nicht behaupten Stockfish ist klar überlegen in der Eröffnungsphase weil ich das nicht sehen kann und gar andere Engines (auch wenn wenige) teils bessere Ergebnisse bringen. Es kommt auch immer auf die Stellung selbst an. In sehr ruhigen Varianten spielen viele Engines den Umgruppierungszug für eine langfristig bessere Stellung, Stockfish hingegen sucht die Öffnung. Je nach Eröffnungssystem gibt es teils völlig verschiedene Ideen.

Nochmals:
Möchte nicht komplett widersprechen weil Stockfish sehr viel sieht und auch in der Eröffnungsphase sehr gut spielt aber nicht übermächtig und schon mal gar nicht perfekt. Engine die z. B. wie Fizbo noch sehr viel offener zu spielen zu sagen ... diese Varianten darfst Du nicht mehr spielen weil Stockfish diese für schlecht hällt ... oder irgend einer anderen Engines macht überhaupt keinen Sinn.

Es ist mir völlig klar, dass niemals das perfekte ausgeglichene Eröffnungsbuch erstellt werden kann, wenn denn 50 Engines an einem Buch rum optimieren. Ich sehe das ja, wenn Junior Züge hinzukommen und Rodent alles wieder über Board schmeißt oder wenn Komodo Züge hinzukommen und ICE es wieder über Board schmeißt. Bei dieser Art der Optimierung bleibt auch einiges auf der Strecke aber wir sprechen hier immer nur von geringen Prozentzahlen an Zügen. In ca. 375 der ECO Codes herrscht große Einigkeit zwischen den 50 Engines und wie gesagt, es sind meist immer die gleichen Systemen die dann verschiedene Engine verschieden beurteilen. Und selbst bei den verschiedenen Beurteilungen kommt es 4-5 Züge später wieder zur großen Einigkeit. Heißt das die Anfangsstellung eher kritisch betrachtet wird und ganz sicher mit mehr Zeit der Engine die kritisch betrachtet würde dann langfristig viele früher die große Einigkeit herrschen.

Schaue ich mir also im Detail an das von den Einst ca. 50.000 Zügen 10% herausgeflogen sind nach Varianten es bei 85.000 sicherlich auch wieder so um 10% werden. Derzeit stehe ich bei ca. 7.5% . Ich gehe davon aus, dass in meinem Buch also noch von den ausgespielten Varianten ca. 2.000 Varianten drin sind, das Engines die stark unterschiedlich bewerten diese mit der Zeit raus werfen. Von den 2.000 sind ca. 1.500 enthalten die nach dem Update von 50.000 auf 85.000 hinzugekommen sind. Das sind so meine Stats von dem eigenen Buch. Das hört sich viel an ist es aber nicht.

Würde z. B. Rybka gegen Hannibal permanent spielen würden von den 2.000 Varianten maximal vielleicht 200 auffallen.
Würde z. B. Stockfish gegen Komodo permanent spielen würden vielleicht von den 2.000 Varianten maximal vielleicht 300 auffallen ... wenn ich das hochrechne nach dem was diese Engines herausgeworfen haben.

Das Problem hierbei ist für mich ...
Viele der kritischen Varianten werden selten ausgespielt. C30-C39 hat eine niedrige Priorität weil in der GM-Praxis selten. Und insofern auch selten von meinem Buch ausgespielt. Hier stecken noch einige Variante drin die nicht gut sind bzw. viele Engines ganz große Probleme mit der korrekten Bewertung haben ... für solche kritischen Varianten oder auch Gambit-Linien eignet sich Fizbo dann wieder ganz gut weil der von Dir angesprochene Raumvorteil extrrem bewertet wird und wie gesagt Fizbo hält in 8 von 10 Bewertungen Stand bzw. hat Recht.

Wenn denn wirklich der Anspruch gehegt wird ... ich optimiere ein Buch wirklich total ausgeglichen dann alle ECO-Codes untereinander schreiben. Verschiedene Engines darauf ansetzen und prüfen ob sie damit gut umgehen können oder eher nicht. Mit diesen Engines dann zu den jeweiligen Varianten prüfen ob diese im Buch verbleibt oder nicht.

Nehmen wir an ... wir würden sagen ...
500 ECO Codes und zu jedem der Codes suche ich mir 4 Engines aus, die nach Stichproben verstehen und vernünftig bewerten.
Wahrscheinlich würde Stockfish in ca. 375 der ECO Codes, vielleicht gar in 400 der ECO Codes unter den 4 sein.

Und Du wirst Dich wundern wenn ein Nemo auf Platz 46 glaube ich in meiner Liste in einer solchen Liste zum optimieren der ECO Codes plötzlich 20x dabei ist. Engine spielt einiges sehr interessant!

So eine Idee, welche ich mal zur Buchoptimierung verfolgen möchte.

Müsste mit kurzen Zeiten ca. 75.000 Varianten mit 50 Engines berechnen lassen.
Dann die Ergebnisse im Detail schauen.
Dann schauen wer kann und wer kann nicht ...

Dann gleiches nochmals tiefer mit je 4 zu den jeweiligen Varianten.

Wobei Du von den 50 Engines im Grunde ca. 30 aus selektieren kannst für diese Aktion.
Mit Engines wie Naum, Murka, Zappa etc.. kannst Du kein Buch optimieren.

Gruß
Frank

By Guenter Stertenbrink Date 2016-09-20 12:21

hallo Frank,

wir naehern uns doch dem Punkt, wo nach oben nicht mehr viel geht.
z.B. wenn drudru mit stockfish auf 80 prozessoren im TCEC-chat
die laufenden Partien kommentiert ... das ist schon ziemlich realistisch.
Und der haette dann vielleicht 95% Remisquote in Partien gegen sich selbst.
Oder die Fernschach Weltmeisterschaften (obere Haelfte der Spieler)
Das erachte ich dann als so eine Art ultimative Wahrheit, realistische Bewertung
(oder jedenfalls nah dran, mit hinreichender Wahrscheinlichkeit)

By Frank Quisinsky Date 2016-09-20 12:51 Edited 2016-09-20 12:57

Mit 80 Threads hast Du vielleicht Faktor 15 wenn überhaupt.
Schade um die vielen Threads wenn so viel verpufft.

Mit Faktor 15 wird eine Engine in der Eröffnung auch nicht ultimativ alles sehen wenn die Idee nicht verstanden wird.
Die Engine wird den entscheidenden Zug ... wenn es den denn gibt ... sehen ... klar hat sehr viel Power.

Aber die entscheidenden Züge gibt es nicht in 990 von 1.000 Fällen nach den Eröffnungszügen.

Die hohen Remisquoten haben stark überwiegend nichts mit der Eröffnung zu tun wenn denn die Eröffnung ausgeglichen ist.

Und die obere Hälfte der Fernschachspieler ...
Ich habe 20.000 Fernschachpartien ausgewählt die bis Zug 6, 8, 10 in mein Buch in Anfangszeiten eingeflossen sind.
Nach Abzug der doppelten Varianten aus der Endstellung heraus gesehen blieben ca. 12.000 übrig.

Das war vor ca. 2 Jahren.

Von den 12.000 sind mittlerweile schon 1.800 Varianten raus geflogen weil die Engines nicht damit klar gekommen sind.

Musst immer alles in einem Verhältnis sehen:
Ich erspiele eine Ratingliste mit Niveau 40 Züge in 10 Minuten auf 4Ghz i7 Hardware und versuche alle Beeinflussungsfaktoren auszuschalten, siehe Konditionen zu der Liste.
Es werden 45-Minuten Partien gespielt und im Durchschnitt erreichen die TOP 50 ... 2.850 realistische Elo (CCRL ist z. B. ca. 200 zu hoch). Auf diesem Niveau wird das Buch optimiert damit ich einen Vergleich zwischen den TOP-50 starten kann.

Ich schrieb ja schon ...
Würde ich jede Engine auf z. B. 80 Cores mehr Zeit geben würde mein Buch natürlich auch anders aussehen, würde sehr viel besser sein.

Aber kein Mensch auf dieser Welt kann 272.000 Partien auf 80 Cores und langen Bedenkzeiten anbieten ... dafür müssten ein paar Millionen investiert werden.

Für mich ist also wichtig ...
Ich befindet mich ca. bei 2.850 Elo im Durchschnitt meiner Liste 650-750 unter diesem Level.
Und insofern ist es mir völlig egal ob ich mit 80 Cores sprich 15x mehr ... vielleicht 1.000 unter diesem Level liegen würde.

Ganz im Gegenteil, warum soll ich mir immer mehr Remisschleifen ansehen.
Hobby wird ja immer uninteressanter.

Halte noch nicht mal was davon 2 Cores einzusetzen.
Was schon bei 2 Cores passiert ... Stockfish Interview lesen.

Ist ja gar nichts mehr zu reproduzieren und mich interessiert im Grunde nur eines ...

Wie stark ist die Leistung auf einem Core ... die Leistung auf 2, 4, 8, 16 oder Hunderttausend .... kann ich hochrechnen dafür muss niemand auch nur 1 EUR an Strom verschwenden.
Wirklich ...

Bei einer Ratingliste geht es darum die wirkliche Leistung zu messen ... jeder Beeinflussungsfaktor muss raus oder es wird ungenau!

---

Kann ja verstehend das viele Spaß an Turnieren wie TCEC haben.
Ultimatives sehen möchte ohne mehr zu verstehen ...

Wenn morgen die Außerirdischen eine Sitzung zur neuen Platanura Lichtgeschwindigkeits Theorie im schwarzen Loch halten würden, würden im Internet auch 10 Milliarden Menschen zusehen ohne jemals zu verstehen was die dort bequatschen ... der Mensch!

Ist nichts für mich!
Kann ja noch nicht mal folgen was hier auf 14 Rechner in den Partien abläuft und bin bei jeder Partie mindestens 3x erstaunt und frage mich warum ...
Könnte mich auch 6x innerhalb der 45 Minuten fragen warum ...

Ganz ehrlich ... 3x reicht mir und ist mir schon zu viel!

By Frank Quisinsky Date 2016-09-20 12:26 Edited 2016-09-20 12:29

Vergessen,

ich meine Du brauchst schon die Engines die stark unterschiedlich sind und finden was andere nicht sehen.
Machst Du das nicht und denkst ... ich nehme Engines für die Buchoptmierung die sehr verhalten mit den Bewertungen sind und vieles direkt ausgeglichen sehen hast Du folgendes Problem bei einem Test-Lauf mit 50 verschiedenen Engines.

Ca. 10% der 2.450 Partien ...
Engines bewerten sich mit -1.0 und verlieren sehr schnell die Partie.

Und nun?

Zu sagen ich starte mit einem ausgeglichen Buch aus der Sicht von Stockfish heißt nicht ich starte mit einem ausgeglichen Buch aus der Sicht von SmarThink. Und SmarThink wird stark benachteiligt und verliert mal locker 30 Elo im Test-Lauf, während Stockfish vielleicht 20 Elo gewinnt.

Was machst Du nun mit dem Ergebnis?
Nichts, weil alles innerhalt der Liste verzerrt wird.

Da ich jede Partie aus meiner Ratingliste prüfe und alles was von einer Engine kritisch betrachtet wird und auch zum Verlust führt deaktiviere habe ich das Problem nicht.
Wie gesagt, dass könnte ein Grund sein warum Stockfish und Komodo in meiner Liste nicht so hohe Ratings haben.

Also, die Frage ...
Was ist besser ... ein zu hohes Stockfish Rating oder realistische Ratings aller anderen ... wenn ich denn ein Buch benutzen würde was auf Stockfish optimiert wurde.

Ich finde mein Konzept geht auf aber es ist wie gesagt sehr viel Arbeit.
Und von daher brauche ich für einen Test-Lauf ca. 20 Stunden ... bzw. habe ca. 15-20 Stunden Arbeit, je nachdem was für eine Engine spielt.
Bei Fizbo denke ich gut und gerne 30 Stunden.

Gruß
Frank

OK, Dein Kommentar ... dann für jede Engine ein Buch.
Wofür?
Für die 125 auffallenden ECO Codes die hier und da mit mehr Energie bearbeitet werden müssen.
Denn nochmals in ca. 375 ECO Codes herrscht große Einigkeit was ausgeglichen ist und was nicht.

By Guenter Stertenbrink Date 2016-09-20 13:25

du beziehst alles auf dein eroeffnungsbuch ...
btw. warum nimmst du nicht einfach die CCRL Partien
anstatt die eigenen partien zu spielen ?

By Frank Quisinsky Date 2016-09-20 13:36 Edited 2016-09-20 13:44

Hallo Günther,

weil ich es vorziehe immer eigenes Material zu erstellen und es mir abgewöhnt habe Stichproben bei anderen zu machen.
Habe sehr hohe eigene Ansprüche und die versuche ich immer selbst umzusetzen, auch wenn es oft nicht funktioniert und ich unzufrieden bin.
War noch nie zufrieden mit der eigenen Arbeit und versuche zu verbessern. Bin es auch mit der Liste die ich erstelle nicht aber ich weiß, mehr geht nicht und ich gebe das was ich geben kann.

Und hinsichtlich CCRL ... dies Liste erfüllt noch nicht mal zu 20% meinen eigenen Ansprüchen.
Die einzige die dem nahe kommt ist die CEGT 5+3, die finde ich gut.

Außerdem hat selbst die Kombination von CEGT und CCRL zusammen nicht das Partiematerial unter den Voraussetzungen mit der Anzahl der Gegner und den TOP-50 die mich interessieren.
Schaue natürlich, auch auf andern Listen ... klar mache ich das wenn ich Zeit habe und in vielen Listen ist hinsichtlich Voraussetzungen einiges drin was reizvoll ist ... anders ist ... aber letztendlich interessiert mich maßgebend das was ich mache, weil es das ist was ich sehen will und mir das kein anderer bieten kann.

Außerdem ist es ganz nett 14 zusätzliche Fernsehprogramme zu haben wenn ich die Partien auf meinen großen TV beame und dann zusehen kann wenn ich Lust habe. Denke mir dann, der der möchte kann dann das Material haben und mache mir die Mühe und setze das auf meinen Seiten. Aber wie gesagt, lange läuft die Liste nicht mehr. Ist eine Liste mal in ein gewisses Alter gekommen und immer wieder fließen für die Berechnung der Ergebnisse ältere Partien ein ist das nicht gut weil sich die Programmierung verändert, Zappa Beispiel ... gleiche Engine aber wird gegen neuere Engines merkwürdiger Weise immer spielstärker. Dann stimmt irgendwann nichts mehr und es wird Zeit zu beenden. Unabhängig davon das dies nicht der Grund ist warum ich beende.

Viele Grüße
Frank

By Peter Martan Date 2016-09-20 17:07 Edited 2016-09-20 17:23

Weil das schon Ed Schröder macht.
http://rebel13.nl/download/books.html
(Third step, fast ganz unten auf der site.)
Was ich gerne mal wieder hätte, wäre eine eigene Datenbank online für die weltweiten High Class Fernschachspiele allein, damit man nicht immer manuell die ganze Spreu aussortieren muss für das (relativ

) kleine bisschen Weizen. Z.B. die chessbase .corr- Sammlungen auf CD sind überholt, (auch seit 2013 nichts mehr nachgekommen, oder hab ich's verpasst?) bis die gepresst und im Handel sind, ist die Aktualität schon wieder dahin.
Hiarcs CE online-Buch-Abo ist ja wirklich auch nicht schlecht, aber es fehlen bei allen Büchern immer die Quellenangaben, und die gehören einfach dazu, um einen sinnvollen Primärfilter zu haben, da kann man Buchautoren wie Jeroen Noomen noch so sehr trauen, Eigenbewertung bleibt einem nicht erspart und natürlich nur mit engine- Unterstützung heutzutage, aber die Reihenfolge der Varianten, die es zu sichten gilt, hängt von der Quantität des Materials und der Qualität der Quellen ab.
Ob z.B. Cerebellum etwas daran ändern wird, wenn es für den einzelne User bearbeitbar sein wird und engine- unabhängig, wird man sehen, dass einem rein engine- basierte Bücher wirklich Arbeit mit den Datenbanken auf die Dauer ersparen werden, wage ich zu bezweifeln.
Retroanalyse großer Bäume mit eigenem Algorithmus, wie das Thomas Zipproth macht, gut und schön, wenn ich nicht wenigstens meine eigenen Edits habe , bleibt es das Buch eines (oder einer) Anderen, sei's Mensch oder Maschine, da kann ich das Buch dann mit den engines auch gleich allein spielen lassen, und das ist nicht der Sinn des Schachs.
Wenn es der Sinn des Computerschachs ist, ist das dann halt vollends ein anderes Spiel.
Ceterum censeo: der Waschmaschine beim Wäschewaschen zuschauen (c Chrilly Donninger) oder die Maschine die Kartoffeln anbauen, ernten, schälen, kochen und aufessen lassen (c Ephraim Kishon, der war übrigens auch ein Schachbuchautor)

By Guenter Stertenbrink Date 2016-09-20 17:24

hmm, die muessen auch die CCRL-Partien gefiltert,verbessert,konvertiert haben.
Ist es verfuegbar ? Ich habe 541715 Partien konvertieren koennen,
88430 davon mit beiden Spielern ueber 3000 (218MB). 1391750 Turmendspielhalbzuege.
Man koennte das auch nach Eroeffnungen auswerten ...

By Peter Martan Date 2016-09-20 17:46

Schröder hat ein Polyglot- Buch draus gemacht, Rebel YAT verwendet es mir scheint sogar engine- kodiert. Ganz unten auf der site hast du dann noch ein Tool zum Konvertieren ins chessbase- Format. (Last step)
Mangel an Büchern haben wir eigentlich wirklich keinen momentan.
Jeroen Noomen aktualisisert übrigens sein hervorragendes Buch auch durch Spielenlassen gegen Brainfish+Cerebellum angeblich, was ich von ihm mal im CCC gelesen habe.

By Guenter Stertenbrink Date 2016-09-20 17:54

gibt es auch "Buecher", ganz normal und leicht computerlesbar im ASCII Format ?
Kurznotation von CCRL,FCP sollte auch gehen.
Oder Stellungen als FEN oder 64-byte-Tabelle
Oder gibt es da konvertierungsprogramme ?

viele gruesse, Guenter

By Peter Martan Date 2016-09-20 19:31 Edited 2016-09-20 19:36

Ich nehme mal an, Günter, dass ein halbwegs breites tiefes Buch wie das von Noomen, das im sparsamen .ctg- Format schon ein gutes GB hat, als Textfile etwas explodieren würde.
Auch müsstest du dabei die Zugumstellungen alle als einzelne Varianten ausschreiben, so werden ja Stellungen gespeichert, und alternativ die alle nur als FEN- Strings, abgesehen davon, dass das erst recht viel Text würde, du müsstest da dann im Interface wieder die möglichen Züge dorthin eigens lesbar machen, denke ich.
Außer den chessbase- GUIs kenne ich kein Interface, das Text überhaupt "lesen" kann als Schachzug, du schon?

By Frank Quisinsky Date 2016-09-20 23:16

EPD mit den Tools von Norm.

1. Alles in eine Datenbank
2. Alle Partien ein Spielername (Comp)
3. Dann schneiden ... alles weg bis Zugtiefe x

Problem 1
Viele Eco Code Zuordnungen enden sehr spät.
Zu sagen ich schneide alles weg ab Zug 9 ... und Bingo 30 Codes werden nicht mehr aufs Brett kommen.
Schneiden ab Zug 14 auch wieder schlecht weil dann viele Codes die schnell zugeordnet werden zu tief gehen.

Ich habe daher die langen Codes in meinem Buch von Hand eingepickt bzw. die ganzen Varianten selbst eingegeben.

Dann doppelte raus ...

Und Bingo ...

Problem 2
Die vielen Zugumstellungen, die müssen dann wenn die Tools von Norm das EPD hat auch von Hand herausgenommen werden.
Manche Varianten sind dann bis zu 13x durch Zugumstellungen im EPD und die Dublettensuche hat es nicht gefunden.

Dann die Endstellungen analysieren lassen ...

Problem 3
Ich schaue eher nach der Bewertung von 3-4 Zügen nach den Buchzügen und dann nach der Entwicklung der Partie bevor ich etwas herausnehme.

Im Grunde muss ich zwei EPDs haben ...
1x einen Zug nach dem Buch und 1x 3 Züge nach dem Buch (meine eine EPD Datenbank der Endstellungen).

Alles ist eine Wahnsinnsarbeit ...
Im Grunde habe ich ja alles schon gemacht mit dem Buch was steht.
Die Varianten wurden durch die Partien der Datenbank schon x mal von den Engines geprüft und dennoch fliegen immer wieder welche raus.

Sagte ja, dass was ich habe ist nach 3 Jahren auf einem enorm hohen Level aber noch lange nicht perfekt.

Gruß
Frank

By Guenter Stertenbrink Date 2016-09-21 07:59

http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=103479

am besten alles Automatisieren. Eroeffnungsbuch-Software.

Zugumstellungen muesste ich jetzt eigentlich leicht finden koennen -
Zuege ausfuehren und dann die Stellung suchen.

Man koennte auch ein neuses System machen, indem man die Partien z.B.
in >= Hundertergruppen buendelt, startend mit identischen Stellungen nach
20,19,...Zuegen. Jeweils die Gruppe mit maximaler Zugzahl rausfiltern
und dann erneut suchen ... dauert voraussichtlich einige Tage, schaetz ich mal.

das Analysieren und Testen und Rausschmeissen ueberlass ich dann dir ...

Aber erstmal versuch ich's mit den Endspielen.

Ein besserer Zeitpunkt dafuer ist, wenn der Fortschritt in Hardware und Software
sich verlangsamt.

Gruss,Guenter