Stefan's Buch-Experiment ...

By Frank Quisinsky Date 2017-05-20 05:21 Edited 2017-05-20 05:39

Hallo,

finde das Buchexperiment von Stefan Pohl sehr interessant.
Vielen Dank hierfür ...

Ein paar Bemerkungen:
Wenn bei den Positionen, die im Buch verbleiben, die Eval höhergestellt wird, also z. B. erst aussortiert wird wenn 0.6 bedeutet das, das mehr Positionen mit kleinen Vorteilen im Buch sind. Spielen dann extrem starke Engines gegeneinander, gibt es mehr Entscheidungen, sprich weniger Remise. Wenn denn eine Engine ein Buch bzw. die Positionen die im Buch verbleiben untersuchte, ist die Filterung kleiner. Sprich wenn mehrere Engines die Stellungen im Buch untersuchen würden, würden mehr Positionen ausrangiert und letztendlich würden die Vorteile noch kleiner werden, wenn TOP-Engines dann letztendlich noch sagen ... Stellung ist OK mit Wert 0.x.

Haben wir mehr Entscheidungen und weniger Remise bedeutet dies, das der Züge Durchschnitt nach unten geht und Test-Zeit eingespart wird. Es bedeutet auch, das die Elo die herauskommt etwas abweicht zu mehr ausgeglichenen Büchern. Letztendlich sehen wir dadurch das der Beeinflussungsfaktor Buch nicht so unerheblich ist wie eigentlich gedacht.

Wenn z. B. das Buch welches beim Stockfish Test verwendet wird nur 8 Züge tief ist verwendet wird, bedeutet dies das viele ECO Codes nicht angespielt werden. Und wenn ich mir ansehe welches es sind dann fehlt eine ganze Menge an modernen Standard-Mode-Varianten. Ein Buch auf 8 Züge zu begrenzen halte ich für absolut falsch und völlig uninteressant. Muss man sich schon ein wenig mehr Mühe machen. Selbst gehe ich hin und sage eher ... ich nehme 3 Züge nachdem sich der ECO Code gebildet hat bzw. sage mindestens 5. B01 bildet sich z. B. nach 1. e4 - d5 ... und Bingo. Ein ECO Code nach 14 Zügen, sprich die maximale Buchlänge bei A00-E99 müsste bis Zugtiefe 17 gehen. Würde ich sagen 4 Züge nach ECO Code dann hätte ich Unmengen an mehr Positionen die zu untersuchen wären und würde ich sagen 2 Züge nach ECO Code Bildung wären des zu wenige. 4 wäre interessanter aber dann müsste ich 10 Engines schon 2 Jahre bei der verendeten Bedenkzeit die Züge untersuchen lassen. Das würde mir dann wirklich zu lange dauern.

Absolut richtig ist die Frage ... wie kann ich erreichen das durch die Stellungen im Buch Remis vermieden wird.

- nur Stellungen mit Damen auf dem Brett. Finde ich richtig gut die Idee, möchte das selbst jedoch bei meinen Büchern nicht, weil ich denke alles was spielbar von A00-E99 ist gehört in ein Buch. Zumal es nicht so viele Stellungen sind bzw. nur ca. 2% der Buchstellungen hierdurch aussortiert werden.
- gibt andere Ideen, wie unterschiedliche Rochaden etc...

Fällt bei meiner Betrachtungsweise weg ... sonst könnte ich nicht von einer Encyclopaedia sprechen.

Nun habe ich ja die Idee (siehe Excel Tabelle) anders zu filtern um klare Remise durch die Buchvarianten möglichst zu vermeiden bzw. die Remisquote des Buches nach unten zu treiben. Sortiere Stellungen aus, wenn x der 10 Engines sagen 0,00.

Also, wenn z. B. 70% der 10 Engines sagen ... Stellung ist 0,00 sortiere ich aus. Bei Version 3.0 sagte ich wenn alle der drei Engines sagen die Stellung ist 0,00 und kam nur noch auf ca. 200 Stellungen. Auch das würde zwar letztendlich bedeuteten ich könnte nicht mehr von einer Encyclopaedia sprechen, wenn ich das wegnehme aber ich könnte auch erreichen, dass durch das Buch weniger in Remise eingeleitet wird.

Die Frage der Fragen ist ...
Was ist richtig.

- ich belasse das Buch natürlich und lasse ausspielen was die Eröffnungsklassifikation von A00-E99 an ausgeglichenen Positionen hergibt. Natürlich sollten die Positionen raus die direkt wegen dreifacher kurzfristig zu Remis führen.
- ich manipuliere das Buch um wirklich mehr Gewinn- Verlustpartien produzieren zu lassen.

Im Ergebnis habe ich leicht unterschiedliche Elo's die dabei herauskommen. Halt der Beeinflussungsfaktor "Buch" lässt grüßen.

Anders, es gibt in der Theorie sehr viele Varianten die GMs zu Recht dann nach 25 Zügen Remis geben ... weil die verbliebenen Positionen bzw. Figurenkonstellationen auf dem Brett dann meist wirklich in Remis enden. Erinnere mich an GM Meier der beim Interview der Schachwelt ja gegen mein Notebook und Shredder 12 in seiner Lieblingseröffnung angetreten ist. Nach ca. 15 Zügen kam der Kommentar ... wenn jetzt weiß den Zug x spielt dann ist das jetzt Remis, müssen wir nicht weiterspielen, es sei denn ich oder das Schachprogramm macht einen Fehler. Auf meinen Kommentar will sehen ... Shredder spielte den erwarteten remislichen Zug ... spielte GM Meier ohne zu überlegen eher gelangweilt bis zum Remis die restlichen Züge runter. Tja, die Realität lässt grüßen auch wenn natürlich nicht jeder Großmeister jede der Varianten so aus dem FF kennt wie seine eigenen Lieblingswaffen. Genau das macht für einen Menschen und natürlich auch für einen Großmeister die Theorie wieder interessant ... sie lernen nicht aus. Die Schachprogramme verhalten sich aber hier ganz anders. Sie spielen die Remisvarianten fehlerfrei einfach runter.

Genau das müssen wir dabei immer im Hinterkopf behalten, bei jeder Betrachtungsweise.

Bedeutet für uns, dass die hohen Remisquoten die Eröffnungsbücher produzieren Realität sind und "leider" auf dem hohen Level dazugehören. Gehen wir auf die Suche nach Fehlern bei der Behandlung der Eröffnungssysteme bei sehr starken Programmen suchen wir uns dumm und dämlich.

Wir haben in FEOBOS 26.146 Varianten die als Basis herhalten. Es sind sicherlich mehr als 80% aller überhaupt denkbaren Varianten enthalten die überhaupt 3 Züge nachdem sich der ECO-Code gebildet hat überhaupt spielbar sind, bzw. sollten ca. 97,5% der Hauptvarianten der bekannten Hauptvarianten enthalten sein, wenn überhaupt spielbar. Werde später versuchen diese Quoten nach oben zu treiben mit neueren GM-Partien bzw. Updates die ich machen werde. Hauptaugenmerk einige D00-D99 Codes bzw. alles aus neueren Partien was fehlt.

Bei FEOBOS und der Justierung der derzeitigen Varianten ist es also möglich zu sagen ... sortiere aus, wenn 50 der Engines sagen 0,00 oder 60% der Engines sagen 0,00. Ich halte den Wert 70% für sehr gut. Das kann mit der Excel Tabelle simuliert werden.

Wenn das Buch also fertig ist, bzw. alle 10 Engines durch sind kann im Detail dieses aussortieren erst erfolgen und das wird die Remisquote nach unten treiben, allerdings werden einige Hauptvarianten zu gängigen Eröffnungen hierdurch gekillt werden. Also muss ich mehrere Bücher anbieten ... Bücher die genau das tun oder Bücher die "natürlich" bleiben. Ich persönlich finde "natürliche" Bücher mit Zugumstellungen interessanter und die Elos die dann dabei beim Eng-Eng Match herauskommen sind realistischer ...

Interessant könnte folgendes Experiment sein ...
Nehmen wir an es verbleiben 24.000 Stellungen im Buch.
Dann sollte z. B. ein 48.000er Match Stockfish - Komodo erfolgen ... Bedenkzeit kann hier kleiner sein ... z. B. 40 Züge in 3 Minuten bei Aufgeben zulassen = an. Nur um dann im Detail die schnellen dreifachen herauszunehmen und natürlich Contempt = 0 für beide Engines.

Bei 40 in 3 und einer durchschnittlichen Partielänge von ca. 65 Züge würde eine Partie ca. 11 Minuten laufen.
11 Minuten x 48.000 Partien = 528.000 Minuten : 60 = 8.800 Stunden : 24 = 366 Tage wenn 1 Match laufen würde ...36,6 Tage wenn 10 Matches gleichzeitig laufen würden.

Dann wären grob ca. 90% der möglichen dreifachen aussortiert ... sicherlich würden dann 50-100 Positionen zu Unrecht aussortiert werden ... ein bissel Verlust ist immer.

Das was dann aber übrig bleibt bildet das Buch zu allen ausgeglichenen A00-E99 Varianten und realistische Resultate werden die Endergebnisse im Eng-Eng Vergleich darstellen. Wenn wir dann höhere Remisquoten haben ist es halt so, damit müssen wir leben.

Übrigens schaue mal in die Wasp News ... Wasp produziert bei den Partien mit ca. 2.800 Elo (das ist Shredder 12 Level) natürlich keine 80% Remisquote. Die produzieren Engines welche 400 Elo stärker sind und sich nach dem heutigen Wissen ... gerade in der eigentlich für Schachprogramme schwierigsten Partiephase (Übergang Endspiel ... hier entscheiden sich die Partien) angleichen. Das sagt absolut jede FCP Rating List Statistik aus.

Das ist eine Partiephase bei dem wir Menschen den Engines hoffnungslos unterlegen sind, meine Engines auf dem Level von Stockfish und Komodo. Und wenn in genau dieser Partiephase die eigentlich vielen Remisen produziert werden, eigeleitet durch eine klare Eröffnungsbehandlung ... dann liegt es auch ein wenig daran das sich die Programme auf diesem Level sehr gleich sind bzw. gleiches Wissen benutzen welches sich nur im Detail voneinander unterscheidet.

Hat eigentlich weniger mit den Buchzügen zu tun wie dann eine 2.800 Elo wie Wasp aufzeigt (ca. auch das maximale Menschen Niveau). Wasp verhält sich wie Menschen im Spiel gegen Komodo und Stockfish. Ist in klaren Endspielen stark, ist in der Eröffnung stark und verliert mindestens 300 der 400 Elo im Vergleich zu Stockfish und Komodo in genau dieser Partiephase und nicht in der Eröffnung.

Spielen also Komodo und Stockfish gegeneinander und wir haben 0.6 Positionen ist wie einleitend beschrieben die Wahrscheinlichkeit hoch das mehr 1:0, 0:1 Partien erzeugt werden, weil 0.6 schon in zu vielen Fällen Partieentscheidend ist.

Kurz noch hierzu ...
Komodo und Stockfish haben im Vorfeld von FEOBOS mit halber Kraft (Hardware und Bedenkzeit) die Datenbank mit dem Setting 0.50 / -0.30 schon aussortiert. Werden am Ende vom Projekt mit voller Kraft erneut untersuchen. Hierbei drehe ich runter auf 0.45 / -0.25. Und glaube mir mal selbst mit diesem runter gedrehten Setting werden die kaum noch etwas finden, wenn vorher 8 Engines gefiltert haben. Das ist jetzt schon absolut klar.

So das war ein wenig Lektüre für die anderen.
Denke für Stefan ist das auch alles klar aber absolut richtig der Gedankengang und das Experiment von Stefan.

Die Frage ist ...
Was können wir tun um die Remisquote zu senken.

Komme selbst nur in einen kleinen Konflikt denn es gibt nichts anders im Schach als A00-E99.
Und bei einer Encyclopaedia muss dann auch alles rein was ausgeglichen ist abzüglich Varianten die beim Computerschach direkt und klar zur dreifachen Stellungwiederholung führen.

Viele Grüße und den Lesern ein schönes Wochenende.
Frank

...

Also, ich hoffe bei FEOBOS ein Buch erstellen zu können ... mithilfe der Excel ... bei dem ich dann aussortiere wenn 7 der 10 Engines sagen 0,00.
Das wird dann das experimentelle FEOBOS buch begleitend zu anderen die ich anbieten werden wenn denn alle 10 Engines durch sind. Müssen also das Endergebnis abwarten und die bisherigen FEOBOS Bücher sind bis dahin eher Prototypen die noch nicht optimal justiert sind.

Der letzte Step der Buchoptimierung könnte dann Stockfish - Komodo mit Farbtausch der verbliebenen Varianten sind um dann die meisten kurzen Remis-Stellungen die zur dreifachen führen noch zu finden. Ein wichtiger Punkt den die Excel Tabelle abhandelt.

Mein Problem ist nach wie vor ein anders.
Was mache ich mit Engines wie Fizbo, SmarThink und ice die mir mit Ihren Bewertungen mein Buchprojekt völlig auf den Kopf stellen.
Denke ich hole Fizbo aus dem Kreis der 10 Engines heraus und nehme Texel rein.
Wenn eine dieser drei Engines auf TOP-Niveau die Stellungen untersuchen, die vorher schon 10 TOP-Engines untersucht haben wird klar ...
Engines spielen unterschiedlich und können dennoch richtig stark sein ... eigentlich sind diese drei die Highlights bei der Prüfung der Theorie. Die finden was andere nicht sehen oder übersehen genau geschickt sehr gut. Wer das auseinander nehmen will wird kurz vor dem Nervenzusammenbruch stehen.

By Stefan Pohl Date 2017-05-20 06:10 Edited 2017-05-20 06:15

Ich denke, letzendlich ist immer die Frage, was man mit einem Buch erreichen will. Primär ging es in meinem Experiment darum, zu zeigen, daß ich mit dem SALC Buch erreicht habe, was ich erreichen wollte, nämlich die Remisquote zu senken, ohne einfach Varianten mit großem Vorteil für eine Seite einzubauen, was ja die Engine-Scores in Richtung 50% drücken würde. Und das SALC Buch soll Königsangriffe, Taktik und Spannung ins Computerschach bringen.
Diese Zielsetzung ist bzw. war ein völlig Ansatz für die Erstellung eines Buches.
Das FEOBOS hat ja eher die klassische Zielsetzung eines Buches, nämlich alle Eröffnungssysteme abzudecken und auch auszuspielen. Nur soll das mit dem FEOBOS buch auf nie dagewesenem Qualitätslevel passieren. Ob diese Zielsetzung richtig oder nicht ist, vor allem, ob sie noch zeitgemäß ist, darüber kann man streiten. Mein Testrun zeigt aber immerhin auch, daß das FEOBOS buch dem 08/15 Eröffnungsvorgabeset des Stockfish-Frameworks qualitativ voraus ist: geringere Remisquote und weniger 3fach-Remisen...und es ist ja bisher noch gar nicht fertig.
Insofern habe ich nicht den geringsten Zweifel, daß das FEOBOS Buch, wenn es mal fertig ist, das qualitativ beste Buch für Engine-Schach wird, das es je gegeben hat, welches auf dem klassischen Ansatz/Qualitätsmerkmalen für Buch-Erzeugung basiert.

By Frank Quisinsky Date 2017-05-20 06:26 Edited 2017-05-20 06:32

Stefan,

interessant könnte folgendes sein ...
Bei welchen ECO Codes bilden sich prozentual die Varianten, die mittels SALC die Remisen drücken und für spannendes Computerschach sorgen.

So richtig mit Excel ist das derzeit noch nicht zu berechnen, weil es zu den jeweiligen Codes eine unterschiedliche Menge an möglichen Positionen gibt (also sind prozentuelle Auswertungen schlecht .. wenn ich zu C38 z. b. nur noch 3 verbliebene habe).

Ich denke, dass ein Ansatz für eine Betrachtung nur dann erzeugt werden kann ... wenn Stockfish - Komodo mit Farbtausch die kompletten Varianten im Buch durchspielen.

Ich glaube nicht, das wir auf alle A00-E99 die Ergebnisse spiegeln können. Die Frage ist also, welche ECO Codes sorgen bei dem Stockfish / Komodo Level für mehr Spannung ... unabhängig von der Frage sortiere ich aus bei 0.6 oder weniger, Tanten auf dem Brett oder nicht. Denke grundsätzlich wird das Ergebnis gleich sein ... ob bei 0.6 oder 0.4 aussortiert wird ... oder auch nicht?!

Wenn wir das wissen, könnten wir die Remislichen weiter nach unten drücken ... in dem zu den spannenden Codes mehr im Buch ist, zu den anderen Codes herausgeholt wird.

Die GMs wissen das, meiden oder provozieren diese Varianten.
Wir wissen das nur ansatzweise bzw. würde behaupte ich weiß es zu meinen Favoriten schon aber natürlich nicht zu allen der 500!

Gruß
Frank

Im September sind die 10 Engines durch.
Könnte dann für 36 Tage mein Buch Komodo - Stockfish durchspielen lassen.
Dann hätten wir das FEOBOS Ergebnis ... könnten das mit Excel auswerten. Hätten also nicht "nur" die letzten raus die zur dreifachen führen.

Dann hätte ich aber noch nicht das SALC Ergebnis.
Hätten wir beide ... dann könnten die Varianten mittels Excel bzw. die Ergebnisse verglichen werden.
Unser Wissen zur Eröffnungstheorie würde direkt auf einem höheren Stand sein (hinsichtlich klarer Statistik) als das Wissen was die meisten GMs überhaupt haben. Obwohl eigentlich wissen die das ... was muss ich gegen Stärker spielen um ein Remis zu erreichen.

By Stefan Pohl Date 2017-05-20 12:13 Edited 2017-05-20 12:20

Frank Quisinsky schrieb:

Moin Frank

Das Problem bei SALC ist, daß es nur 10000 Endstellungen enthält. Da kann man also nix mehr rausfiltern, sonst wird das Buch zu klein. Rochaden auf gegenüberliegenden Seite bis zum 10.Zug sind einfach sehr selten...
Ansonsten müßte man bis Zug 12 filtern, statt 10, dann könnten sich deutlich mehr Stellungen ergeben.
Interessant wäre eher, deine FEOBOS Stellungen zu filtern, denn das sind ja deutlich über 20000.
Nur nicht nach dem SALC-Kriterium. Ich hätte da die Idee, Engines im Selfplay (also Stockfish 8 gegen Stockfish 8, Komodo 11 gegen Komodo 11 etc.) alle Feobos-Stellungen mit halbwegs ordentlicher Bedenkzeit durchspielen zu lassen. Und das mit möglichst vielen Engines. Wenn man das z.B. mit 20 Engines macht, kann man dann schauen, wieviele der 20 Selfplay-Partien einer Feobos-Endstellung gingen Remis aus. Und dann alle Stellungen streichen, die z.B. mindestens 15 mal Remis ergaben oder so. Da müßte man erst schauen, wie sich die Remiszahl so verteilt. Aber mit deinem Excel-Experten Klaus sollte das kein Problem sein.

Gruß - Stefan

PS: Möglich wären auch zwei oder mehrere Durchgänge Selfplay pro Engine, mit verschiedenen Bedenkzeiten. Dann hat man noch mehr Daten als Auswahlkriterium. Das wäre natürlich sehr zeitintensiv und sollte erst gemacht werden, wenn das Feobos Buch fertig ist. Dann hätte man das “normale“ Buch und eine gefilterte “more Action“-Variante. Das wäre doch was.

By Frank Quisinsky Date 2017-05-20 14:06 Edited 2017-05-20 14:26

Hallo Stefan,

ja genau, hört sich alles gut an.
Wobei entgegengesetzte Rochade ... bin mir sicher ich komme noch nicht mal auf 2.000 Positionen bei den 26.146 die ich habe.

Eine weitere Idee zu filtern wären die Bauerketten (nicht entgegen gesetzte Rochade oder beide Tanten auf dem Brett noch vorhanden).

Wenn ich die komplett verbliebenen Stellungen Stockfish - Komodo habe spielen lassen ... die produzierten Gewinnpartien in eine Datenbank kopiere kann ich experimentieren welche Stellungstypen zu Gewinnen / Verlusten führen bzw. kann das auswerten.

Beispiel:
Wenn in der Eröffnung Läufer gegen Springer getauscht wird besteht die Gefahr unterschiedlicher Läufer die dann später zu langweiligen Endspielketten führen. Lt. einer letzten Woche angefertigten Statistik könnte ich 5.7% mehr Remis bei Eng-Eng vermeiden wenn Läufer sich mit Läufer tauscht und nicht in der Eröffnung mit Springer tauscht.

Wie gesagt, brauche dafür einen Satz Komodo - Stockfish ... alle verbliebenen Positionen durch ... um bessere Stats zu erzeugen.
Sonst werden die Aussagen schwammig bzw. die Stichproben nicht genau.

Wenn das vorliegt könnte mit einem solchen Datensatz auch SALC verfeinert werden.
Allerdings wird dann bei diesen ganzen Verfeinerungen aus einem Buch ein deftiger Test-Set ... nicht mehr!

Gruß
Frank

Glaube Klaus hätte richtig Spaß daran dann wenn 24.000x Stockfish - Komodo x 2 (Farbtausch) über Excel ausgewertet werden.
Dafür bräuchten wir aber eine zweite Tabelle ... auch müsste Ferdinand eingeschaltet werden der mit einem Tool automatsiert herausfiltert ... bzw. das Tool gibt es doch, hat er vor ca. 2 Jahren entwickelt und liegt auf meinen Seiten, müsste vielleicht dann angepasst und verbessert werden. Aber das wäre Zukunftsmusik wenn Stockfish - Komodo ... alle verbliebenen Varianten ... durchgespielt wurden.

By Frank Quisinsky Date 2017-05-22 01:08

Hallo Stefan,

Frage:
Es könnte auch aussortiert werden nach der durchschnittlichen "Eval" der 10 Engines!

Step 1:
Die Höchsten 1.000 durchschnittlich positiven Evals raus
Die Höchsten 500 durchschnittlich negativen Evals raus
Und dann noch die 0,00er wenn mindestens 7 von 10 Engines der Meinung sind ... Bewertung ist 0,00

Das funktioniert aber nur dann, wenn Fizbo nicht unter den 10 zu analysierenden Engines ist ...
Muss wirklich Texel nehmen bzw. Fizbo mit Texel ersetzen.

Step 2:
Zusätzlich zu diesem Auswahlverfahren dann noch die 35 höchsten und 15 niedrigsten per zu analysierende Engine raus (wenn nicht schon durch Step 1 aussortiert).

Wäre auch ziemlich genau.
Bin am überlegen was besser ist ...
Die bisherige Vorgehensweise oder diese?

Könnte bei Abschluss des Projektes noch zusätzlich gemacht werden.
Was meist Du?

Gruß
Frank

By Stefan Pohl Date 2017-05-22 07:55 Edited 2017-05-22 07:58

Moin Frank,

Klar, das kann man versuchen. Aber ob das wirklich viel bringt bzgl. einer geringeten Remisquote das müßte man dann mal austesten. Es ist auf jeden Fall einen Versuch wert. Ich kann dann gerne mal ein paar Vergleichs-Testruns machen, mit dem normalen FEOBOS Buch und dieser neuen Version. Und noch meinem SALC Buch. Dann sind wir schlauer. Aber stelle erst mal dein Buch fertig, so wie du es geplant hattest. Dann kannst du immer noch eine zweite Version erstellen, nach den hier von dir skizzierten Kriterien. Dann schauen wir mal. Für einen guten Vergleichstestrun brauchen wir sowieso beide Versionen.

Gruß- Stefan

By Frank Quisinsky Date 2017-05-23 10:11 Edited 2017-05-23 10:16

Hallo Stefan,

wichtig ist ja nur die entsprechenden bzw. ergänzenden Ideen übersichtlich einzuarbeiten bzw. ich habe eine Liste mit Ideen zu Klaus gesendet. Eher Ideen und ein paar wichtige Ergänzungen. Nach den Wasp Analysen habe ich das Problem, dass ich die 0,00 nicht rausbekomme, zu aufwendig ohne Excel. Bzw. wir sagen ja ... wenn x% 0,00 sortieren wir aus. Mein Vorschlag wäre 70% wenn alle 10 durch sind, also 7 Engines sagen Stellung ist 0,00. Bislang war es nach 3 von 10 Engines ja einfach ... wenn alle 3 sagen 0,00 dann raus für die FEOBOS Version. Bei 4 von 10 Engines wären es nun wenn 75% also drei von vier sagen 0,00 und dafür haben wir keine Auswertungmöglichkeit nur eine Anzeige was raus muss.

Wie das umgesetzt wird wissen wir schon bzw. weiß Klaus schon.
Es fließen noch andere Ideen ein.

Um darzustellen wie unterschiedlich Engines in der Eröffnung bewerten, eignen sich ja SmarThink, ICE und Fizbo. Diese drei folgen als Experimentelle nach den 10. Innerhalb der 10 nehme ich Fizbo raus und ersetze mit Texel, zumal Texel herausragend bei der Beurteilung von Eröffnungssituationen ist. Für die abschließende Buchversion nehme ich nur die Analysen der 10 maßgeblichen ... möchte aber dennoch die drei experimentellen drin haben. Dann eine 14 Engine Spalte wenn ein Programmierer seine Engine oder ein User die Analysen mit einem eigenen Favorit durchführen möchte.

Etc. werden einige größere Änderungen erfolgen und an den Änderungen wird Klaus dann Anfang Juni arbeiten.
Selbst wird sich FEOBOS v04 etwas verzögern aber ich werde nach Wasp dennoch hochladen mit dem was ich habe.

Zwischenzeitlich werde ich die deutsche Doku wieder aktualisieren, Klaus arbeitet an einer Doku für die Excel Tabelle.

Bei Abschluss von FEOBOS gibt es also einige Möglichkeiten verschiedene Bücher zu erstellen.
Auch hatte ich eine noch eine Idee den aus FEOBOS entstehenden Test-Set zu verbessern (neben dem Buch soll auch ein Test-Set kreiert werden).

Wie gesagt wird alles kommen!

Gruß
Frank

Nach 21.475 Partie gab es ca. 350 gefundene bei Wasp ... davon etwa 200 neue den Rest haben schon die ersten drei selektiert.
Bei drei von vier Engines mit 0,00 wären ca. 500 rauszunehmen aber wie gesagt ohne die Auswertung über Excel zu mühselig das für die kommende Bucherversion zu tun.
Muss hier auf Klaus warten und das FEOBOS Buch in Version 4 nachschießen.

Jetzt wird es also spannend ...
Drei Hammer Engines hinsichtlich hochinterssanten Eröffnungsanalysen hintereinander ... Chrion, Booot und Texel.
Dann folgen die aktuellen Versionen von Andscacs / Stockfish und Komodo und bei Stockfish könntest Du mir dann später einen Tipp geben welche Version ich verwenden sollte.

Anschließend dann die drei experimentellen mit ICE, Fizbo und SmarThink und zum Ende des Jahres wird FEOBOS dann mit allen Daten, Bücher, Dokumentationen etc. fertig sein. Wasp war wichtig das jetzt zu tun weil ich hier Beta teste und die Ergebnisse für das Buch im Wasp Format benötige. Die Wasp Analysen sind echt Klasse nach vielen Stichproben ... hat sich bewahrheitet das Wasp eine Bombe bei der Eröffnungsanalyse ist.

By Klaus Wlotzka Date 2017-05-20 12:26

Hallo Frank,

die beiden Buchprojekte SALC und FEOBOS haben ja unterschiedliche Zielsetzungen von daher ist auch die Herangehensweise eine andere. Bei meiner früheren CSS-Rangliste bin ich nur deswegen auf Vorgabestellungen ausgewichen, weil es damals kein ausgewogenes Buch gab. Und auch hier wählte ich mit dem Stounton Gambit eine eher unübliche Eröffnung. Hier ging es mir ausschließlich darum, die Engines mit dieser Eröffnung auch mal in taktisches Fahrwasser zu leiten um zu sehen, wie die Engines dies bewältigen. Also auch hier ein ganz anderer Ansatz. Hätte ich damals ein Buch wie FEOBOS gehabt, hätte ich sicherlich keine Vorgabezüge verwendet.

Das Remis-Problem ist ja eigentlich kein Problem sondern hört gerade auf extrem hohen Niveau dazu. Die Partien werden ja meist erst in einem viel späteren Stadium entschieden, also jenseits des derzeitigen Rechenhorizontes der Eröffnungsbehandlung. Gut möglich, dass eine Stellung, welche jetzt noch von 7 Engines mit 0.00 bewertet wird, 5 oder 10 Züge später das schon wieder anders aussieht. Ich tendiere daher eher dazu, den Wert höher anzusetzen und zu versuchen die Stellungen ausfindig zu machen, welche eine hohe Quote von Zugwiederholungen haben. Den besten Faktor zu bestimmen, ist sicherlich eine schwierige Aufgabe darf meiner Meinung aber auch nicht überbewertet werden. Schließlich dient das Buchprojekt FEOBOS dazu, ein möglichst umfangreiches und ausgewogenes Buch zu erstellen. Das es dabei Systeme gibt, welche bei zwei gleichwertigen Gegnern früher zu einem Remis führen als bei anderen Eröffnungssystemen ist nichts verwerfliches. Die Engines wählen derartige Systeme ja nicht gezielt sondern anders wie beim Menschen eher zufällig.

Nun, noch sind nicht alle Engines durch, sodass uns ja noch etwas Zeit bleibt, uns hierüber Gedanken zu machen. Wenn alle 10 durch sind kann man anhand der Excel-Tabelle sehr schön mit dem 0.00-Faktor experimentieren. Beispielsweise erkennt man sofort, ob bzw. wie viele Stellungen aus den jeweiligen ECO-Codes mit jeder Veränderung des Faktors noch vorhanden sind. Im Sinne eines möglichst breiten Buches über alle ECO-Codes, was ja auch eine Zielsetzung von FEOBOS ist, ergibt sich vielleicht fast automatisch ein optimaler Faktor.

Kritisch bleiben letztlich Stellungen, die in hohem Maße Zugwiederholungen produzieren. Diese lassen sich in der Tat nur durch das Anwenden des Buches oder systematischen Ausspielens, wie von Frank angedacht, ausfindig machen.

Da ist noch viel zu tun. Wie ihr merkt, begeistert mich das Projekt von Frank zusehends und es macht richtig Spaß anhand der Excel-Tabellen mit daran zu arbeiten weil ich glaube, dass es am Ende wirklich ein nachhaltiges, ausbaufähiges Projekt wird.

Viele Grüße

Klaus

By Stefan Pohl Date 2017-05-20 12:42 Edited 2017-05-20 12:48

Moin Klaus,

Das meinte ich ja. Entscheidend ist nicht so sehr, wie eine Buchstellung von den Engines bewertet wird (natürlich muß man hier aber kontrollieren, um extrem schlechte Varianten zu eliminieren), sondern das (ich nenn es mal so) “Spannungs-potential“ einer Buch-Stellung. Und das läßt sich nur durch wiederholtes Ausspielen bis zum Partieende mit diversen Engines erkennen. Oder, indem man sich gleich auf Stellungenstypen mit Spannungspotential konzentriert. Letzteres ist die Grundidee des SALC-Buchs. Rochaden auf gegenüberliegende Seiten plus beide Damen auf dem.brett, das hat per se mehr Spannungspotential als gewöhnliche Stellungen. Das war der Kniff, mit dem ich mir das massenhafte Ausspielen der Stellungen erspart habe. Denn das würde richtig lange dauern: wenn man knapp 25000 feobos Stellungen mit 20 Engines im Selfplay ausspielen wollte, wären das fast eine halbe Million Partien. UFF...Das wird dauern. Und Bullet-speed sollte man da nicht nehmen, etwas länger müßten die Bedenkzeiten schon sein.

Gruß - Stefan

By Frank Quisinsky Date 2017-05-20 13:48 Edited 2017-05-20 13:56

Hi Stefan,

ich ticke ja grundsätzlich auch so, dass ich als aggressiver Spieler die spannenden Eröffnungen bzw. Varianten sehen möchte. Das Problem was wir alle haben ist eher, dass wir die oftmals die verborgene Spannung bei augenscheinlich für uns langweilige Varianten nicht erkennen. Dem Computerprogramm wird es egal sein bzw. ein Programm sieht keinen Unterschied ob spannend oder nicht.

Und zu dem Herauspicken der schnellen Dreifachen ...
Bei den letzten 900 kontrollierten Wasp Partien gab es 5, insgesamt nun 11. Von den letzten 5 waren 4 dabei die nicht im Buch einheitlich mit 0,00 bewertet wurden. Es waren Stellungen nach den Buchzügen ... ein paar Züge weiter ... die dann zu solchen dreifachen geführt haben. Solche Dinge muss dann die Contempt Einstellung der Engine selbst lösen. Das kann niemand beeinflussen. Wobei ich denke das wenn bei der tiefen Analyse 7 von 10 Engines sagen es wäre eine 0,00 Position die Wahrscheinlichkeit auf schnelles Remis deutlich wird.

Also, ich lasse ganz sicher keine halbe Million Partien mehr laufen, es sei denn die kommen irgendwann beim Wasp Beta-Test zu Stande.

Denke die Idee ist aber gut Stockfish - Komodo die kompletten dann später verbliebenen Varianten mal durchspielen zu lassen.

Im Grunde aber richtig was Ihr schreibt.
Analysen abwarten und neue Ideen ergeben sich automatisch in den nächsten Monaten bzw. werden kommen vielleicht das eine oder andere noch zu verbessern.
Im Moment qualmt eh die Rübe von den vielen Überlegungen die schon erfolgten.

Und nochmals was SALC macht bzw. die Ideen die bei Dir eingeflossen sind definitiv gut. Auch wenn die beiden Konzepte jetzt nicht zu vergleichen sind, so finde ich auch das SALC eine echte Bereicherung ist. Gerade für Personen, die sich zurücklehnen und einer Engine-Engine Partie live zusehen möchten oder "für uns" packende Turniere spielen lassen möchten.

Möchte auch irgendwie zu mehr Spannung kommen, aber so die richtigen Knaller Ideen beim laufenden FEOBOS Projekt, um die Remise zu drücken, ohne viel zu verlieren, habe ich nicht mehr. Ich könnte maximal einen Test-Set kreieren mittels der Auswertungen über die Excel Tabelle. Bei einem Test-Set könnte es dann so richtig krachen und die Auswahlkriterien hierzu könnten noch verfeinert werden. Das wäre noch ein Ansatzpunkt das über Excel zu automatisieren ... da wird Klaus dann noch einen Bereich haben wo er sich austoben kann. Aber auch hierfür müssen gute Ideen erst entwickelt werden.

Es könnte so weit getrieben werden, dass Excel uns automatisiert die besten Stellungen fürs Computerschach anzeigt bzw. berechnet wenn denn 10 komplette Engine Analysen vorliegen. Darauf wird es bei dem Bereich der jetzt schon dafür geschaffen wurde auch herauslaufen.

Viele Grüße
Frank

By Frank Quisinsky Date 2017-05-20 14:22 Edited 2017-05-20 14:25

Hallo Klaus,

finde ich witzig mit der Stellungsvorgabe bei der seinerzeitigen CSS Ratingliste. Da die Liste plausibel war, war also auch diese Idee gut.
Seinerzeit dachten wir natürlich auch wir hätten die Weisheit gefressen mit dem was so gemacht wurde und die Möglichkeiten die wir hatten. Sicherlich haben uns da zu Recht oftmals die GMs eher belächelt ... heute drehen wir das Blatt ein wenig bzw. sind an der Schwelle genau das zu tun.

Wie in alten Zeiten gesagt wurde ...
Wir benötigen bei der Vorgabe je eine Partie mit weiß und schwarz ... Farbtausch ... das ist absolut Geschichte ... würde eher bei einer Überprüfung der Varianten interessant sein. Wenn ausgeglichen dann passiert statistikmäßig gar nichts wenn mit oder ohne Farbvertauschung mögliche ausgeglichene Varianten für die Ermittlung der Spielstärke angespielt bzw. ausgespielt werden ... wenn gut justiert.

So verfeinern sich die Ratinglisten ... die Bücher überhaupt alles was mit Spielstärkeermittlung zu tun hat wurde in den letzten Jahren durch viele gute Ideen verbessert.

Genau, das Remis Problem ist eigentlich keines!
Sehe ich auch so ... daher der Stellungstest der mittels Excel auch bzw. zuzüglich zum Buchprojekt als Nebenprodukt erschaffen wird.
Hier könnten wir noch feilen aber das wird kompliziert.

Ja, haben ausreichend Zeit daher bin ich ja auch froh das jede Engine 20 Tage benötigt. Alles wird noch ein wenig dauern und bis dahin werden noch Ideen kommen und müssen getestet werden.

Hoffe du bewahrst Dir die Lust an diesem Projekt.
Wenn Du jetzt aufhören solltest dann muss ich mich auch erstmal wieder animieren weiter zu machen, denn ohne die Excel Auswertungen wird alles viel zu kompliziert, zeitaufwendiger und deutlich ungenauer. Außerdem macht es Spaß mit Dir zu werkeln.

Gruß
Frank

By Guenter Stertenbrink Date 2017-05-20 15:01

warum nimmt man nicht einfach Eroeffnungen mit statistisch niedriger Remisquote,
aber moeglichst ausgeglichenem Weiss-Ergebnis ?
Durch Filtern vieler Partien moeglichst vieler verschiedener Engines
auf dem zu testenden Elo-Niveau.

By Frank Quisinsky Date 2017-05-20 15:04

Hallo Günter,

das macht die Tabelle von Klaus schon.
Filtere Stellungen die nicht 0,00 sind und Deinen Wunsch Evals ... die Du selbst einstellen kannst ... entsprechen!

Das ist schon umgesetzt!

Viele Grüße
Frank

By Frank Quisinsky Date 2017-05-21 08:08

Mit der Excel und der begleitenden Datenbank kann natürlich jeder selbst sein Buch erstellen.
Kann dann einfach die Positionsnummer aus der Excel in der Datenbank löschen.

z. B. könnte auch folgendes gemacht werden.

Filtere nach dem alle Engines durch sind die 1.000 Positionen weg mit dem höchster durchschnittlichen Eval der 10 analysierenden Engines.
Also z. B. die höchsten 600 mit weiß und die höchsten 400 in schwarz.

Finde aber den Weg den ich gehe deutlich besser, in Anlehnung an die Erfahrungswerte bei der Durchsicht der über 300.000 FCP Partien.
Kenne natürlich die durchschnittlichen Evals der TOP-50.

Freue mich jetzt auf Chrion und Booot. Beide spielen interessantes Schach in der Eröffnung und bewerten sehr realistisch.
Chiron behält auch in vielen Recht mit den höheren Ausgaben Recht.

Bin also gespannt was nun Chiron und Booot so finden!

Gruß
Frank

By Klaus Wlotzka Date 2017-05-20 18:09

Frank Quisinsky schrieb:

Hoffe du bewahrst Dir die Lust an diesem Projekt.
Wenn Du jetzt aufhören solltest dann muss ich mich auch erstmal wieder animieren weiter zu machen, denn ohne die Excel Auswertungen wird alles viel zu kompliziert, zeitaufwendiger und deutlich ungenauer. Außerdem macht es Spaß mit Dir zu werkeln.

Hallo Frank,

keine Sorge, dass Buchprojekt hat für mich doch gerade erst begonnen. Es war zwar eine intensive aber höchst interessante erste Woche. Und solange noch neue Ideen zwecks Umsetzung vorhanden sind, gibt es doch keinen Grund aufzuhören. Zudem interessiert mich das Endprodukt enorm, wobei ich ehrlich gesagt noch gar nicht weiß, worauf es letztlich hinausläuft. Da ist soviel Potential vorhanden.

Was die Zusammenarbeit betrifft, so kann ich das Gesagte nur bestätigen. Es war beeindruckend, wie wir uns in der ersten Phase der Erstellung des Excel-Tools gegenseitig mit Ideen hochgeschaukelt haben. Nur so war eine derartig schnelle Umsetzung möglich. Und der Spaßfaktor ist bei mir nachwievor auf einen hohen Level.

Gruß

Klaus

By Frank Quisinsky Date 2017-05-21 08:12

Hallo Klaus,

zumal es jetzt spannend wird.
Chiron und Booot ... anstatt Fizbo nehme ich wahrscheinlich eher Texel.

Fizbo, SmarThink und ICE lasse ich vielleicht zum Abschluss des Projektes prüfen, wenn denn 10 andere schon durch sind.
Diese drei sind in der Lage außergewöhnlich zu finden.

So nach dem Motto, die experimentellen Suchen zum Schluss.
Würde aber alles um weitere 2 Monate verzögern !!

Das wäre noch ein Punkt.
Wir brauchen mehr als 10 Einträge in der Excel Tabelle.
Besser wären 14 (eine für die Programmierer die dann die Analysen der eigenen Engine hinzufügen möchten).

Nach Chiron und Booot, also Texel und Andascacs und dann die beiden TOPs Stockfish und Komodo nochmals
zum Schluss. So baut sich die Spannung etwas auf.

Viele Grüße
Frank

Danke für die Blumen ...
Bin jetzt erst mal froh über Urlaub.
Nur noch heute und ab morgen mal ein wenig entspannen!