Finales FEOBOS Projekt verschiebt sich auf Ende Februar 2018

By Klaus Wlotzka Date 2017-12-27 08:57

Hallo Frank,

mir den ausstehenden Engineanalysen haben wir alle Möglichkeiten zu überlegen, welche Engine unter den 10 Standard-Engines bleibt bzw. eingebaut wird und somit Einfluss auf das Buch nimmt. Von daher ist es gut, dass du das mit den beiden experimentellen Engines noch durchziehst auch wenn das Projekt sich dadurch in die Länge zieht. Aber es ist jetzt schon so weit, da wäre es schade, nicht alles rauszuholen.

So habe ich auch noch Zeit, dem Excelprogramm den letzten Feinschliff zu geben. Deine letzten Ideen mit der Rescue- und Random-Funktion sind das i-Tüpfelchen gewesen und wichtig umzusetzen.

Auch bin ich gespannt, was sich hinsichtlich der bisher aussortierten Positionen durch die Hereinnahme einer experimentellen Engine anstelle von Stockfish ändert.

Viele Grüße

Klaus

By Guenter Stertenbrink Date 2017-12-27 11:55

Stockfish hat keine "Eroeffnungsschwaeche"

By Frank Quisinsky Date 2017-12-27 12:25 Edited 2017-12-27 12:27

Hallo Guenter,

aufgrund welcher Tatsachen kommst Du zu diesem Ergebnis?

Unsere Tatsachen finden sich hier ...
http://www.amateurschach.de/common/feobos/excel/engines-1.png
Hier unter Quantity of 0,00 positions.

Natürlich sind nicht 15% der Eröffnungstheorie 0,00, sondern vielmehr die Analysen von Stockfish die mit dreifacher enden.

Lassen wir Stockfish also drin, verringern sich die Positionen der Contempt = 5 Datenbank (keine Engine darf mit 0,00 bewerten).

Mir ist ja bewusst, dass es viele Stockfish Fans gibt die das nicht lesen wollen.
Interessiert aber nicht, interessant ist eher mit welchen Engines kann ich ein gutes Buch erstellen.
Aufgrund dieser Schwäche scheidet Stockfish sang und klanglos mit Pauken und Trompeten aus.

Muss halt den Tatsachen ins Auge sehen, sonst gelingt FEOBOS nicht so wie wir es uns wünschen.
Ist doch gut wenn auf Fehler hingewiesen werden.

Einige Programmierer beheben das direkt, andere brauchen Jahre dafür und berichtigen nicht.
War schon immer so, wird sich auch nicht ändern.

Nur wir können alles so zusammenstellen wie wir es brauchen.
Und Stockfish ist leider für ein Buch mit höchsten Contempt nicht einsetzbar für Analysen.

Gruß
Frank

PS: Vielleicht wird der Fehler bei Stockfish mal berichtigt.
Wenn berichtigt sind wir froh das bei der Buchentwicklung nicht so viel brauchbares auf der Strecke geblieben ist.
Bei FEOBOS können wir Engines die die Datenbank analysierten auch austauschen.
Insofern kann Stockfish später auch wieder Einzug finden, alles wurde offen und verstellbar / einstellbar gestaltet.

By Thomas Plaschke Date 2017-12-27 12:50

Ich verstehe davon ja nicht so viel, deswegen klingt meine Frage vielleicht provokant: Ist das der Grund, warum Andsacs bald alles in Grund und Boden spielen wird und Brainfish mitsamt der Cerebellum Library eingestellt werden kann?

Viele nachweihnachtliche Grüße
Th. Plaschke

By Frank Quisinsky Date 2017-12-27 14:39

Hi Thomas,

Stockfish ist einfach ungeeignet ... gibt zu zu vielen Stellungen 0,00 aus.

So Sachen sehen wir, wenn wir über 40.000 Stellungen eine Schablone legen, ansonsten keine Chance das überhaupt auch nur ansatzweise zu erkennen.
Es sein denn anhand von Eröffnungstats wenn viele Partien vorliegen wie bei der FCP Rating Liste und deren Statistiken zu der ersten Partiephase.

Stockfish spielte zu viele schnelle Remispartien.
Warum das so war sehen wir eindrucksvoll bei FEOBOS.

Andscacs:
Richtig, Engine produziert auch bei KECR Top-Werte, hat Super Stats bei den 0,00! Ob die Engine dann alles in Boden spielt ist nicht die nicht die Frage die für die Eröffnungsbehandlung interessant ist. Eher die Frage wie gut ist die Engine dann im weiteren Verlauf, Mittelspiel, spätes Mittelspiel, Übergang Endspiel und Endspiel. Das Stockfish hier mächtig ist wissen wir denke ich mal Alle. Trifft aber nicht für die Eröffnungsbehandlung zu. Nur weil Kasparow mal Weltmeister war heißt das nicht er spielt alle Eröffnungen besser als andere Schachspieler.

Cerebellum:
Keine Ahnung ob das eingestellt wird oder nicht. Cerebellum ist ja eher ein Buch das nur von einer Engine durchgerechnet wird. Sprich für Stockfish dann sicher gut ist, ganz sicher nicht für andere Engines und ganz nicht mit dem Wissen wie oft 0,00 ausgegeben wird. Erstellen wir also ein Buch, dass für viele Engines eingesetzt werden soll, ist Stockfish als Analyse Engine ganz sicher eher die zweite Wahl.

Gruß
Frank

By Thomas Plaschke Date 2017-12-28 18:10

Ich verstehe es immer noch nicht.

Dann ist Deine Arbeitshypothese, dass mit Stockfish und Komodo ausgerechnet die stärksten Engines ... tja, was eigentlich falsch machen?

Wenn ich für die beiden - oder irgendwelche andere - Programme ein Eröffnungsbuch machen wollte, würde mir als erstes der Ansatz der Cerebellum Bibliothek plausibel erscheinen.

Wenn ich dagegen für Engine-Engine-Testreihen ein Buch machen wollte käme mir der Ansatz von Stefan Pohl mit SALC in den Sinn. - Oder ich lasse einen Satz von Endstellungen bekannter Eröffnungsvarianten von möglichst vielen Engines durchrechnen. Ich behalte die Varianten, die von den meisten Engines in der Größenordnung dessen bewertet werden, was ich für den Anzugsvorteil halte, und habe dann (m)einen Satz Teststellungen für Enginestests. - So in etwa habe ich den Ansatz von FEOBOS verstanden.
Korrigierend würde ich mir die Teststellungen angucken und ggf. solche herausnehmen, die trotz allgemein "richtiger" Bewertung schnell ins Remis gehen. Eine so entstandene Stellungssammlung wäre aber genauso wie ein Engine-Buch nur eine Momentaufnahme, weil sich mit dem Fortschritt der "Referenz"-Engines über lang auch deren Bewertungen der Stellungen verändert.

Viele Grüße
Th. Plaschke

By Frank Quisinsky Date 2017-12-28 21:13

Hallo Thomas,

warte bitte auf meine Doku ... FEOBOS immer wieder zu erklären ist in Foren-Mitteilungen zu aufwendig.

Was falsch machen:
Na wenn Stockfish in der Suche bei 26.146 doppelt so viele Zugumstellungen findet als andere Engines im Durchschnitt (die im Grunde keine sind) wird 0,00 ausgegeben und es droht frühzeitig ein Remis wegen dreifacher. Damit kann natürlich ernsthaft weniger angefangen werden, sofern die Engine für Eröffnungsanalysen herhalten muss.

Wenn wir bei FEOBOS sagen:
Höchster Contempt ist wenn keine der 10 Engines die die komplette Theorie (3 Züge nach ECO Code Bildung) untersuchen 0,00 ausgeben darf dann verlieren wir fast 750 der später 41.164 Stellungen nur aufgrund der Stockfish Analysen. Außerdem haben wir noch KECR entwickelt. Aus den Analysen werden Rankings errechnet anhand von besten Zügen.

Wenn du unsere Arbeit nicht kennst und interessiert bist mehr über Eröffnungen oder Buchoptimierung zu erfahren dann warte einfach die Docu ab.

Arbeiten von anderen will ich nicht bewerten (Cerebellum). Aber nachdem was wir bei FEOBOS festgestellt haben ist Stockfish nicht die beste Wahl für Eröffnungsanalysen. Wenn wenige Engines ein Buch ermitteln sollen das für andere Engines herhalten soll ... brauchst Du eine ganze Reihe von Engines die alle Stellungen analysieren. Zu sagen ich nehme Stockfish ...wird schon alles finden ... wie viel andere Engines durch unterschiedliche Spielstile finden was eine Engine nicht gefunden hat ist enorm.

Bücher die mit einer Engine optimiert wurden sind nach mittlerweile logischen Auswertungen unter Excel nur zu 85% optimal. Zu 85% optimal für andere Engines. Wenn wir ein komplettes Buch von 10 Engines untersuchen lassen erreichen wir ca. die 95-96% Marke und ganz nebenbei sind nicht nur alle erdenklichen Fehler raus, sondern das Buch wurde auf mögliche dreifache optimiert.

Kann aber alles derzeit auch durch Studium der Excel die wir entwickeln ersehen werden.
Interessant ist das wir mittels der Excel für jede Stellung ein Rating ermitteln um die besten Postionen für einen Test-Set ausfindet zu machen. Die besten aus den 500 ECO Codes. Wir bewerten die ECO Codes etc..

Schaue Dir einfachmal die Dia-Show an was wir im letzten Jahr entwickelt haben.
FEOBOS Seite ...

http://www.amateurschach.de/main/_new-opening-book.htm

Cerebellum ist nur ein Buch was auf eine Engine optimiert wurde, sehr eingeschränkt immer für Stockfish beste Züge ausspielt. Wir machen was ganz anderes. Wollen ein Buch mit geringster Größe erstellen bei dem alles dokumentiert wird und jede Stellung Bewertungen erhält. Werden Partien mit unserem Buch gespielt kann zu jeder Endstellung direkt alles mögliche ausgegeben werden.

Wie gesagt die Doku folgt ...
Das war eine Kurzform ...

Später muss ich nur schreiben:
Siehe Kapitel 20 Hinweis 38 und ich spare mir auf Fragen die Schreiberei.

Personen die Bücher erstellen wollen sind daher mit FEOBOS und den vielen neu entwickelten Ideen stets im Vorteil.
FEOBOS wird Ende Februar 2018 fertig gestellt.

Gruß
Frank

By Guenter Stertenbrink Date 2017-12-28 23:46

Stockfish gibt deswegen mehr 0.00 aus, weil er besonders tief rechnet
und erkennt, was andere (noch) nicht sehen oder durch contempt verfaelchen.

By Thomas Plaschke Date 2017-12-29 02:29

> Stockfish gibt deswegen mehr 0.00 aus, weil er besonders tief rechnet

Kommt auch meiner Vermutung sehr nahe. Aber ob Stockfishs "0,00" wirklich im Suchbaum überwiegend durch ein (spiel-)technisches Remis - ich fasse darunter mal 3fache, 50er, Patt und ungenügendes Mattmaterial zusammen - bewirkt werden? Nicht ausgeschlossen. Man könnte ja mal eine HV-Endstellung von Stockfish statisch bewerten lassen. Ob dann auch 0,00 herauskommt (einfach "eval" eingeben)?
Bemerkenswert finde ich, dass man durch einen Parameter von Komodo ("Progress Threshold") solche Äste abschneiden/verkürzen kann, die in die Nähe der 50-Zug-Regel kommen. Das Komodo-Team hat zur letzten Version den voreingestellten Wert von 85 auf 30 (Halbzüge) reduziert. Das könnte ein Hinweis darauf sein, dass die Programmierer das Problem kennen. - Laut Franks Auswertung hat's für Komodo wohl nicht allzuviel gebracht.

> oder durch contempt verfaelchen.

So zu sagen falsche Bewertungen <>"0,00". Stimmt (hängt aber auch ein bisschen von der Implementierung des Contempt-Faktors ab). Aber grundsätzlich schwächt der Contempt-Faktor ein Programm (im Spiel gegen gleich starke oder stärkere Gegener). Einige Programme haben ja einen voreingestellten Contempt-Faktor. Ob Frank den wieder herausgerechnet hat? Da die frühen Remisen ein großes Thema für ihn sind, hat er sich vermutlich auch darüber Gedanken gemacht. Aber recht hat er: Er muss es nicht in jeder Diskussion aufs Neue erklären. Ich warte auf die Doku.

Viele Grüße
Th. Plaschke

By Guenter Stertenbrink Date 2017-12-29 03:38

0.00 ist auch,
wenn nach Abwicklung die Stellung einigermassen symmetrisch ist und der
Anzugsvorteil unbedeutend

0.00 ist auch,
wenn die Figuren entwickelt sind und die Bauernstruktur einigermassen statisch
und keine Zuege oder Ideen mehr vorhanden um die Position risikolos zu verbessern -
und dasselbe fuer den Gegner gilt.

Jemand (ich?) koennte/sollte vielleicht mal eine Statistik machen, wie oft
(Eroeffnungs-)Stellungen, die mit 0.00 bewertet werden dann
auch 10/20 Zuege spaeter noch 0.00 sind !?
Etwa bei TCEC, oder CCRL oder FCP, gleichstarke engines.

By Guenter Stertenbrink Date 2017-12-29 05:04 Edited 2017-12-29 05:25

[evals in centipawns]

TCEC superfinal 8 , evals at move 25 when eval=0.00 at move 15
ko,ko-sf, 0 0 0 0 0 0 -5
sf,ko-sf, 0 0 -6 -9 0 0 13 6 0 0 0 2
sf,sf-ko, 0 0 0 0 -6 0 -3
ko,sf-ko, 0 0 0 0 -41 0 -16 -10 -18 -8 0 0

TCEC superfinal 8 , evals at move 35 when eval=0.00 at move 15
ko,ko-sf, 0 0 0 0 0 0 0
sf,ko-sf, 0 0 0 0 0 0 14 0 0 0 0 5
sf,sf-ko, 0 0 0 -4 -24 0 0
ko,sf-ko, 0 0 9 0 -38 0 0 0 -67 0 0 0

TCEC superfinal 9 , evals at move 25 when eval=0.00 at move 15
sf,sf-ho, 42 81 999 0
ho,sf-ho, 86
ho,ho-sf,-10
sf,ho-sf, 0 0 0 -21 0 6 0 0 0 7 54

TCEC superfinal 9 , evals at move 35 when eval=0.00 at move 15
sf,sf-ho, 116 83 999 0
ho,sf-ho, 102
ho,ho-sf,-6
sf,ho-sf, 0 0 -7 39 0 31 0 0 0 0 47

TCEC superfinal 10 , evals at move 25 when eval=0.00 at move 15
ko,ko-ho, 0 0 45 0 0 0 -42 47
ho,ko-ho,-16
ho,ho-ko,
ko,ho-ko, 61 2 0 0 0

TCEC superfinal 10 , evals at move 35 when eval=0.00 at move 15
ko,ko-ho,-12 0 0 0 0 0 -107 40
ho,ko-ho, 5
ho,ho-ko,
ko,ho-ko, 58 0 0 0 -146

----------------------------------------------

ko25:6(7),7(12),5(8),3(5)   = 21(32) = 66%
ko35:7(7),9(12),5(8),3(5)   = 24(32) = 75%
sf25:7(12),5(7),1(4),7(11) = 20(34) = 59%
sf35:10(12),5(7),1(4),7(11) = 23(34) = 68%
ho25:0(1),0(1),0(1),0(0) = 0(3)   = 00%
ho35:0(1),0(1),0(1),0(0) = 0(3)   = 00%

ich vermute, die Houdini Eroeffnungs evals sind durch contempt verfaelscht oder da fliessen
irgendwelche Parameter fuer "praktische Chancen" [[gegen schwaechere Gegner]] mit ein

Das macht Houdini m.E. weniger geeignet fuer Eroeffnungsanalysen

By Frank Quisinsky Date 2017-12-29 07:57

Hi Guenter,

vermute ich auch.
Wahrscheinlich ein kleiner Contempt als Standard Setting. Wobei ich auch glaube, dass es mehr ist als einfach nur der Eval etwas hinzuzugeben.

Gruß
Frank

By Frank Quisinsky Date 2017-12-29 08:09

Hallo Thomas,

ich dachte immer, dass wenn eine Engine viele schnelle Partien gewinnt und im Gegenzug nicht viele schnelle Partien verliert muss die Eröffnungsbehandlung gut sein. Nun haben wir bei Stockfish diese Konstellation. Dem gegenüber dann die zu vielen 0,00 Ausgaben. Houdini ist noch aggressiver als Stockfish in der Eröffnungsphase und steht den ausgezeichneten Stats zu schnellen Gewinnpartien in nichts nach. Auch Komodo ist nicht weit entfernt. Schauen wir uns die Engines in der Generation davor an. Zum Beispiel Junior oder Spark, Wasp die unbeeindruckt aktueller Programmiertechniken einfach den eigenen Weg gehen. Es fällt dann auf, dass diese Gruppe an Engines die realistischen 4% an 0,00 Ausgaben produzieren.

Es gibt zwei Wege bei FEOBOS:
Contempt 5 (keine Engine darf 0,00 ausgeben) verschwinden lassen. Auch Contempt 4 (eine von 10 Engines darf 0,00 ausgeben) verschwinden lassen. Um Fehlerkorrekturen durchzuführen bzw. nicht zu viele gute Stellungen zu verlieren. Persönlich interessiert mich die FEOBOS Ausgabe mit Contempt 2 - 3 für die weitere Buchentwicklung der Datenbank mit Zugumstellungen. Später wird also nur ein Buch zur Verfügung gestellt mit Zugumstellungen und das wird dann entweder ein Contempt 2 oder 3 Buch werden.

Insofern übergehe ich das Problem welches Stockfish sehr krass und Booot auch noch stark überdurchschnittlich an den Tag legt. Im Gegenzug werden andere Stellungen von Booot und Stockfish sehr gut bewertet. So bleiben die 0,00 von Stockfish und Booot im Buch wenn ich so korrigiere ohne das ich Stockfish killen muss.

Nun wir haben 3 experimentelle und später noch eine private, also 14 Sätze von Engine Analysen der kompletten Datenbank.
Es ist einfach in der Excel eine Standard Engine durch eine der anderen vier zu ersetzen und dann wieder zu sehen wie viele Positionen bleiben bei Contempt 1-5 übrig.

Gibt immer mehrere Wege nach Roma II, meine nach Rom.

Jedes mögliche Setting kann bei FEOBOS manipuliert werden und meine Settings müssen nicht die besten sein, nur weil ich mit den Erfahrungswerten der Buchoptimierung der FCP Rating Liste arbeite.

Gruß
Frank

Die Doku ist sehr viel Arbeit, habe Urlaub und wollte das erledigen.
Habe viele 6 Tage Wochen hinter mir und bin einfach platt.
Egal was ich mache ich falle dann tod müde nach der kleinsten Anstrengung wieder um.
Hoffe ich kann heute starten ... muss das unbedingt jetzt im Urlaub erledigen, sonst komme ich nicht mehr dazu bevor das Projekt zu Ende läuft.

By Frank Brenner Date 2017-12-29 16:37

Zitat:

Aber ob Stockfishs "0,00" wirklich im Suchbaum überwiegend durch ein (spiel-)technisches Remis - ich fasse darunter mal 3fache, 50er, Patt und ungenügendes Mattmaterial zusammen - bewirkt werden? Nicht ausgeschlossen.

Wohl eher nicht, so tief und erschöpfend kann SF in der Eröffnung nicht kommen.

Ich denke es kommt weil SF in der Suche Zugwiederholungssequenzen findet und zwar mit folgender Eigenschaft: Die Zugwiederholulungssequenz wird mit 0 bewertet.
Jede Farbe die von dieser Sequenz abweicht erleidet dadurch einen winzigen Nachteil im hundertstel Bauern Bereich . Daraus folgt dann, daß beide Farben es vorziehen eine 3 malige Zugwiederholung durchzuführen.

Wieso die SF Bewertung aber so eigenartig ist, daß beide Farben sich negativ fühlen bei Abweisung der Zugwiederholung weiß ich leider nicht. Ich weiß auch nicht ob dies ein Mangel ist oder eine gute Eigenschaft.
Dazu müsste sich dann mal jeand zu Wort melden der den vollen Durchblick durch die SF Suche und die SF Bewertung hat :=)

Ich meine mich erinnern zu können daß vor einigen Jahren einer der beiden Entwickler von SF auf die Frage wieso SF im Endspiel so gut sei geantwortet habe, daß ihm dies ein Rätsel sei und er es selbst nicht richtig verstehe.

By Jörg Oster Date 2017-12-29 11:30

Guenter Stertenbrink schrieb:

Stockfish gibt deswegen mehr 0.00 aus, weil er besonders tief rechnet
...

Genau das Gegenteil ist sehr häufig die Ursache dafür.
Nicht immer, aber sehr oft!

By Guenter Stertenbrink Date 2017-12-27 12:51 Edited 2017-12-27 13:00

hallo Frank,

die Tatsachen sind umfangreiche Eroeffnungsanalysen, siehe z.B.
http://immortalchess.net/forum/showthread.php?t=35694&page=2

Stockfish findet meist eher die Theorie als andere engines.
Bei hoeherer Tiefe mit 2 engines erweist sich meist die Stockfish eval
(der niedrigeren Tiefe) als richtig.
Ebenso in Partien, z.B. bei TCEC , einige Zuege spaeter schwenkt der Stockfish
Gegner meist auf die Stockfish eval ein, auch in der Eroeffnung.

Die Durchschnitts evals in Partien steigt kontinuirtlich an zugunsten
von Stockfish, auch in der Eroeffnung.
http://magictour.free.fr/FCP57-0.GIF
http://magictour.free.fr/TCECT1A.GIF
( eine Eroeffnungsschwaeche wuerde ich hier sehen bei Chiron mit Weiss
und Fizbo mit Schwarz )

(schon mehrfach gepostet, sollte dir also bekannt sein)

wer unterstuetzt denn deine These der Eroeffnungsschwaeche bei Stockfish ?
Wem ist das denn noch aufgefallen ? Wissen die Stockfish-Programmierer schon davon ?

Zu dem Problem mit den 0.00s ,
nimm doch einen Stockfish der anstatt 0.00 irgendeinen Zufallswert ausgibt.
Ganz einfach zu programmieren.
Oder einfach einen mit Spielstaerke-Reduzierung, Nichtstun-Warteschleifen,
weniger Kerne , schon gibt's weniger 0.00s

By Stefan Pohl Date 2017-12-27 13:17 Upvotes 1

Oder man nutzt den neuen Contempt von Stockfish, der ja Anfang Dezember komplett überarbeitet wurde. Den ich dabei bin ausführlich zu testen. Die ersten zwei Testruns mit Contempt=+15 und +25 sind durch. Contempt=+25 bringt keine Elo-Schwächung (im Vergleich zu Contempt=0) und senkt die Zahl der Remisen (total) und auch die Zahl der 3fach-Remisen erheblich ab.

Guckt ihr hier: http://www.sp-cc.de/experiments.htm

By Frank Quisinsky Date 2017-12-27 15:04

Hallo Stefan,

was auch endlich Zeit wurde bei einer solch starken Engine wie Stockfish.

Habe nur keine Lust alle Stockfish Analysen wiederholen zu lassen, sonst wird FEOBOS zu einer Lebensaufgabe wenn ich 41.164 Stellungen bei jeder neuen Version erneut überprüfen lassen. Zumindest mal gut das das Problem erkannt wurde. Hatte vor ein paar Monaten mit einem der Stockfish Entwickler in TalkChess darüber gesprochen. Er wollte sich die Sache ansehen und sich etwas überlegen. Anfangs war er natürlich von den FEOBOS Analysen auch nicht sonderlich begeistert aber zumindest hat er im Verlauf der Diskussion dann eingelenkt bzw. lobenswerter Weise das Problem erkannt.

Wie hoch der Elo-Zuwachs beim Einsatz der alten Contempt Parameter ist findet sich zu meiner alten Rantingliste im Talkchess Turnierforum. Seinerzeit konnte ich mit Contempt ein Plus von 18 Elo erzielen. Ziel sollte es aber eher sein zu versuchen bei Contempt = 0 bei den ausgewiesenen Hauptvarianten die dreifachen zu killen ... dann wird auch der Contempt Parameter zu einer "ganz normalen" Hilfestellung und nicht zu einem Faktor der Resultate maßgeblich beeinflussen kann.

Gruß
Frank

By Frank Quisinsky Date 2017-12-27 14:51 Edited 2017-12-27 14:55

Hi Guenther,

Contempt ist ja heute schon in vielen Engines einstellbar.
Wie gut oder schlecht Contempt programmiert ist, ist dann wieder eine andere Frage.

Beispiele wie Contempt besser gemacht werden könnte hatte ich in TalkChess gesetzt.
Gibt es auch von Anderen ... macht der Andscacs Programmierer vor.

Contempt manimpuliert die Evals.
Ich will wissen wie stark ist denn die Eval bei FEOBOS.

Engines bewerten unterschiedlich. Contempt Parameter müssten unterschiedlich angepasst werden.
Vergleiche sind daher kaum möglich wenn Contempt und andere Parameter ins Spiel kommen.

Bei FEOBOS analysieren alle ohne Contempt.
Und Stockfish hat zu oft die dreifache Stellungswiederholung in der Hauptvariante, die in Wirklichkeit keine ist. Sprich, bei Stockfish wird in erster Linie auf Zug 1 optimiert. Finden einige ganz toll andere eher nicht. Für Langzeitanalysen ist die Zug 1 Analyse genauso witzlos wie für Eröffnungs-Analysen.

Zumindest wird knallhart offen gelegt warum Stockfish so viele Partien mehr schnell Remis spielt als andere TOP-Engines. Und das ist nicht erst bekannt seit FEOBOS, FEOBOS zeigt es nur sehr eindrucksvoll.

Handvoll TCEC Partien beweisen nichts.
Ungeeigneter Hinweis und zeigt nur auf, dass Du im Grunde kein Verständnis für eine solche Diskussion hast.

Ferner gibt es keine umfangreicheren Analysen zu Eröffnungsystemem bei dem viele Engines die gleichen Stellungen analysiert. FEOBOS Kopien sind zumindest mir nicht bekannt.
Insofern muss ich nicht krampfhaft auf Resultate anderer schauen wenn ich alles in FEOBOS Excel ersehen kann.

Damit ich "Blinder" sehen kann brauche ich FEOBOS.
Wir entwickeln damit wir mehr sehen ... sofern wir sehen wollen.
Möchten wir das nicht, brauchen wir FEOBOS nicht.

Wäre so als wenn ich es eine Ratingliste gibt jeder gegen jeden x Partien und ich schaue auf einen 10-Partien Vergleich zweier Engines.

Persönlich ziehe ich im Computerschach die Fakten vor.
Gibt es keine, lege ich selbst Hand an ... brauche keine Anderen dafür.

Selbst ist der Mann ...

Gruß
Frank

By Frank Quisinsky Date 2017-12-27 15:21 Edited 2017-12-27 15:25

Hi Guenter,

bezeichne mich trotz der vielen Analysen dahingehen selbst gerne als "blind".

Ganz einfach ich wusste zwar um die vielen schnellen und unnötigen Remise von Stockfish aber nicht das es so krass ist.

Wir haben zwei FEOBOS Datenbanken.
26.146 Positionen ... hier untersuchten bevor ich die 10 Engines drauf ansetzte vorher schon Komodo und Stockfish mit halber Kraft um die groben Fehler zu entfernen.
15.468 Positionen ... die Positionen die Lücken füllen, mit Hauptaugenmerk auf Systeme zu denen wir klar zu wenig hatten. Zu diesem Zeitpunkt war mir bekannt, dass Stockfish sich nicht gerade eignet aber alle Positionen mit gleichen Voraussetzungen bis auf einen kleinen Unterschied. Zwar auch wieder die Fehleranalyse mit gleichen Komodo und Stockfish Versionen aber ich sortierte nicht nur die Bad moves heraus sondern auch die 0,00 draw moves. Sprich, wenn Stockfish und Komodo nun am Ende die 15.468 Stellungen mit ganzer Kraft analysieren (doppelte Bedenkzeit) wird die 0,00 Draw Quote von 15% bei Stockfish deutlich runter gehen. Denn genau diese 0,00 Ausgaben sortierte ich bei der 26.146 Datenbank nicht aus. Bin so vorgegangen um die Update Datenbank so klein wie möglich zu halten, um Zeit zu sparen.

Nicht ganz optimal für die Stockfish 0,00 Statistik aber sei es drum.
Hätte ich die 0,00 die Stockfish ausgegeben hat drin gelassen, wäre die Datenbank nicht 15.648 Stellungen groß sondern weit über 18.500 Stellungen. Mithin einen Monat Zeit eingespart. In der Zeit kann dann wieder eine weitere Engine zum Einsatz kommen.

FEOBOS sollte sich z. B. auch dafür eignen die fertige PGN später in vorhandene Eröffnungsbücher einfach zu kopieren.
Fehlendes wird auf einen Schlag ergänzt und alles was reinläuft ist 14fach Fehlerüberprüft.
Damit kann jedes Eröffnungsbuch deutlich aufgewertet werden bzw. wird deutlich abwechslungsreicher spielen.

Wird alles in der Doku zum Projekt stehen ... werde ich ja in den nächsten Tagen starten.

Gruß
Frank