Echter Praxistest mit FEOBOS v10 Contempt 5 gestartet

By Frank Quisinsky Date 2017-10-12 16:39 Edited 2017-10-12 17:23

Hallo Stefan,

1. Siehe: http://www.amateurschach.de/main/_new-opening-book.htm#readme-2
In der Grafik ist zu erkennen, als auch in der Excel selbst wie viele Stellungen Contempt 5 beinhalten. Die Grafik liegt auch dem Download bei. Steht es in der Readme falsch ist das dumm und muss berichtigt werden. Das Projekt ist schier so umfangreich geworden, dass ich x Änderungen bei einer neuen Version machen muss, insofern wird mir diese kleine Fehler sicher verziehen.

2. Wir müssen das nicht gegen testen.
Was sollen wir da gegen testen?
Wenn 10 Engines die 0,00er bei Contempt 5 aussortieren ist es logisch, dass hierdurch die schnellen Remise maximal möglich durch unsere Vorgehensweise vermieden werden.

Aber ...
Ich teste das ja selbst beim Wasp Test-Run ... kann hierfür nur einen Rechner zur Verfügung stellen, weil der andere seit Monaten mit FEOBOS Analysen beschäftigt ist. Ich musste im zweiten laufenden Test-Run 2 Partien unter 20 Züge wiederholen lassen (die 1.000 sind durch). Im ersten 1000er Test-Run war die kürzeste Partie Remis nach 23 Zügen ... also nach 2.000 Partien waren 2 unter 20 Zügen dabei und 2 weitere von Zug Nummer 20-23. Das ist wenig bzw. richtig gut und bei mir nach über 300.000 FCP Rating Liste Partien noch nie so vorgekommen.

Beachte:
Die Stellungen basieren auf die Partien der FCP Rating Liste. Nicht das Update was folgt.
Sprich die Positionen waren schon auf dem Brett und worden immer wieder und wieder durch die Ratingliste optimiert.
Deine Aussage, wir testen das nicht ... ist absoluter Unfug.
Wir machen nichts anders als das und das seit mehr als 3 Jahren.

Wie gesagt, muss aber nicht getestet werden weil verlorene Zeit.
Wir haben alles in der Excel drin ... jede einzelne Analyse der 10 Engines (derzeit fast 300.000 Analysen). Also, ist klar das dies das maximal beste Ergebnis ist wenn mit Contempt 5 getestet wird. Ein besseres Ergebnis kann mit diesen Positionen nur dann erzielt werden, wenn weitere 10 Engines die Partien analysieren und dann vielleicht 1.000 weitere Positionen herausgenommen werden. Was ich aber für über optimiert halte. Auf der anderen Seite, es folgen noch ein paar experimentelle. Mal schauen wie ich die Ergebnisse dann noch einsetze.

Also, die Zeit kannst Du Dir schenken!
Wenn andere Bücher nicht so optimiert sind wie wir es bei FEOBOS machen, kann kein besseres Ergebnis dabei raus kommen, denn niemand von uns ist in der Lage selbst über 26.146 Positionen auf schnelles Remis zu prüfen, kein Eröffnungsexperte auf diesem Planeten und auch keine Analyse von einer einzigen Engine kann das toppen. Das ist schier nicht möglich.

Ist so ...
Bzw. wenn ... den möchte ich sehen, der 26.146 eigene bessere Analysen in 6 Monate macht als 10 der besten Programme.

Insofern ...
Kannst den Ball flacher halten und dennoch bin ich mal gespannt auf Dein Ergebnis.
Alles andere als klar bessere Ergebnisse zu irgendwelchen anderen Büchern wäre eine Sensation ... denn das ist meines Erachtens nicht möglich.
Es sei denn die anderen Bücher beruhen auf mindestens 10 Engine Analysen und die gibt es einfach nicht, zumindest nicht nach meinem Wissen.

Gruß
Frank

Kurz:
Das es in den Wasp Testläufen dennoch zu 2 Partien unter 20 Zügen gekommen ist sollte auch klar sein.
Ein abweichender Zug zu den Analysen der anderen 10 Engines nach der Eröffnung und eine völlig andere Stellung ensteht. Aus der kann dann natürlich wieder eine schnelle dreifache entstehen. Die Garantie das es beim Einsatz von FEOBOS zu keinen schnellen Remispartien kommt kann es daher natürlich nicht geben. Aber eine Garantie dafür, dass es deutlich weniger sind als bei normal optimierten Büchern. Denn kein mir bekanntes Buch ist auch Vermeidung von schnelles Remis optimiert und kein mir bekanntes Buch errechnet aus den Analysen von 10 Engines ein Rating für jede einzelne Position. Das sind alles Dinge die wir bei FEOBOS eingeführt haben und mittels der Excel so gut als geht versucht haben zu optimieren.

Bin aber dennoch neugierig auf Deine Resultate. Einige User testen schon und senden mir Ergebnisse.

By Stefan Pohl Date 2017-10-12 17:22 Edited 2017-10-12 17:28

Frank Quisinsky schrieb:

2. Wir müssen das nicht gegen testen.
Was sollen wir da gegen testen?
Wenn 10 Engines die 0,00er bei Contempt 10 aussortieren ist es logisch das hierdurch die schnellen Remise vermieden werden.
Wie gesagt, muss nicht getestet werden weil verlorene Zeit.
Wir haben alles in der Excel drin ... jede einzelne Analyse der 10 Engines (derzeit fast 300.000 Analysen). Also, ist klar das dies das maximal beste Ergebnis ist wenn mit Contempt 5 getestet wird. Ein besseres Ergebnis kann mit diesen Positionen nur dann erzielt werden, wenn weitere 10 Engines die Partien analysieren und dann vielleicht 1.000 weitere Positionen herausgenommen werden.
Also, die Zeit kannst Du Dir schenken!
Wenn andere Bücher nicht so optimiert sind wie wir es bei FEOBOS kann kein besseres Ergebnis dabei raus kommen, denn niemand von uns ist in der Lage selbst über 26.146 Positionen auf schnelles Remis zu prüfen, kein Eröffnungsexperte auf diesem Planeten.
Alles andere als klar bessere Ergebnisse zu irgendwelchen anderen Büchern wäre eine Sensation ... denn das ist meines Erachtens nicht möglich.
Es sei denn die anderen Bücher beruhen auf mindestens 10 Engine Analysen.

All diese Aussagen setzen immer die Annahme voraus, daß das Herauslöschen der 3fach-Remisen, die von den Engines in der Endstellungen der FEOBOS-Linien (in einfacher Vorwärtsberechnung) errechnet werden können, die Remisqoute im praktischen Spiel, Turnier, Testrun wirklich meßbar senkt. Diese Annahme ist bisher völlig unbewiesen. Und ich (und übrigens auch J.Noomen (siehe Talkchess)) haben erhebliche Zweifel, ob diese Annahme wirklich zutrifft. Ich denke nämlich, daß nur die Rückwärts-minimaximierung aus den Schlußknoten einer Partie, die bei Cerebellum gemacht wird, wirklich remisliche Linien erkennbar macht. Oder ggf. auch die statistische Auswertung einer sehr großen Zahl von Partien (Big Database oder ähnliches). Ob eine reine Vorwärtsberechnung nur aus einer Stellung heraus, das (auch bei modernen Engines auf schneller Hardware mit langer Bedenkzeit (was du ja alles machst)) leisten kann ?!? Da habe ich doch einige Zweifel. Damit sage ich nicht, daß es nicht so ist. Ich sage nur, ich habe Zweifel, das es so ist. Daher will ich eben mal nachmessen. Falls diese, deine Annahme zutreffen sollte, dann hast du Recht und dann werde ich das bei meinem 1000 Partien Testrun auch nachweisen.
Darüberhinaus: Wenn ich in 35 Jahren Computerschach eines gelernt habe, dann, daß testen (also nachmessen) niemals verlorene Zeit ist. Theoretisierende Annahmen und Schlußfolgerungen ohne Testen und Nachmessen können dagegen sehr wohl verlorene Zeit sein, weil sie falsch sein können. Und das kann man nur durch testen herausfinden.

Stefan

By Frank Quisinsky Date 2017-10-12 17:36 Edited 2017-10-12 17:39

Hallo Stefan,

was Noomen schreibt ist mir schier egal.
Nach seinen Kommentaren zu FEOBOS sehe ich ihn _nicht mehr_ als Experten selbst an.
Ein Experte verhält sich nicht so ohne Daten richtig zu prüfen (logische Schlussfolgerung die ich aus seinen Kommentaren ziehe).
Ein Experte verhält sich eines Experten würdig und schreibt wesentlich fundierter nach einer genauen Prüfung.
Das ist wie gesagt meine persönliche Meinung.

Mit wirklichen Experten bin ich eher am Mailen, die geben wertvolle Hinweise und Tipps an welchen Stellen der Daten ich nacharbeiten muss (fehlendes was rein muss).
Da bin ich für jede Hilfe dankbar und habe schon sehr schöne und wertvolle Kommentare erhalten.

Die Annahme muss auch nicht bewiesen sein weil es reine Logik ist.

Was passiert denn wenn wir 0,00er aussortieren wirklich.
Das sind stark überwiegend doch keine Positionen die Engines als ausgeglichen betrachten, sondern Positionen bei welchen im Suchbaum der Engine eine dreifache auftaucht. Taucht im Suchbaum zum besten Zug einer Engine eine dreifache auf ist die Gefahr groß das alles in einem schnellen Remis endet. Und genau das sortieren wir aus. Und insofern muss auch nichts bewiesen werden weil es reine Logik bei der Bucherstellung ist.

Die wichtigere Frage wäre eher:
Warum lassen so starke Engines wie Stockfish 15% solcher Analysen überhaupt zu. Nochmals Stockfish z. B. gibt 5% mehr 0,00er aus als Komodo oder 7% mehr als Houdini. Für uns mit unserer Methode eher schlecht weil bei Contempt 5 dann Stellungen verschwinden die eigentlich gut sind.

Insofern stellt sich die Frage ob Contempt 3 oder 4 beim Test von Ultra starken Engines nicht besser ist, weil sonst zu viele gute Varianten zu Unrecht nicht mehr im Buch sind. Aber das legen wir nicht fest, sondern das Buch erstellen sich die Engines. Insofern können wir nur hingehen und Contempt Versionen anbieten um zu vermeiden das durch unsinnige Engine Analysen nicht zu viel gutes aus dem Buch verschwindet.

Und mit Deinem Kommentar:
Niemals verlorene Zeit ... da hast Du Recht.

Aber was soll bei diesem Test herauskommen.
Du überprüfst im Grunde Analyseausgaben der 10 besten Engines.
Die sind nicht angreifbar, wir haben nichts besseres mit dem wir analysieren können.

Eine bessere Variante als das was wir haben können wir mit unserer Vorgehensweise nicht produzieren und andere Vorgehensweisen um schnelles Remis zu vermeiden gibt es nicht. Wir sind da auf einem völlig neuen Feld unterwegs und entwickelten ja nachweislich alles in Excel.

In diesem Fall ...
Ich teste das zwar auch mit Wasp und erreiche nie dagewesene Ergebnisse aber mache das nicht in großer Masse. Die Rechnerkapazitäten habe ich nicht und ehrlich gesagt ... in diesem Fall halte ich das für nicht notwendig weil alle Analysen der Engines liegen offen und sind in der Excel dokumentiert. Da gibt es für mich keinen einzigen Aufhänger mehr irgend etwas in Frage zu stellen.

Wenn wir es schaffen, die schnellen Remisen unter sage ich mal 22 Züge auf weniger als 0.5% zu drücken wäre das schon riesig. Das würde die Qualität der Ergebnisse deutlich steigern. Zumal alle 500 ECO Codes entsprechend der Beliebtheit angesprochen werden und an sich schon alle "schlechten" Züge draußen sind ... bzw. sicherlich nach 10 Engine Analysen zu bestimmt 99% nach dem heutigen Stand der Engineforschung auf den Bedingungen die eingesetzt werden und für jede Ratingliste die es heute gibt völlig ausreichend sind.

Gruß
Frank

By Frank Quisinsky Date 2017-10-12 17:37 Edited 2017-10-12 17:58

Hatte doppelt gepostet!

Aber was mich meine Erfahrung lehrt ...

Mache ich was mit Protokollen ... wollen alle von der Arbeit profitieren und gar die Webseiten übernehmen (Winboard, UCI) Zeit.
Mache ich was mit Ratinglisten gibt es Diskussion mit Ratinglistenbetreiber.
Mache ich was mich Büchern, kommen die sogenannten Buchexperten um die Ecke.
Entwickle ich an einer GUI mit, kommen kommerzielle um die Ecke oder sonstige Personen denen das ein Dorn im Auge ist.

Das lässt mich alles relativ kalt.
Das lehrt mich meine 35 jährige Erfahrung im Computerschach.

Ich ziehe jedes Projekt durch, letztendlich um Denkanstöße zu geben, Ideen zu wecken und vor allem um selbst eine immer bessere Basis zu erhalten mein eigenes Hobby auszuüben.

Das ich natürlich nicht immer richtig liege ist mir auch klar und bei FEOBOS musste ich schon rudern und das seit Jahren bei der Buchentwicklung weil ich selbst viel zu viele Fehler gemacht habe. Heute denke ich, ich habe alles was an Fehlern gemacht wurde, zumindest selbst bestmöglich eliminiert. Besser kann ich es nicht und das Projekt ist frei.

Wer es nutzen möchte soll es nutzen wer nicht soll andere Buchentwicklungen nutzen.
Sage ja nicht das andere Buchentwicklungen schlecht sind, sage nur das FEOBOS ein Buch ist was Engines sich mit unserer Unterstützung selbst optimieren.

Und viel wichtiger als das Endergebnis später in FEOBOS v20 ist die entwickelte Excel von Klaus.
Ich bin der Meinung, Klaus hat Meilensteine gelegt und wir sind mit seiner Arbeit bei der Entwicklung von Büchern die Engine erstellen könnten um Jahre dem voraus was noch kommen könnte und wird. Es sein denn unsere Ideen werden weiter entwickelt. Die Idee jede Stellung ein Rating zu geben und dann eine Datenbank sortiert nach dem Rating anzubieten ist genau das was ich immer wollte und nun habe.

Perfektionismus lässt grüßen (ist nicht immer gut).

Gruß
Frank

By Stefan Pohl Date 2017-10-12 17:58

Frank Quisinsky schrieb:

Sage ja nicht das andere Buchentwicklungen schlecht sind, sage nur das FEOBOS ein Buch ist was Engines sich mit unserer Unterstützung selbst optimieren.

Und viel wichtiger als das Endergebnis später in FEOBOS v20 ist die entwickelte Excel von Klaus.
Ich bin der Meinung, Klaus hat Meilensteine gelegt und wir sind mit seiner Arbeit bei der Entwicklung von Büchern die Engine erstellen könnten um Jahre dem voraus was noch kommen könnte und wird.

Das stimmt. Nur, ob die Datengrundlage, die ihr mit den FEOBOS-Analysen, generiert, sich für die Excel von Klaus wirklich eignet, das bleibt abzuwarten. Aber es gibt ja zumindest noch ein anderes Buchprojekt, was sich per Engine selbst optimiert, und zwar Cerebellum. Und das geht dabei aber einen ganz anderen Weg (es geht den Weg von hinten nach vorne und per Minimax auch mal um die Ecke, während FEOBOS am Startpunkt stehenbleibt, nirgendwohin geht und mit 10 Ferngläsern (Engines) nur nach vorne guckt). Aber, wenn Cerebellum mal veröffentlicht ist (bisher gibt es ja nur Cerebellum Light, ohne Bewertungen und schmaler, als die Vollversion), wäre es sicher hochinteressant, diese Daten, die in Cerebelleum per Engine Rückwärts-Maximiert wurden, in die Excel von Klaus einzuspeisen. Das könnte dann was richtig Großes werden. Aber vielleicht ist es das auch schon jetzt mit den FEOBOS-Daten. Mal sehen. Bzw. mal nachmessen

Stefan

By Frank Quisinsky Date 2017-10-12 18:05

Hi Stefan,

Cerebellum wird mit einer Engine optimiert.
Bücher die mit einer Engine optimiert werden produzieren zu 15% Stellungen die von anderen Engines nicht gemocht werden. Das zeigt FEOBOS sehr schön auf. Stockfish ist keine Engine mit der solche Bücher optimiert alleine optimiert werden weil im Suchbaum zu oft 0,00er durch dreifache produziert werden die für die Bucherstellung hinderlich sind.

Cerebellum optimiert mit Houdini (wenn denn eine Engine) wäre besser. Aber der Cerebellum Entwickler wird das ganz sicher nicht mehr ändern. Er würde viel zu viel Zeit verlieren. Ich sage ja nicht das Cerebellum schlecht ist, aber der Einsatzzweck ist doch ein ganz anderer wie FEOBOS. Insofern kann streng genommen Cerebellum nicht mit FEOBOS verglichen werden. Auch geht das Cerebellum Buch viel zu tief ... das ist für die Messung einer Spielstärke einer Engine z. B. für eine Ratingliste nicht gut.

Engines sollen Rechnen und maßgeblich für unseren Zweck ist es doch eher das die Engine durch Eigenanalyse Ergebnisse produzieren. Mit FEOBOS versuchen wir lediglich so viele gute Stellungen wie möglich zu generieren und überprüfen zu lassen ... drei Züge nach ECO Code Ende. Auch sollen alle ECO Codes angespielt werden (je nach Beliebtheit).

Also die Ziele sind ganz andere und daher nicht vergleichbar.

Die Ideen rund um FEOBOS sind ferner einzigartig.
Ein solches Buch wurde für Engines noch nie entwickelt ...

Denke das wird sich nach FEOBOS mit der Zeit auch ändern.
Und genau so soll es sein ... neue Denkanstösse fördern neue gute Ergebnisse.

Ob FEOBOS immer TOP sein wird ... das ist für mich letztendlich nicht wichtig.
Obwohl für mich es TOP denn ich habe alles gegeben um genau das zu bewirken ... mehr geht nicht und für mehr bin ich auch nicht bereit.
1 Jahr freie Entwicklung und drei Jahre Vorbereitung ... das sprengt schon deutlich den Rahmen.

Gruß
Frank

By Stefan Pohl Date 2017-10-12 17:44 Edited 2017-10-12 17:50

Frank Quisinsky schrieb:

Aber was soll bei diesem Test herauskommen.
Du überprüfst im Grunde Analyseausgaben der 10 besten Engines.
Die sind nicht angreifbar, wir haben nichts besseres mit dem wir analysieren können.

Das ist doch genau der (Schwach-)punkt deiner Argumentation. Es gibt nichts besseres mit dem wir analysieren können. Das stimmt. Aber das heißt noch lange nicht, daß bei FEOBOS auf die richtige Weise analysiert wird. Das ist ja gerade der Knackpunkt. Ich zweifle eben, daß nur aus den Ende-des-Buches Stellungen heraus zu analysieren auch mit noch so vielen und guten Engines auf noch so schnellen Rechnern genügend Analysequalität zustandekommt, um diese jeweilige Eröffnungslinie zu beurteilen. Ich bezweifle nicht die Qualität der Analysemittel und schon gar nicht den Aufwand, den ihr betreibt. Sondern die Art und Weise, wie die Analysen bei FEOBOS genutzt werden. Und es gibt ja auch andere Art und Weisen, sie zu nutzen (z.B. Cerebellum, mit der Rückwärts-MiniMaximierung aus den Endstellungen der Partien zurück zur Eröffnung).
Und ob die Art und Weise der Analyse, die bei FEOBOS gemacht wird, etwas bringt, oder nicht, das ist eben bisher völlig unbewiesen und läßt sich nur Nachmessen herausfinden. Und wenn ihr das nicht einseht und daher nicht selber macht, dann muß ich es eben tun. Aber die 4-5 Tage Rechnerzeit investiere ich gerne. Bin ja schließlich immer neugierig. Und für mich wird das Ergebnis, egal wie es schlußendlich ausfällt, lehrreich sein.

Gruß - Stefan

By Frank Quisinsky Date 2017-10-12 17:56

Hallo Stefan,

OK, aber es geht nicht anders.
Es wäre natürlich besser jeden einzelnen Zug ab einer gewissen Zugtiefe mit Engines zu analysieren.
Aber wie viele Jahre sollte dann ein solches Projekt dauern.

Bei unserer Vorgehensweise sind wir bei einem Jahr Analysezeit bei 10 Threads und 4.3Ghz und einer Minute pro Stellung. Keine Ratingliste hat solche Konditionen.

Ich denke also, ich verzweifle nicht vorher sondern ich denke ... ich mache das was machbar ist und genau das dann bestmöglich.
Mehr geht nicht oder ich brauche von x Usern die Hardware um besseres anzubieten.

Natürlich geht es besser aber das ist doch der Punkt.
Wir entwickelten komplett neue Ideen und FEOBOS kann mit besserer Hardware und noch besseren Engines wiederholt werden und zwar auch für mehr Grundstellungen. Das befinde ich als wichtig. Selbst hole ich das für mich maximal beste Ergebnis heraus und ich denke das ist richtig gut.

Ein zu 99% fehlerfreies Buch nach dem heutigen Stand der Engineforschung und wahrscheinlich eine Reduzierung von sicherlich um die 70-80% schnelle Remispartien (nach meinen Stichproben).

Das ist gigantisch!!
Und insofern bin sehr zufrieden ... muss jetzt nur noch die Lücken füllen.
Das passiert mit den upd.1 Positionen.

Also 4 Monate nachsitzen ...
Auch hier, besseres kann ich nicht anbieten an Postionen mit den Mitteln die ich habe und mir zur Verfügung stehen.

Gruß
Frank

Bei Cerebellum wird mit einer Engine analysiert und dann auch noch die, welche die meisten 0,00er von allen "zu Unrecht" ausgibt. Unbewiesen, für Dich unbewiesen ... ich sehe das anders. Arbeite seit mehr als 3 Jahren an dem Thema bzw. die Optimierung der Positionen war das Hauptthema der FCP Rating Liste. Das Ergebnis ist wie beschrieben gigantisch ... besseres kann ich trotz der tausenden von investierten Stunden die ich diesem Projekt stecken nicht anbieten. Können es andere ... prima! Dann freue ich mich und habe selbst etwas was ich nutzen kann aber ich sehe leider nichts vergleichbares ... noch nicht mal annähernd vergleichbares wenn es um Material für Ratinglisten oder Engine Turniere geht.

By Clemens Keck Date 2017-10-12 18:13

Also für mein laufendes Turnier http://www.clemens-keck.de/livegames/
habe ich in 15 Minuten das Buch gemacht. Hatte mir eine corrbase mit ca 2 Millionen Partien als Vorlage genommen. Ein bisschen gefiltert, dann 14 Halbzüge. Schon fast fertig.
Dann habe ich noch ein paar Wichtungen eingetragen , und ein paar seltene Züge mit aktiviert, das war eigentlich das wichtigste.
Bis jetzt nach 114 Spielen 11 cpu , 60+15 , habe ich 4 Spiele Remis unter 20 Züge und 56% remisen.
Die Partien sind hochinteressant , abwechslungsreich und mit überraschenden Wendungen. Höchster outcome nach Buch war 0.88.
Einige Spiele mit 0.74 nach Buch waren remis oder gingen gar verloren. Für ein Turnier absolut brauchbar. Eine ratingliste würde ich wahrscheinlich gar nicht mit Buch spielen, sondern mit Vorgabestellungen. ECO von A bis E aus der Großmeisterpraxis.

Gruß, C. Keck

By Frank Quisinsky Date 2017-10-12 18:42 Edited 2017-10-12 18:56

Hallo Clemens,

4 aus 116 = 3,4%.
Das ist der normale Durchschnitt beim Selektieren von solchen Datenmengen.
Bei Feobos liege ich derzeit bei 0.02%.

Das ist ein Unterschied, wobei sich die 0.02 im laufenden Test-Run mit Wasp noch steigern können.

Übrigens holen die Engines mehr an "schlechten Zügen" aus Fernschach Datenbanken raus als aus GM Datenbanken. Das liegt aber eher daran, dass im Fernschach mehr experimentiert wird. Anders kann ich mir das nicht erklären.

Anderes Beispiel:
GM Partien von Durchschnitt ca. 2.600 (beide Spieler) produzieren ca. 36% an Eröffnungsstellungen, die von Engines als nicht gut befunden werden (schnelle Remise - die 0,00er wegen dreifacher - und verlustige Stellungstypen aus der Sicht von Engines). Sind es nur Stellungen deren Position nach deutlichen Stellungsnachteil beurteilt werden ... natürlich keine 36% sondern ca. 18-20%.

Und hier setzt FEOBOS ein.
Alle diese Stellungen sind bei FEOBOS schon draußen.
Wir brauchen also beim Engine Testen keine Bücher mit Menschenfehlern, die auf GB-großen Buchstatistiken beruhen sondern müssen unsere Engines befragen und die Stellungen bewerten lassen. FEOBOS v10 mit Contempt 5 hat weit unter 10Mb an Größe ... größere Bücher sind heute einfach ... wie soll ich sagen ... möchte nicht sagen Datenschrott ... aber aus Sicht der Engines ist vieles drin was unbrauchbar ist.

Das ist genau das Problem.
Solche Bücher sind meines Erachtens im Zeitalter 2017 bei der Stärke, die Engines heute haben nicht mehr zeitgemäß und ganz ehrlich ... ich finde gar völlig überholt.

Recht hast Du natürlich mit der Aussage, dass ganz interessante Stellungen aus solchen Bücher entstehen können aber was willst Du damit erreichen?
Möchtest Du ein fundiertes Engine Test-Ergebnis bzw. Resultate bei denen die Engines durch Buchvorgabezüge nicht beeinflusst sind oder möchtest Du einfach nur Fun beim Zusehen bzw. ist Dir egal wie die Partien ausgehen bzw. welche eher zufälligen Ergebnisse die Turniertabellen dann widerspiegeln. Nur dafür dann Systeme mit x Cores einzusetzen? Dafür reicht doch aus ein 486er PC.

Diese Frage stelle ich mir schon seit Jahren und daher der steinige Weg endlich mal Schluss zu machen mit der Zweifelei bei den gewählten Eröffnungszügen.

Wenn ich heute ein Turnier starte habe ich keine Lust mehr jede einzelne Partie auf Eröffnungsfehler zu untersuchen.
Ich will mich einfach auf die Vorgaben verlassen ... daher die Idee zu FEOBOS bevor ich unter Umständen weiteres Material produziere welches mich nicht wirklich selbst glücklich stimmt.

Auch wenn ich jede einzelne Partie von der FCP Rating Liste überprüfte (Ferdinand schrieb mir gar ein Tool hierfür). Ich habe in der Partie selbst immer nur die Meinung von 2 Engines und ich möchte gar nicht wissen was ich alles zu Unrecht aus dem FCP Live Buch rausgeholt habe.

Daher es wird Zeit ...
Mal endlich eine Datenbasis anzubieten der vertraut werden kann.
Und wenn ich nicht den Analysen von 10 der besten und vor allem unterschiedlichen spielenden Engines mehr vertrauen kann ... wenn denn dann?!

Gruß
Frank

By Frank Quisinsky Date 2017-10-12 19:53 Edited 2017-10-12 19:59

Korrektur ...
Nicht bei 0,02 sondern bei 0.2 bis Zugnummer 20 bzw. 0.4 bis Zugnummer 22 wenn ich die fast 2.000 Partien vom aktuellen Wasp 2.5 Test-Run 1 & 2 ins Feld werfe.

Ziel ist deutlich unter 1% zu bleiben.

Das FCP Live Buch, welches drei Jahre auf schnelles Remis durch die Test-Runs optimiert wurde (Stellungen die zu schnellem Remis geführt haben wurden mittels Priority "E" deaktiviert) hatte eine Quote von 1,8%. Das nach 3 Jahren harte Arbeit.

Letztendlich wird ja durch die FEOBOS Geschichte auch weiter optimiert ... 0.2 bei unter 20 Züge, 0.4 bei unter 22 Züge, glaube derzeit 1.0 bei unter 24 Züge ... und je weiter Du hoch gehst steigen Deine 3.x auch immer weiter an. Wenn Du das zusammenrechnest wird FEOBOS also deutlich weniger schnelle Remispartien produzieren bis ca. Zug Nummer ... 24-26. Danach ist der FEOBOS Vorteil um schnelles Remis zu vermeiden gänzlich verschwunden.

Wie gesagt:

Nachteil:
- durch einen hohem Contempt verliere ich viele gute Stellungen im Buch. Die Quote bleibt dafür gering. Ich muss also alles auf dem Kopf stellen um aus der Theorie (nur 3 Züge nach ECO Code Ende) wirklich alles herauszuholen. Denke bei Contempt = 5 wird das abschließende FEOBOS v20 Resultat ca. 20.000 Vorgabestellungen sein. Was riesig ist. Bis Contempt 5 werden es weit über 32.000 sein.

- wenn schwächere Engines schnell mit Abweichungen zu den Hauptvarianten der 10 Engines kommen, welche bei FEOBOS alles auf dem Kopf stellen, kommt es leider dann doch zu schnellen Remis Partien. Das ist letztendlich nicht zu 100% zu vermeiden.

Vorteil:
- die Quote wird durch das FEOBOS Verfahren deutlich nach unten geschraubt. Auch sind durch die Prüfung von 10 Engines dann wirklich kaum noch verlustbringende Varianten im Buch. Wenn dann nur dann weil die besten Engines das den Nachteil vielleicht heute noch nicht bei einer Minute pro Zug bei 10-Threads erkennen können.

Gruß
Frank

By Clemens Keck Date 2017-10-12 20:32

Das mit den Kurzremis stört mich nicht.
Die gleiche Stellung ist nicht zwangsläufig immer remis nach 15 Zügen oder so. Es kommt ja viel auf die engines an die da gegeneinander spielen.
Ich würde mich nicht trauen zu sagen was "schlechte Züge" sind. Auch nicht mit engine Unterstützung. Es passiert einfach immer noch überraschendes, und ich sehe Gefahr das durch das Ausanalysieren etwas verloren gehen könnte.
Wie gesagt, ist meine Meinung was Turniere betrifft.
Für Ratinglisten hängt viel an der Partienzahl meiner Meinung nach. Mit genug Partien gleiche ich Schwächen in der Vorgabe aus. Das HERT set von Stefan scheint mir ein guter Ansatz, aber 150 Stellungen (also 300 Partien) sollte auch reichen für eine sehr genaue Ratingliste.
FEOBOS müsste man sich wirklich genauer in der Praxis ansehen, am besten bei langen BZ mit mind 8 cpu. Ich kann mir einfach nicht vorstellen, das alle 500 ECO codes vernünftige Brettstellungen darstellen.

Gruß, Clemens

By Frank Quisinsky Date 2017-10-12 20:58 Edited 2017-10-12 21:25

Clemens,

bei FEOBOS machen die 10 besten Engines das Buch, nicht ich oder sonst wer.
Das anzuweifeln was die Engines uns vorgeben wäre so als zu sagen ... ich spiele besser als der Schachweltmeister und noch schlimmer.
Was die besten 10 Engines uns vorgeben ist meines Erachtens zunächst unantastbar es sein denn ein Mensch fühlt sich in der Lage zu widerlegen.
Dann mal viel Spaß dabei, denke das kann keiner von uns.

Die Stellung endet dann nach 15 Zügen Remis wenn eine Engine eine dreifache im Suchbaum hat und nichts anderes spielen möchte weil Verlust droht. Die andere Engines das gleich sieht und Bingo ist die schnelle Remispartie auf dem Brett. Das kann aussortiert werden und dafür laufen bei FEOBOS hundertausende von Analysen.

Ich traue mich auch nicht zu sagen was schlechte Züge sind.
Ich lasse es die Engine entscheiden ... gebe die Vorgaben ... sortiere aus wenn größer als 0.70 / -0.40. Diese Vorgaben kann jeder in Excel selbst ändern und sich daraus sein eigenes FEOBOS Buch erzeugen. Alles was wir manipulierend machen ... kann in Excel verändert werden. Das ist uns sehr wichtig, meine Erfahrungswerte beziehen sich auf 45-Minuten Partien von der FCP Rating Liste. Andere haben andere und sehen Parameter Einstellungen anders.

Das Engines unterschiedlich bewerten ist klar, daher sind diese Vorgaben auch angepasst an die Bewertung der Engines, so dass alle ca. dann wieder bei _"gleichen Vorgaben"_ landen. Meine Meinung nach den Erfahrungen aus der FCP Ratingliste.

Irgend ein Wert musst Du geben wenn etwas aussortiert werden soll.
Also, eine Vorgabe bedeutet immer das es Grenzen gibt.
Ohne Grenzen keine Ergebnisse!

So viel überraschendes passiert nicht bei 3 Züge nach ECO Code Bildung. Ich habe schon mehr als 100.000 Stellungen drei Züge nach ECO Code Bildung und grobe Fehler beruhen meist bei GM Partien auf ... ich habe nicht gesehen und es wurde oft einzügig oder zweizügig etwas stehen gelassen.

Kannst Du Dich noch an die Partie erinnern, bei der Kasparow einzügig gegen ein Computerprogramm die Dame hat stehen lassen. Und unsere sogenannten GM Datenbanken sind voll davon ... einzügige Fehler, zweizügige Fehler oder Fehler die nach 3-4 Zügen auffällig werden bzw. dafür sorgen das der Gegner in Vorteil kommt. Das ganze Zeug an Fehler findest Du in fast jedem Buch. Habe z. B. eine GM Blunderdatenbank, damit schaue ich mir an wie gut oder schlecht der Ersteller eines Buches unterwegs war. Und glaube mir ... 95% der Bücher fallen gnadenlos durch dieses Netz. Und mit solchen Vorgaben hetzen wir die Engines aufeinander. Genau das will ich nicht. Einige lassen die Bücher zumindest von einer Engine untersuchen und holen mal die groben Blunder raus. Das Cerebellum Buch, das Buch von Stefan ... Bücher ohne Engine Analyse sind voll von Fehlern (wenige Ausnahmen, das Hiarcs Buch ist richtig gut ... aber wie schafft es der Ersteller ... sicherlich nicht ohne Engine Analysen, sonst wäre der die Nummer 1 in der Welt.

Das wird bei FEOBOS von unseren besten Engines herausgeholt.

Und wie viele brauchbare Stellungen zu jedem ECO Code bei FEOBOS verblieben sind erzählt Dir die Excel Tabelle von Klaus. Dort ist jede erdenkliche Information zu den Stellungen leicht zu sehen, zu prüfen oder jeder kann sich leicht einen Überblick über Lieblingspositionen verschaffen.

Es gibt gar zu jedem ECO Code eine Engine Ratingberechnung (KECR).

Es gibt ca. 35 ECO Codes die wenig brauchbares (so die Meinung der Engines und ja auch von den GMs ... die meiden) produzieren. Aber selbst innerhalb dieser Codes ... z. B. C37, C38 gibt es sie noch ... die spielbaren Varianten ... nur sind es recht wenige. A64, E78 / E78, C40 und so weiter. Hierzu Material zu finden ist fast unmöglich weil die stärksten Spieler meiden (also auch wenig Material). Und meist sind auch nur deswegen Stellungen in unserer Datenbank weil zweit oder drittbeste Züge Fortsetzungen generieren, die Engines dann bei seltenen Eröffnungssystemen wieder für spielbar halten.

150 Stellungen wären mir persönlich zu wenige.
Es können bei 150 Stellungen nicht alle 500 ECO Codes abgedeckt sein und ferner wäre mir das zu langweilig stetig die selben Eröffnungen auf dem Brett zu haben. Ziel von FEOBOS ist es so viele brauchbare Vorgabestellungen zu sammeln als irgendwie möglich um aus diesen dann Bücher zu erstellen. Die Bücher spielen dann nach Beliebtheit aus ... je mehr von einem ECO Code vorhanden ist, desto höher die Wahrscheinlichkeit das die Stellung aufs Brett kommt. Und zu weit über 90% sind es auch die populären Codes.

Und unser Ansatz ist dann ... die 20.000 oder mehr die nach 10 Engine Analysen übrig bleiben ... das sind Stellungen über die nach derzeitiger Engine Forschung kein Zweifel besteht, dass diese zumindest bei 1 Minute pro Zug auf 4.3 GHZ bei 10 Threads weitestgehend ausgeglichen ist. Kein Zweifel weil 10 Engine Analysen die verbliebenen Positionen die ins Buch wandern einheitlich als gut befinden.

Es ist schade ...
Ich komme derzeit nicht dazu die Doku zu schreiben und werde mir bis die Doku fertig ist noch viele solcher Antworten schreiben müssen.

Besser wäre es auf das Ergebnis im Januar zu warten (dann ist die Doku fertig) ... dann die Doku lesen und alles sollte klar sein. Habe derzeit keine Zeit für ein aufwendige Doku auf die auch nur x Leute warten um diese dann zu zerreißen, wie das so ist unter den Computerschächlern weil ja alle alles besser wissen ohne sich vorher wirklich mal im Detail etwas angesehen zu haben.

Nur wenn die Doku steht, liest es aber niemand ...
Erinnere mich an die erste Doku zum Projekt ... die 20 Seiten wollte keiner lesen und jede Frage die ich beantwortete ... die Antworten standen in der Doku die es gab. So schaut unser Hobby heute aus, früher konnten wir nicht genug Informationen uns reinziehen, heute denken wir, wir wissen alles ... der Lauf der Zeit ... zu jedem anderen Themenbereich leider auch so.

Insofern ...
Soll jeder denken und testen mit was er möchte, FEOBOS nutzen oder nicht ... ist mir alles egal.
Nur wer sich mit der Materie etwas mehr beschäftigt wird glücklich sein das FEOBOS da ist!

Nur schade das so wenige Unterstützung bei den Engine Analysen leisten.
Letztendlich wird das finale Resultat in einem Jahr sicherlich 100.000x geladen aber außer Klaus und diverse Programmierer die helfen wird sich kaum jemand an dieser Arbeit beteiligt haben. Ganz im Gegenteil ... wettern was das Zeug hält dagegen ... so war es auch bei Arena, bei Winboard, bei UCI, bei FRC ... egal an was ich denke. Und heute ...

Fritz ist die Nummer 1 es lebe Fritz. Shredder ist die Nummer 1 es lebe Shredder. Rybka ist die Nummer 1 es lebe Rypka ... und alle diese Leute die diese Engine so gelobt haben nutzen heute Stockfish, Komodo und Houdini. Immer das gleiche Zeug ... immer die gleichen Diskussionen um Dinge die neu sind ... das nervt Leute einfach die wirklich etwas tun und laufend Entwicklungen beisteuern.

Wobei ich ganz sicher nicht Clemens / Dir einen Vorwurf mache.

Aber das ist Computerschach im Internet ... zu 95% nicht wirklich interessant aus meiner Sicht.
Die 5% zu ziehen ist möglich ... aber jeder empfindet das auch anders.
Was für den einen schon seit Jahren ausgelutscht ist, ist für den anderen hochspannend.

Alles gut ...

Gruß
Frank

By Frank Quisinsky Date 2017-10-12 22:02 Edited 2017-10-12 22:19

Und weißt Du was richtig gut ist ...
Auch das beobachte ich schon und das ist auch gut so.

Die FEOBOS PGN kopieren viele einfach in Ihre eigenen Bücher oben drauf.
Die wissen die Daten sind sauber und können die Qualität der eigenen Bücher verbessern.

Auch das ist ein Ziel vom Projekt.
Die Daten sollen genutzt werden, wie auch immer geartet.
Wir haben kein Problem damit wenn andere mittels der Excel komplett andere Bücher erstellen mit anderen Parametern.
Genau das ist gewünscht, damit letztendlich die Qualität der Engine Wettkämpfe ansteigt.

Wir haben in den letzten Jahren genau dieses Thema bei immer stärkeren Engines nicht bedacht und Bücher stiefmütterlich erstellt.
Die Engines sind zu stark geworden und würden uns auslachen wenn sie könnten bei den Vorgaben die wir denen geben.

Also, es muss da etwas verändert werden.
Ich war selbst mit der FCP Rating Liste unzufrieden, trotz der vielfältigen Optimierungen.
Aber die Ratingliste war auch nur Mittel zum Zweck (Spielstile, Buchentwicklung stand im Vordergrund für mich).

Insofern möchte ich das Projekt bis Ende Januar abschließen und dann vielleicht noch ein anderes Projekt starten.
Thema Buch ist bei mir bis zum Lebensende durch ... denn ich werde mir niemals 20.000 Engine Partien mit 20.000 unterschiedlichen Stellungen mehr ansehen können.
Das reicht mir ... so kann ich mich einer anderen Aufgabe widmen, sonst wird Computerschach langweilig für mich.

Gruß
Frank

Spannender ist die Mittelspielanalyse mit Hilfe von Excel und Klaus hat ja auch noch Lust.

By Stefan Pohl Date 2017-10-15 15:23

Clemens Keck schrieb:

. Das HERT set von Stefan scheint mir ein guter Ansatz, aber 150 Stellungen (also 300 Partien) sollte auch reichen für eine sehr genaue Ratingliste.

Zunächst muß ich mal betonen, das HERT Set ist von Thomas Zipproth erstellt worden, aus seinen umfangreichen Datenbanken (Online Engine Chess und Cerebellum), ich war nur beratend und testend tätig und biete den Download an.
Ich kann dir und allen anderen sagen, daß ich schon vorhergesehen habe, daß nicht jeder Anwender immer alle 500 Stellungen des HERT-Sets abspielen will, denn das bedeutet ja immer 1000 Partien im einem head-to-head. Daher habe ich Thomas Zipproth davon überzeugt, das Set so zu sortieren, daß bereits in den ersten 50 und auch in den ersten 100 Stellungen eine möglichst gute Streuung an Eröffnungssystemen gegeben ist (die Ur-Version war nach Eröffnungen sortiert!). Daher kann man auch gut nur 100 oder 200 Partien in einem head-to-head mit dem HERT -Set spielen und bekommt trotzdem brauchbare Ergebnisse, wenn natürlich auch mit höherer Errorbar.

Stefan

By Klaus Wlotzka Date 2017-10-12 21:54 Edited 2017-10-12 21:57

Stefan Pohl schrieb:

Leider haben die Autoren es bisher nicht für nötig befunden, ihr FEOBOS-Projekt selbst mal einem ernsthaften Praxistest zu unterziehen, schon gar nicht einem, der ein Standard-Eröffnugsset unter gleichen Bedingungen mittestet, was als Bezugs- und Vergleichspunkt essentiell ist! Schon sehr merkwürdig, daß ich nun also FEOBOS testen muß, um zu sehen, ob die Autoren mit ihren Ankündigungen und Zielsetzungen richtig liegen.

Hallo Stefan,

jetzt lass mal die Kirche im Dorf, dass FEOBOS-Projekt ist noch nicht mal fertig, läuft schon seit vielen Monaten, Tag und Nacht. Unzählige Stunden wurden investiert um aus meiner Sicht etwas einmaliges zu schaffen und ist zudem für jeden frei verfügbar. Merkwürdig ist eher, dass troz aller Anstrengungen ständig das berühmte Haar in der Suppe gesucht wird. Und wer sagt, dass du das für uns machen musst?

Ich verfolge jede Anwendung oder Experiment in Verbindung mit dem FEOBOS-Projekt natürlich mit großem Interesse und bin auch trotz deiner unangebrachten Wortwahl auf dein Ergebns gespannt.

Gruß

Klaus

By Frank Quisinsky Date 2017-10-12 22:08 Edited 2017-10-12 22:13

Hallo Klaus,

bin hier im privaten Stress mit anderen Dingen.
Kurz: Houdini ist durch ... Shredder läuft seit Vorgestern.
Die Engine Analysen laufen also ununterbrochen weiter.

Werde erst am Samstag updaten können.
Muss noch die Houdini Positionen die gefunden wurden aus dem Buch mit den Zugumstellungen löschen.
Das sind über 400 ... dauert 3-4 Stunden.

Dann bringe ich alles Online.

Schreibe das nur kurz, konnte mich die letzten Tage nicht melden.

Bin total bescheuert nach Schachcomputern Ausschau am halten bzw. habe das was ich will.
Möchte im Urlaub 40 Turnierpartien gegen ca. 2.150 SSDF Elo spielen.

Habe mir das Senator Modul ausgesucht und auf das Modul muss noch ein seltener RAM Chip drauf (macht ein Experte in diesem Bereich für mich). In Wirklichkeit wird dann der Magellan (mit dem Modul wird aus Senator der Magellan) vielleicht 1.900 ELO haben. Will sehen aufgrund einer Diskussion vor kurzer Zeit im Forum und habe Lust auf einen solchen Wettkampf.

Werde aber im Dezember auch die Doku starten und fertig stellen bzw. die aktuellen Analysen online stellen. Nur die wenige Zeit nutze ich in den letzten Tagen für die Suche nach dem passenden Schachcomputer der auch buchmäßig was zu bieten hat und vor allem kein langweiliges Positionsschach spielt.

Computerschächler haben oft einen in der Pfanne ...
Ich ja auch ...

Gruß
Frank ... melde mich am Samstag in alter Frische!

By Klaus Wlotzka Date 2017-10-12 22:27

Hallo Frank,

na, da hast du dir ja was vorgenommen. Ich habe selber einen Mephisto MM5 mit München-Brett und spiele ab und zu eine Partie.

Der MM5 spielt interessant, baut aber im Endspiel ab. Wenn ich es schaffe, einigermaßen ausgeglichen ins Endspiel zu kommen, steigen meine Siegchancen erheblich. Laut Wiki soll das MM5-Modul bei ca. 1974 SSDF liegen was ich angesichts meiner Quote eher nicht glaube, schon garnicht wegen der eher schwachen Endspielbehandlung.

Der Senator oder Magellan wären für mich doch schon eine Nummer zu stark.

Gruß

Klaus

By Frank Quisinsky Date 2017-10-12 22:47

Hallo Klaus,

MM5 hatte ich 2x ...
1a Modul ... gibt ja MM5.0 und MM5.1. Wobei ich seinerzeit keinen großen Vorteil bei der Version 5.1 feststellen konnte.

Thorsten Czub hat mal einen sehr schönen Bericht geschrieben, der offenbar leider von Dieter Steinwender gekürzt wurde. Hätte gerne seinerzeit alles von Ihm gelesen. Thorsten hat es beim MMV auf den Punkt gebracht! Das Modul war bzw. ist taktisch richtig gut. Es gibt für den MM V ja noch das Eröffnungsmodul. Wird überteuert heute angeboten aber auch dieses Modul war seinerzeit richtig gut. Und ja, das Endspiel ist schlimm aber das Endspiel vom Senator / Magellan ist auch nicht wirklich besser ... und ganz ehrlich die Lang Programme waren im Endspiel zwar besser aber so richtig der Bringer waren die auch nicht zumindest ca. bis Vancouver / London Update. Diese Versionen sind der höheren Spielstärke entsprechend gut und waren meines Erachtens die ersten Schachcomputer die ca. in allen Partiephasen gutes Schach spielten.

Die späten Novag Geräte ... Star Diamond oder auch die späten Fidelity Geräte ab ca. Mach 2c waren gut und spielten sehr ausgeglichen mit Spitzen bei taktischen Stellungen. Machten einfach nur Spaß!!

OK, ich kenne die Schwächen vom Mephisto Atlanta (gleiches Programm wie Magellan / Senator). Nutzte diesen Computer sehr lange aber das war genau der mit dem ich neben dem Star Diamond am meisten Spaß hatte (und noch MMV und Mach III). Meine persönliche Schachcomputer Favoriten ... auch Sparc 20Mhz von Saitek und es gab noch ein Plastik Gerät von Johan de König. Allerdings spielten die Programme von Johan auch nicht wirklich schönes Schach ... überraschten eher durch Mattangriffe und wurden viel zu hoch gelobt. Eigentlich mochte ich die Geräte von Johan nicht wirklich. Ed hat mit dem Polgar ein schönes Mittelding raus gebracht. Spielt für einen 8Bit Computer auch die Partiephasen sehr gut ... oftmals allerdings auch wieder langweilig. Aber der MMV war richtig gut, auch später der Mephisto Milano war besser vom Stil als der Polgar.

Nicht einfach einen guten Computer heute zum selbst spielen noch zu bekommen. Nun ja, der Mephisto Milano (Polgar Programm) oder der Milano Pro (Senator Programm) sind OK und nicht so teuer.

Behalte Deinen MMV mit München Brett und schaue mal ob Du das Eröffnungsmodul noch irgendwie ersteigern kannst. Das wäre wichtig für das Modul damit es abwechslungsreicher spielt (wenn es meiner wäre würde ich das versuchen). MMV war also ein Highlight!!

Mit dem RAM Modul auf dem Senator geht es ca. 100 SSDF Elo nach oben. Auch hat der Senator leider einen Remis Bug. Spielte 8 Partien und konnte locker in 4 Partien bei leicht schlechtere Stellung wegen dem Bug in Remis gehen. Gewann letztendlich auf einer schnellen Stufe 5.0 : 3.0 ... hätte eigentlich verlieren müssen wenn dieser Bug nicht gewesen wäre ... wobei alles Endspielstellungen, die ich gegen das Modul aber locker gehalten hätte. Unter Turnierbedingungen wird die Geschichte anders aussehen. Muss mich mehr anstrengen und versuche es aggressiv in der Eröffnung (auch die Stärke von Magellan) und wenn es nicht funktioniert die Flucht ins Endspiel. Sollte für einen Sieg reichen.

Ich denke ich kann bei 40 Partien wenn ich konzentriert bleibe ca. 25 Punkte machen.
Mal schauen ... aber auch nur weil ich weiß das das Endspiel nicht unbedingt verloren ist.
Durch das RAM Modul ist aber der Remis Bug draußen ... daher muss ich aufrüsten um nicht direkt in Vorteil zu gehen.

Insofern ... Kampfansage auf meinem Turnierbrett mit Schachuhr und Modul in meinem favorisierten Modular Gehäuse. Mag die Exclusive Bretter nicht, das München Brett ist Klassen besser.

Gruß
Frank

By Frank Quisinsky Date 2017-10-12 23:00 Edited 2017-10-12 23:22

Gab nur einen Computer bei dem ich keine 50% machte von über 80 die ich mal hatte.
Das war der Star Diamond ... und knapp über 50 gegen Saitek Sparc 20Mhz.
Gegen den Diamond spielte ich ca. 150 Turnierpartien.
Das Ding war unglaublich stark aus Sicht eines Menschen.
Einfach unglaublich gut ... verkaufte den erst vor ca. 5 Jahren.

Die Lang Geräte waren mir zu unangenehm, gegen die spielte ich keine Turnierpartien.
Kam mit den Dingern nicht klar in jüngeren Jahren und habe erfolgreich vermieden viele Turnierpartien dagegen zu spielen, OK ein paar spielte ich ja. Hetzte eher das beste auf Lang Geräte was ich hatte und freute mich wenn die Lang Geräte verloren ... Hassliebe.

Mochte die auch nicht, die waren zu teuer und das konnte ich mir nicht leisten (war zu jung und brauchte das Geld).
Freund hatte Almeria und Lyon mit 32bit. Die musste ich mir dann ausleihen.

Später hatte ich dann den Mephisto Berlin 68000 und auch den 68020.
Gegen den Mephisto Berlin 68000 spielte ich wenige Turnierpartien ... sah nicht gut aus.
Wie gesagt, die mochte ich nicht. Der Spielstil von diesem Computer ist total entgegen dem was ich mag und so gingen viele Partien in die Hose. Wenn ich glaube ich habe den entscheidenden Angriff verlor ich weil ich wieder irgend etwas übersehen habe. Das Programm wartet förmlich auf Fehler und macht sonst nicht viel. Dummes Ding.

Gruß
Frank

Geil war auch ein von Bernd Kimnich hochgetakteter Dominator 8Mhz.
Der spielte richtig aufregend aber auch hier das Endspiel war nicht gut.
War irgendwie auch schnell defekt ... hatte einen kurzen Auftritt und flog irgendwann "wirklich passiert" aus dem Fenster.
Stunde später ... holte ich ihn wieder hoch ... dann war gar nichts mehr zu machen.

Und ein auf 18Mhz laufender Mach III ... den liebte ich über alles.
Bis er aufgrund Übernutzung den Geist ... 10 Jahre später aufgab. Hat mir auch Bernd Kimnich getunt.
Auch ja, der Risc 1Mb war auch ne Bombe ... stimmt, dagegen machte ich keine 50% und den mochte ich auch.
Der war richtig teuer und ein PC musste her ... den hatte ich für meinen ersten 386 / 16Mhz geopfert weil ich die Chesscard und das Programm von Ed auf ChessCard wollte.
Tja, die Jugendsünden ...

Und der, der mir alle Jugendsünden vergab war Ernst Musch.
Der sendete mir Geräte zum testen.

Erinnere mich ...
Frank, willst Du den Polgar ausprobieren aber gestern habe ich auch noch den Saitek Simulator erhalten.
So sendete ich Doof den Polgar zurück und testete den Simulator.
Der Computer der das langweiligste Computerschach spielte was ich je gesehen habe von den etwas besseren Geräten seinerzeit.

Also Musch angerufen nach 2 Wochen ...
Der ist nichts, bitte wieder Polgar zurücksenden.
So ging das ... 3 Monate wartete ich morgens auf den Postboten um endlich den ersten VIP von Novag zu haben.
Der kam und kam nicht verzögerte sich laufend ... dann hatte ich den und dann war von Frank Monate nichts zu hören.
Der spielte gegen alle meine Geräte durch und ich war begeistert ...
Selbst im Schwimmbad mit Batterien und Ersatzbatterien in der Tasche ... plötzlich war es dunkel und ich war immer noch nicht im Wasser.
So ungefähr ...

Die Jugendsünden ...
Bei Ernst Musch geht's Husch Husch ... der ist von mir.
Dann gab er leider seinen Laden auf und Monika Weitkus bzw. der Mann machte ja alles musste herhalten.
Frank kommt, oh Backe ... aber wenn ich kam war alles präsentiert und alleine nach Hause gefahren bin ich nie.
Waren immer irgend welche neuen Klimperkasten in der Tasche.

Als mir Vater dann den Führerschein schenken wollte ... nahm ich sein Geld.
Landete irgendwie in einen Mephisto Exclusive B&P. Weiß auch nicht wie ich das seinerzeit dann erklärte.
War im Erklärungsnotstand ... machte den Führerschein ein paar Jahre später wo es ruhiger um die Schachcomputer war.
Bin dadurch auch nicht mehr geschädigt als heute.

By Frank Quisinsky Date 2017-10-12 23:34

Aber mein Fahrlehrer (der hatte einen MM IV in Modular) ... dem besorgte ich für 50 DM Aufpreis ein MM V und hatte 8 Fahrstunden kostenfrei.
Stimmt ... damit konnte ich meinen alten Herrn später wieder milde stimmen.

Tja, glaube das war dann 4 Jahre später ...
Fahrradfahren kann so grausam sein ...

Wir mussten alle mal Opfer bringen!
Spreche von echten Opfern ... so genug!

FEOBOS am Samstag ...
Mephisto Magellan über Weihnachten ... derzeit bereite ich mich seelisch und moralisch auf den Wettkampf vor.
Werde dann mal ein Foto posten.

By Frank Quisinsky Date 2017-10-12 23:56 Edited 2017-10-13 00:00

Klaus,

ah vergessen!
Das war kürzlich mal eine Diskussion im Forum.
Ich denke das in der SSDF alle Schachcomputer ca. 200-250 Elo zu hoch liegen.

Also ein Magellan / Atlanta hat nie und nimmer 2.150 ... eher so 1.900!
Ein MMV hat vielleicht 1.750 und niemals 1.974 und da der MMV eine echte Schwäche im Endspiel hat kann das genutzt werden und auf Dauer gegen einen Menschen gar sicherlich nicht mehr als 1.600 Elo. Das muss immer berücksichtigt werden.

Der Novag Star Diamond hat gefühlte 2.200 echte Elo (gegen Menschen). So sehe ich das ...
Dieses Teil ist brandgefährlich beim offenen Spiel. Der Spark / Hakkapeliitta / Junior / Wasp bei den Schachcomputern.

Der R30 war das erste Geräte was wirklich deutlich über 2.000 echte Elo lag und auch die 68020 Vancouver und London Geräte waren ca. bei echten 2.000 angekommen. Das zog sich aber auch nach den Schachcomputer bei den PC Programmen weiter fort. Die SSDF wurde ständig nach unten korrigiert. Auch ein Crafty 1998 als stärkster Amateur war niemals bei 2.500 sondern bei maximal 2.300 Elo. Machte selbst Werbung bei Ruffian Vermarktung und sagte das Teil muss ca. bei 2.600 liegen ... damals waren wir immer noch 150 Elo zu hoch, tatsächlich waren es 2.450 aus heutiger Sicht.

Erzähle das mal jemanden der die Schachcomputer von einst heute noch anbetet.
Die zerreißen mich in der Luft wo ich dabei bin.

Gruß
Frank

By Kurt Utzinger Date 2017-10-13 08:14

Frank Quisinsky schrieb:

Ich denke das in der SSDF alle Schachcomputer ca. 200-250 Elo zu hoch liegen.

Gruß
Frank

Lieber Frank

Dieser Aussage kann man nur zustimmen. Vielfach sind es auch 300 Elo zuviel.
Zur Zeit beschäftige ich mich stark mit unseren Oldies und analysiere Partien,
die Schachfreund Rolf Bühler spielt. Und wer Lust auf Oldies hat, der kommt
an Schachcomputer.info https://www.schachcomputer.info/forum/portal.php
und seinem Forum nicht vorbei. Und hier noch eine hübsche Gewinnpartie auf 60' rapid
gegen den Tasc R30 https://www.schachcomputer.info/forum/showthread.php?t=5488

Gruss
Kurt

By Frank Quisinsky Date 2017-10-13 23:55 Edited 2017-10-14 00:42

Hallo Kurt,

wahrscheinlich klaffen die Meinungen bei Schachcomputer deswegen so weit auseinander, weil die Situation vom drastisch fallenden Endspiel schwierig zu beurteilen ist. Klar, überspitzt dargestellt ein IM und Anfänger auf etwas besseren Niveau ... wie hoch ist der Elo Durchschnitt? Haben wir aber die Situation, dass ein Schachcomputer die verschiedenen Spielphasen durchweg ausgeglichen spielt, vermuten wir eine höhere Spielstärke (Lang Programme als Beispiel). So dachte ich immer, dass wenn ich gegen Novag Star Diamond spiele, ich gefühlsmäßig einen deutlich stärkeren Gegner vor mir habe.

Es ist beim Computerschach extrem wichtig, die Spielstärke anders darzustellen.
2.000 / 2.100 / 1.600 = x
Eröffnung / Mittelspiel / Endspiel

Nun müssten diese drei Ausgaben in Elo gewichtet werden.

Aus Sicht der Engine:
Eröffnung = 20%
Mittelspiel = 35%
Endspiel = 45%

Aus Sicht des Menschen:
Eröffnung = 30%
Mittelspiel = 40%
Endspiel = 30%

Und genau das müsste nun ein Berechnungsprogramm berücksichtigen um letztendlich auszugeben:

Elo Menschenschach = x
Elo Computerschach = x

Hätten wir diese für meine Begriffe einfache und logische Berechnung, könnten wir auch viel mehr mit blanken Zahlen einer Ratingliste anfangen. Die jeweiligen Gewichtungen müssten wir aus Datenbanken von starken GMs oder aus Datenbanken ohne Aufgabemodus bei starken Computerschachprogrammen aber erst mal errechnen.

Letztendlich bin ich froh, dass mal ein stärkerer Schachspieler der Usergemeinde meine Meinung über die Spielstärken von Schachcomputer teilt.

Wenn ich mir so ansehe, was und wie wir heute beim Computerschach etwas darstellen, liegt das vergleichbar nicht auf dem Niveau von dem was wir zunächst gerne messen möchten. Sprich, wir sind ganz einfach stehen geblieben und kommen mit der Entwicklung gar nicht mehr mit. Bemühen uns noch nicht mal um uns den neuen Gegebenheiten anzupassen. Genau das mag ich gar nicht und zeige mich hier mit klarer Kampfansage gegen alles was müde macht ... z. B. die blanke, _nicht viel aussagende_ sehr einfache Elo.

Gruß
Frank

PS: Die Partie muss ich mir morgen unbedingt ansehen. Rolf Bühler, war das nicht der Herr mit dem Du früher zusammen auch mal eine Elo Liste gemacht hast, die habe ich genau wie die von Klaus bei der CSS sehr gemocht. Glaube das war doch Rolf Bühler? Werde alt ...

Wasp zauberte im letzten Test-Run auch wieder viele kurze Gewinnpartien daher, eine gegen Gaviota war besonders. Aber ich habe auch die noch nicht im Detail analysiert. Komme derzeit zu wenig, MIST, MIST, MIST.

By Benno Hartwig Date 2017-10-14 06:38

Was meinst du damit, Frank, dass die Spielphasen für Mensch und Maschine unterschiedlich zu gewichten sind?
Die Spielstärken mögen hier unterschiedlich sein. klar.
Aber wenn wegen Schwächen in solch einer Phase halbe und ganze Punkte liegen gelassen werden, dass ist solch eine Phase doch ganz bestimmt nicht weniger "wichtig". Dann darf Mensch/Maschine auf solch eine Phase doch ganz bestimmt nicht weniger Augenmerk legen.

Oder was meinst du sonst mit den unterschiedlichen Gewichtungen für die Spielphasen?

Benno

By Frank Quisinsky Date 2017-10-14 07:03 Edited 2017-10-14 07:07

Hallo Benno,

selbst wenn wir beim GM Schach die vielen schnellen Remise herausnehmen und zusätzlich berücksichtigen, dass Partien bei sichtbaren Vorteil schneller aufgegeben werden enden GM Partien schneller als beim Computerschach auf Niveau 2.700 oder höher. Hatte mich mit dem Thema mal intensiver beschäftigt. Menschen Schach auf hohem Niveau hat einen deutlich niedrigeren Züge Durchschnitt. Gehst Du weiter in der Spielstärke nach unten, 2.300, 2.100 Elo etc. fällt auch der Züge Durchschnitt beim Menschen Schach weiter ab.

Beim Computerschach ist der Partiedurchschnitt also höher. Auch schon vor 15 Jahren spielten die Programme einen starken Übergang zum Endspiel, genau da wo wir hoffnungslos verloren sind ... im direkten Vergleich.

So bilden sich bei der Spielstärkebeurteilung dann letztendlich auch zwei Gruppen.
Computerschach ist anders zu bewerten als Menschen Schach. Spielen Menschen, entscheiden sich die Partien früher ... im Mittelspiel. Spielen Computer entscheiden sich grob die Partien im Übergang zum Endspiel. Und von daher müssen die Gewichtungen bei den Partiephasen unterschiedlich betrachtet werden.

Hätten wir eine bessere Betrachtungsweise, würden wir heute auch nicht mehr rumrätseln wie stark z. B. die Schachcomputer von einst waren. Wir könnten trotz der schwachen Endspiele genauere Einschätzungen vornehmen. Hat sehr viele Vorteile dieses Thema mal aufzubohren.

Die Macht der vierstelligen Elo Zahl wird etwas relativiert. Zahlen haben mehr Macht als wir denken, meist im Unterbewusstsein. Würden wir durch Zahlen und bessere Aufteilungen zum Elo Komplex ein bissel nachlegen, würde das dem Schach in der Tat einen Schub geben. Wir werden genauer und können höhere, über unseren Horizont liegende, Spielstärken besser verarbeiten.

Hört sich alles merkwürdig an aber je mehr ich darüber nachdenke ...

Dir ein schönes WE

Gruß
Frank

By Kurt Utzinger Date 2017-10-14 13:01

Frank Quisinsky schrieb:

[...]
PS: Die Partie muss ich mir morgen unbedingt ansehen. Rolf Bühler, war das nicht der Herr mit dem Du früher zusammen auch mal eine Elo Liste gemacht hast, die habe ich genau wie die von Klaus bei der CSS sehr gemocht. Glaube das war doch Rolf Bühler? Werde alt ...
[...]

Hallo Frank
Du hat ein gutes Gedächtnis. Ja, das ist Schachfreund Rolf, siehe auch meine
noch immer in Betrieb stehende Hompage, die aber schon sehr lange kein
Update mehr erfahren hat.
http://www.utzingerk.com/
Gruss
Kurt

By Stefan Pohl Date 2017-10-13 11:20 Upvotes 1

Klaus Wlotzka schrieb:

Stefan Pohl schrieb:

Ich suche nicht das Haar in der Suppe. Diese Unterstellung weise ich energisch zurück. Fakt ist, daß ihr seit Monaten hier im Forum dauernd Behauptungen bzgl. der sinkenden Remisqouten und der starken Reduzierung von 3fach-Remisen durch FEOBOS aufstellt, ohne irgendeinen statistisch relevanten Praxistest vorzulegen, der diese Behauptungen stützt. Ich für meinen Teil will nun endlich mal messen, ob sich eure Zielsetzungen wirklich erfüllen. Und ich suche nicht das Haar in der Suppe, sondern nach Meßdaten. Nach Fakten. Niemand wäre froher als ich, wenn FEOBOS, so wie von euch erwartet, die Remisqouten senkt und auch 3fach-Remisen reduziert.

Stefan

By Klaus Wlotzka Date 2017-10-13 15:35

Hallo Stefan,

gestört hat mich an deinem Posting einfach der Ausdruck, dass wir es noch nicht mal für nötig gehalten haben, unseren Arbeiten selbst einen Test zu unterziehen und du das jetzt machen musst!

Ich denke, was wir und insbesondere Frank durch seine über Jahre geleistete Vorarbeit und seiner Akribie bei diesem Projekt bisher geschaffen hat, einzigartig ist und ist, wie gesagt, offen für jedermann.

Offen deswegen um die Interessierten dazu zu animieren, mitzumachen oder das FEOBOS-Buchprojekt für welchen auch gearteten Zweck zu verwenden. Und jeder kann aber keiner muss etwas tun.

Und das wir hier regelmäßig posten ist unserem Enthusiasmus geschuldet. Aber auch hier gilt, keiner muss, jeder kann das lesen.

Insofern freue ich mich auf deine Mitwirkung und das Ergebnis deines Experimentes.

Gruß

Klaus

By Stefan Pohl Date 2017-10-14 09:07

Klaus Wlotzka schrieb:

Moin Klaus,

ich stimme zu, meine Wortwahl war sicher nicht die feinfühligste. Ich bitte um Entschuldigung dafür. Dennoch bin ich der Meinung, es ist die Pflicht der Projektmacher, vergleichende Praxistests mit anderen Eröffnungsbüchern, die eine ähnliche Zielsetzung haben und mit einem Standard-Buch (bzw. Eröffnungsset) selber zu machen und vorzulegen. Und dafür weniger nicht-Meßdaten-basierte PR in den Fachforen zu verbereiten. Franks endlose Jubelpostings nerven mich einfach zunehmend. Wahrscheinlich habe ich mich deswegen etwas im Ton vertan - was ich trotzdem nicht hätte tun sollen.

Gruß - Stefan

By Stefan Pohl Date 2017-10-14 09:39 Edited 2017-10-14 09:41 Upvotes 1

Dazu müßte ich noch ergänzend anfügen, daß so ein Praxistest ja auch und gerade für die Projektmacher von größter Bedeutung ist. Das kann ich gar nicht genug betonen. Damit man prüft, ob man auf dem richtigen Weg ist, seine Ziele zu erreichen. Das gilt insbesondere dann, wenn so ein hoher Aufwand betrieben wird, wie mit FEOBOS. Und insbesondere nachdem meine Testruns aus dem Mai 2017 aufzeigten, daß die frühe v3 von FEOBOS bzgl. Remsiqoute und 3fach-Remisen so gar nicht überzeugen konnte.

Dazu ein Beispiel aus meiner "Entwickler-Praxis": Ich hatte neben den SALC-Projekt auch noch das OLIK-Projekt erstellt (Eröffnungen mit einer mindestens halboffenen Linie vor mindestens einem König) - auch mit dem Ziel, die Remisqouten im Computerschach deutlich zu senken. Leider (und (das ist das Wesentliche!) auch unerwarteterweise) konnten die OLIK-Stellungen, die Remisqouten bei weitem nicht so absenken, wie von mir erhofft. Glücklicherweise habe ich mit einer frühen, experimentellen Version einen vergleichenden Praxistest (mit einem frühen SALC-Set und eben einem Standard Eröffnungsset, wegen des Bezugsrahmens) gemacht, bei dem OLIK glatt durchfiel. Daraufhin habe ich das Projekt sofort eingestampft und mich auf SALC konzentriert, welches schon in frühen Beta-Versionen sehr ermutigende Ergebnisse im Praxistest zeigte. Deshalb sind vergleichende Praxistests (nochmal das Stichwort: Bezugsrahmen! (vergleicht man nur FEOBOS mit FEOBOS in verschiedenen Versionen, dann kann man es auch gleich bleiben lassen!)) so wichtig und wertvoll und durch nichts zu ersetzen.

By Klaus Wlotzka Date 2017-10-14 16:02

Hallo Stefan,

alles gut. Dennoch möchte ich kurz auf deine Postings eingehen.

FEOBOS beruht einfach auf ein völlig anderes Prinzip, indem wir die Engines selbst bestimmen lassen, wie das Buch aussieht nach folgenden Kriterien:

1.) Eröffnungsbuch möglichst mit Positionen aus allen 500 ECO-Codes
2.) Möglichst frühes Verlassen des Eröffnungsbuches sodass die Engines in früher Phase auf sich gestellt sind
3.) Aussortieren hoch bewerteter Positionen durch die 10 starken Engines selbst
4.) Aussortieren von Positionen welche dazu neigen in ein frühes Remis durch Zugwiederholung überzugehen ebenfalls durch die 10 Engines

Mit Punkt 1-3 haben wir keinerlei Einfluss auf die Remiswahrscheinlichkeit
Mit Punkt 4 durchaus, da die Engines mehr frühe Remis durch Zugwiederholung vermeiden und die ein oder andere ausgespielte Partie nicht in ein Remis endet. Dieser Ansatz ist unser Faktor zur Reduzierung der Gesamt-Remiswahrscheinlichkeit.

Grundsätzlich haben wir kein Problem mit den Remispartien, wichtig ist uns, dass die Partien ausgespielt werden, wenn es dann in ein Remis mündet ist es so. In einer späteren Partiephase können wir dies mit dem Eröffnungsbuch ohnehin nicht beeinflussen. Nur die Programmierer selber können hier durch entsprechende Bewertungsbeeinflussungen eingreifen. Frühe Remise sind insbsondere bei Ranglistenerstellungen ergebnisverzerrend. Wir wollen auch nicht aktiv in das Buch eingreifen um beispielsweise Positionen mit entgegengesetzten Rochaden zu forcieren, wie du es bei deinem Buchprojekt machst. Das hiermit Partien mit taktischen Charakter entstehen und allein dadurch die Remiswahrscheinlichkeit signifikant sinkt, zeigen ja deine Tests. Doch damit zwingt man die Engines in ein nicht gewolltes Fahrwasser.

Also unser Buchansatz ist völlig kontrer zu allen anderen Buchprojekten.

Dennoch interessieren mich deine Testergebnisse natürlich. Für uns steht die Gesamt-Remiswahrscheinlichkeit aber nicht im absoluten Fokus sondern vielmehr die Anzahl der ergebnisverzerrenden frühen Remisen durch Zugwiederholungen. Vielleicht kannst du bei deinem Vergleich hierzu eine Aussage treffen, wie hoch die Anzahl der Partien mit frühen Remisen bei den verschiedenen Büchern war.

Franks eigene Tests mit dem FEOBOS-Buch zeigen ja schon deutlich reduzierte Anzahl früher Remise, genau das war ein Ziel des Buchprojektes.

Viele Grüße

Klaus

By Stefan Pohl Date 2017-10-14 16:26 Edited 2017-10-14 16:47

Klaus Wlotzka schrieb:

Dennoch interessieren mich deine Testergebnisse natürlich. Für uns steht die Gesamt-Remiswahrscheinlichkeit aber nicht im absoluten Fokus sondern vielmehr die Anzahl der ergebnisverzerrenden frühen Remisen durch Zugwiederholungen. Vielleicht kannst du bei deinem Vergleich hierzu eine Aussage treffen, wie hoch die Anzahl der Partien mit frühen Remisen bei den verschiedenen Büchern war.

Oh, das wird leider nicht gehen, da ich die Partien des Experiments aus dem Mai nicht mehr habe. Ich kann höchstens die jetzt mit FEOBOS v10 zu spielenden Partien dann zum Download anbieten, falls gewünscht. Ich hebe Testpartien nicht alle auf, da würde ich in Dateien ersticken, mich interessieren eben primär die Endergebnisse. Daß ich jetzt meine Partien aus den Stockfishtests mit dem HERT-Set alle archiviere und zum Download anbiete, mache ich nur, weil Thomas Zipproth die Partien braucht, um Cerebellum weiter zu verbessern bzw. Lücken zu schließen. Außerdem speichert die LittleBlitzerGUI die Bewertungen und Zugzeiten nicht in den PGN ab, insofern ist das Partienmaterial an sich auch nicht sooo interessant.
Anmerken möchte ich dazu noch, daß ich nicht sehe, inwiefern eine frühes 3fach Remis ergebnisverzerrend sein sollte. Wenn heutige Engines auf unfaßbar schneller Hardware ein frühes 3fach Remis machen, dann ist das ein reguläres Ergebnis, genauso wie ein spätes Remis. Wenn Engines das frühe Remis nicht wollen, sollen sie was anderes spielen und man kann ja auch noch einen Contempt einstellen, wenn man das reduzieren möchte, dafür braucht man kein speziell optimiertes Buch. Einzige Ausnahme wäre doch ein forciertes Remis durch Dauerschach direkt nach dem letzten Buchzug, aber auch das müßte zumindest eine Engine (die schachgebende) aktiv also freiwillig anstreben. Aber das sollte aus einem flachen Buch heraus nun wirklich sehr, sehr selten auftreten und daher vernachlässigbar und nicht verzerrend sein, wenn genügend Partien absolviert werden. Und zudem hat man dann noch das Problem, was ist ein frühes Remis? Nach 15 Zügen? Nach 20? nach 25? Wo will man da die Grenzlinie ziehen? Und mit welcher Begründung? Das wäre immer eine willkürliche Grenzziehung. Würde ich den Advocatus Diaboli geben wollen, könnte ich fragen, ob man nicht erst durch so eine Grenzziehung zwischen einem frühen Remis, welches man ausmerzen will und einem Remis, das man als "normal" (also spät genug) befindet, eine Verzerrung der Ergebnisse erst hineinbringt. Aber das laß ich lieber, sonst bekommt Frank noch Schnappatmung und einen Herzinfarkt. Das wollen wir ja nun wirklich nicht.

Deswegen interessiert mich nur, die Gesamtzahl der Remisen zu reduzieren. Ob ein Remis (zu) früh stattfindet oder nicht, das kann und will ich nicht entscheiden.

Ich kann zu diesem Thema nur nochmals raten, daß ihr selber mal einen Vergleichstest von FEOBOS mit einem Standard-Eröffnungsset macht. Ich für meinen Teil müßte dann wieder von vorne anfangen. Und dann würde das auf nur einem Quadcore wieder wochenlang dauern. Das würde ich nur dann in Erwägung ziehen, wenn der jetzige Testrun von FEOBOS v10 Contempt 5 ein ermutigendes Resultat zeigen würde. Bisher, nach nunmehr gut 400 von 1000 Partien, sieht das aber leider nicht danach aus. Aber ich will dem Ergebnis nicht vorgreifen. Abwarten und Tee trinken.

Gruß - Stefan

By Frank Quisinsky Date 2017-10-14 17:46 Edited 2017-10-14 17:54

Hallo Stefan,

1. Ergebnisverzerrend:
Gehe nicht immer nur von Stockfish - Komodo etc. Matches aus. Gehe davon aus, dass Stockfish und Komodo bei Ratinglisten auch gegen deutlich schwächere Engines spielen. Bilden sich zu schnelle Remise durch dreifache ist das definitiv ergebnisverzerrend wenn dies nicht bei der Auswahl der Positionen vermieden wird. Wird auch schön in der Excel von Klaus ersichtlich. Es gibt Stellungen da kommen 9 von 10 Engines zu der gleichen dreifachen im Suchbaum. Mache ich Stichproben zu anderen Büchern, die ich für Vergleiche nutze (ein älteres Junior Buch, Hiarcs Zusatzbuch auf dem Stand vom Hiarcs Release), sehe ich das selbst in sehr guten Büchern viele dieser Positionen enthalten sind. Die 10 Engines ziehen einfach alles gnadenlos an Material raus bzw. die Excel von Klaus ... gnadenlos!

Hohes Gedicht, liebe Geschwollene, Herr Angenagter ...
Kein Gedicht, nichts geschwollenes und keine Angenagten / Ausgenockten ... gibt es nicht.
Fakten, Fakten, Fakten ohne Gnade!!

Stefan ...
GNADENLOS und wer dann noch denkt ... war die Vorgabe denn jetzt wirklich gut? Hat die Engine nur wegen dem Buch verloren??!

GESCHICHTE mit FEOBOS!

2. Natürlich teste und vergleiche ich mit anderen Büchern. Alllerdings ohne etwas von anderen Büchern in eigene aufzunehmen (sonst würde das Ratingsystem nicht mehr stimmen bzw. würde ich ungeprüfte Dinge in das eigene Buch implementieren).

Und vieles vieles mehr passierte in den letzten drei Jahren im Hintergrund.
Bei der FCP Rating Liste investierte ich 85% in das FCP Live Buch und nur 15% in dem Rest (Webseiten, Test-Läufe, Forenmitteilungen, Statistiken, etc..). Schrieb oft als ich Ergebnisse veröffentliche wenn ein Test-Lauf sehr hilfreich bei der Buchoptimierung war (wenn ich in TalkChess kommentierte).

Insofern verstehe ich nicht das Du hier unsere Arbeit kommentierst ohne zu Wissen was nicht schon alles an Tuning Sachen eingeflossen sind.

Viele Grüße
Frank

...
GNADENLOS ... der FEOBOS Aufhänger!!!
Die Engines sind GNADENLOS und wir im Verfahren wie wir mit den Analysen der Engines umgehen bzw. wie wir dieses Thema sichtbarer darstellen.
Oder wusste hier jemand das z. B. Stockfish bei 15% der Eröffnungstheorie eine dreifache erahnt und 0,00 ausgibt.
Solche Dinge fallen auf und wer sich die Excel genauer anschaut dem fällt noch viel mehr auf.

By Frank Quisinsky Date 2017-10-14 18:33 Edited 2017-10-14 18:38

Übrigens,

genau das ist auch der Plus Punkt bei Cerebellum!
Stockfish optimiert und mithin ist Stockfish mit diesem Buch sicherlich nochmal ca. 40 Elo besser (mehr macht das nicht aus auch wenn viele schreiben Bücher machen 200 oder mehr Elo aus).
Warum ist Stockfish 40 Elo besser weil die schwächeren Engines nichts mehr geschenkt bekommen im Vergleich zu Bücher die nicht mit Stockfish optimiert wurden.

Viele unsinnigen schnelle Remise gegen schwächere Gegner drücken das Stockfish Rating nach unten.

--- THEMA: Ergebnisverzerrend ---

Das ist OK und gut und so sollte ein Engine Buch aussehen.

Nur, ich will das nicht ... will ein Buch das für alle Engines einen Vorteil gibt.
Dieses Buch kann ich nur generieren wenn ich mit unterschiedlich spielenden Programmen gleichzeitig optimiere.

Grob gesagt nach Stichproben ...
Engine nutzt FEOBOS analysierte aber die Positionen nicht (gehört nicht zu den 10 Standard Engines) werden ca. 2.5% der Stelllungen nicht gemocht.
OK Ausreißer die sehr eigen sind gibt es wie ICE, Fizbo, ,Smarthink ... Thema hatten wir schon.

OK, nun nehmen wir ein beliebiges Buch, lesen das aus mit 1 Sekunden Partien ... und als PGN speichern.
Nehmen die PGN und jagen die über FEOBOS ... das Ergebnis wird um mindestens 2.5 - 7.5% höher sein.

Sprich, selbst richtig gute Bücher bedeuten nicht das eine beliebige Engine damit zufrieden ist.
Und genau diese Werte minimiert FEOBOS, daher viele Engines ... 10 Standard Engines und später noch die Experimentellen dazu.

Wir können schnelles Remis nicht gänzlich vermeiden, wir können nicht vermeiden das eine Engine -1.00 ausgibt auch wenn die 10 Standard Engines weit weg von einer solchen Bewertung sind. Aber der Pool an solchen Konstellationen sinkt drastisch je mehr unterschiedlich spielende Programme ein komplettes Buch durchanalysieren und mittels der Excel von Klaus dann korrigiert wird bzw. die Positionen aussortiert sind.

So wird FEOBOS ganz sich nicht ein 100% perfektes Buch sein, egal wie viele Engines analysiert habe aber ein Buch welches alle mögen werden bei vielleicht 2-3% an Positionen die dann nicht gemocht werden (von Engines die die Stellungen nicht analysiert haben). Wenn nur eine Engine alles aus einem Buch durchanalysierte kann das Ergebnis nicht vergleichbar zu FEOBOS sein. Auch nicht wenn es zwei Engines erledigen. Die groben Fehler sind weg aber mehr auch nicht. Wenn Du Deine SALC Stelllungen nur von Komodo und Stockfish analysieren lässt, wirst Du extrem viele schnelle Remise produzieren weil wir wissen wie hoch die Prozentzahl ist, bei dem die dreifachen im Suchbaum sind.

Es gibt so viele Aspekte die zu berücksichtigen sind und berücksichtigt wurden dass ich einfach, egal wie verdreht ich denke, zum Ergebnis komme ... es kann nichts verglichen werden wenn es nicht vergleichbar ist.

FEOBOS oder Cerebellum sind also keine Sensationen, sondern die logische Abfolge aus Engine Analysen.
FEOBOS macht was geht aufgrund der Vorarbeit die geleistet wurde, gleiches gilt für Cerebellum.

Gruß
Frank

By Stefan Pohl Date 2017-10-15 08:17 Edited 2017-10-15 08:54 Upvotes 1

Frank Quisinsky schrieb:

Das klingt erstmal durchaus vernünftig. Aber ich denke, der Teufel steckt im Detail. Endet eine Partie mit einem Remis, auch einem 3fach ist das ein klar definiertes Ergebnis. Versucht man nun durch ein Buch, diese Remisqoute generell abzusenken, dann hat man ein klar definiertes Ziel, das man dann auch (anhand der Zahl der Remisen overall) klar messen, bestimmen und überprüfen kann. Nämlich die klar definierten Partieergebnisse gezielt in eine Richtung zu verändern (Absenken der Remisqoute). Das Problem ensteht aber, wenn man nun - wie du -von frühen Remisen oder zu schnellen Remisen spricht. Denn dafür gibt es keine klare Definition. Was ist "früh" oder "zu schnell"?
Dann müßte man zunächst festlegen: Mißt man das nach Länge der Zugfolge oder nach Zahl der abgetauschten Figuren? (ich halte ersteres nicht für sinnvoll, wenn überhaupt, müßte man wohl die Zahl der Figuren auf dem Brett zur Beurteilung heranziehen, meine ich). Oder ggf. beide Parameter in der Beurteilung kombinieren.
Darüberhinaus hat man, egal welche Parameter man zur Beurteilung dieser Entscheidung heranzieht, immer das Problem, daß man irgendeinen Grenzwert festlegen muß, vor dem man ein Remis eben als "früh" oder "zu schnell" ansieht und oberhalb dieses Grenzwertes nicht. Und diesen Grenzwert kann man letzlich nur willkürlich wählen. Das ist dann ein menschengemachtes Ordnungsschema, daß man seinem Buch bzw. den Engines überstülpt. Und das ist m.E. fragwürdig, wenn man das innerhalb eines Projektes wie FEOBOS macht, das ja für sich beansprucht, daß die Engines alles analysieren und alles entscheiden, was du ja nicht müde wirst, zu betonen. Denn die Entscheidung "zu frühes" Remis oder nicht, ist eben keine Entscheidung der Engines, sondern ganz im Gegenteil. Das entbehrt nicht einer gewissen Ironie.
Und ich denke daher, ergebnisverzerrend ist viel mehr, Remisen willkürlich in "zu früh" und "normal" zu unterteilen, als eine Eröffnungsstellung rauszufiltern in der 9 von 10 Engines ein 3fach Remis machen, es sei denn, es wäre ein forciertes Dauerschach. Denn andernfalls könnten zum einen die neun Engines das Remis ja vermeiden, wenn sie es denn für sinnvoll hielten, und zum anderen wird der zehnten Engine, die das Remis vermeidet, hier die Chance auf den Sieg verbaut. Das halte ich für durchaus problematisch.
Aus diesen Gründen verfolge ich eben das Ziel, die Gesamt-Remisqoute in einer beliebigen Zahl von gespielten Partien abzusenken. Das ist ein wohldefiniertes Ziel, was ohne menschliche Willkürentscheidungen / Grenzwertsetzungen meßbar ist. Und meine SALC-Stellungen erreichen dies, durch ein ebenfalls wohldefinertes Auswahlschema (alle Endstellungen: Rochaden auf gegenüberliegen Brettseiten und Damen auf dem Brett). Auch hier ist kein menschliches Auswahlkriterium, kein menschliches Eingreifen nötig, daß über dieses wohldefinierte Auswahlschema hinausgeht. Den einzigen von mir definierten, menschlicherseits festgesetzten Grenzwert gibt es bei der Filterung der Endstellungen nach der Komodobewertung (sie mußte in einem Intervall von [-0.6,+0.6] liegen). Dies ist auch nicht schön, das geb ich zu. Aber da ich die SALC-Stellungen aus Menschpartien herausgefiltert habe, mußte ich zu extreme Endbewertungen herausfiltern. Und den Intervallwert 0.6 habe ich nach einigen Versuchen für gut befunden. Letzlich war auch das eine willkürliche Entscheidung. Leider konnte ich sie nicht vermeiden. Ich nehme allerdings für das SALC-Buch auch nicht in Aspruch, daß nur Engines alles entscheiden. Diese Behauptung wäre auch unhaltbar. Was aber eben auch für FEOBOS gilt (Stichwort "zu schnelle" Remisen vermeiden...).

Daher schaue ich mir jetzt bei den vergleichenden Testruns eben die Zahl der Remisen insgesamt an. Sowohl beim Standard-Stockfish Eröffnungsset, als auch bei SALC, als eben auch bei FEOBOS. Denn ich kann und will mir nicht anmaßen, Remis-Partien in "Schnellremisen" und "Normalremisen" zu unterteilen. Wenn man ein Projekt erstellt, wie FEOBOS, dann kann man intern so eine Unterscheidung machen, wenn man will (nur sollte man dann nicht gebetsmühlenartig wiederholen, nur die Engines würden bei FEOBOS alles entscheiden, weil das dann einfach nicht stimmt) und das für sinnvoll hält (ich tue beides nicht, aber das ist eine Frage der persönlichen Entscheidung). Aber, und das ist ganz wesentlich, wenn ich als Tester arbeite, dann kann und will und werde ich nicht entscheiden, was ein "zu schnelles" Remis ist. Dann messe ich nach dem von mir scherzhaft so genannten "Windelprinzip" - entscheidend ist, was hinten herauskommt. Denn das kann man vernünftig messen und das interessiert auch die potentiellen Nutzer eine Engine bzw. eines Buches/Stellungssets. Und so werden das sicher auch andere Tester und Anwender sehen, da bin ich sehr sicher. Zudem ja der mathematische Fakt hinzukommt, daß die Gesamt-Remisqoute ja auch sinken muß, wenn FEOBOS es schafft, frühe Remisen (was immer das sein mag) zu vermeiden, wenn durch FEOBOS nicht dafür an späterer Stelle der Partieverläufe die Remisqouten steigen. Das ist ja eine simple Durchschnittberechnung: Bleibt eine Remiswahrscheinlichkeit gleich, bis auf einen einzigen Teilabschnitt einer Partie (bei FEOBOS eben der Partiebeginn) und in diesem Teilabschnitt sinkt die Remiswahrscheinlichkeit ab, dann sinkt logischerweise ja die Gesamt-Remiswahrscheinlichkeit und somit muß dann bei einer genügend großen Zahl gespielter Partien auch die Remisqoute dieser Partien sinken. Und das kann und würde man dann auch messen. Und deshalb mache ich das auch so. Und nicht anders.

Gruß -Stefan

PS: Lese gerade an anderer Stelle von dir: "Mir ist bei FEOBOS hinsichtlich Senkung der Remisquote nur interessant die Zugtiefe bis 24."
Da frage ich schon: Warum? Zum einen warum 24 Züge? Warum nicht 23, 25, 30 oder 20? Zum anderen gibt es viele Partien, die nach 24 Zügen bereits im Endspiel oder kurz davor sind, und andere, die nach 40 (oder mehr) Zügen noch bei vollem Brett auf Messers Schneide stehen (besonders bei verzahnten, blockierten Bauenrstellungen im Zentrum, war gestern z.B. bei der ersten Stockfish-Partie gegen Chiron im TCEC zu sehen (Partie Nr.2)). Aus diesen Überlegungen heraus ist
a) eine Grenzwertsetzung nach Zugzahl, welche Remisen man als zu früh ausmerzen will und welche nicht, meiner Meinung nach generell völlig untauglich - wenn überhaupt, müßte die Zahl der noch auf dem Brett befindlichen Figuren (gemessen bzw. aufaddiert in Bauerneinheiten) als Schwellwert genutzt werden. Auch da hätte man aber das Problem, einen Grenzwert willkürlich festsetzen zu müssen, aber das wäre allemal der sinnvollere Ansatz. Z.B: man könnte sagen, wenn 26 Bauerneinheiten abgetauscht sind (das wären z.B. Damentausch (2*9), ein Leichtfigurtausch (2*3) und ein Bauertausch (2*1), oder auch ein Turmtausch (2*5), zwei Leichtfigurtäusche (4*3) und zwei Bauerntäusche (2*2)). Wenn weniger abgetauscht wäre, wäre es ein frühes Remis, danach nicht. Das könnte zumindest halbwegs funktionieren. Da müßte man natürlich einige Experimente machen, evt. könnte der Schwellwert auch 30 sein oder so.
b) Die Zugzahl 24 ist vollkommen willkürlich gewählt. Es gibt überhaupt keinen Grund, warum man nicht stattdessen 23, 27, 29 nehmen könnte.

Ich kann also nur raten, daß du die grundlegenden Projekt-Entscheidungen von FEOBOS mal prinzipiell hinterfragst. "Senkung der Remisquote nur interessant die Zugtiefe bis 24" - das kann nicht das letzte Wort, das finale Kriterium sein, aufbauend auf dem soviel Rechner- und Arbeitszeit verbraucht wird. Kann ich nur hoffen.

By Frank Quisinsky Date 2017-10-15 09:33 Edited 2017-10-15 09:42

Hallo Stefan,

grundsätzlich spricht gegen diese Ausführungen nichts.

Sage ja selbst, wenn ich mit Contempt 4 oder 5 teste verliert das Buch sehr viel Qualität. Das Meiste irrtümlich durch lange Zugfolgen und Varianten im Suchbaum der Engines wenn am Ende dann ein 0,00 steht. Selbst werde ich z. B. mit Contempt 2 das Buch mit Zugumstellungen weiter optimieren um nicht zu viel zu verlieren. Letztendlich müssen die Engines selbst mit einem Contempt Remis vermeiden. Die Contempt Parameter sind mir aber zu schlicht und einfach wenn nur Contempt eingestellt werden kann anhand der Stellungsbewertung. Mehr Sinn macht genau das zu tun in Kombination mit verbliebenen Figuren auf dem Brett. Wie Du schriebst auch frühe Zugnummern können schon Endspiele sein und dann wäre Remisvermeidung bei klarer Remisstellung auch wieder schlecht. Wobei das ja auch eher seltener ist.

Zugnummer 24 ist das Thema:
Nun ich habe ja Statistiken generiert, bei denen ich versuche festzustellen, ab wann das herausnehmen von 0,00er nichts mehr bringt. Mir geht es ja um frühes Remis vermeiden. Z. B. habe ich bei der FCP Rating Liste alle Remispartien unter 20 Zügen wiederholen lassen, die Stellungen im Buch mit "e" markiert / deaktiviert und die Positionen in einer Datenbank zur Ratingliste gesammelt, diese dann tiefer analysieren lassen von völlig anderen Engines (glaubst gar nicht wie viel von dem Zeug in den hochgelobten bekannten Eröffnungsbüchern ist). Meist war es auch so, dass andere Engines dann auch in Remis nach dreifacher gehen und die Deaktivierung war richtig. Das war ja noch einfach, schwieriger war es wenn Stellungen mit "f" im FCP Live Buch deaktiviert wurden wenn beim Spiel sich herausstellte, dasa eine Engine mit sehr hoher Eval bewertete ... die Bewertung die kommenden drei Züge anhielt und dann permanent anstieg. Solche Stellungen wurden wie gesagt auch deaktiviert. Das war eine Heiden Arbeit ... so dachte ich das geht einfacher als drei Jahre lang immer per Hand aktivieren. Lasse einfach mehr Engines das komplette Buch analysieren und schaue dann was Sache ist mit den besten Positionen, die wahrscheinlich bei der FCP Ratingliste auf dem Brett waren ... also die besten 150.000 der 300.000 Partien genommen, doppelte raus etc. und das Ergebnis war die Basisdatenbank mit einigen weiteren Optimierungen zu ECO Codes die dann zu selten waren.

Ach ja Zugnummer 24:
Habe also Statistiken zu den Contempt Parametern auf einem Notebook mit schnellen Partien generieren lassen. Nehme Feobos ohne Contempt (nur die gefunden hohen Bewertungen raus) und Feobos mit Contempt 5, 4, 3, 2, 1. Dann schaue ich wie viele Remise nach 12, 13, bis 24 und zähle diese nach unzähligen schnellen Partien. So sehe ich zumindest grob was Contempt bringt und ab wann unser Buch Contempt nichts mehr bringt. Ca. Zugnummer 24 ist die Grenze, weil ich habe genauso viele Remise bei Zugnummer 24 mit oder ohne Buchcontempt. Und die Quote sinkt je tiefer ich gehe ... wird bei 23 Züge höher, bei 22 Züge noch höher ... wobei ab ca. 22 Züge ist eigentlich der Vorteil zu gering als das wir von einem echten Vorteil sprechen können.

Dennoch zähle ich nur die weniger Remisen von Zugnummer 12-24 zusammen ist das einiges beim Buch mit Contempt 5 im Vergleich zu den FEOBOS Stellungen ganz ohne Contempt.

Lange Rede ... beim FCP Live Buch dachte ich immer ... die Optimierungsarbeit ist umsonst. Teils Stunden am Tag immer wieder Positionen prüfen. Stichproben von per Hand aus selektierten Stellungen machten mit skeptisch weil ich feststellte, dass wahrscheinlich zu 30% Stellungen zu Unrecht herausgenommen wurden. Und es waren von den TOP-50 die bei der FCP Ratinglisten spielten immer die selben Kandidaten. Also machte ich mir selbst eine Excel zu allen 50 Engines und habe die Stellungsbewertungen verglichen. Zu dem Zeitpunkt gab es die Excel von Klaus natürlich noch nicht. Versuchte mit klaren Richtlinien vorzugehen ... sehe ich Gleiches bei den Bewertungen immer und immer wieder. Wenn Engines sich angeglichen haben machte ich eine Strichliste ... die flogen raus.

Verblieben sind die stark unterschiedlichen Engines abzüglich den krassen Bewertern wie ICE, Fizbo und SmarThink. Ferner musste eine Grundspielstärke her. Dann die 10 für Feobos als Standard Engines festgelegt. Das alles war wahnsinnig viel Arbeit auch wenn ich heute denke, dass diese Arbeiten zwar hilfreich waren aber alles in ein Schema zu drücken ist auch nicht korrekt auch wenn rein theoretisch möglich bwz. praktisch erfolgt. Muss mit Grenzen arbeiten und dabei bleibt einiges auf der Strecke.

Vergleichbar wie ... habe eine Skandinavisch Lieblingsposition die dann plötzlich und unerwartet von einer der 10 als schlecht bewertet wird. Die Stellung fliegt raus ohne das ich einen Eingriff vornehmen kann. Warum, weil FEOBOS automatisch jede Stellung ein Rating gibt und dann ist die Stellung unten im Rating ... draußen. Schade drum ...

Bei FEOBOS gibt es zu bedenken ... das schrieb auch Nomen und damit hat er teils auch Recht ... es wird nur ein Zug bewertet, der erste berechnete Zug. Was er z. B. nicht bedacht hat ist (Nichtwissen, drauf los gebrüllt ohne die Arbeit zu kennen ... das die Stellungen die in FEOBOS eingeflossen sind nur dann eingeflossen sind, wenn drei Züge später aus FCP Live Partien die Stellungen im praktischen Einsatz noch OK bzw. ausgeglichen waren. Dennoch ... es ist unmöglich alle entstehenden Stellungen bis Zugtiefe X von Engines analysieren zu lassen. Dafür bräuchte ich unzählige Rechner. FEOBOS soll keine Lebensaufgabe werden.

Die Stichproben sind also entscheidend und aufbauend auf meine Stichproben ist das FEOBOS Konzept entstanden. Wie tief nach ECO Code Bildung ... was steht noch in einem gesunden Verhältnis etc..

Eine vernünftige Remisvermeidung stellen die Contempt Parameter der Engines heute nicht da ... bis auf Andscacs ... diese Engine macht das richtig gut und hat etwas, was wirklich etwas bringt. Zumindest kann ich versuchen mittels Buch Contempt schnelle unnötige Remise durch meist falsche Bewertungen in der Suche einzuschränken.

Für einen harten Wettkampf zweier Engines wäre ein Buch mit später 20.000 Varianten und Contempt 5 (wenn FEOBOS fertig ist in v20) mehr als ausreichend ... damit einfach unnötiges vermieden wird. Beim Ratinglisteneinsatz denke ich das Contempt 2 ausreicht. Bei Contempt 2 sind ja viele der 10 Engines der Meinung, dass die Stellung in einer dreifachen endet. Auch gehen mir dabei nicht so viele gute Stelllungen verloren durch fragwürdige Bewertungen von Stockfish und Co ... 15% aller FEOBOS Stellungen für Stockfish in einer dreifachen ... keine andere Engines bewertet das so hoch und diese Bewertung ist schlicht eine Katastrophe. Selbst Komodo mit 10% ... eine Katastrophe. Houdini mit ca. 7-8% bekommt gerade nach Schulnoten noch ein ausreichend. Wie gesagt, ich kenne die Quoten, nicht nur von den 10 die bei FEOBOS spielen sondern von den TOP-50.

Sagte ja, die Contempt Klamotte muss seitens der Engines Programmierer verbessert werden. Eröffnungen wurden seit Jahren stiefmütterlich behandelt und ganz ehrlich in unseren immer hochgelobten Büchern ist so viel Müll drin, dass glaubst Du nicht und wird durch Stichproben von bei FEOBOS herausgenommenen Stellungen immer deutlicher.

Wir müssen einfach etwas tun bevor wir die Engines aufeinander jagen ...
Lassen Engines gegeneinander antreten mit Büchern die von 2.000 Elo Nasen gemacht werden und voller Fehler sind ... Engines die 1.400 besser sind.

Sollen die Engines das Buch selbst erstellen mit den besten uns bekannten Positionen aus 500 ECO Codes.
Das ist das Ziel.

Wahrscheinlich die schlechten Positionen raus (nach meinen Erfahrungswerten bei den vielen Arbeiten an den Statistiken der FCP Rating Liste) ... meine richtiges setzen von Parametern zur Stellungsbewertung.

Dann hieraus und aus den Erfahrungswerten die Excel entwickeln und schon haben wir ein Werkzeug für die Zukunft was alle nutzen können und hinsichtlich der Parameter so einstellen können wie gewünscht. Denke mit der Excel von Klaus und der Vorgehensweise bei FEOBOS können wir auch noch in 10 - 20 Jahren richtig gute Bücher erstellen. Daher ... in der Entwicklung voraus. Hoffe nur das die Engine Programmierer etwas tun um bessere Contempt Parameter zu entwickeln um endlich dieses stiefmütterliche Thema mal gebührend anpacken.

Gruß
Frank

By Frank Quisinsky Date 2017-10-15 09:48 Edited 2017-10-15 10:18

Also Stefan,

hier ist nichts willkürlich gewählt.
Alles was bei FEOBOS drin ist, wie etwas gemacht wird beruht auf tiefere Überlegungen aus drei Jahren harter Arbeit zuvor.

Was Du weiter unten schreibst zur Remisvermeidung.
Solche Dinger habe ich schon vor x Jahren in TalkChess geschrieben, schon als Stockfish noch bei 2.700 Elo war und darauf hingewiesen in TalkChess immer wieder ... bei Test-Runs Statistiken gepostet ... habe hier gut und gerne in Schreiberei nur zu diesem Thema sicherlich mehr als 150 Stunden verbraten.

Brachte bis heute nicht viel!
Und das Trauringe ist ... was in den Stockfish Sourcen nicht drin ist sehen auch andere Programmierer nicht die laufend da rein schauen um damit selbst dann wieder was zu verbessern. Das ist ja heute das schlimme.

Also, gibt viele Ansätze die Contempt Parameter besser zu machen aber wenn ich mit Personen in TalkChess diskutiere kommen meist eher Kommentare die darauf hindeuten dass diese sich auf den Schlips getreten fühlen. Hatte kürzlich erst eine genau zu diesem Thema geführt. Im Verlauf der Diskussion kam dann wenigstens die Einsicht.

Contempt ... da stehen wir in den Kinderschuhen ... haben noch nicht mal das Neandertalerzeitalter erreicht.
Laufen mit weniger als Keulen durch die Gegend, so schlecht ist das was in den Engines ist ... Ausnahme: Andscacs!

Gruß
Frank

Schlimm genug das ich mit Contempt Buchparametern arbeiten muss.
Das ist eine klare ROTE Karte in Richtung Schachprogrammierer ... wenn Du den wirklich Grund hierfür kennen möchtest! Da nicht wirklich etwas passiert wird das Thema also hinten rum aufgerollt. Gibt ja mehrere Möglichkeiten um zum Ziel zu kommen.

Mensch, mitten in einer spannenden Eröffnungsphase immer die gleiche Schei... da wird mit dreifacher abgebrochen, dabei hat die Partie gerade begonnen. Nur weil in Suchbaum ganz weit hinten ein Springer von g8 auf h6 und wieder zurück ziehen kann. Was für eine Schei... und dadurch fliegt die Stellung bei Contempt 5 aus FEOBOS raus.

Wer das hier liest ... testet mit Contempt 2 später die fertige Version.
Das ist ein guter Mittelweg und passt. Wenn die Engines mal besser sind und Contempt besser implementiert ist ... wir haben die Excel von Klaus und können FEOBOS jederzeit wiederholen und prüfen ob die Engines es nun besser können oder nicht.

Und das im Jahr 2017 im Computerschach, so können wir uns mit Gewalt auch alles kaputt machen was hart erarbeitet wurde und hinter dieser Partiephase steht.
Sagte ja, Eröffnungen ... das ist ein Thema was stiefmütterlich betrachtet wird und damit sollte Schluss sein.
Will aufzeigen mit FEOBOS was alles schlecht ist und warum viele GMs die mir bekannt sind heute noch in vielen Eröffnungen über Analysen von Schachprogramme lächeln, denn die verstehen gar nichts bis mächtig viel. Und da gibt es auch nichts schönzureden. Nur wo sind denn unsere ganzen Eröffnungsexperten die teils FEOBOS angreifen ohne sich damit beschäftigt haben und nichts beigetragen haben, als viel Schrott aus GM Partien in die Bücher aufzunehmen. Wo sind diese Herren ...

Die sind alle wieder hellwach wenn es einfacher wird die Eröffnungsbücher zu optimieren.
So hart es sich anhört aber die ganze Szene ist oftmals eher ein Alptraum.
Vergleichbar in Winboard / UCI Zeiten ... als dagegen geredet wurde was das Zeug hielt um eigene Konzepte kommerzieller nicht zu gefährden.

Computerschach ... wird sich niemals ändern.
Einiges was logisch ist benötigt viele Jahre bis es dann mal aufgenommen wurde und sich die Meinungen vieler komplett drehen.
Wir haben so viel Zeit verschenkt in den letzten Jahren ... wären schon viel weiter.

Auch wenn ich mich mit vielen Äußerungen unbeliebt mache ... glaube mir das war mir immer schon egal, wenn es nur einen Step weiter geht. Schönreden machen andere ... nicht mein Ding.

By Stefan Pohl Date 2017-10-15 15:11

Frank Quisinsky schrieb:

.

Computerschach ... wird sich niemals ändern.
Einiges was logisch ist benötigt viele Jahre bis es dann mal aufgenommen wurde und sich die Meinungen vieler komplett drehen.
Wir haben so viel Zeit verschenkt in den letzten Jahren ... wären schon viel weiter.

Auch wenn ich mich mit vielen Äußerungen unbeliebt mache ... glaube mir das war mir immer schon egal, wenn es nur einen Step weiter geht. Schönreden machen andere ... nicht mein Ding.

Ja, da sind wir sicher aus dem gleichen Holz geschnitzt. Das ist ja auch nichts Schlechtes. Ich habe mir über den drohenden Remistod schon Sorgen gemacht, als das noch gar kein Thema in der Community war. Das SALC-Projekt kam ja erst viel später, weil mir diese Idee leider auch recht spät einfiel und ich einiges andere zuvor erfolglos probiert hatte.

Es wird dich vielleicht freuen zu hören, daß der Testrun mit FEOBOS Contempt 5, der ja wenig prickelnd begann, was die Remisqoute angeht, sich inzwischen (nach gut 650 Partien) deutlich gebessert hat. Es wird kein Remisqouten-Wunder geben, und die Remisqoutenwerte von SALC sind nicht in Reichweite (das konnte man aber auch keinesfalls erwarten, dafür ist ja bei FEOBOS aber eine viel bessere Gesamtabdeckung der Schacheröffnungen gegeben als bei SALC), aber es scheint doch eine immernhin meßbare Senkung der Remisqoute im Vergleich zu dem Standard Stockfish-Framework Eröffnungsset zu geben. Wenn der Testrun im letzten Drittel nicht wieder schlechter wird. Es bleibt spannend!

Ich hoffe weiter auf ein gutes Ergebnis.

Tod dem Remistod!

Stefan

By Timo Haupt Date 2017-10-13 09:17 Upvotes 1

Hallo Stefan und Frank,

ich bin ja bekanntermaßen einer der großen FEOBOS-Begeisterten, das habe ich hier schon mehrfach kundgetan. Ich ziehe allerdings meinen eigenen praktischen Nutzen daraus und habe noch gar nicht so sehr darüber nachgedacht, wie es ist, wenn man das FEOBOS-Buch für Engine-Wettkämpfe nutzt o.ä. Auch die tollen Excel-Tabellen von Klaus nutze ich vermutlich etwas anders als andere. Das Rating z.B. ist eine tolle Sache, ist aber natürlich auch im Rahmen seiner Definition an eine Annahme gebunden, die man vorab treffen musste: Der Zug, der die höchste Übereinstimmung mit den anderen Engines hat, ist der beste und wird für das Rating am höchsten bewertet. Wie gesagt hier musste man sich irgendwie festlegen und die Definition ist ja auch nachvollziehbar und klingt erst einmal logisch. Doch letztlich ist es wie mit der erwarteten niedrigen Remisquote nach Verlassen des FEOBOS-Buches: Erst die Praxis kann zeigen, ob dem wirklich so ist. Denn denkbar (wenn auch erst einmal etwas abwegig) wäre ja auch, dass z.B. Spark, der ja die wenigsten Übereinstimmungen mit allen anderen Engines hat und deshalb auch das niedrigste Rating, trotzdem die objektiv besten Züge in der Eröffnung findet. Wie könnte man das testen? Ein Test wäre natürlich extrem aufwändig, aber denkbar: Man lässt zwei in etwa gleichstarke Engines wie Stockfish, Komodo oder Houdini gegeneinander antreten. Vorher erstellt man zwei Eröffnungsset: Eines mit den Endstellungen der Züge, die die höchste Übereinstimmung zwischen allen Engines erzielt haben (somit quasi das höchste "Zügerating") und eines mit den Zügen, die die niedrigsten Übereinstimmungen erzielt haben (hauptsächlich also Spark-Züge). Die Gegner lässt man nun einmal das eine Eröffnungsset (auch mit vertauschten Farben) gegeneinander spielen und einmal das andere. Hinterher vergleicht man die Ergebnisse. Es könnte dabei natürlich auch herauskommen, dass kein großer Unterschied gemessen wird zwischen beiden Sets. Daraus kann man dann auch wieder verschiedene Schlüsse ziehen. Aber vielleicht besteht ja doch ein statistisch relevanter Unterschied und man hätte dann wohl den Beweis erbracht, dass entweder die Definition des Ratings korrekt war oder aber dass Spark gerade mit seinem abweichenden Verhalten besser liegt als alle anderen Engines...

Insofern würde ich sagen, dass auch Stefans Praxistest sehr interessant ist. Denn er prüft, ob die FEOBOS-Stellungen, die keine 0.00 Bewertungen haben, eine ähnlich niedrige Remisquote in praktischen Partien erzielen wie das SALC-Set, welches bekanntermaßen eine deutlich niedrigere Quote aufweist als andere. Doch egal was bei diesem Test herauskommt, ist aus meiner Sicht die Vorgehensweise von Frank und Klaus richtig, mit 0.00 bewertete Stellungen aus dem Set auszusortieren (bei Contempt 5). Man hat dadurch zwar nicht die Garantie, dass die Partie nicht trotzdem Remis endet, aber die Wahrscheinlichkeit ist schon mal geringer, als wenn z.B. 10 Engines übereinstimmend in der Endstellung 0.00 bewerten. Trotzdem ist es dann eine wertvolle Information für diejenigen, deren Ziel es ist, die Remisquote in Enginetests maximal zu senken - diese nehmen dann möglicherweise trotzdem weiterhin das SALC-Set. Oder eben (wenn der Test zeigt, dass diese FEOBOS-Stellungen eine ebenso niedriger Remisquote erzielen), dass man jetzt eine tolle Alternative zum SALC-Set hat.

Viele Grüße
Timo

By Stefan Pohl Date 2017-10-13 12:19 Upvotes 1

Timo Haupt schrieb:

Das Rating z.B. ist eine tolle Sache, ist aber natürlich auch im Rahmen seiner Definition an eine Annahme gebunden, die man vorab treffen musste: Der Zug, der die höchste Übereinstimmung mit den anderen Engines hat, ist der beste und wird für das Rating am höchsten bewertet. Wie gesagt hier musste man sich irgendwie festlegen und die Definition ist ja auch nachvollziehbar und klingt erst einmal logisch. Doch letztlich ist es wie mit der erwarteten niedrigen Remisquote nach Verlassen des FEOBOS-Buches: Erst die Praxis kann zeigen, ob dem wirklich so ist.

Dem kann man nur 100% zustimmen. Oder sollte man, muß ich wohl eher sagen. Es gilt ja nicht nur im Computerschach, sondern generell, daß man bei jedem innovativen, neuartigen Projekt eines tun muß, nämlich messen, messen, messen. Es ist kein Zufall, daß die Gebrüder Wright nicht nur das erste, funktionierende Motorflugzeug gebaut haben, sondern auch den ersten Windkanal, um ihre Ideen in der Praxis zu testen (offtopic, aber es wichtig, klarzustellen, warum Praxistests ein Muss sind!). Andernfalls wären sie nirgendwohin geflogen...
Ich bin, offen gesagt, erschüttert, daß das FEOBOS-Team diese goldene Regel aller innovativen Projekte einfach ignoriert. Und, wenn ich dann den nötigen Praxistest mache, mir unterstellt, ich würde das Haar in der Suppe suchen. Da fehlen mir echt die Worte.

Timo Haupt schrieb:

Insofern würde ich sagen, dass auch Stefans Praxistest sehr interessant ist. Denn er prüft, ob die FEOBOS-Stellungen, die keine 0.00 Bewertungen haben, eine ähnlich niedrige Remisquote in praktischen Partien erzielen wie das SALC-Set, welches bekanntermaßen eine deutlich niedrigere Quote aufweist als andere. Doch egal was bei diesem Test herauskommt, ist aus meiner Sicht die Vorgehensweise von Frank und Klaus richtig, mit 0.00 bewertete Stellungen aus dem Set auszusortieren (bei Contempt 5). Man hat dadurch zwar nicht die Garantie, dass die Partie nicht trotzdem Remis endet, aber die Wahrscheinlichkeit ist schon mal geringer, als wenn z.B. 10 Engines übereinstimmend in der Endstellung 0.00 bewerten.

Stimmt alles. Nur, wir wissen ohne Praxistest eben nicht, wieviel geringer die Wahrscheinlichkeit ist, daß die Partie trotzdem Remis endet. Und welches ist der einzig gangbare Weg, das herauszufinden? Genau. Durch einen statistisch relevanten Praxistest im Vergleich mit einem Standard Eröffnungsset (unter sonst identischen Bedingungen).

Timo Haupt schrieb:

Trotzdem ist es dann eine wertvolle Information für diejenigen, deren Ziel es ist, die Remisquote in Enginetests maximal zu senken - diese nehmen dann möglicherweise trotzdem weiterhin das SALC-Set. Oder eben (wenn der Test zeigt, dass diese FEOBOS-Stellungen eine ebenso niedriger Remisquote erzielen), dass man jetzt eine tolle Alternative zum SALC-Set hat.

Das wäre super, eine Alternative zum SALC-Set zu haben, um niedrige Remisqouten zu erreichen und damit das Computerschach zumindest vorläufig vor dem drohenden Remistod zu bewahren. Und wie bekommt man diese wertvolle Information, also wie findet man heraus, ob auch die FEOBOS Contempt-Stellungen die Remisqouten merkbar senken? Durch einen statistisch relevanten Praxistest im Vergleich zum SALC-Set (unter sonst identischen Bedingungen).

Und genau deswegen wäre es die Aufgabe, ja die Pflicht, des FEOBOS-Teams, diese beiden vergleichenden Praxistests (FEOBOS Contempt-Stellungen im Vergleich mit einem Standard-Eröffnungsset und im Vergleich mit SALC) zu machen. Ganz besonders nach der nun schon seit Monaten andauernden "Nonstop-PR" (wie Walter Eigenmann so treffend formulierte) hier im Forum, derer ich offen gesagt langsam überdrüssig bin.
Tja, aber leider kommt in dieser Hinsicht nullkommanix. Also muß ich eben diese Tests machen, wenn es sonst keiner tut. Glücklicherweise liegen mir die SALC- und Standardset-Ergebnisse ja schon vor (aus meinem Experiment im Mai), insofern hält sich der Rechenzeitaufwand mit ca. 4 Tagen in überschaubaren Grenzen.

Gruß - Stefan

By GS Date 2017-10-13 14:04

[...snip...]
Es ist kein Zufall, daß die Gebrüder Wright nicht nur das erste,
funktionierende Motorflugzeug gebaut haben...
[...snip...]

Das ist Ami-Propaganda, vor allem durch das Smithsonian.
Gustav Weißkopf war der erste Mensch, welcher einen Motorflug
(mit seiner Nummer 21) durchführte und zwar am 14. August 1901,
also mehr als 2 Jahre vor den Gebrüdern Wright.

By Stefan Pohl Date 2017-10-14 08:55 Edited 2017-10-14 08:59

GS schrieb:

Ich schrieb nicht erster Motorflug, sondern erstes funktionierendes Motorflugzeug. G.Weißkopf konnte seine Maschine, soweit mir bekannt, nicht nach links und rechts steuern. Ein funktionierendes Seitenruder sollte aber schon Teil eines funktionierenden Motorflugzeugs sein...fände ich jedenfalls besser, wenn ich dort einstiege...
Aber wie es nun auch immer sei, auf jeden Fall haben die Gebrüder Wright den Windkanal erfunden und ihr Motorflugzeug mit dessen Hilfe entwickelt. Und aus ihren Flugzeugen heraus und mithilfe ihrer Idee des Windkanlas begann die Fliegerei. Das war der Sinn des Postings. Nicht die Frage, wer zuerst mit Motorkraft flog.

By Frank Quisinsky Date 2017-10-13 18:56 Edited 2017-10-13 19:21

Hallo Stefan,

1. Also ich sehe im Download File zu der FEOBOS v10 keinen Fehler hinsichtlich der von Dir genannten 12833 Linien!
Im Download File ist eine *.png "Ausschnitt aus der Excel" die informiert wie viele Linien von Contempt 1- 5 in den jeweiligen Büchern enthalten sind.

Sofern ich mich erinnere kommen die 12.833 Linien von FEOBOS v9 bzw. sofern ich mich schwach erinnere hatte ich die readme Dateien nach dem Release noch mal auf Fehler geprüft und korrigiert.

Keine Ahnung wo jetzt genau diese Information zu finden ist.
Sicherlich nicht im aktuellem Download.

Genug gesucht ...
Dennoch gut wenn jemanden Fehler auffallen die ich berichtigen könnte.
Nur in diesem Fall wurde der Fehler offenbar schon längst berichtigt.

2. Deine Aussage ich würde FEOBOS nicht selbst testen ist schier falsch.

A) Es laufen immer wieder auf einem zweiten Rechner Test-Runs mit Wasp und FEOBOS Versionen, siehe WASP Seite.
B) Ca. bis August war ich stark mit der Suche nach Stellungen für das upd.1 beschäftigt und habe hier auch unzählige interne Testläufe gemacht. Sprich, wenn ich auflisten sollte was ich in den letzten drei Jahren neben dem was ich offiziell anbiete an Testarbeit hier gemacht habe würdest Du ganz blas werden. Bei meinem Projekten gehe ich sehr akribisch vor. Siehe z. B. der 500Mb Download zur Webseite, die komplette Ratingliste ist von Anfang bis Ende dokumentiert.

Und nochmals:
Wir haben zu den 261.460 Analysen bis FEOBOS v10 gemacht.
Ich gehe zwar selbst hin und sage ... bei 45-Minuten Partien gegen viele Gegner sollten die Remise deutlich nach unten gehen obwohl die Analysezeit bei FEOBOS bei 10 Threads auf einem deutlich höheren Niveau steht als die 45 Minuten Partien. Es gibt so viele Dinge die bei einem Vergleich berücksichtigt werden müssten. Klar, bei geringer Bedenkzeit im Eng-Eng Einsatz im Vergleich zur FEOBOS Analysezeit können Engines andere Ergebnisse produzieren und dann gibt es bei Contempt 5 dann hier und da doch 0,00 Ergebnisse. Grundsätzlich ist klar, wenn 10 Engines keine 3fachen Stellungswiederholungen im Suchbaum haben, kann auch aus der Ausgangsstellung heraus kein schnelles Remis zu Stande kommen.

Wenn Du etwas vergleichen möchtest ... z. B. Dein Buch mit schnelleren Bedenkzeiten und geringerer Hardware analysiert mit 2 Engines zu den FEOBOS Daten mit 10 Engines müssen alle Stellungen 1x in einem Vergleich eingehen. Alle andere Ergebnisse die produziert werden sind nicht aussagekräftig. Ferner ist Dein Buch nicht vergleichbar mit FEOBOS.

1. ECO Codes sind nicht volllständig
2. Andere Zuglänge, pauschale Zuglänge ... bei FEOBOS in der Regel 3 Züge nach ECO Code Ende.
3. Ferner beruhen Deine Daten auf ehemaligen Buchdateien von mir, sofern ich mich richtig erinnere bzw. hast Du Daten von mir für Deine ersten Versionen benutzt.

etc., etc..

Ist ja lobenswert das Du etwas testen möchtest und wenn Du das tun möchtest nur zu.

Selbst teste ich das ein wenig anders aus:

Die Remisquote ist z. B. von FEOBOS v5 auf FEOBOS v10 bei durchschnittlich 2.850 ELO in einem 20iger Testfeld um ca. weitere 1.5% gefallen. Ich gehe hin und habe ich echte Auswertungen, z. B. frühen Remise nach 18, 19, 20, 21, 22, 23, 24, 25, 26 Züge. Schaue wie die Stats hierzu sinken mit neuen Test-Runs die ich durchführe.

Ich kann FEOBOS nur mit FEOBOS vergleichen, da es kein vergleichbares Projekt gibt.
Sehe Dein Buch oder Cerebellum nicht als etwas vergleichbares an weil das Ziel von FEOBOS und die ganze Entwicklung und Projektidee nicht nur auf 2 Engines ausgerichtet ist, sondern auf unterschiedliche Spielstile. Damit versuche ich dann mittels einer Gruppe von 10 Engines mir weitere Engines zu sparen ... bin ich mir unsicher nehme ich noch experimentelle hinzu.

Wenn ich alle Überlegungen zu FEOBOS hier beschrieben würde, würde ich jetzt die DOKU schreiben, denn das sprengt total den Rahmen. Insofern habe ich auch kaum noch Lust FEOBOS hier zu dokumentieren denn ich müsste ja in diesem Fall alles doppelt machen. Unnötige Arbeit und Zeit einsparen ist derzeit eher das Ziel. Wenn Lesern etwas unklar sein sollte gibt es die Readme von Klaus. Wenn das nicht ausreicht folgt noch eine Projektbeschreibung die auch mit dem fertigen Projekt bzw. FEOBOS v20 angeboten wird.

Wie dem auch ist ...
Ich bin der Meinung:
Du kannst eine ausgefeilte Datenbasis auf 500 ECO Codes, 3 Züge nach ECO Code Ende nicht vergleichen mit einer unregelmäßig zusammengewürfelten Datenbank mit fester / pauschaler Zugtiefe. Das ist absoluter Quatsch und irreführend. FEOBOS und Dein Buch sind so unterschiedlich das jeglicher Vergleich nichts bringt und Leser total in die Irre führt.

So gerne wir auch vergleichen aber FEOBOS kann nur vergleichen werden mit einem Projekt welches in etwas gleiche Ansatzpunkte hat. Das sehe ich z. B. bei Deinem Buch nicht und das sehe ich auch bei Cerebellum nicht.

Gruß
Frank

By Stefan Pohl Date 2017-10-14 08:47

Frank Quisinsky schrieb:

Tja, dann hab ich wohl Halluzinationen...

Datei: feobos_v10-contempt_5__general.txt. Heruntergeladen von mir am 12.10.17

Games : 12833 (finished)

White Wins   : 0 ( 0.0 %)
Black Wins   : 0 ( 0.0 %)
Draws : 12833 (100.0 %)
Unfinished   : 0

White Perf. : 50.0 %
Black Perf. : 50.0 %

ECO A =   2596 Games (20.2 %)
ECO B =   3241 Games (25.3 %)
ECO C =   2024 Games (15.8 %)
ECO D =   2453 Games (19.1 %)
ECO E =   2519 Games (19.6 %)

Und Datei Datei: feobos_v10-contempt_5__summary.txt:

Games   = 12833   ( no result = 0, FEN tags = 0 )
Players = 1   ( clusters = 1 )
Date Range: 2017.08.12 - 2017.08.12

Elo Range: 3000 - 3000
Games with: WhiteElo = 12833   BlackElo = 12833   BothElos = 12833
Elo Average: White = 3000.0   Black = 3000.0   AllElos = 3000.0
Elo StdDev: White = 0.0   Black = 0.0   AllElos = 0.0
Elo Gap: Max = 0   Average = 0.0   StdDev = 0.0

White Wins = 0 ( 0.0 % )
Draws = 12833 ( 100.0 % )
Black Wins = 0 ( 0.0 % )
White Pct = 50.0 %
Black Pct = 50.0 %

ECO: Total = 12833 A: 2596 B: 3241 C: 2024 D: 2453 E: 2519
PlyCount: Total = 12833 Range: 8-34 Average = 17.1 StdDev = 4.41

finished: be sure to rename/copy outSummary

Ich kann nur noch mal wiederholen, es sind nur 12412 Eröffnungslinien im Contempt-5- PGN-Set...

Frank Quisinsky schrieb:

Wenn Du etwas vergleichen möchtest ... z. B. Dein Buch mit schnelleren Bedenkzeiten und geringerer Hardware analysiert mit 2 Engines zu den FEOBOS Daten mit 10 Engines müssen alle Stellungen 1x in einem Vergleich eingehen. Alle andere Ergebnisse die produziert werden sind nicht aussagekräftig. Ferner ist Dein Buch nicht vergleichbar mit FEOBOS.

Das ist beides falsch. Warum muß man alle enthaltenen Stellungen abspielen in einem Praxistest? Die Stellungen dienen primär zur Bucherzeugung. Wenn man ein Buch benutzt, spielt man auch nicht alle Äste ab. Und gerade weil mein SALC-Buch nicht auf die gleiche Art und Weise entstanden und anders strukturiert ist, muß man es vergleichen. Denn sowohl SALC als auch FEOBOS verfolgen ja zumindest bzgl. Senkung der Remsiqouten das gleiche Ziel, aber eben auf andere Art und Weise.

Frank Quisinsky schrieb:

3. Ferner beruhen Deine Daten auf ehemaligen Buchdateien von mir, sofern ich mich richtig erinnere bzw. hast Du Daten von mir für Deine ersten Versionen benutzt.

Das ist auch falsch. Die SALC-Dateien enthalten nur Daten aus der BigDatabase und von Adam Hair PGN-Kollektionen.

Frank Quisinsky schrieb:

Ich kann FEOBOS nur mit FEOBOS vergleichen, da es kein vergleichbares Projekt gibt.

Das ist nun sowas von falsch...Ein Praxistest macht genau das Gegenteil. Muß das Gegenteil machen. Wenn man ein Projekt nur mit sich selbst vergleicht, fehlt jeglicher Bezugsrahmen. Das ist nun wirklich das ganz kleine Test einmaleins...

Frank Quisinsky schrieb:

So gerne wir auch vergleichen aber FEOBOS kann nur vergleichen werden mit einem Projekt welches in etwas gleiche Ansatzpunkte hat. Das sehe ich z. B. bei Deinem Buch nicht

Und zum guten Schluß, man ahnt es schon, wieder falsch. Entscheidend für die Praxis (und damit auch für die Praxistests) ist nicht der Ansatzpunkt und die innere Struktur eines Projekts, sondern das, was hinten schlußendlich dabei herauskommt, also was mit einem Projekt erreicht werden soll. Und das SALC-Buch und das FEOBOS haben sehr wohl die gleiche Zielsetzung. Nämlich beide sind für Engine-Tests und Vergleiche, Ranglisten etc. gedacht (nicht fürs praktische Spiel auf Servern etc, dafür ist dann Cerebellum gut) und innerhalb dieser Zielsetzung sollen dabei möglichst gute Ergebnisse zustandekommen. Gut meint u.a. ordentliche ELO-Abstandsspreizung, geringe Remisqoute (letzteres habt ihr euch auch ausdrücklich zum Ziel gesetzt (siehe die von mir geposteten Zitate von euch im Ausgangsposting dieses Threads)). Also kann und muß man FEOBOS sehr wohl mit SALC vergleichen. Und mit einem Standard Eröffnungsset, damit man einen Bezugsrahmen für beide Meßergebnisse hat. Und auch hier nochmals: Das ist nun wirklich das ganz kleine Test einmaleins...

Mehr kann und werde ich zu dem Thema Praxistests von Büchern/Eröffnungssets nicht mehr sagen. Alles, was ich hier nun mehrfach gesagt habe ist nun wirklich nichts Neues und sollte selbstverständlich sein. Ich kann wirklich nur noch mit dem Kopf schütteln.

Am Dienstag wird das Endergebnis meines Tests voraussichtlich online gehen, falls alles glatt weiterläuft. Ich werde das Ergebnis wahrscheinlich nur auf talkchess posten (und auf meiner Website) und hier nur verlinken, dann muß ich nicht alles doppelt posten und der Thread hier ist schon viel zu groß und unübersichtlich.

Stefan

By Frank Quisinsky Date 2017-10-14 09:45 Edited 2017-10-14 10:10

Hallo Stefan,

ah, Du meinst die Statistik Ausgaben, stimmt ... sehe den Fehler.
Berichtige ich gleich.

Zu Deinen anderen Anmerkungen:
Ich kann nur das vergleichen was wirklich gleich ist.
Kann nicht 30x Sizilianisch und 25x Spanisch vergleichen mit 22x Königsindisch und 38x Französisch.
Das ist Unfug und mir nicht logisch.

Wenn überhaupt dann z. B. Stichproben aus ECO Codes miteinander ...

Aber nochmal:
Was soll das bringen wenn zu den kompletten Stelllungen im Buch 10 Engines sagen kein 0,00er mehr drin.
Würde dann bei einem Vergleich ein anderes Buch dennoch besser abschneiden wäre das unglaubwürdig.

Ferner sind die Basis-Stelllungen durch 300.000 FCP Rating List Partien schon optimiert gewesen, bzw. nur die Extra Stellungen die hinzugekommen sind (ca. 15%) waren bei FCP Rating List nicht auf dem Brett. Während der FCP Ratingliste wurden schon x Positionen herausgeholt die zu frühen Remis unter 20 Zügen führten, wie gesagt die Stellungen wurden sehr aufwendig schon in den drei Jahren zuvor optimiert.

Halte einen Vergleich wie Du ihn machst also für überflüssig.
Würde also rauskommen, dass ein anderes Buch weniger schnelle Remispartien unter 20 Züge produziert kann das letztendlich nur einen einzigen Grund haben.
Die Vorgaben die verwendet werden gehen länger bzw. ist die durchschnittliche Zugtiefe des Buches selbst größer.

Bei FEOBOS starten viele Buchvorgaben schon nach 5 oder 6 Zügen, klar das sich dann hieraus unter 20 Züge ein schnelles Remis bilden kann wenn von den fast 300.000 durchgeführten Analysen schnell abgewichen wird und ein anderes Buch immer 12 Züge tief geht. Das zu vergleichen ist wie gesagt "UNSINN".

Vergleichbar wäre es wenn ein anderes Buch die selben Zugtiefen hätten aber auch nur dann wenn ECO Code für ECO Code vergleichen würde.
Und das macht keinen Sinn, weil nochmals ... 10 Engines sehen kein 0,00 bei allen Endpositionen.

Es kann also kein besseres Ergebnis geben als das was in Contempt 5 drin ist wenn wirklich vergleichbares vorliegt.
Kann keine Bücher mit unterschiedlichen Zugtiefen vergleichen hinsichtlich Remisvermeidung bis Zugtiefe X

U N L O G I S C H
Wenn Du also vergleichen willst, und Deine Vorgaben gehen 12 Züge tief ... müssen bei den FEOBOS Daten erstmal die Positionen herausgenommen werden die unter 12 tief gehen.
Und wenn das gemacht werden würde, wäre FEOBOS einfach nicht schlagbar weil nichts drin ist was 0,00 ausgibt.

Kann nicht schwierig zu verstehen sein!
Kann keine Vorgabe mit 6 Zügen gegen eine Vorgabe mit 12 Zügen auf Remis unter 20 Zügen vergleichen.
Weil das Buch mit Vorgabe 12 Zügen 6 Züge, sprich 18 Halbzüge Vorteil hat ... hinsichtlich wie hoch ist die Wahrscheinlichkeit das bei 18 Halbzüge eine Abweichung bei der Berechnung der Variante möglich ist.

Also, was willst Du bewirken mit Darstellungen SALC gegen FEOBOS?
Das ein schnell gemachtes SALC Buch (das mache ich Dir auch in 1-2 Wochen) besser ist als ein akribisch in 4 Jahre entwickeltes FEOBOS Buch das auf die Analysen von 10 der besten Engines beruht.

Manchmal denke ich wirklich das nicht nachgedacht wird!

Gruß
Frank

PS: Ferner, Du optimierst wenn ich das richtig verstehe mit Stockfish und Komodo. Ich mit weiteren 8 Engines und unterschiedlichen Spielstilen.
Wenn Vergleich dann müsste Salc um Zuglänge x gekürzt werden oder Stellungen rausgesucht werden mit gleichen Zuglängen, siehe oben!
Dann müssten mindestens 20 Engines mit denen weder FEOBOS noch SALC optimiert wurde gegeneinander eingesetzt werden.

Nur dann wäre ein Vergleich meines Erachtens ein Vergleich.
Sonst wie gesagt UNLOGISCH

Wäre so als wenn ich vergleichen würde:
Bayern München mit 5 Spielern gegen Borussia Dortmund mit 11 Spielern auf dem Feld.

Die Zuglänge im Buch ist maßgeblich für die Anzahl der schnellen Remise.
Ich hatte z. B. bei den letzten 1.000 Wasp Partien 3 Stellungen mit Remis unter 20 Züge.
Das waren Vorgaben: 2x nach 6 Züge und 1x nach 7 Züge.
Das ich nach einer Vorgabe ein Remis unter 20 produziere bei einer Zuglänge von 12 Buchzügen bei der Tiefe der FEOBOS Analyse ist fast undenkbar, es sein denn eine schwächere Engines weicht sehr früh ab und aus der Stellung die sich ergibt ist dann wieder schnelles Remis im Suchbaum.

By Timo Haupt Date 2017-10-14 10:14 Edited 2017-10-14 10:17

Hallo Frank und Stefan,

kann es sein, dass ihr ein wenig aneinander vorbeidiskutiert? Ich habe es so verstanden: Stefan will mit seinem Praxistest herausfinden, ob es mit Hilfe der FEOBOS-Eröffnungsvorgaben eine Senkung der Remisquoten in Enginetests auf ähnlichem Niveau möglich ist wie mit dem SALC-Set. Frank geht davon aus, dass die Zielsetzung ist, Remisen unter x Züge zu vermeiden. Diese beiden Ziele sind jedoch nicht kongruent und deshalb redet ihr aneinander vorbei.

Stefan möchte nur wissen, ob die absolute Remisquote durch die Verwendung von FEOBOS sinkt. Wie die dann natürlich immer noch erspielten Remisen zustande kommen, ist ihm meinem Verständnis nach egal (ob jetzt bereits nach 20 Zügen oder erst nach 120 Zügen). Franks Ziel war es hingegen, vor allem schnellen Remisen (also unter ~20 Züge) mit FEOBOS vorzubeugen. Erst jetzt begreife ich, dass er möglicherweise gar nicht das Ziel hatte, die absolute Remisquote in Enginetests mit Hilfe von FEOBOS zu senken. Insofern könnte es sein, dass Stefans Test tatsächlich an Franks Zielsetzung vorbeigeht, falls meine o.g. Annahme richtig ist. Trotzdem wäre Stefans Test z.B. für mich sehr interessant, denn es könnte ja immerhin sein, dass FEOBOS trotzdem dabei hilft, die absolute Remisquote in Enginevergleichen zu senken (und nicht nur die in unter x Zügen). Und man könnte trotzdem hinterher eine Auswertung darüber machen, wie viele Remisen in x Zügen es noch gab. Diese Anzahl allerdings kann man nicht direkt mit der im SALC-Set ermittelten Anzahl vergleichen, da stimme ich Frank zu. Zumindest müsste man vorher zwei Durchschnittswerte ermitteln (mittlere Länge des SALC-Sets vs. mittlere Länge FEOBOS) und diese dann in die Betrachtung miteinbeziehen. Da ich aber glaube, dass Stefan diese Betrachtung (gab es Remisen in unter x Zügen) gar nicht interessiert, wird das in der abschließenden Betrachtung seines Tests gar keine Rolle spielen. Seine Zielsetzung ist es einzig und allein, die absolute Remisquote zu ermitteln und mit der des SALC-Sets zu vergleichen.

Frank und Stefan, liege ich mit meinen Annahmen richtig?

Gruß
Timo

By Stefan Pohl Date 2017-10-14 10:28

Timo Haupt schrieb:

Glaube ich nicht. Zitat Frank Quisinsky: "Mit FEOBOS 10 Daten Stockfish gegen Komodo ... beide mit Contempt 9 antreten lassen und sich wundern, wie sehr die Remisquoten schrumpfen." Und genau das mache ich gerade im Testrun (mit asmFish statt Stockfish und Contempt=15 statt 9, aber das ist beides nicht erheblich). Ich mache also genau das, was Frank selber vorgeschlagen hat.

Zitat Klaus Wlotzka: "Bei FEOBOS steht neben der Aussortierung zu hoch bewerteter Stellungen auch die Reduzierung der Remisquote im Mittelpunkt"

Darüberhinaus: Wenn man bis Zug 20 oder 25 oder 30 die Remisqouten senkt und sie an anderer, späterer Stelle der Partien dafür nicht erhöht, müßte logischerweise auch die Gesamt-Remisqoute in einem Testrun sinken?!? Simple Durchschnittsbildung.

By Frank Quisinsky Date 2017-10-14 10:58 Edited 2017-10-14 11:03

Hallo Timo,

genau ...
Mir ist bei FEOBOS hinsichtlich Senkung der Remisquote nur interessant die Zugtiefe bis 24.
Also um wie viel Prozent bis 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24 Züge kann ich die schnellen Remis unter 24 Zügen senken. Hierzu habe ich Statistiken entwickelt bzw. vergleiche mit älteren FEOBOS Versionen bzw. mit FCP Rating List Statistiken. Letztendlich ist der Vorteil der Engine Analysen bei 24 Halbzüge nach meinen Statistiken aufgebraucht ... bzw. kaum noch Vorteil bei 24 und selbst bei 23 Züge nur noch um ca. 20-30%.

Das heißt, wenn Engine Zweikampf und beide Engines haben selbst Contempt:
FEOBOS setzt den Buchcontempt und durch den Contempt der Engines selbst kann dann weiter Remis vermieden werden.

Die FEOBOS Contempt Vorgabe ist also als zusätzliche Hilfe anzusehen.
Natürlich hat FEOBOS ab Zuglängen von ca. 23-24 Zügen dann keinen bzw. einen geringen Einfluss auf die weitere Remisvermeidung in einem Wettkampf. Das müssen wie gesagt die Engines mit Contempt Parameter selbst meistern.

Und zu dem Buch vom Stefan:
Die Ideen von Stefan zur Bucherstellung befinde ich für besonders gut, z. B. Damen auf den Feld (das habe wir bei FEOBOS von Stefan geklaut) oder unterschiedliche Rochaden. Das durch unterschiedliche Rochaden die Remisquoten gedrückt werden weil die Stellungen seltener in langweiliges Positionsgeschiebe ausarten ist klar. Darauf baut Stefan seine Buchidee auf.

Also ich sage nicht das die Ideen von Stefan schlecht sind, ganz im Gegenteil aber vergleichen lassen sich die Konzepte nicht.
Mir ist auch klar das wenn ich sage ... alle 500 ECO Codes ... das ich zu vielen Varianten remisliches erzeuge. Aber die gehören dazu genau wie z. B. C37 / C38 bei denen ich nun mit roher Gewalt versuche beim UPD.1 ein paar Positionen hinzuzufügen ... wenn diese nicht wieder durch das Analyse Engine Netz fallen.

Gruß
Frank

Die ganze FEOBOS Contempt Geschichte hat einen Nachteil ... ich verliere zu viele gute Stellungen bei einem hohen Contempt habe aber die maximale Vermeidung.
Für Ratingliste und Turniere reicht Contempt 2 völlig aus. Für Vergleiche der besten Engines untereinander reicht Contempt 4 ... bei 5 bleibt zu viel auf der Strecke ... für hart Gesonnene Kämpfer!