Nein, im Gegenteil. Remis aus ausgeglichen ist nur die eine Seite der Medaille. Ganzer Punkt aus "komplizierten", "schärferen" Varianten ist dieselbe oder noch größere Flut.
1 Bauer Vorteil aus früher Eröffnung geht jetzt noch bei SF- Eval, bei Lc0- Eval auch schon nur mehr hin und wieder (weil Lc0 niedriger evaluiert), und er (der eine Bauer) geht, wenn du nicht nur SF- Lc0 spielen lässt.
Wenn du mit kompliziert wirklich die wenigen meinst mit ebenso breitem Spielbaum wie bei ausgeglichenen Stellungen, aber zusätzlich noch dynamisch und am Kippen für eine Seite, ok, aber die musst du in der frühen Eröffnung erst einmal finden.  Kleine aber bereits echt nachweisbare Fehler ganz früh sind für die Spitzenengines mit guter Hardware- Zeit schon klar vorgezeichnete Wege ins Verderben, weil sie meistens die Zahl der Varianten vermindern, forcierter sind, leichter zum gewinnbringenden Vorteil durchzurechnen sind. Man müsste über einzelne Beispiele reden, aber mit einzelnen Beispielen bekommst du keine großen Partiezahlen zusammen, wenn du noch dazu auch nicht noch und noch thematische Dubletten haben willst.

Du kannst größere Vorteile, wenn sie nicht allzu forcierte Abspiele haben, aus späten Eröffnungsstellungen, aus Mittelspielstellungen und aus Endspielstellungen nehmen, im Endspiel ist ein Bauer Eval nix, in der frühen Eröffnung ist er heutzutage schon oft zu viel oder halt doch noch zu wenig, dann wird's Remis. Und beides bei den "schärferen" Stellungen noch mehr als bei den "ruhigen". Weil natürlich können scharfe komplizierte Varianten auch ungefähr gleich schnell durch Vereinfachung ins Remis führen wie in den ganzen Punkt, du hast deine geliebten kurzen Partien, aber sonst hast du von "komplizierten", "schärferen" Varianten just gar nix als alleiniges Kriterium, wie gesagt, man müsste es halt auch an einzelnen Stellungen definieren und nicht mit solchen plakativen Ausdrücken allein, die ja für Engines noch weniger bedeuten als für Menschen.

Es ist wie gesagt in der frühen Eröffnung jetzt schon ein kleines Fenster und es wird schon allein durch die Zahl der Engines, für die es so klein ist, schnell noch kleiner. Auch schon deshalb, weil die Evals von immer mehr Engines schon (oder gerade) in der frühen Eröffnung immer genauer vorhersagen, wie sie sich mit diesen Stellungen beim Ausspielen ins Mittelspiel tun. Sind sie am Anfang richtig, ist's im Mittelspiel schon aus, entweder in die eine oder andere Richtung, gewonnen oder Remis. Im Mittel- und Endspiel sind die falschen Evals noch eher als solche nachweisbar und erkenntlich. Drum würde ich halt mehr mit Mittel- und Endspielstellungen testen, würde genauer und schneller machbar sein, blinde Flecke aufzudecken, und jedenfalls würde es Partiezahlen und Energie sparen. Du hättest endlich wieder mehr von deinen kurzen Partien, die dir so wichtig sind

Und so sehr auch das sehr bewundernswert ist, wie du da methodisch konsequent vorgehst, kann ich dabei nicht umhin zu bemerken, dass auf diese und ähnliche Art die Selektion der als mit mehr oder weniger Fortschritt beurteilten Engines auf genauer und genauer mit dieser Methode gemessen beschränkt wird.
Was ich dennoch oder gerade deshalb nicht glaube: dass es dadurch gelingen wird, die Explosion auch "nur" in dieser Hinsicht ähnlich bis gleich stark gemessenen Engines in ihrer Anzahl überschaubar zu halten, noch, dass sie eine Spitze, wie es sie früher mal gab, noch weiter wird formieren können. Die Spitze wird auch in genau dem einen Test immer breiter und irgendwann werden selbst die so zu einer bestimmten Art von Celo erhobenen Centielo das Ranking nicht mehr zweifelsfrei definieren, wenn du genug Engines mit genug unterschiedlicher Hardware- TC mitspielen lässt, werden die Partiezahlen nicht mehr stemmbar, eine bestimme einzelne Entwicklungsversion von einer besimmten anderen zweifelsfrei zu unterscheiden. Dann musst du irgendwo einsparen, einfachster Weise beim Engine- Pool, den zu zum Vergleich heranziehst.

Man wird weiter Ranglisten haben, aber die Abstände, die man zwischen ihnen misst, sind mehr und mehr auf genau ihre eine Methode beschränkt, nicht nur in ihrer absoluten Höhe, sondern auch in ihren Relationen, die Übertragbarkeit auf andere Tests, andere Engine- Pools (bei denen man einfach einen Teil des im anderen mitspielenden Samples weglässt und dafür andere dazu nimmt), andere Hardware- TCs und andere Eröffnungen immer kleiner wird, das ist ist ja jetzt schon so, die Transitivität sinkt, aber das natürlich umso mehr, je weniger Diskrimination mit dem Ausspielen früher Eröffnungsstellungen an und für sich da ist.

Du züchtest auf deine Art UHO- Engines und EAS- Engines, man kann letztere dann besonders "aggressiv" nennen, mir persönlich ist der Ausdruck für ein rein statistisch sehr umschrieben mit bestimmten Teststellungen und deren Auswertung herauskristallisiertes Performance- Kriterium zu vielsagend. Genau genommen ist es einfach ein bestimmtes Erfolgsergebnis eines bestimmten Tests, der in EAS- Elo gemessen wird zum Unterschied von nicht-EAS- Elo.

Das mag alles sehr sophisticated sein, aber die Beobachtung, dass auch mit noch so genau für den bestimmten Testzweck, für die bestimmten vorhandenen Engines und die praktikable (erschwingliche aber dennoch moderne) Hardware- TC zugeschnittene Methodik, das, was man immer so gern als alte Elosion der overall playing strength bezeichnet hat, mehr und mehr von dieser Übertragbarkeit eines Tests auf einen anderen abtriftet.

Im Endergebnis läuft's auf den selben Remistod hinaus: es gibt noch Messergebnisse, aber wenn man sie untereinander vergleicht, sind nicht einmal die Rankings, geschweige denn die Ratings mit dem vergleichbar, was unter irgendwie auch nur ein bisschen anderen Bedingungen herauskommt.
Es läuft für mich halt auch auf Remis hinaus, weil letztlich ist ja das Prinzip, denjenigen Engines (die sich dahingehend natürlich anhand dieses Tests auch immer mehr nahekommen in ihren Evals der frühen Eröffnungsstellungen) dafür, dass sie das dann quantitativ noch irgendwie unterschiedlich gegeneinander ausspielen, genau die Eröffnungen vorsetzt, die in genau ihr Evalfenster passen, hat man ja zum Schluss auch nur eine Selffulfilling Prophecy untermauert.

Man könnte auch gleich die Eröffnungsstellungen, die sich beim Ausspielen für die engines of interest bewähren, als Teststellungen für sich allein nehmen und die Evals der Engines, die man an ihnen testet, untereinander vergleichen. Die Eval, die dem erwarteten Ausspiel- Ergebnis am nächsten kommt, gewinnt, je nachdem wieviele Engines teilnehmen, mehr oder weniger Punkte, aber ohne sie dann auch tatsächlich in Unmengen von Partien statistisch genau so bis zum Matt oder Remis ausspielen zu müssen.
Tatsächlich mach' ich das ja mit MEA und Eröffnungsstellungen auch so (übrigens auch mit UHO- Stellungen, die eignen sich da sehr gut dazu und man hat sie, dank deiner schönen Dokumentation und Veröffentlichung schon mit Quellen und Eval- Vorsortierung, muss mich gleich mal wieder dafür bedanken) meine Erfahrung ist halt damit die, dass das zwar im Ergebnis dem Ausspielen derselben Engines auch nahe kommt, aber ich würde nicht auf die Idee kommen, dass das je nach Sammlung der Stellungen und Hardware- TC eine ganz bestimmte Art des game playings ersetzt. Falsch, eine einzelne ganz bestimmte sehr umschrieben definierte Art des Ausspielens unter denselben Engines mit ganz bestimmter Hardware- TC schon, aber die ist dann eben auch nur eine einzelne.

Wollte man das, was man früher mal unter overall playing strength im Eng-Eng-Match zu definieren versucht hat (von der ich immer schon gesagt habe, dass es sie nicht als messbare Größe gibt, nicht zwischen Menschen und nicht zwischen Maschinen), mit einer gewissen Vielfalt and Testmethoden in eine Zusammenschau bringen, käme man wohl dennoch zu dem Schluss, dass das Eng-Eng-Match von der frühen Eröffnungsstellung aus remistod ist. Das Pinzip, den Engines entgegen ihrer eigenen Zugwahl (entgegen dem, was sie anhand ihrer eigenen Evals spielen würden) Züge der frühen Eröffnung aufzuzwingen, von denen man schon anhand der Evals relativ sicher weiß, wie sich die Ergebnisse statistisch verhalten werden, das ist im allgemeinen statistischen Sprachgebrauch schon einfach Selection Bias zur Methode erhoben. Wählen sie ab einer gewissen Spielstärke, die mittlerweile schon eine ziemlich breite Basis an Engineanzahl hat, ihre Eröffungen aus der Grundstellung selbst, sieht man den Unterschied sofort als simplen Remistod von der Grundstellung aus. Jetzt die Abweichungen von dieser Nulllinie in der Größenordnung der Abweichung der Evals der in diesem Test besonders erfolgreichen Engines durch das Ausspielen von dazu gerade ausreichend großen Partiezahlen zu bestätigen, ist eigentlich schon einfach eine ziemlich aufwändige Methode eines ausgespielten Stellungstests, vor allem aber wieder nur eines einzelnen solchen Stellungstests. Nehme ich andere Stellungen, für einen von meinen, bekomme ich andere Ergebnisse, nimmst man andere zum Ausspielen, auch. Ebenso sind die Ergebnisse vom Pool an Engines und der Hardware- TC abhängig. Das alles sind halt irgendwie doch mehr oder weniger (aber im Erfolgsfall mehr und mehr) willkürlich getroffene sehr umschriebene Definitionen von "noch nicht ganz tot" bis hin zu "na also, die Hoffnung lebt ja doch noch", auch im Engine- Engine- Match von der frühen Eröffnungsstellung aus. Was man genau so gut sagen könnte: von der Grundstellung aus ist Computerschach remistod, je nachdem, was für Stellungen man für welchen ausgespielten oder nicht ausgespielten Stellungstest verwendet, lebt es weiter, aber es sind halt viele verschiedene Lebensformen

Im Ernst, auch mit den besten UHO- Eröffnungen kriegst du ein Verhältnis von Diskrimination zu error bar nur mit Partiezahlen zusammen, die dir in einem Framework zur Kontrolle einer einzelnen Engineversion mit wirklich großen Mengen irgendwann reichen und für eine Liste von 16 Engines brauchst du nicht ganz so große Mengen für die innerhalb dieser einen Liste unumstrittene Sortierung von Engines, die mitspielen. Aber daraus, dass es überhaupt noch irgendwie für einzelne Listen geht, die sich halt auch im Ranking, nicht nur im Rating nicht mehr aufeinander übertragen lassen, allein schon deshalb nicht, weil in der einen die Ranglistenplätze zwischen mehr oder weniger und anderen Engines verteilt werden, abzuleiten, der Remistod hätte in dieser einen bestimmten Disziplin noch nicht ganz stattgefunden und werde für die nächste Generation auch noch nicht zur Kenntnis genommen werden müssen, naja...
Hardware- Zeit und Stromaufwand wird irgendwann für das, was an Ergebnis herauskommt, halt schon auch ein bisschen hinterfragt werden müssen.
Just my two cents...

Hallo Stefan,

nur ist es leider nicht erst so seit es Deine Tool gibt.

Viele Programmierer aus der Vergangenheit versuchten Ihren Engines immer wieder taktische Fähigkeiten zu geben. Bei Phalanx war es lt. Dusan Dobes doch eher ein Zufall. Bei ETChess eher nicht mehr und auch bei Aristarch eher nicht. Allard Siemelink (Spark) hatte dann wie z. B. auch Steen Suurballe (Gandalf) ganz spezielle Ideen, die auch umgesetzt wurden. John Stanback arbeitet auch schon länger daran, im Grunde schon bei Zarkov.

Gut und richtig ist, dass es mit Deinem Tool besser messbar wird und das mit weniger Aufwand als händisch in Kombination mit vorhanden Datenbanksystsemen bzw. anderen Tools. Einige Ideen kamen von Dir auch dazu. Bei den FCP-Tounreys gab es sehr schöne Auswertungen von Klaus Wlotzka und sofern ich mich erinnere, animierte Dich das ein solches Tool zu erstellen. Wie auch UHU. Als wir von den 41.641 alle Positionen mit FEOBOS Contempt 1 herausnahmen, schriebst Du dazu mal, dass doch diese Stellungen mit höherer EVAL auch interessant wären. Sprich, die schlechtesten der 41.614 Positionen. FEOBOS hat ein Bewertungsprogram, welches Klaus Wlotzka entwickelt hat. Jede Stellung wird bewertet und Ferdinand Mosca schrieb ein Tool um die Bewertungen aus Excel heraus für PGN zu sortieren. Kurze Zeit später gab es die UHU-Idee von Dir. Die finde ich persönlich auch gut, aber ehrlich gesagt langweilig beim Zusehen. Interessant hinsichtlich der Messung, ob Engines aus einer schlechteren Position heraus noch ein Remis erzielen können oder gar gewinnen können. Natürlich lässt die Remis Quote nach oder auch der Züge Durchschnitt wird niedriger, wenn mit positiver Vorgabe die Partie startet.

Persönlich bin ich froh, dass es Deine Tools gibt, auch wenn ich die eher seltener einsetze. Ferdinand arbeitete gar mal eine Zeit an einer Statistik GUI, die er aber nach meinem Wissen nicht fertig stellte. Das Thema ist nicht so ohne, gerade wenn komplizierte Ideen einfließen. So erstellte er ja auch bekanntlich viele kleiner Helfer für jenes und dieses.

Maßgeblich für die Aussagen um taktische Stärke ist, der einfache Züge Durchschnitt der Gewinne oder auch die Anzahl der schnellen Gewinne bei denen dann Engines auch die Fehler bei vielen Figuren auf dem Brett ausnutzen. Das messe ich im Grunde seit Winboard Zeiten bei allen meiner Turniere und das der Spielstil immer im Vordergrund stand war genau das eine wichtige Aussage.

Letztendlich stammt die Idee nicht von mir!!

Die Frage, die sich franz. Programmierer in Winboard Zeiten stellten, war allerdings zu interessant. So bin ich nur zu gern auf den Zug aufgesprungen. Insbesondere resultierte alles aus einer Idee von Bruno Lucas (Dragon ... das franz. Programm Dragon). Er war befreundet mit Christian Barreteau (AnMon) und AnMon erspielte erstaunlich viele Kurzpartien und war daher früher bei den Winboard Engines die beliebteste überhaupt (konnte ich an den Download Zahlen auf meiner Winboard Seite schön messen).

Was richtig genial bei dem EAS-Tool ist, das es die starken EVAL-Schwankungen auch bewertet, sofern ich das richtig nachvollziehe. Das ist im Grunde auch nicht neu. Bei der Arena GUI gab es die Idee der Blundersuche. So war Arena in der Lage, ab einer festgesetzten Eval in den Partien Markierungen zu setzen. Auch das war eine Idee in Verbindung mit der Idee von Burno Lucas. Die schnellen Gewinne über die Datenbank selbst einfach zu selektieren anhand von ... wann kam es zu einem gewinnbringenden Vorteil. Deine Tools fassen vieles zusammen, wie z. B. die Ausgabe der schnellen Gewinne nach Zug Nummer x bzw. die Partien werden dann auch in gesonderte Datenbanken gespeichert. Das geht zwar mit ChessBase auch sehr schnell aber Dein Tools ist einfacher und funktionieren, ChessBase ist nicht erforderlich ... hat auch nicht jeder!!

Also, die ganzen Ideen sind alt Stefan, sehr alt.
Allerdings ist noch nie jemand auf die Idee gekommen Engines zu testen mit Vorgabestellungen, die auf klaren Vorteilen beruhen. Das macht im Grunde auch keinen Sinn aber wird in Anbetracht der hohen Remis Quote interessant aus den oben beschriebenen Gründen. Das gleiche Resultat kann auch erzielt werden, wenn deutlich schwächere Engines gegen deutlich stärkere Engines spielen. Das hat den Vorteil, dass die Partien nicht mit schon für eine Seite fast verlorenen Stellungen starten und mithin auch interessanter zu verfolgen sind. Meine persönliche Meinung, ich würde UHU nie und nimmer einsetzen weil ich hätte gar kein Spaß beim Zusehen. Für statistische Zwecke von ultra schnellen Blitzpartien aber ganz sicher ein gutes Mittel zur Zweckerfüllung von Entwicklern.

Möchte Deine Arbeit nicht herunter reden. Viele Programmierer und auch Anwender finden die Ideen ja großartig und nutzen das gerne. Und in Anbetracht dessen das Du Dir selbst eine wahnsinnige Mühe gibst mehr darzustellen als eine bloße und nicht viel aussagende Elo ehrt Dich genau das. Wir haben bzw. hatten immer schon viele Ratinglisten-Systeme aber aus den blanken Zahlen war nie etwas ablesbar. Der Grund warum es ellenlange Spielstilbeschreibungen gab um die User Informationen zu den Engines mit auf dem Weg zu geben. Die Seite der Spielstilbeschreibungen auf den alten Winboard Seiten von mir oder auch in Anfangszeiten übernommen auf der Arena Seite von mir hatte über 2 Millionen Zugriffe.

Selbst versuchte ich auf meinen Webseiten immer Stats hierzu anzubieten, oder für die Leser der Schach-Welt (die alten Spielstilbeschreibungen liegen dort noch). Es gab seit der Zeit als Bruno damit um die Ecke kam also auch immer Spielstilbeschreibungen zu den Engines. In Winboard Zeiten hatte jede Engines gar eine Detailseite und wenn besondere Stärken ersichtlich wurden, wurde gar auf den Detailseiten darauf hingewiesen. Die beruhten auf sehr einfache Züge Statistiken, Anzahl der Figuren auf dem Brett Statistiken etc.. Das war auch gut so, denn es waren wirklich sehr viele Leser der Schachwelt die endlich etwas gefunden haben über Engines und deren Stärken und Schwächen. Gerade die Fernschachspieler nagelten uns und fragten und fragten und gar andere Großmeister die Jörg Hickl gut kannte schrieben und fragten neugierig nach.

Also, so neu sind die ganzen Ideen nicht.
Neu ist ein schönes Tool auf das Du wie ich finde auch zu Recht stolz sein kannst, weil mit Deinen eigenen Ideen gefüttert.
Aber wie gesagt verkaufe es nicht als neue Idee, weil die ist wirklich schon sehr alt.

Das Programmierer immer schon auf solche Statistiken schauten ist auch nicht neu. Neu ist eher das vielleicht mehr Programmierer ein Interesse daran zeigen und froh sind damit vielleicht auch Ihre Programme ein wenig zu optimieren. Ich hoffe und wünsche es mir natürlich, Ed Schröder ist ein gutes Beispiel. Auch hat Ferdinand Mosca eine Reihe von Tools geschrieben, die auch sehr viel selektieren. Diese wurden mit Ferdinand über TalkChess aufgrund Tool-Anfragen entwickelt. Das sind im Grunde auch die Tools, die ich z. B. bevorzugt einsetzen für die Optimierung bei Eröffnungen.

Ferner haben gar schon die Schach-Computer Freaks darauf geschaut welche Schachcomputer aggressiv spielten. Es hatte Gründe warum die Programme von Johan de Koning so beliebt waren oder auch die Spracklen Programme immer mal verblüffendes an den Tag legten. Auch einige Kittinger Programme waren nicht ohne und genau das liebten wir früher. Wir sammelten die Partien gar für die eigenen Vereinszeitschriften.

Auch ChessBase wies schon zu Zeiten von Fritz 1 darauf hin. Fritz 1 war taktisch wie später auch Fritz 5.32 sehr stark. Im Endspiel schwach aber für taktische Analysen bei vollem Brett wurde die Engines immer zu Recht sehr gelobt.  Auch Hegener und Glaser bediente sich der Wünsche Der User und rief Wettbewerbe aus. Wer schlängt einen MM5 am schnellsten in einer Kurzpartie. Ein Event vom Kaufhof im Düsseldorf bei dem es hochwertige Preise gab. Etc. etc., könnte hundert von den Beispielen nennen.

Taktische Stärke messen ist also eine alte Geschichte.
Programmierer arbeiten gar mit vielen Tricks und einige sind mir bekannt.

Dein Tool dafür ist sehr speziell, gut umgesetzt und "Nice to have", für alle Anwender und Programmierer.
Erneut, die ganzen Ideen sind keinesfalls neu und kamen so richtig zum Ausbruch als es darum ging wie kann die Stärke von AnMon ins Licht gerückt werden. Zumindest dachte ich mir dann ... OK, ich starte ganz einfach eine Spielstilbeschreibung für die stärksten der WinBoard Engines. Und hierfür bediente ich mich sehr einfacher Mittel die dann auch später immer mehr ins Detail gingen. Wie z. B. heute bevorzugt an ... wie kann ich mehr über die Bauernstrukturen in Erfahrung bringen. Auch das ist keine Idee von mir. Jörg Hickl schrieb ein Buch darüber und meinte mal zu mir, ihr braucht irgend etwas im Computerschach um das besser auszuwerten, denn genau diese Frage ist der Schlüssel für alles was danach kommt.

Du kannst das ja mal versuchen aber wenn Du Dich damit beschäftigst und alles erdenkliche was wirklich eine wesentliche Rolle einfließen lässt vergehen Monate, wenn nicht Jahre um ein schlüssiges Konzept zu erstellen. Zumindest denke ich mir das wenn ich das Thema wieder anpacke. Ich würde mal sagen sehr komplex und nur in einem Team umsetzbar. Ein Team welches viele gute Schachspieler benötigt und auch Programmierer für die Umsetzung.

Viele Grüße
Frank