Naja, Hauke, Monte Carlo würde ich nicht sagen dazu, einfach Forward- Backward gut durchanalysierter Varianten, die vielleicht auch schon eine halbwegs aussagekräftige Statistik in der Turnierpraxis haben, möglichst aus Fernschachpartien, können ja ruhig jeweils die Hauptvarianten der gängigsten Systeme sein, wenn man nur damit testen will, wie sich welche engines über eine definierte Variantenlänge in den Evalrelationen sowohl pro Halbzug als auch relativ zu ähnlich guten Kandidatenzügen verhalten.
Weiß man davon jetzt, welche engine für welche einzelne bestimmte Eröffnungsstellung exaktere Evalverläufe zeigt, liegt die Vermutung nahe, das könnte auch für ähnliche Stellungen desselben Systems gelten. Tatsächlich gehen Fernschachspieler ja so vor, sie haben ihre Erfahrungen mit bestimmten engines in bestimmten Eröffnungen, das irgendwie messbar und reproduzierbar zu machen, das hätte schon was. Der Algorithmus von Thomas Zipproth, soweit ich das verstanden habe, geht prinzipiell ähnlich vor, glaube ich. Während bei diesem Prinzip aber eher die Datenmenge, die das pro Zeit bewältigt, das Besondere sein dürfte, wäre mein Ansatz mal wieder, zunächst das Prinzip für einzelne Teststellungen genauer zu definieren.

Das Problem, dass das in der Eröffnung relativ geringe Evalvdifferenzen sind, wenn keine Loserzüge passieren, (weil die engine einfach stellungsinkompatibel eröffnen will, und das sollte man dann eben auch wenigstens gleich deutlich merken), ist sogar eigentlich auch ein Vorteil, die Relationen (die Quotienten der numerischen Evals) werden umso größer, je näher sie der 0.00- Eval sind, zum Unterschied von den Differenzen. (Eval vor minus Eval nach dem Backward, das genügt bei taktischen, forcierten best moves, bei Eröffnungsstellungen sollte man unbedingt dividieren, finde ich, statt der unmöglichen Division durch 0.00 halt durch auf + oder -0.01 korrigierte Werte, je nachdem, wie's ohne Vorzeichenumschlag geht.)

Scheint es eben nicht wirklich zu sein, Frank.

Der Zug, mit dem eine Variante endet, sollte dann entscheidend sein, wenn die Variante die richtige Länge hat, das zu untersuchen, was dich an der Anfangsstellung der Variante als Teststellung interessiert.
Bei den herkömmlichen Stellungstests werden einzelne (Halb-) Züge gesucht, gefunden oder nicht, und die Zeit, die das Finden dauert oder als Limit abläuft, wird gewertet.
Das ist ok, wenn's Stellungen und einzelne Züge sind, die  bereits die Endstellung der gesuchten Variante darstellen, weil sie die eindeutig und unbestreitbar besten unter den Kandidaten sind, und es sind solche game- winner, dass es nicht notwendig ist, weitere Folgezüge näher zu untersuchen.

Das ist bei Eröffnungsstellungen in aller Regel ganz anders. Es gibt meistens mehrere annähnernd gleich gut in der Literatur bewertete Alternativen und die Vor- und Nachteile für die beiden Seiten werden meistens erst viele Halbzüge später deutlicher, vernünftige Eröffnungsstellungen haben selten einen eindeutigen Vorteil einer Seite, die Evals sollten im = bzw. += bis =+ -Bereich liegen.
Evalverläufe müssen über längere und mehrere Varianten verglichen werden, oder du lässt gleich wieder die ganzen Partien ausspielen was du natürlich auch machen kannst.
Wenn du das aber nicht willst, brauchst du zum Vergleich der Evals Division statt Subtraktion, das hat den Vorteil, dass die Relationen mit 0.00- nahen Evals im Nenner des Bruchs bei kleinen Zuwächsen im Zähler viel größer sind als die Differenzen, selbst als die bei höheren Unterschieden, so lange es nicht in die Bingo- Evals über 100 geht.
Und du brauchst den Evalvergleich mit dem Forward- Backward, weil sich das, was sich an Eröffnungsvarianten, die nicht bis zur Spielentscheidung führen, an den Evals verändert, nur dann einen "Erkenntnisgewinn" der engine siehst, wenn sie die Gelegenheit hat, ihre eigenen Output- oder Ausspiel- Varianten mit Testvarianten zu vergleichen, ebenso wie du selbst. Du hast ja eben auch nicht den ganzen oder halben Punkt als Entscheidungskriterium, du brauchst Datenbank- und engine- Unterstützung zum eigenen Beurteilen der Ausgangs- und Endstellungen deiner gut durchanalysierten Test- Lines.

So weit, so gut, warum auch nicht? Dass Eröffnungsstellungen auch als Teststellungen verwendet werden können im Sinn eines Stellungstests und nicht nur für eng-eng, ist eigentlich evident, dass es unter diesem Titel nicht gemacht wird, liegt meiner Meinung nach einfach daran, dass das Thema Eröffnungen im eng-eng, wo sie den engines vorgesetzt werden müssen, und es ohne sie also gar nicht geht, das ja aber (eng-eng) für statistisch unbiased Ergebnisse möglichst stellungsunabhängig sein sollte, gern ausgeklammert wird. Nicht so, dass man sich keine Gedanken machte, von was für Stellungen aus man spielen lassen sollte, das schizophrene daran scheint mir aber immer zu sein, dass der Consens zum Schluss immer ist, eigentlich sollte es eh egal sein, was das angeht, was hinten raus kommt.

Du bist eine rühmliche und seltene Ausnahme für mich, Frank ich erwähne es noch einmal, du machst dir mehr Sorgen um dein Testbuch als die meisten anderen, oder jedenfalls gehst du anders an das heran, was du dir uter Ausgewogenheit vorstellst, bleibt für mich nur immer die Frage, wenn du dir so eine Arbeit mit deinem Buch machst und damit gar nicht ein Buch haben willst, mit dem jede engine einen Vorteil gegen jede andere hat, sondern die Stellungen dahingehend aussuchst, dass sie die Literatur ausgewogen abbilden sollen und eben keine für eine bestimmte engine vorteilslastige Varianten enthält, wozu lässt du dann überhaupt noch damit Unmengen von Partien spielen, und nimmst die Stellungen deines Buches nicht gleich als Teststellungen für einen Stellungstest?

Es wäre halt natürlich einer, der nur die Eröffnungsspielstärke von engines testete, aber wenigstens mal was Neues. Was dir halt nicht erspart bliebe, wäre, dir jetzt zusätzlich zu den Stellungen, die du für gut für ein Ranglistenbuch erachtet hast, auch noch in Hinblick auf die besten Test- Lines durchzuanalysieren, aber das wäre für einen Profi wie dich mit deinen Konnektions zur Prorgammierer- und Großmeistergilde ja auch machbar. Kurzum, mach doch mal, Frank.


Kurz noch einmal zurück zum Eröffnungsdilemma im eng-eng- Testen. Man kann sich nicht entscheiden, einfach ohne Buch zu spielen und das Eröffnen damit wirklich den engines zu überlasse, also versucht man die menschliche Turnierpraxis nachzuahmen, man macht ein Mittelding zwischen engine- Schach und Menschenschach aus den Matches und sagt dazu Overall Playing Strength, ok, auch wieder warum nicht.
Dass man diese beiden Herangehensweisen an Spielstärkenmessungen aber nicht unbedingt ständig miteinander verwechseln müsste, zeigt die Fernschach und Turnierpraxis.
Wie geht man da vor? Lässt man noch und noch ganze engine- Partieserien von einer Eröffnungsstellung aus mit verschiedenen engines spielen? Nein, man schaut sich die Varianten, die einen interessieren, die Partiebeispiele aus der Literatur und die Bewertungen verschiedener engines im Forward- Backward an.
Dann nimmt man die engines und die Varianten, die einem am besten gefallen, es sei denn, man legt sich von vornherein auf eine bestimmte engine und ein bestimmtes "Buch" fest und lässt die engine auch im Fernschach allein spielen. Dass letzteres nicht die erfolgreichere Möglichkeit in den höheren Spielklassen ist, wissen die, die dort mitspielen.

Eröffnungsstellungen zu testen, ohne Unmengen von ganzen Partien mit einem möglichst bunten engine- Mix auszuspielen, ist Schachspielern in ihrer eigentlichen eigenen Computerschachpraxis keine wirkliche Überlegung wert, ob's das gibt, ob das funktioniert, ob man das machen kann und soll, ist denen allen keine Frage wert, warum dann den Profitestern?

Wieder einmal das unnötige P.S dazu: natürlich schauen die Nah- und Fernschachspieler trotzdem und erst recht auch dauernd auf die Ranglisten, was aber folgern wir daraus?
Es gibt das eine und das andere, das (bewusst) stellungsabhängige Testen (das eigentliche Schachspielen) und den Ranglistensport, der sich mit der sogenannten (möglichst stellungsunabhängigen, wär's denn überhaupt möglich) overall playing strength befasst, so wie sie halt für die Ranglistenerstellung definiert ist und sein muss, damit sie nicht erst recht völlig undefiniert ist. Wohlgemerkt, es handelt sich bei allen Versuchen, möglichst stellungsunabhängig zu testen, um eine rein für die momentan gerade aktuelle Hard- und Softwaresituation mehr oder weniger exakt definierte Testumgebung, die nur für ein bestimmtes Kollektiv an engines und Testern eine Zeit lang gilt.
Im Augenblick wird dieses klassische Ranglistentesten allein der explodierenden engine- Landschaft in obersten Celospitzen und Celobreite der engine- Anzahl weniger und weniger leistbar, man muss immer mehr Abstriche beim Teilnehmerfeld und der Auswahl der Eröffnungstellungen machen, nicht mein Problem, ich erlaube mir aber hin und wieder darauf hinzuweisen. Weil, wenn ich immer mehr engines in mein Testkollektiv aufnehmen muss und die Gesamtceloleistung dieses Kollektivs schon allein in den Spitzenreitern immer höher wird oder zumindest immer höher gemessen, ist die gleiche kleine Anzahl an Eröffnungsteststellungen, die ich den Matches zugrunde lege, immer weniger aussagekräftig, je bessser und ähnlicher in der Leistung immer mehr engines damit zu recht zu kommen gerade durch diese selektive Art zu testen darauf hin weiter- oder zumindest fortentwickelt werden. Das ist die eigentliche und ursprüngliche Art des engine- Clonens und jedenfalls auch die, die den buchstäblichen Clones auf Programmcodeebene den Antrieb liefert.
Wie gesagt...