Das ist doch reine Theorie und bringt für eine Engine keine Leistungssteigerung.

Für jede Stellung eine andere Einstellung der Parameter ist doch Quatsch und besagt für die
Qualität einer Engine nichts.

Eine Engine muss mit einer Einstellung die Lösungen finden und nicht mit Unterschiedlichen.

Stellungen die so nie in der Praxis vorkommen haben keinen Wert und haben mit gutem Schach
nichts zu tun und sind nur wertloses Theoriegehabe das für Schach und die  Menschen nichts bringt.

Also wenn man die Einstellungen der Engine immer wieder ändern soll, schwindet mein Interesse hier gegen null.
Die Engine ist in meinen Augen gut, wenn sie eine hohe Lösungsquote erbringt beim Testen auf einen Rutsch.
"Matt in 31" oder ähnliches muss natürlich nicht sein, aber aber ein deutlicher Unterschied des ersten Zugs (= Lösungszugs) gegenüber den anderen.

Was mich immer wieder erstaunt ist, dass man jeden Furz, den ein Schachprogramm gegen ein anderes ebensolches ausspielt (und es gibt mittlerweile halt schon ziemlich viele ziemlich ähnlich starke, von denen die allermeisten einfach den Spielstärke- Bereich von Menschen bei Weitem übersteigen, sodass ein direkter Vergleich praktisch keinen Sinn mehr macht ohne entsprechende Zeit- und oder Figurenvorgaben) unbedingt in Centi- Elo (richtiger Centi- Celo) messen muss, damit der "Spielstärke"- Vergleich irgendeine Bedeutung gewinnt, sich bei halbwegs Realitäts- naher Einschätzung von dem, was Menschen gegeneinander spielen und dem von Engines im Klaren ist, dass die Elo von Engines sowieso schon lang absolut nichts mehr mit denen von Engines zu tun haben, man aber bei Stellungstests sofort die Nerven wegschmeißt, wenn jemand die auch in Elo umrechnet, selbst wenn man dazu nichts anderes macht, als die Punkte, die das eine Programm gegen das andere an wins, draws, losses pro Stellung einfährt, genau so wie die Punkte im game playing zählt. Programme wie EloStatTS machen das, manuell geht's auch leicht, man muss nur die Lösungstabellen so neben- oder übereinander legen, dass man pro Stellung sieht, welche von welcher Engine (im einen Run) besser behandelt wird, was gelöst oder nicht gelöst allein angeht und vielleicht noch in Hinblick auf die genauen Lösungszeiten. In bestimmten Bereichen (und sei's nur die Gesamt- TC, um die kommt ja als Zeitmessung sowieso nicht herum) schneller als win, in diesen Grenzen gleich schnell oder gleichermaßen gar nicht als Remis, Gegenstück von win beim selben Enginepaar als loss. Diese Zahlen dann in z.B. ELOStat (vom selben Autor wie EloStatTS Frank Schubert) eingeben und fertig.
Dass das auch wieder Celo für sich sind, bedarf keiner weiteren Erklärung, dass man es nicht machen muss, ist auch hinlänglich bekannt, was es wen stört, der die das keine heilige Kuh aus Elo macht, und sich allein deshalb persönlich beleidigt fühlt, weil man Elo nicht entweihen darf,  frag' ich mich jedes Mal wieder, ja, man kann sagen, es erstaunt mich auch immer wieder

Warum ich es schätze (das Programm EloStatTS und die WDL- Umrechnung head to head Eng-Eng und Stellung für Stellung), liegt einfach daran, dass das dann auch gleich aufgrund dieser WDL- Messung die dem game playing äquivalenten error bars für die Performance- Unterschiede ausrechnet und das eben nicht anhand irgendwelcher Summen- Unterschiede der ganzen Suiten, sondern anhand jeder einzelnen Stellung im direkten Vergleich Engine zu Engine, Run zu Run und im Listenvergleich mit jedem neuen Run wieder Stellung für Stellung und Engine für Engine gespeicherten alten Run.
Was man beim ausschließlichen Betrachten der Lösungszahlen einzelner Runs allein immer wieder übersieht: es sind einerseits auch nicht immer wieder dieselben Stellungen, die nicht gelöst werden, (das aber noch eher, wenn's für die Hardware- TC und den Engine- Pool einfach zu "schwere" oder sonst irgendwie ungeeignete Stellungen sind) aber welche von welcher Engine schon (und in welcher Zeit) und von welcher nicht, das schwankt noch zusätzlich um das alles, was Kurt da jetzt mal wieder festgestellt hat, es haben nicht einfach nur die Suiten ihre statistische Schwankungen, ja, schon auch, aber die sind viel weniger relevant als die die der einzelnen Stellungen und einzelnen Engines (oder Runs) im direkten Vergleich.

Übrigens macht MEA das (die Umrechnung in Elo), auch so ähnlich ,wenngleich auch ohne Ansicht der genauen Lösungszeiten und ohne jeden neuen Run jeder Engine  mit jedem alten zu vergleichen, dafür aber anhand von mehr Stellungen mit mehreren zu bewertenden Lösungen pro Stellung und verschieden hohen Punkten pro Stellung und Lösung, und weder Leute wie Frank Schubert, der wie gesagt auch ELOStat programmiert hat und das Gemeinsame und die Unterschiede der EloStatTS- Elo und der Elostat- Elo wird kennen und beurteilen können, noch Leute wie Ferdinand Mosca und Ed Schröder (beide an MEA beteiligt) sind im Computerschach ganz unbekannt und irrelevant, finde ich halt.

Man muss das alles nicht so machen, man muss es nicht wichtig und nicht interessant finden, was man schachlich- sachlich dagegen Vernünftiges einzuwenden hätte, ist eine andere Frage. Und die statistische Relevanz der Ergebnisse, die man bekommt, wenn man denn überhaupt welche zu bekommen versucht, wird man irgendwie beachten müssen, sonst soll man das mit den Stellungstests, wenn überhaupt, Stellung für Stellung machen. Dann kann man auf solche Spitzfindigkeiten wie Elo erst recht gut verzichten (man könnte trotzdem und erst recht Elo anhand von WDL- Kriterien für die einzelne Stellung berechnen, bei Menschen kann man ja auch mit jeder einzelnen neuen Partie gegen jeden einzelnen beliebigen Gegner, der eine Wertung hat, neue Elo angeben), dafür kann man single thread testen oder mit beliebig vielen runs multi thread, außer der time to solution noch time to depth, time to eval, time to best line, Output von mehr als dem ersten Halbzug allein beurteilen, Forward- Backward relativ zum Start mit leerem Hash vergleichen, der Phantasie sind keine Grenzen gesetzt. Wenn man mehr als die einzelne Stellung allein in Suiten laufen lassen will, sollte man sich über die statistische Relevanz dessen, was heraus kommt, halt auch ein bisschen Gedanken machen, sonst hat man nicht nur das Problem, sich von Kritikern sagen lassen zu müssen, die Stellungen, die man interessant findet, seien zu praxisfremd (soll heutzutage meistens heißen zu weit weg von dem, was Engines gegeneinander selbst aufs Brett bringen, selbst wenn die Eröffnungsstellungen, von denen ausgespielt wird, auch überhaupt nicht von Engines selbst gespielt würden aus der Grundstellung), zu uninteressant, zu was auch immer, sondern man muss sich auch noch zu Recht sagen lassen, dass sie (die Summen- Ergebnisse von Suiten) keinerlei Reproduzierbarkeit an und für sich haben und mehr Zufall sind als sonst was.
Just my two cents