Warum mich das so interessiert, dürfte Leuten, die meine krausen Vorstellungen von engine- Test schon etwas kennen, klar sein.
Meine eigenen Ansätze gehen in der letzten Zeit so: um die ewig unnötige Diskussion um Ei und Henne bei Teststellungen und Eröffnungsstellungen zu vermeiden und um sich einen Teil der längst völlig sinnlos gewordenen Endlossschleifen der Kurzpartien zum Weiterentwickeln von engines, die allesamt seit Jahrzehnten nur mehr in Hinblick auf die Ergebnisse in Kurzpartien mit den immer gleichen Eröffnungsstellungen entwickelt wurden (der einzig wahre Grund der Derivativ- Sackgasse, die Ippos mussten schon deshalb erfunden werden, damit die Inzucht in den Ranglisten so richtig durchschlägt: je mehr je ähnlicher spielende, desto größer deren Erfolg in Listen, in denen sie gegeneinander und gegen mehr oder weniger ähnliche andere spielen), gehe ich so vor:
Ich lasse die engine, die ich teste, eine bestimmte beliebige Eröffnungsstellung, von der zumindest eine gute Fortsetzung in der Literatur hinlänglich statistisch gesichert ist,  gegen sich selbst oder eine zweite eine bestimmte Variantenlänge ausspielen in der Länge der Literaturvariante, die ich je nach ihrem Erfolg in der Turnierpraxis wähle.
Dann vergleiche ich den Analyse- output der engine(s) vor und nach der Variante, die sie selbst spielen (spielt) mit dem nach der Literatur- Variante, und mache das nocheinmal nach dem Zurückgehen auf sowohl der einen, wie der anderen Variante in einer bestimmten Zeit.
So habe ich eine statisch- dynamische eval und ein Ausspielverhalten über ein Partiefragment, von dem es völlig irrelevant ist, was es, bis zum bitteren Ende ausgespielt, für ein Punkteergebnis erbracht hätte, Elo sind in diesem Zusammenhang das Letzte, was ich brauche, könnte man natürlich auch wieder daraus basteln, ist aber in meinem Sinn nur kontraproduktiv, weil es die heilige Kuh der Ranglistenfans angreift, hab ich ausdrücklich nicht vor, Ingo, falls du noch mitliest.

Was aber welche engine mit welchen Eröffnungsstellungen kann (es können natürlich auch taktische best move Aufgaben oder positionelle oder Endspiele sein)  auch in Hinblick auf ihre Hashbehandlung und ihre Fähigkeiten, mit dem Hash in der backward analysis umzugehen,  sehe ich so sehr schnell und kann es sehr gut vergleichen.
Es kommt nämlich überhaupt nicht mehr auf die Teststellung an, die kann so blödsinnig gewählt sein, wie da wolle, wenn ich eine (ich betone eine, sie muss absolut nicht indiskutabel die einzig gute sein) schachlich überprüfbar gute Vergleichsvariante habe, die einfach nur nicht gegen die Varianten, die die engines selbst ausspielen, abstinken sollte.
Und selbst, wenn meine Testvariante auch Blödsinn ist, dann müssen gute engines das eben in ihrem output und ihrer eval am Anfang und am Ende und wieder am Anfang der Vergleichsvariante(n) möglichst klar zeigen, je besser (mag sein in die eine oder in die andere Richtung oder mag auch sein durch möglichst geringe Beeinflussung der Zahlenwerte), desto besser schneiden sie im Vergleich miteinander ab.
Klingt vielleicht alles wieder etwas kompliziert, ist es aber praktisch überhaupt nicht und zeige ich gern an einigen wenigen Beispielen, wenn wider Erwarten Interesse besteht, bin, wie ich gerade sehe, nur schon wieder etwas langatmig geworden, sorry.


P.S. nur noch zur prinzipiellen Sinnhaftigkeit von engine- Tests in Zeiten wie diesen:
Natürlich wird die Aussagekraft von der Variante, die ich als Vergleich heranziehe, abhängen und nur für die Frage, die ich an die Stellung habe, gelten. Dieses Prinzip hab ich aber bei Stellungstests ebenso wie beim beliebig langen Ausspielenlassen von Eröffnungsstellungen sowieso immer, darum kommt kein Test und keine Rangliste herum.
Wenn Ingo gerade wieder meint, die Menschen kämen mit dem , was die engines spielen, sowieso nicht mehr mit, dann würde ich sie einfach nur mehr gegen sich selbst spielen lassen, sie sich selbst ihre Elo ausrechnen und sich dann auch gleich selbstätig klonen lassen, je nach ihren Ergebnissen, irgendwann gibt's dann sicher auch eigene Maschinen, die sich das alles noch kaufen.

Um mich hier nicht mit fremden Ideen, die ich nur adaptiert (nicht kopiert, cave Plagiat!) habe, das ist eine Analogie zu Kishons (auch ein großer Schachschriftsteller übrigens) Maschine, die Kartoffeln anbaut, erntet, kocht, schält und aufisst.