Das ist beim Prinzip der multiplen Lösungen nicht so zu befürchten, weil die ähnlich guten Züge ähnlich gute Punktezahlen bekommen. Dass Ed 2 Sets, eines mit LC0- Bewertungen und eines mit SF erstellt hat, finde ich persönlich nicht so gut, weil's ja nicht auf die numerischen Evals ankommt, sondern auf die Zugsortierung und die muss entweder richtig oder falsch sein. Er wolte offenbar nicht einfach gleich viele Punkte für verschiedene Kandidaten reinschreiben, bei denen man sich nicht auf einen best move festlegen will oder kann (in der neuen Suite werden keine bm- Kommentare in der .epd vergeben, nur Punkte),  was ich an seiner Stelle gemacht hätte. Es gibt ja auch immer wieder Züge, die früher oder später in den best move lines umstellen zueinander, die sind dann objektiv gleich gut und sollten also auch gleich gut bewertet werden.

Aber der STS als solcher ist eine gute Sammlung, was die Stellungen angeht, und die neue Evaluierung mit den jetzigen Engines ist zwar eine Heidenarbeit, aber die habe ich mir ja auch schon angetan vor ein Weile.

Was die Laufzeiten angeht, momentan ist (wenn ich das überhaupt richtig gesehen habe) 1"/Pos. eingestellt, das ist praktikabel, da ist ein Run in 25 Minuten durch, ich weiß von anderen Suiten von Schröder, dass er auch mit kürzeren TCs arbeitet, 300msec. z.B., Thread- Zahl ist default 1, man könnte also mehrere Engines gleichzeitig laufen lassen, (wenn's nicht gerade wieder LC0 ist) mach ich ja mit meinen 1024 Stellungen auch.

Das Problem ist für mich das MEA- Tool, das natürlich das andere Herz der Sache ist. Probier' mal, wenn's dich interessiert, ob du mit den batch- Dateien klar kommst, meine Editierungs- Versuche für die Engines auf meinem Rechner sind vorläufig gescheitert.

Die "nicht besten" sind dort das Problem, wo sie zu wenig eindeutig sind, das hatte ich schon beim Durchschauen nach echten single best move- Stellungen festgestellt, nicht umsonst sind da von 1500 nur ca. 590 bei mir übrig geblieben.
Und nun könnte man meinen, das ließe sich durch die Punktevergabe lösen, aber es bleibt dasselbe Willkür- Problem, wo man den best move nicht deutlich festmachen kann, wäre es höchstens logisch, allen ungefähr gleichwertigen Kandidatenzügen ungefähr gleiche Punktezahlen zu geben, aber so einen Versuch hatte ich auch schon gemacht, indem ich einfach im .cbh- Forman ein = den Zügen vorangestellt hätte, die gleichermaßen als Lösungen zu zählen wären (cb-Kommentarpalette "RR- äquivalent ist"), die wertet dann Fritz in einer Testsuite alle als Lösungen.
Aber das führt einfach dazu, dass die Stellungen um das noch leichter lösbar werden, was mehr Züge als "gefunden" gelten, und vergibt man statt dessen an alle solchen ähnlich guten Kandidaten die gleiche (maximale) Punktezahl, ist das Ergebnis das gleiche, die Suite wird auch einfach leichter in Summe relativ zur Hardware- Zeit.

Was ich bisher so durchgeblättert habe, ist man dem Problem als solchem wieder dadurch begegnet, dass man ziemlich willkürlich mit doch deutlichen Unterschieden in der Punktezahl- Vergabe bei Zügen vorgegangen ist, die schon in der Sortierung fraglich sind und daher deutlich mehr oder weniger Punkte für den einen oder anderen Kandidaten nicht wirklich rechtfertigen, halt nach dem, was ich mit kurzen Analysezeiten bei den ersten paar Beispielen gesehen habe.

Nun müsste man, wollte man wirklich genau den Maßstab haben, den man für schachlich den besten hielte, die Punkte jedes Kandidaten und jeder Stellung neu bewerten, das tu' ich mir in absehbarer Zeit nicht noch einmal an. Das Prinzip der Punkte wäre auf den ersten Blick ein Weg, mehr Diskrimination aus der einzelnen Stellung heraus zu bekommen, aber wie gesagt eben sehr davon abhängig, in welcher Zeit man da genau was von den Engines erwartet und in wie weit sich das wirklich mit dem vergleichen kann, was bei praktikalben TCs am Ende herauskommt.

Man kann die Suite für Einzelmessungen neben vielen anderen, die man auch nicht wirklich breiter vergleichen kann, für sich stehen lassen, insbesondere für Verlaufskontrollen ein und derselben Engine mit verschiedenen Netzen oder Settings oder Patches für schnelle Durchläufe mit sehr kurzen TCs (damit das Rechnen viel weniger Rolle spielt als die "statische Eval", so war die Strategische Test Suite ja auch von Anfang an von Swaminathan und Corbit gedacht). Aber für Vergleiche mit Ranglisten, die man auf andere Art erstellt, gibt sie meiner Meinung nach auch nicht mehr, eher noch weniger Transitivität her als selektivere Sammlungen, die mehr Querschnitt aus Eval und Suche bieten. Vielleicht nehme ich mir irgendwann noch einen Anlauf, die Punkte anders zu vergeben, aber sehr bald sicher nicht und in abhsebarer Zeit wird das dann erst recht nicht fertig. Eher gehe ich vielleicht daran, mit einer der kleineren Sammlungen so eine Punktebewertung multipler Lösungen zu probieren, für Eröffnungsstellungen wäre das wahrscheinlich am ehesten sinnvoll. Auch die Kombination von single best move- Stellungen und solchen mit mehreren abgestuft bewerteten Lösungen wäre mal einen Versuch wert vielleicht.

Just my two cents.