Nur paßt des Herren Nemeth: "... but only private from now on" nicht so ganz zur ursprünglichen Intension des GNU/GPL-Systems, auch wenn das "erlaubt" ist!

Voll einverstanden und von dir nochmals auf den Punkt gebracht.
Das gewählte Vorgehen ist beliebig und zufällig.
Es bildet keinesfalls die einzelnen schachlichen Aspekte, die in den Lehrbüchern strukturiert thematisiert werden, auch nur ansatzweise ab.

Es gibt für LC0 eine „Blunderbase“:

https://web237.server28.eu/lc0/blunderbase/1r1q4%7C2b2r2%7C1pPp1k2%7C4p1p1%7CPRP1Bp1p%7C5P1P%7C5B1K%7C6Q1_w_-_-_0_126.html

https://web237.server28.eu/lc0/blunderbase/

Dort gibt des Partien von LC0 mit einem eindeutigen Fehler.
Die Datenbank ist nach Stellungsarten aufgebaut.
Zeit: LC0 60 sec.; SF 30 sec.

Aber wie auch immer du die Auswahl triffst, wovon man sich verabschieden muss, wenn man Stellungstests machen will, die dem game playing im Ergebnis möglichst nahe kommen, sind die single best move- Stellungen, wie wir sie für die derartigen Suiten gewöhnt sind. Mit denen wollte und konnte man immer schon nur Leistungen der Engines testen, die vom game playing nicht gleichermaßen abgebildet werden, das ist auch nach wie vor eine sinnvolle Absicht, wenn ich nur game playing Ergebnisse gelten lassen will und solche, die diesen Ergebnissen nahe kommen oder entsprechen, wozu dann überhaupt Stellungstests zusätzlich?

Diesen klassischen single best move- Teststellungen ist eins gemeinsam, damit sie nicht von allen Engines sofort gelöst werden: Forcierte Abspiele mit erst in tieferen Verzweigungen zu findenden Pointen. Forcierte Abspiele sind ansonsten ja die leichteren, weil weniger breite Suchbäume notwendig sind, Schlagzüge, Schachgebote gehören dazu. Die als Teststellungen gern verwendeten sind automatisch Ausnahmsstellungen, das sind sie für Engines vor allem deshalb, weil Engines Verwicklungen vermeiden, die sie nicht mit ihren auf Beschneiden des Suchbaumes ausgerichteten Algorithmen selbst leicht durchrechnen können und nur dann bringen sie sie selbst aufs Brett. Je mehr auch solche single best move Stellungen von modernen Hardware- Software- Kombis immer schneller durchgerechnet werden, umso mehr muss man in die eigens zum Engine- (nebenbei auch Menschen-) Täuschen komponierten Studien ausweichen, umso praxisferner wird man in der Auswahl, wenn man nur begrenzte Zahl von Stellungen mit noch stärker begrenzten Lösungszahlen haben will.

Game playing- nahe Stellungen haben nicht nur eindeutige tiefe single best moves als Lösungen, sie haben mehrere ähnlich gute Abspiele oder die forcierten Züge liegen auf der Hand, beim Schlagen, im Schachgebot. Man muss fürs game playing- nahe Stellungstesten Stellungen nehmen, die sich nicht in kurzer Hardware- TC mit singulären Lösungen beurteilen lassen, sondern solche mit multiplen Abspielen.

Das heißt MEA- artige Tools, abgesehen von der interaktiven Analyse, bei der man natürlich überhaupt jede beliebige Stellung nehmen kann, bei MEA muss man sich nur auf solche beschränken, bei denen es überhaupt überschaubare Zahlen an Abspielen gibt und solche, die man mit gründlicher interaktiver Analyse in ihrer Wertigkeit in annähernd gleich gute,  bessere und schlechtere unterscheiden kann.

Deine Beobachtung ist nicht ganz unrichtig, sie stimmt aber auch nur bedingt, bei manchen Stellungen mehr, bei anderen weniger. Z.B. beim Eret war es auch schon ganz offensichtlich so, dass MultiPV den meisten Engines half. Prinzipiell sind die Stellungen, bei denen SF- artige Engines vom MultiPV- Modus profitieren an time to solution, solche wie oben geschildert als single best move positions im Stellungstestsinn, die mit den in den tieferen Verzweigungen verborgenen Pointen, die in der primary variant schneller gefunden werden als in den non primaries, weshalb es oft hilft, mehr Varianten zu primaries zu erheben.
Dass es umso praxisfernere Stellungen sein müssen, bei denen MultiPV automatisch mehr hilft, so weit würde ich nicht gehen, z.B. schlägt's oft wieder um bei den Matt- nahen Stellungen und den tbs- nahen, da bremst der MultiPV dann (bestimmte Engines mehr und andere weniger bei bestimmter Hardware- TC) als er hilft.
Vielmehr sind es einfach bestimmte Stellungen, bei denen bestimmte Anzahlen von primaries und bestimmter TC relativ zu single primary und relativ zu anderen Engines optimal abschneiden. Es gibt hier ebenso wenig direkt proportionale Verhältnisse wie zwischen anderen time to solution- Resultaten.

Das sind gerade einmal 19 Stellungen die ShashChess mehr gelöst hat als Stockfish mit MultiPV 4.
Sagen wir es wären 20 Stellungen.
Stockfish dürfte im Match gegen ShashChess gewinnen und auch die feinere Bewertung während der Partien haben, auch wenn der Unterschied wahrscheinlich nur um +-0.05 schwankt. Aber das summiert sich irgendwann.
Das 20 derart schwierige Stellungen auf dem Brett vorkommen, selbst in mehreren chaotischen Partien zwischen zwei starken Menschen, kann ich mir nicht so recht vorstellen.
Außerdem wird Stockfish bzw. beide noch weiter an Spielstärke (Elo) zulegen, was die Anzahl der 20 Stellungen noch weiter senken wird.
Irgendwie sinkt bei mir der Grund ShashChess zu verwenden immer mehr oder irre ich mich?

ShashChess 34.6 High Tal MultiPV=5

File name          : Top Chess Engines Testsuite 2024 v2.pgn
Total test items   : 115
Test for           : best moves
Total engines      : 1
Timer              : movetime: 60
Expand ply         : 1
Elapsed            : 1:43:16
Laps               : 1
Total tests        : 115
Total corrects     : 90 (78%)
Ave correct elapse : 00:51
Status             : completed

Correct/Total:
ShashChess 34.6: 90/115

Failed tests (hit *):
1. ShashChess 34.6:
2, 13, 21, 22, 30, 32, 35, 39, 42, 43, 51, 56, 57, 63, 66, 68, 75, 83, 93, 98, 100, 102, 103, 106, 108

Successful tests:
1. ShashChess 34.6:
0, 1, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 14, 15, 16, 17, 18, 19, 20, 23, 24, 25, 26, 27, 28, 29, 31, 33, 34, 36, 37, 38, 40, 41, 44, 45, 46, 47, 48, 49, 50, 52, 53, 54, 55, 58, 59, 60, 61, 62, 64, 65, 67, 69, 70, 71, 72, 73, 74, 76, 77, 78, 79, 80, 81, 82, 84, 85, 86, 87, 88, 89, 90, 91, 92, 94, 95, 96, 97, 99, 101, 104, 105, 107, 109, 110, 111, 112, 113, 114

1 Minute pro Stellung:
-Leptir Big-Ultra MultiPV 4 (68%) 79/115
-Leptir Ultra (69%) 80/115
-Leptir Big-Ultra Random Op. MultiPV 4 Plies 21 Score 10000 (72%) 83/115
-Leptir Big-Ultra (74%) 86/115
-Leptir Big-Ultra Random Op. MultiPV 4 Plies 21 (75%) 87/115
-Leptir Big-Ultra Random Op. MultiPV 4 (76%) 88/115
-ShashChess 34.6 High Tal MultiPV=5 (78%) 90/115
-ShashChess 34.6 High Tal MultiPV=4 (80%) 93/115