Lieber Peter, nur zur Info:
Ich bin jetzt dabei, deine neue Testsuite 256p.epd mit den 128 neuen Stellungen von Dan Corbit auf meinem Smartphone zu analysieren, und mir die Lösezeiten zu notieren (Timelimit 5 Minuten pro Stellung!)
Das dauert dann zwar sehr lange, aber ich hoffe, auf diese Weise ein paar sehr schwere Stellungen für meinen PC-ULTRA-3-TEST zu finden!
Gruß vom Schachfreund Torsten

Danke für deine ausführliche Antwort, auch wenn ich, wie gesagt, nicht alle Fachbegriffe verstehe.
Nur soviel:.
Ich habe SugaR AI ICCF 1.80 auf meinem Smartphone, leider sind spätere Versionen nicht mehr auf dem Google Play Store zu finden.
Auch Droidfish gibt's dort nicht mehr!!
Und SugaR findet das Matt in 9 tatsächlich in 0:02, also in 2 Sekunden.
Crystal 5 zeigt das Matt in 9 in 0:10, also in 10 Sekunden.
Wohlgemerkt auf einem Smartphone, das zwar sehr schnell, aber eben doch weit entfernt ist von der Rechenpower eines aktuellen Top-PC.
Also ich halte SugaR (wohlgemerkt die ICCF- VERSION) heute noch für eine tolle Analyse-Engine.

Das sehe ich nicht so!
ERSTENS: Meine Stellungstests haben nicht den Zweck, eine "objektive Spielstärke" zu messen.
Erstens ist dies kaum möglich, jede Rangliste im Internet bietet hier andere Rangfolgen!
Bei jedem Engine-Turnier landet eine andere Engine vorne. Elozahlen sind Schall und Rauch!
Wie bitte wollen wir beurteilen, welche Engine objektiv die stärkste ist?
Wie wollen wir Menschen einen Unterschied erkennen zwischen 3400 und 3450 ELO? (nur Mal als Beispiel!)
Wir starren auf die Elozahlen und glauben, dass uns das weiterhilft.
Meine Testreihen sollen keine wie auch immer geartete "objektive Spielstärke" ermitteln, sondern sie erfüllen einen anderen Zweck: Ich erkenne, welche Unterschiede zwischen den einzelnen Programmversionen bestehen!.
Wenn Crystal 3 z.B. 60 Stellungen von 100 lösen konnte, und Crystal 5 schafft 70, und Crystal 6 findet 75 Lösungen, dann sagt mir mein Test ziemlich eindeutig und mit ziemlicher Sicherheit, daß hier ein klarer Zuwachs an (taktischer) Spielstärke stattgefunden hat!
Und darum geht es mir.
ZU ERKENNEN, WIE DIE PROGRAMME IM LAUFE DER JAHRE IMMER STÄRKER WERDEN UND TAKTISCH BESSER WERDEN.
Und man erkennt die RELATIVE TAKTISCHE SPIELSTÄRKE der Programme untereinander!
Das genügt mir vollkommen.
Ich erkenne, daß Stockfish eben nicht taktisch alles überragend ist, auch wenn er " absolut" betrachtet die beste Schachengine ist.
ZWEITENS: Ich habe immer wieder betont, dass es mir vor allem darum geht, welche Engine für die TAKTISCHE ANALYSE am besten geeignet ist.
Ich benutze die Schachprogramme nicht für Engine-Engine Matches, sondern für die Analyse der Partien der großen Schachmeister, von Morphy angefangen bis Carlsen heute.
Das und die Beschäftigung mit der Schachgeschichte bereitet mir die größte Freude, und ich lerne dabei jede Menge über Schach!
Was lerne ich über Schach, wenn Engines 1000 Bulletpartien gegeneinander spielen und ich am Ende nur auf das Ergebnis schaue?
Was bringt mir das?
Gar nichts!
Ich analysiere mit den Engines, und finde jedesmal wieder neue, verblüffende Varianten, die ein paar Jahre zuvor noch nicht gefunden wurden.
Mein PC-Test bezweckt nicht mehr und nicht weniger, als herauszufinden, welche Engines FÜR DIE ANALYSE am besten geeignet sind.
Und diesen Zweck erfüllt er sehr zuverlässig!
Vielleicht konnte ich jetzt ein paar Dinge klarstellen.
Liebe Grüße vom Schachfreund Torsten!

Das gefällt mir, weil's ja impliziert, dass Spiele auch Stellungstests sind. Die Stellungen, die den Engines zum Ausspielen vorgegeben werden, sind Teststellungen, wie groß der Vorteil einer Seite sein darf und soll, damit's nicht mehr nur Remis werden, wird immer mehr eine Sache der Selektion dieser Stellungen, damit's dann, wenn der Vorteil für die Spielstärke der Teilnehmer zu groß wird, nicht lauter 1:1- Paare statt der Remis werden, was die Statistik noch mehr ad absurdum führt, weil's noch mehr Partien braucht zur Signifikanz als die gleich große Remiszahl bei gleicher Performance bräuchte.

Die Stellungen, die die Engines selbst beim Match aufs Brett bringen, meinst du vermutlich, sind die besten für den ausgespielten Stellungstest, mag sein, wenn man genau das wissen will, wie die Engines mit diesen Stellungen gegeneinander beim Ausspielen abschneiden, dass das aber alle Stellungen sind, die Menschen am Schach interessieren können, beweist eben gerade die Beschäftigung mit Stellungen, die nicht so in dieses Beuteschema der Engines passen und in denen sie schon beim nicht ausgespielten Stellungstest schwerer zurecht kommen.
Jetzt die Stellungen, die die Engines beim Match gegeneinander nicht selbst aufs Brett bringen, von der Spielstärkemessung auszublenden, das ist genau so Selektion (und damit Bias, wenn man's von der rein Zufalls- gesteuerten Randomisierung her sieht) wie sie umgekehrt absichtlich in den Fokus zu rücken.

Dass du sogar mal ein RubiChess- NNUE mit den Stellungen von Eduard Nemeths Suite trainiert hast, um dann zu sehen, dass es tatsächlich danach ein paar Stellungen mehr in der Zeit gelöst hat, das hat mir gut gefallen, aber vermutlich aus genau den entgegengesetzten Gründen wie dir. Gibt's einen schöneren Beweis als den, dass sogar das Training neuronaler Netze die Engine dazu bringen kann, mit einer selektierten Sammlung von Stellungen besser abzuschneiden, dass diese Stellungen also soo weit von dem, was Engines spielen und was jedenfalls auch etwas mit Schach zu tun hat, nicht alle soo weit weg sein werden?

Eduards Suite (soweit ich sie aktuell kenne) ist nicht meine Lieblingssuite, es ist eine der Vielen, die mit derartigen taktischen single best move Stellungen bestückt sind, diese Suiten und diese Stellungen geistern seit Jahrzehnten durchs Netz und immer wieder wundert man sich, wie immer wieder spätere, neuere, im Eng-Eng-Match erfolgreichere Versionen von Engines plötzlich viel besser aber auch immer wieder mal von Version zu Version schlechter damit umgehen.
Und nein, weil das mit einer bestimmten Stellung und einer bestimmten Engine so ist, heißt just absolut gar nix außer, dass sie mit der einen Stellung genau so und so viel kürzer oder länger brauchen an time to solution, time to best line, time to best eval, um ihren output dazu zu liefern, das hat aber Leute wie Torsten und mich (und da gibt's schon noch ein paar Andere, die ich jetzt nicht alle zu Hilfstruppen heranziehen will und kann, dazu gibt's zuviele namhafte Namen) noch nie davon abgehalten, dass sie diese Stellungen halt auch immer wieder interessiert haben, dieses Interesse kriegst du nicht aus den Köpfen der Schachspieler, auch wenn du ihnen noch so lang erzählt, dass das Menschen nicht zu interessieren braucht, wenn's die Engines von sich aus nicht so super finden.

Wer sagt, dass du nur taktisch knifflige single best move- Stellungen zum Testen nehmen sollst, kannst, darfst, aber wer sagt, dass die anderen Teststellungen, die Eröffnungen, die die Engine nicht von selbst spielen würde, und die Mittel- und Endspielstellungen, die sie nicht selbst im Match aufs Brett bringt, weil sie nicht ihn ihr Win or Safe Draw- Konzept passen und in ihr HCE oder NN- basiertes Eval- Konzept, dass die alle nicht auch des Testens wert wären?

Das sagen Diejenigen, die das Testen nicht noch komplizierter machen wollen und nicht noch Hardware- Zeit- aufwändiger, weil sonst müssten sie, gerade wenn sie nur das Ausspielenlassen gelten lassen, auch x-beliebige handverlesene Mittel- und Endspielstellungen zum Eng-Eng-Match verwenden und schwupps hätten wir zu den beliebig vielen verschiedenen Elo- und Celo- Arten noch beliebig viele mehr.
Haben wir auch, wenn wir verschiedene einzelne Stellungen nehmen, die etwas aus der Eng-Eng-Spielpraxis ausreiten, und sie den Engines vorsetzen, natürlich auch zeitweise in der bösen Absicht, genau solche Stellungen zu wählen, mit denen die Engines ihre Schwierigkeiten haben, vielleicht sogar eigens solche Stellungen, die Menschen dazu komponiert haben, nicht nur um Engines, aber auch um menschliche Spieler damit zu überfordern.
Hätte man nie gezielt nach Schwächen bei den Engines gesucht, hätten sie viele von denen, die sie (so) jetzt nicht mehr haben, immer noch (mehr), sag' ich mals so, früher waren die Programmierer eigentlich immer ganz froh, wenn sie auf blinde Flecken in der Suche aufmerksam gemacht wurden.

Ich bin beileibe auch nicht (wie auch Torsten nicht, der das auch geade geschrieben hat) dahingehend unterwegs, das Eng-Eng-Match zur Spielstärkemessung konkurrenzieren zu wollen durch Stellungstests, die vielen Stellungen und die vielen Suiten, die ich gerne verwende, sollen alle zusätzliche Infos liefern zum game playing (und vor allem zu einem, wie es heutzutage, um überhaupt noch auf signifikante Ergebnisse zu kommen, gemacht werden muss, mit Unmengen von Partien, mit reduzierter bis stark reduzierter Hardware- TC und mit unausgeglichenen Eröffnungsstellungen) und je mehr verschiedene Stellungen und je mehr verschiedene Suiten dazu, umso besser für mich.
Mein Interesse gilt in den letzten Monaten und Jahren immer mehr auch den Stellungen, die ihren best move oder ihre best moves nicht forciert beweisbar haben, gerade auch in Suiten, (im Spiel, z.B. im Fernschach sowieso) weil man von diesen Stellungen ja viel schneller viel mehr verwendbare hat, die MEA- Ansätze von Schröder und Mosca haben wieder einen Schritt weitergebracht damit, wobei das Prinzip der multiplen Lösungsvorgaben mit Ranking und Rating der einzelnen Lösungen pro Stellung ja auch schon bei Swaminathan und Corbit recht erfolgreich war, also neu ist das auch nicht gerade.
Ich selbst habe aus 1001 UHO- Stellungen eine MEA- Suite gebastelt, ich kombiniere gern "leichte" taktische mit unforcierten Eröffnungs- Mittel- und Endspielstellungen, meine größte derartige Suite enthält 2345 Stellungen in MEA- Syntax, (Schröder hat mit Temere, dem Nachfolger von MEA ganze Datenbanken auf diese Art zuerst eine oder zwei Engines evaluieren und die multiplen Abspiele sortieren lassen und verwendet solche über 40.000 Stellungen große Suiten, wenn's noch in absehbarer Hardware- Zeit mit Millisekunden- TC laufen soll)  ich würde mir das alles nicht antun, wenn ich nichts anderes wollte, als Ergebnisse zu bekommen, die dem STC und dem VSTC- game playing einfach gleich wären, wozu? Das Eng-Eng-Match erspart man sich ja doch nicht, mir persönlich hilft's schon viele Eng-Eng-Matches einzusparen, die ich für ähnlich singuläre (intransitive, nicht auf andere übertragbare) Ergebnisse sonst noch viel mehr spielen lassen müsste, aber gut, ich habe auch die öffentlichen großen Ranglisten, was viel eigene Arbeit erspart, schon von dort zu wissen, welche Engine man gegen welche andere nicht direkt ausspielen lassen muss, um sie dennoch irgendwie einzuordnen. Es sind ja auch selbst unter den ganz Starken schon so viele, die immer schwerer von einander zu unterscheiden sind, wenn's nicht nur auf ein einzelnes Head to Head Match mit einer einzelnen Hardware- TC und einem einzelnen Eröffnungsset ankommt.

Wie auch immer, ich lese Argumente gegen "Stellungstests" seit ich in Computerschachforen mitlese und nicht viel kürzer schreibe ich dann auch immer wieder mal meine Sicht dazu, tut mir leid für dich, dass es diesmal dich getroffen hat (falls du es dir tatsächlich antust, das alles von mir zu lesen, obwohl ich's schon oft genug so ähnlich geschrieben habe) aber irgendwie kam ich wieder mal nicht drum rum

Genau das ist auch der Grund, warum ich regelmäßig meinen PC-Test überarbeite . Regelmäßig geh ich die Stellungen durch und sortiere diejenigen aus, die sich als zu leicht herausstellen. Zumindest wenn mehrere Engines die Lösung sehr schnell finden!
Solange nur ein oder zwei Engines die Lösung sehr schnell finden (z.b .Crystal und SugaR AI ICCF), und die meisten anderen im Dunkeln tappen, bleibt sie weiter drin.
Gerade Stockfish hat oft noch große Probleme mit "Festungen" bzw "Zugzwang".