Also das kann ich nicht glauben, dass Rems mit UHO Eröffnungen schlechter ist, als Stockfish, welcher Rems denn. Ich finde der
Rems M 091024 ist der Beste.

Rems M 091024 spielt auch im praktischen Spiel ganz hervorragend und nicht schlechter als Stockfish. Habe damit im Internet
auf Schach.de um die 1000 Partien gespielt und keine verloren und etliche gewonnen.

Es wäre schön wenn Stefan Pohl den Rems M 091024 mit UHO Eröffnungen testen könnte; er ist damit der absolute Experte-

In der Analyse ist nach meiner Meinung  der M 091024 die Nr.1 im Computerschach. Das wird hier durch etliche Stellungstests
sowie eigene Stellungstest belegt, was ich hier bereits geschrieben und deren Ergebnisse mitgeteilt habe.

Fritz wird viel verwendet, hat den einen zusätzlichen großen Vorteil, dass die .cbh- Dateien, die dabei rauskommen (allerdings auch erst wieder nach Umwandlung in .pgn) die einzigen sind, die die Ergebnisse so speichern, dass sie EloStatTS (Frank Schubert) zusätzlich weiter auswerten kann in WDL- Ergebnisse, die die einzelnen Stellungen zwischen je 2 Engines, die gelaufen sind, als lauter kleine Minimatches interpretiert, in deren ganze und halbe Punkte außer den Lösungen auch deren Zeiten eingehen. Dass das dann in Elo umgerechnet wird, ist eine Spielerei und macht immer wieder  zusätzlich böses Blut bei denen, die Elo nur in einer einzigen ganz bestimmten Art verwendet haben wollen, aber die tun sich heutzutage ohnehin immer schwerer mit ihrer heiligen Kuh Ich hingegen schätze an diesem zusätzlichen Tool sehr, dass es mehr als nur die Lösungszahlen pro Engine allein bewertet, dass die Lösungszeiten auch eingehen und dass vor allem jeder neue Run mit allen schon gespeicherten neu verglichen und berechnet werden.
Prinzipiell bieten fast alle größeren GUIs, die nicht ausdrücklich fast nur zum game playing gedacht sind (wie z.B. Cutechess) ähnliche Features, mit ähnlichen Einstellmöglichkeiten, die einen verwenden .pgn (statt .cbh wie Fritz) die anderen .epd als Format der Stellungen, Arena kann beides, an z.B. Shredder schätze ich sehr die Art der Darstellung der Resultate in einer Tabelle pro run, der auch die Lösungszeiten pro Stellung in Sekunden anschreibt.

Tatsächlich hab' ich mir selbst auch schon viele Gedanken gemacht, wie man die Evals mit einbeziehen könnte, habe sogar Frank Sanders und Ferdinand Mosca schon vor längerer Zeit alle möglichen Vorstellungen für derartige Tools geschildert, Frank ist aber derzeit (auch schon wieder eine Weile her die diesbezüglich letzte Rückmeldung von ihm) etwas enthaltsam, was das Computerschach angeht, und Ferdy hat die PM, die ich ihm vor einem halben Jahr auf Talkchess dazu geschrieben hat, noch nicht einmal gelesen, die ist noch immer in der Outbox, er loggt sich dort offenbar derzeit nur sehr selten bis gar nicht ein.

Ich lasse Stellungen nur dann ausspielen, wenn ich mir des Ergebnisses nicht sicher bin, bei single best move game changers sollte das Ergebnis dasselbe sein wie gesagt, abgesehen von den zusätzlichen Fehlerquellen, die mich halt weniger interessieren, als die Berechenbarkeiten.
Stellungstests messen prinzipiell das, was du an Output in der infinite analysis zu einer bestimmten Zeit siehst, die automatische Adjudizierung eines einzelnen best moves als gefunden oder nicht, mit oder ohne Beibehalten über eine auch zusätzlich definierbare Zahl von  (ab dem nach oben Kommen) abzuwartenden weiteren Iterationen hinweg, das ist ein einfachster Weg, möglichst viele Stellungen in möglichst (für die Statistik der Ergebnisse otimierter) kurzer Zeit auszuwerten.


Thomas, das sind aber nach deiner Defintion davon schon wieder mehr so "halb-rhetorische" Fragen, ja?

Ein besseres Abschneiden in HTC114 heißt, dass die Problemstellungen des HTC114 gut/besser gelöst werden, relativ zu den anderen Engines, mit denen du die Ergebnisse vergleichst und relativ zur Hardware- TC, genau das und absolut nicht mehr oder weniger.
Jede Engine (und jeder Mensch) schneidet in bestimmten Stellungen besser ab, diese sind ausschließlich als einzelne Stellungen definiert, du kannst programm- technisch (nullmove, fortress detection, king safety...) Kategorien anlegen ebenso wie ebensolche von Stellungsmerkmalen schachlicher Art (Eröffnung, Mittelspiel, Endspiel, Figurenkonstellationen, forcierte Abspiele oder fehlende solche, bestimmte Vorteile einer bestimmten Art und Größe einer Seite...) aber mehr, als dir daraus ein paar Themen- Suiten zu basteln, hast du nicht von derlei Kriterien. Die Ergebnisse der einzelnen Stellungen ebenso wie die der einzelnen Suite sind und bleiben für sich allein und sind, wenn überhaupt, hauptsächlich dadurch vergleichbar untereinander, dass du für bestimmte engine- pools bestimmte durchschnittlich Hardware- Zeiten brauchst, um sie mehr oder weniger gut zu behandeln.
Das alles gilt aber natürlich absolut nicht nur für Teststellungen für nicht ausgespielte Stellungstests, das gilt alles ganz genau so für Eröffnungs- und andere Stellungen, von denen aus du eng-eng-matches ausspielen lassen willst. Dass du dich für irgendwie untereinander vergleichbare Ranglisten auf bestimmte Eröffnungstestsets einigst mit anderen Testern (mit gewissen Unterschieden aber im Wesentlichen doch einheitlich, was die Länge der Vorgaben angeht und dass es eben keine sicher gewonnenen und praktisch schon tot remisliche Stellungen sein sollen, ist zu jeder Zeit nur quantitativ unterschiedlich aber sonst immer einheitlich gewesen), dass du dich also auf derartige Testumgebungen festlegst, auch was die jeweils gerade zeitgemäße Hardware- TC angeht und den pool an mitspielenden Engines, das ist schlich und einfach reine Willkür. Je genauer du dich auf die Testbedingungen festlegst, desto besser übertragbar und untereinander vergleichbar sind die Ergebnisse, da fragt dann halt einfach Keiner, was sagt das jetzt genau über die Spielstärke der Engine unter ganz anderen Bedingungen aus, man ignoriert die Frage, um wenigstens in einer mehr oder weniger genau definierten Testumgebung Vergleiche anstellen zu können.
Dass die (Engines), je stärker die Hardware und sie selbst werden und je mehr es werden, die auf der starken Hardware ähnlich stark sind, desto ähnlicher werden sie einander durch den immer größer und einheitlicher werdenden Selektionsdruck der Testumgebung natürlich auch in ihren Algorithmen (mit zusätzlich großteils offen liegenden Code- Sourcen) und neuerdings in ihren neuronalen Netzen. Dadurch wird die Remishäufigkeit selbst bei VSTC wieder ihrerseits größer (an Einzelremis und oder an 1-1- Remis- Partiepaaren), nicht nur dadurch, dass es immer mehr und immer mehr ähnlich starke Engines werden, sondern auch dadurch, dass sie einander immer ähnlicher grundlegend werden in dem, was sie aus den Übereinkunfts- Testumgebungen ausspielen, es handelt sich um das Prinzip einer Selffulfilling Prophecy.

Der grundlegende Irrtum besteht darin, dass es die Elosion der "overall playing strength" überhaupt  als mehr ale eine reine Illusion gibt, Spielstärke ist nicht eine, sie ist nicht stellungsunabhängig und schon gar nicht ist sie stellungsunabhängig testbar. Dass sich der Remistod nur im game playing und nicht auch im nicht ausgespielten Stellungstest zeigte und mehr und mehr auswirkte, ist natürlich auch ein frommer Wunsch, man braucht ebenso wie mehr und mehr Partien zum Unterscheiden der Engines im game playing auch mehr und mehr Teststellungen für nicht ausgespielte Stellungstests, um mehr als statistisch irrelelvante und intransitive Einzelergebnisse zu bekommen, aber die größtmögliche Diskrimination zwischen 2 Engines oder deren Versionen bekommst du allemal nach wie vor und jetzt erst recht mit einzelnen Stellungen, wenn du aus dem Output, den die Engines dazu bieten, am meisten Kriterien und Messwerte beziehst. Wie gesagt, time to solution(s, können ja natürlich durchaus mehr als einzelne sein, natürlich kann man auch mit Eröffnungsstellungen Stellungstests machen, ohne sie immer wieder schon im Vorfeld noch und noch ausspielen zu lassen, wie werden denn bitte die Eröffnungsstellungen selektiert auf ihre Tauglichkeit als ausgeglichene oder mehr oder weniger UHO- artige, wenn nicht anhand von Output- Evals? Und was bitte ist das Anderes als ein nicht ausgespielter Stellungstest, der den game playing- matches immer mehr und immer genauer und immer selektiver vorausgehen muss?) time to best eval, time to best main line, usw. usf., wenn du kein Problem damit hast, dass die Performances, die du messen kannst, nur für die eine Stellung allein gelten, hast du auch kein Remistod- Problem mehr und keines, dass du nicht genug Diskrimination zusammen bringst, die error bar deiner einen Stellung, was die Streuung der verschiedenen Zeitverläufe angeht, ist nichts im Vergleich zu anderen Messwerten und deren statistischer Schwankung, wenn sie nur aus ganzen und halben Punkten bestehen, die Ergebnisse.
Was sagen die einzelnen Stellungen und die einzelnen Suiten und die einzelnen Matches, vor allem im Vergleich zu anderen Stellungen, anderen Suiten und anderen Matches?
Ja, sorry, Thomas das hängt voll und ganz vom Auge des Betrachters ab. Wenn dich nur eine bestimmte Art der Rangliste unter bestimmten genau definierten Bedingungen des game playings interessiert, dann musst du dir keine Gedanken darüber machen, was diese Rangliste an Wert und Aussagekraft relativ zu anderen Messungen hat, Probleme mit der Vergleichbarkeit und der relativen Wichtigkeit hast du nur, wenn du dich nicht auf eine einzelne Messtechnik und Verfahrensweise festlegst. Probleme mit der ausschließlichen Relevanz deines einen für dich wichtigen Tests bekommst du dann erst wieder, wenn du mit deinem einen Test keinen Fortschritt über die explodierende Anzahl an Engines hinweg mehr nachweisen kannst, ohne ein Vielfaches der Entwicklungszeit in die Testzeit investieren zu müssen und damit genug Datenmaterial zu bekommen, und wenn durch andere Tests berechtigte Zweifel aufkommen, dass der Fortschritt, den du mit deinem einen Test noch messen kannst, noch irgendetwas mit dem Spiel Schach zu tun hat, wie es Menschen für Menschen erdacht habe. Und halt auch, wenn dich andere Schachstellungen als die, die die einander immer ähnlicher werdenden Engines selbst gegeneinander aufs Brett bringen, wenn dich andere als diese eng-eng-match-Stellungen aus menschlich- schachlicher Sicht auch noch interessieren, weil die findest du halt dort immer seltener, je besser die win or save draw Algorithmen aufeinander abgestimmt werden, und je mehr sie die eng-en-eng-matches als Datengrundlage fürs weitere Trainieren ihrer Netze verwenden.

Wovor wir einfach schon länger stehen, ist die Sinnfrage weiterer Engine- Entwicklung an und für sich, in Relation zum Hardware- Zeit- Strom- und Manpower- Aufwand, den sie kostet. Dass der Sinn die mathematisch harte Lösung des Spiels im Sinn des 32Steiners ist, das ist mir zu wenig greifbar und ich sehe es auf die Art, wie's betrieben wird, auch einfach nicht näher kommen, so ein Ziel. Und mit der sehr schwachen Lösung, dass das Spielen auch aus weißer Sicht gegen die erklärte Remisabsicht von Schwarz mit zeitgemäßen Hardware- Rechenzeiten als Unterstützung nicht mehr anders als Remis endet, wenn sich Schwarz von Anfang an seine Züge aussuchen darf und nicht irgendwelchen willkürlichen Vorgaben folgen muss, das ist ja schon länger erreicht, ob diese sehr weiche Lösung, vom einen bestimmten Mathematiker beurteilt noch etwas weniger weich wird und unter welchen Aufwendungen und Kriterien, das dann zu beurteilen, das interessiert mich als (Computer-)Schachspieler eigentlich auch nur mehr sehr am Rande. Da spielt es mir immer noch allemal mehr Rolle und sagt mir mehr als Fortschrittskontrolle neben dem selektiven game playing (das unselektive von der Grundstellung aus hat sich erledigt), wie eine bestimmte Engine eine bestimmte Stellung beurteilt mit welchem Zeitaufwand und welchem Output, ist halt so, und eigentlich bin ich ganz froh, dass es so ist, wenngleich's halt vermutlich einfach daran liegen wird, dass ich so viele dieser positions of (my personal) interest schon lange kenne und mir aus den Neuen die aussuchen kann, die mit den altbekannten irgendwas zu tun haben. Das sind für mich die wesentlichen Selektionskriterien, nach denen ich mir Stellungen für ausgespielte und für nicht ausgespielte Stellungstests aussuche. Und wenn Schach noch etwas bietet außer einer einzelnen gemeinsamen Grundstellung (wenn's nicht FRC ist), dann halt die Vielfalt an Stellungen, die davon wegführen, die Frage, welche davon wie relevant für wessen Vorstellung vom Spiel sind, stellt sich mir höchstens dann, wenn ich mich mit anderen Schachspielern oder Computerschachspielern oder Problemschach- Spielern darüber austauschen will. Und mit der Messung von bestimmten Arten von "Spielstärken" (oder - Schwächen) verhält es sich bei mir eben ähnlich, ich finde das alles nur gerade genau so wichtig im Moment und über die Zeit und im Verhältnis zueinander, wie's gerade von wem gefragt ist.
Gute Nacht.

Na darauf ist die Antwort natürlich klar ja, aber weil das so evident ist, dachte ich eben, du meinst die Frage rhetorisch.
Am aussagefähigsten  ist ein Stellungstest, der die ersten Züge und die die Eval einbezieht, aber auch die nicht ohne Ansicht der dem ersten Zug folgenden solchen im Output oder im Ausspielen. Was hast du von einer richtigen Eval aus falschen Folgezügen heraus? Von einer richtigen Eval mit falschen ersten Züge ja auch nicht wirklich, so what?
Oder was hast du von einem richtigen ersten Zug und einer richtigen Eval aber einer danach zu (Stellungs-) Unrecht verlorenen oder gewonnen Partie, die der korrekten Stellungsbehandlung nach hätte Remis ausgehen müssen, weil die Engine im weiteren Verlauf der Partie patzt?

Und bei einer bestimmten Art von automatisch mit entsprechenden eigenen GUI- Features beurteilten Suiten zum Stellungstesten verzichtest du der Einfachheit halber auf die Einbeziehung der Eval und der Folgezüge, damit du dir das dennoch auch mit sinnvoll zusammengestellten (für die entsprechenden Engines und Hardware- TCs) solchen bestimmten Suiten erlauben kannst, musst du "einfach" die Stellungen entsprechend gut aussuchen

Das Prinzip von MEA ist, wie es auch schon das der STS von Swaminathan und Corbit anno dazumal war, Stellungen mit multiplen Lösungen je nach deren Wertigkeit zueinander (von gleich gut bis deutlich schlechter aber noch innerhalb einer auch frei wählbaren Range von beliebig vielen bis einzelnen Kandidatenzügen, also single best move Stellungen können schon auch verwendet werden, und sie können mit solchen mit mehreren ähnlich guten Lösungszügen in einer Suite kombiniert werden) bekommen pro Lösung verschieden viele Punkte. Die kannst du (wie's früher vom Swami und Dann gemacht wurde) in der Höhe beliebig definieren, auch kannst du bei Stellungen, die du nach der Hardware-Zeit, die die Engines brauchen, um richtig zu sortieren, ein höheres Punkteniveau vorgeben als bei leichteren.
Natürlich haben sich schon die damaligen beiden Autoren nach Engines der damaligen Zeit gerichtet, in der "Hochblüte" von STS war's Ryba. Und natürlich richtet man sich heutzutage nach Stockfish und Lc0, aber der Weg, den Ferdy z.B. auch mit einer eigenen MEA- Bewertung von STS gegangen ist, die MEA- Punkte direkt aus SF- Evals umzurechnen

https://github.com/fsmosca/STS-Rating

, ist zwar vielleicht der mit am wenigsten manueller Syntax- Arbeit, und er trägt dem Prinzip Rechnung, dass man ja sowieso jedes Engine- Rating und - Ranking aus dem Vergleich mit anderen Engines gewinnt, aber es ist sicher nicht der einzige Weg, die ersten STS- MEA- Versionen hatten einfach Punkte von 1-10 bei einzelnen bis meistens höchstens 5 Lösungen. Ed hat in den beiden ersten MEA- STS- Suiten eine, die mit SF evaluiert war und eine zweite mit Lc0 als Bewertungs- Engine mitgeliefert.
Und ja, natürlich richte auch ich mich in den Punkten, die ich vergebe, nach SF (und oder Lc0- Evals, manchmal nehm' ich noch Branches wie Crystal dazu, vor allem bei Fortresses) wo ich die halt für die richtigen nach etwas Forward- Backward und single primary- MultiPV- Wechsel halte, aber ich vergebe die Punkte nicht direkt nach der Eval, sondern nach dem Verhältnis der Evals im MultiPV zueinander und wie gesagt nach dem "Schweregrad" der Stellungen, was ihren Hardware- Zeitbedarf angeht, den die Spitzen- Engines dafür empirisch brauchen.

Das ist das einfache Prinzip, wenn's dich wirklich näher interessiert, erörtern wir das per Mail, absichtlich gebe ich jetzt hier keine Beispiele für MEA- Suiten, wie ich sie für gut halte und verwende, (die im MEA- Download enthaltenen und die vom obigen github-Link von Mosca sind auch für mich nach wie vor durchaus verwendbar) weil was auch dieser Methode natürlich innewohnt ist, wie könnte es anders sein, dass die Ergebnisse von der Wahl der Stellungen abhängt und von der vorgegebene Hardware- TC und den Engines, die miteinander verglichen werden.
Und dann ist der Vergleich von Engines auf dieser Basis ja auch absolut nicht auf MEA als Tool beschränkt, SIMEX in den Versionen von Ed Schröder hat den Kern des arbeitenden Tools mit MEA gemeinsam (in den letzten Versionen von SIMEX heißt die binary auch gleich, nämlich mea.exe). Die Wertungen an similarity  ebenso wie die an anderen ratings und rankings, die du auf diese Art mit Suiten beliebiger Art und Größe bekommst, haben alle ein ähnliches Prinzip. Der nächste Schritt nach MEA hieß Temere bei Schröder, aber darüber hat er im Talkchess mittlerweile selbst schon einmal geschrieben, dass er's nicht mehr für gut hält

https://talkchess.com/viewtopic.php?p=968581#p968581

. Da wurden dann einfach ganze Datenbanken mit Partiesammlungen mit MEA ausgewertet, ja, warum nicht, aber bei >40.000 Stellungen wird halt die Hardware- Zeit, die allein schon die Bewertung braucht, etwas aufwändig, dann wird bei vernünftigem Aufwand die Rechenzeit und die Evaluierung und Zugsortierung auch bei heutiger Hardware und selbst mit Stockfish immer unzuverlässiger, und die Stellungen alle interaktiv nachzuprüfen, das tue selbst ich mir bei diesen Mengen nicht an, sonst wohl auch niemand.
Und dann sind wir hier wieder an demselben springenden Punkt: überschaubar Größen an Suiten (meine durchschnittlichen sind ziemlich einheitlich um die 1000 Stellungen groß), die in vernünftiger Hardware- Zeit durchlaufen, bringen viel mehr, wenn man ein paar davon aus verschieden Stellungsarten für verschiedene Hardware- TCs nacheinander laufen lässt, als eine riesengroße, in der Kraut und Rüben zusammengeworfen ist (wie leider auch immer wieder in kleineren Suiten), nicht nur im Charakter der Stellung, sondern vor allem auch im Schweregrad. Aus mehreren solchen Einzel- Resultaten dann eine gemeinsame Wertung vorzunehmen, indem die Punkte Stellung für Stellung und Engine für Engine als WDL- Ergebnisse ausgerechnet werden (was sich auch gleich in Elo umrechnen lässt, und das sind keine Phantasie- Elo, es sind ebenso wie im game playing aus WDL- Performances berechnete) hat Frank Sanders seinerzeit auch gebaut, siehe seine Blogs hier im Forum dazu.
Für single best move- Stellungen gibt's Ähnliches, mit einer eigenen Umrechnungsformel der Stellung- Stellung- Engine- Engine- Matches in Elo aus WDL unter Berücksichtigung der einzelnen Lösungszeiten jeder Engine und Stellung, das Programm von Frank Schubert namens EloStatTS, aber das ist mittlerweile ja hoffentlich ohnehin hinreichend bekannt und funktioniert halt nur für single best move- Suiten und für Fritz- Ergebnisse, was das GUI angeht. MEA braucht kein GUI, es ist ein command line tool.
Aus, aus, aus, interessiert ja eh schon wieder längst niemanden mehr hier