Positionstests für Schachprogramme

By Frank Sanders Date 2023-02-05 12:32 Edited 2023-02-05 21:02

Zitat:

Dazu nach neurlichen kurzen () Grundsatzerläuterungen, hier die Unterschiede, was die Resultate angeht mit den Berserk- und Igel- Versionen. Zusätzlich LC0 reingenommen, weil diese Engines sowieso ein Problem für sich darstellt, man kann sie nicht mit 100msec laufen lassen und das dann mit SF vergleichen. In forcierten single best move- Suiten hat sie Nachteile, weil bei wirklich schwierigeren Stellungen, die Rechentiefe auch bei SF brauchen, kann sie an und für sich an Geschwindigkeit sowieso immer noch nicht wirklich ganz mithalten, erst recht nicht, wenn bei SF auch die taktischen Settings und Branches mitspielen lässt, bei den unforcierten Stellungen kann sie zwar (mithalten aber mal auch wieder von ausgesprochen Endspiel- lastigen Sammlungen zusätzlich lieber abgesehen), aber die Initialisierungszeit ist so viel länger als bei A-B, dass die "Leela- Ratio", was die TC angeht, bei VSTC wieder von Version zu Version, Netz zu Netz und eben von Suite zu Suite neu berechnet werden muss. Das alles hat man natürlich auch genau so beim game playing.

Noch einmal die LAN_v5 Resultate, um 2 lc0- runs bereichert, einmal mit 300 und einmal mit 500msec, unter "Hash" ist bei ihr der NN-Cache eingetragen und es ist die Nvidia 3070ti- GPU, die sie nutzt.

EPD : epd\FM5.epd
Time : 100ms
Max   Total   Time   Hash
Engine    Score   Found Pos   ELO Score   Rate ms    Mb Cpu
1 SF230114    143712   1188 1500 4320 149703 96.0% 100    8 8
2 lc0221229-325M   142657   1156 1500 4288 149703 95.3% 500    2 2
3 lc0221229-325M   139786   1102 1500 4203 149703 93.4% 300    2 2
4 Berserk230130 137473   1052 1500 4131 149703 91.8% 100    8 8
5 Berserk10 137043   1065 1500 4117 149703 91.5% 100    8 8
6 Igel3.4.0 135505   1019 1500 4072 149703 90.5% 100    8 8
7 Igel3.2.0 130880 954 1500 3933 149703 87.4% 100    8 8

Created with MEA
by
   Ferdinand
   Mosca

Und dann LAN_v6, bei mir heißt's FM6, analog zum FM5, tippt sich einfach etwas schneller und ist etwas kürzer als Name.

EPD : epd\FM6.epd
Time : 100ms
Max   Total   Time   Hash
Engine    Score   Found Pos   ELO Score   Rate ms    Mb Cpu
1 SF230114    114317   1019 1188 4329 118800 96.2% 100    8 8
2 lc0221229-325M   113553 998 1188 4302 118800 95.6% 500    2 2
3 lc0221229-325M   111518 960 1188 4225 118800 93.9% 300    2 2
4 Berserk10 109318 930 1188 4140 118800 92.0% 100    8 8
5 Berserk230130 109243 906 1188 4140 118800 92.0% 100    8 8
6 Igel3.4.0 107814 888 1188 4086 118800 90.8% 100    8 8
7 Igel3.2.0 105886 853 1188 4009 118800 89.1% 100    8 8

Created with MEA
by
   Ferdinand
   Mosca

Schau dir die Relationen an, vor allem beachte, dass Berserk10 seine jüngere Version überholt hat, Elo sind zwar genau gleich, aber das Score hat bei weniger "Found" dieselbe Prozent-Ausbeute und etwas weniger Punkte.

Summa summarum sehen wir hier ein weiteres grundsätzliches Problem, das du auch bei jeder Art des Tests hast, beim game playing sogar noch mehr als beim Stellungstest (nämlich bei dem kannst du's wenigstens leichter steuern und auswählen, was dir wichtiger ist):
Was mehr Diskrimination bringt, geht dann auf Kosten der Irrtumswahscheinlichkeit, wenn du's nicht durch bessere Stellungen, sondern nur durch kürzere TC bekommst. Wie man beim Vergleichsmatch gesehen hat, bei so kurzer TC im game playing bekommst du mehr Spreizung, aber die error bar steigt mit.
Du hast immer ganz allgemein die Wahl zwischen mehr Selektivität und mehr Sensitivität deines Tests.
Bis auf die weggelassenen hat LAN6 dieselben Stellungen, sie sind auf die gleiche Art mit derselben Punkteverteilung bewertet (ohne sie wirklich Stellung für Stellung überprüft zu haben, nur nach dem, was Mosca dazu auf github schreibt) es sind einfach nur weniger.
Dass das die Diskrimination, die Abstände zwischen den Engines (nicht bei allen und vor allem nicht gleichermaßen) eher verringert aber jedenfalls verändert und dann ab einem gewissen Punkt sich auch Rankings ändern, je nachdem welche und wieviele Engines es sind und wo sich die Abstände bei manchen runs mehr und bei manchen weniger ändern. ist kein Wunder.

Ich hab' halt bei allen Suiten, in denen ich STS nur teilweise drin hab', gleich auf die 594 reduziert, das mit den single best move- Stellungen, von denen Ferdy beim LAN_v6 schreibt (dass sich überhaupt ein bester Zug sicher festmachen lässt), das ist nämlich immer noch ein frommer Wunsch, die 10cp einer einzelnen Engine bei einer einzelnen Rechenzeit und einem bestimmten MultiPV- Modus sinde keine Richtschnur für single best move im historischen Sinn dieser Definition von single best move Teststellungen. Da gehen nicht einmal alle von den 594 durch, wenn man's ein bisschen genauer nehmen will, so wie bei echten single best move Stellungen, möglichst auch noch game changing, von den 1188, gehen so mindestens eine gute Hälfte auch noch nicht durch. Für mich wäre eine moderate Mindestdefinition, wenn man sich anders als schachlich und anders als immer nur an der einzelnen Stellung überhaupt für einen Richtwert entscheiden will: 50% vom kleineren, also ein Drittel vom größeren Eval- Wert.
Das muss sich erstens nach der Relation, nicht einem Differenzwert richten, weil es nicht egal ist, ob bei 3.00 10cp Unterschied sind oder bei 0.10, und zweitens muss es in Fällen, in denen Rechentiefe auch zählt (und irgendwie tut sie das natürlich auch immer, selbst wenn man sie dann beim Testen selbst gar nicht haben will, sondern Lösungen aus der "statischen Eval" heraus wie beim STS) mit etwas Forward- Backward und abwechselnd single primary und MultiPV abgesichert werden. Das auch noch zum Prinzip NICE, du hast nicht nur das Manko von der Fixierung auf eine bestimmte Eval einer bestimmten Engine, du hast noch dazu und vor allem, wenn's wirklich viele Stellungen sein sollen, also aus ganzen größeren Datenbanken zusammengesetzt ist, viel zu wenig Hardware- Zeit, um mehr als einen VSTC- Similarity- Test zu bekommen. Und auch bei dem sollten eigentlich diejenigen Züge, die mehr oder weniger von selbst von jeder Engine sofort gemacht werden, rauskommen, sonst ruiniert dir das die Statistik wieder allein von der error bar her. Das hat Mosca seinerzeit im CCC auch bei seinen Beiträgen zu Cheating- Detection per Similarity- Test schön geschrieben und anhand von Beispiel- Ergebnissen gezeigt.

Erst mal wieder Pause, ich kann aber über diese Dinge einfach nicht kurz und bündig schreiben, wie man sieht. Mag sein, weil das Thema einfach nicht mit wenigen Worten behandelt werden kann, wenn man überhaupt etwas Sinnvolles dazu sagen will.
Und ich höre im Hintergrund bei solchen Gelegenheiten schon immer wieder die Einwände der alten Drückeberger, die sich eigentlich nicht wirklich damit befassen wollen, sondern lieber schon vorbeugend zu dem Alibi greifen, dass das alles eh keinen Sinn hat. Ja, ok, das kann ich verstehen, dass man's lieber gleich lassen will, aber Herrschaften: dann lassen wir doch bitte endlich die ganze ohnehin nicht mehr wirklich sinnvolle Testerei der Engines und ihres "Fortschritts" (wohin denn noch?) überhaupt sein, der Großteil ist sowieso nur mehr ökonomischer und ökologischer Unfug, vor allem finde ich aber halt, dass es erst recht notwendiger und notwendiger ist, sich auch und gerade beim Testen mit game playing zu überlegen, mit welchen Eröffnungsteststellungen welche Engines mit welcher Hardware- TC spielen sollen, um von den so gewonnenen Ergebnissen auch noch irgendwelche "Erkenntnisse" zu haben und vor allem muss man sich da erst recht von der alten Elosion befreien, man könnte so etwas wie "overall playing strength" damit testen. Da wäre ein (und auch da und erst recht möglichst clevere Art eines Stellungstest unbedingte Voraussetzung um irgendeine Ahnung zu haben, bevor man Unmengen von Partien laufen lässt und sich dann wundert, dass lauter Remis abwechselnd mit lauter 1:1-Paaren herauskommen und man zwar die Remisrate beliebig senken kann, erst recht mit immer kürzeren TCS, dafür aber noch mehr statistisches Rauschen bekommt, weil die 1:1- Paare die error bar noch mehr heben, als die Remis. Das ist genau derselbe Punkt beim Stellungstest wie beim game playing: beim Stellungstest brauchst du genau so eine Mindestanzahl von Stellungen und je nach Engines und Hardware- TC darf der Anteil an gelösten und an nicht gelösten in keine Richtung zu sehr ausreiten, die Remis (von allen direkt miteinander verglichenen gelösten Stellungen) schaden, aber noch mehr schaden die von allen ungelösten. Und die beste Relation von Spreizung zu Irrtumswahrscheinlichkeit gibt's nur für bestimmte Stellungen, bestimmte Engines auf einer bestimmten Hardware- TC.
Spätestens seit LC0 ist das mit "overall playing strength" endgültig vorbei, oder sag du mir die "richtige" Leela- Ratio zwischen dem aktuellen SF dev., einem besimmten Leela- Compile einer von den vielen dev.- Versionen, die da durchs Netz geistern und einem bestimmten Netz. Und wenn du die dann für diese eine Engine- Paarung hast, diese "richtige" Leela- Ratio, dann leg das mal auch nur auf ein anderes Netz um, ein kleineres, ein größeres, eins, das mehr auf stärker selektierten Trainingsstellungen basiert vielleicht noch, für die Netze jeweils andere Engine- Parameter und für eine ganz kurze und eine etwas längere TC. Und dann das Ganze noch für ein paar andere Engines, ein paar jüngere, ein paar ältere...
Da musst du jedes mal für jeden neuen Test eine neue Ratio bestimmen, allein schon daran führt kein Weg vorbei zur Antwort (den vielen Antworten) auf die Frage "wie stark sind sie wirklich?".
No way.

By Frank Sanders Date 2023-02-05 21:53 Edited 2023-02-05 22:10

Ich habe das Ausgangsposting wiederholt, damit, falls überhaupt, jemand der in drei oder vier Monaten hereinschaut den Ausgangspunkt kennt, weil das Originalposting im Hauptforum schon auf Seite 4 ist.

Ich werde jetzt versuchen zu den einzelnen Punkten die angesprochen wurden meine Gedanken zu formulieren.

Zeiteinteilung von lc0. Mir ist aufgefallen, dass wenn ich mit lc0 1000ms teste, die Stellungen viel zu schnell abgearbeitet werden. Ich schreibe mir daher immer am Ende der BAT Datei das Wort "Pause". Dann verschwindet die Eingebeaufforderung nicht, sondern zeigt die verbrauchte Gesamtzeit mit einem zusätzlichen Kommentar zum Zeitverbrauch an z.B. "bad" oder " "good". Wenn ich lco dann bei einem 1000ms Durchlauf mit ca 1800ms laufen lasse, hat sie am Ende ungefähr genauso viel Zeit wie die anderen Programme verbraucht.

Warum Mosca gerade Positionen mit 0,10 Unterschied zwischen MultPV1 und MultiPV2 weggelassen hat ist mir auch nicht ganz ersichtlich.

Dass es einen Unterschied macht ob z.B. MultiPV1 0,20 und MultiPV2 0,33 oder MultiPV1 1,80 und MultiPV2 1,93 sehe ich auch so. Der Abstand ist zwar immer 0,13, aber eben von einem anderen Grundwert ausgehend.

Wenn deine Testsets oder auch andere eh schon sehr genau bestimmen können, wie weit neue Versionen besser sind als die alten, wo sie ungefähr in den Listen liegen werden, wo die Stärken der einzelnen Programme sind,...dann braucht man eigentlich keine neuen entwickeln. (Außer vielleicht am Spaß an der Freude es zu tun).

Eines ist mir auch noch eingefallen, es gibt in Youtube ein Interview mit Meyer-Kahlen

https://www.youtube.com/watch?v=FDrfWTTyQZ8

Gleich das Eingangsstatement ist interessant. Vielleicht wird es mit den Testsets auch einmal so? Das Eingangsstatement wird später noch genauer ausgeführt (ca. Min 27).

Die Stefan Pohl Liste hat schon keine Elo mehr sondern einen EAS Score.

Welche lc0 Kombination ist die derzeit beste? Diese Frage kann wohl niemand mehr beantworten, auch nicht die Entwickler.

P.S.: Bei mir zeigt der Link

https://sites.google.com/site/strategictestsuite/

nur eine leere Seite an. In allen Browsern und auch auf meinem iPad.

Und wenn man hier ein Bild zeigen will, muss man es dann woanders hosten und gibt es einen Platz wo man das kostenlos tun kann?

By Peter Martan Date 2023-02-05 23:46 Edited 2023-02-05 23:59

Frank Sanders schrieb:

Schon klar, passt schon.
Die Idee, zum Blog zu wechseln war überhaupt gut.

Frank Sanders schrieb:

Zeiteinteilung von lc0. Mir ist aufgefallen, dass wenn ich mit lc0 1000ms teste, die Stellungen viel zu schnell abgearbeitet werden. Ich schreibe mir daher immer am Ende der BAT Datei das Wort "Pause". Dann verschwindet die Eingebeaufforderung nicht, sondern zeigt die verbrauchte Gesamtzeit mit einem zusätzlichen Kommentar zum Zeitverbrauch an z.B. "bad" oder " "good". Wenn ich lco dann bei einem 1000ms Durchlauf mit ca 1800ms laufen lasse, hat sie am Ende ungefähr genauso viel Zeit wie die anderen Programme verbraucht.

Das mit der Zeiteinteilung verschiedener Engines ist mir auch schon aufgefallen, dass der Unterschied bei lc0 so groß ist, hätte ich nicht gedacht, wird vielleicht auch nicht bei jeder Vorgabe gleich sein, das mit dem Pause- Befehl muss ich auch mal probieren. Ansonsten könnte man sich natürlich auch immer ein log-file schreiben lassen.

Frank Sanders schrieb:

Wenn deine Testsets oder auch andere eh schon sehr genau bestimmen können, wie weit neue Versionen besser sind als die alten, wo sie ungefähr in den Listen liegen werden, wo die Stärken der einzelnen Programme sind,...dann braucht man eigentlich keine neuen entwickeln. (Außer vielleicht am Spaß an der Freude es zu tun).

Dazu haben wir einen wesentlichen Punkt noch nicht ganz so weit, dass wir uns über ihn einig wären, glaube ich. Während du mir immer noch davon auszugehen scheinst, dass "besser", "Listen", "Stärken," Begriffe sind, die sich als als etwas von Verbindlichkeit, Allgmeingültigkeit und Übertragbarkeit behandeln lassen, ist das nach wie vor mein Punkt, an dem ich mich seit Jahr und Tag quanitativ aufreibe: natürlich kann man die Dinge so weit vereinfachen, dass man sagt, ja, in dieser und jener Liste steht alles drin, was mich an Spielstärkenvergleich zwischen allen modernen Engines interessiert, aber wenn ich das so einfach sehen wollte, würde ich halt heutzutage gleich sagen: ja, weil die Unterschiede zwischen den Engines, die da die ersten (Hausnummer) 20 Plätze innehaben, mittlerweile schachlich schon so klein sind, dass es eigentlich wirklich egal ist, ob jetzt die eine oder die andere die Nase vorn hat, und dann würde ich auch sagen, die Spielstärketests zeigen alle dieses selbe Bild, was die Engines angeht. Was da noch an weiterer Elospreizung (oder gleich einer Vervielfachung der Messwerte, man könnte auch Centielo einführen, macht denselben Faktor 100 an Spreizung, ohne, dass man an den Testumgebungen auch nur irgendwas sonst ändern muss) noch weitere Entwicklung als Messerfolg zeigt, von dem spielt es schon deshalb keine Rolle mehr, wieviel er mit dem Fortschritt, der vielleicht wirklich noch dahintersteht und theoretisch auch viel größer sein könnte, als man ihn misst, wieviel dieser Messerfolg mit dem wirklichen Fortschritt noch zu tun hat, das ist ab dem längst erreichten Zeitpunkt irrelevant, ab dem es allein schon von der Zahl der ähnlich starken Engines mit der noch so kurzen Hardware- Zeit der Partien und Stellungstests nicht mehr schnell genug geht, Messergebnisse zu liefern, die durch Remis- und 1:1- Tod daran gehindert werden, noch in die statistische Relevanz kommen. Nicht genug Testergebnisse in der Zeit, die man bräuchte, um mit dem Messen mit der Entwicklung neuer Engines und neuer Netze Schritt zu halten. Spätestens ab diesem Zeitpunkt würde ich auch sagen, ok, die Tests liefern alle dieselben Ergebnisse, egal wie man sie macht und welche Engines man mit welchen auf welche Art vergleicht.
Und was der Mensch spielt, hat damit sowieso schon lange nichts mehr zu tun.

Das wäre ein Art der Vereinfachung der Sicht von "Spielstärke", der ich durchaus zustimmten könnte, aber alles, was die Sache weniger einfach sieht, bedarf der der Erkenntnis, dass man jedwede andere genauere Unterscheidung zwischen Engines heutzutage (schon länger) nicht mehr als etwas behandeln kann, wovon es egal ist, wie es gemessen wird. Und dass jedes genauere Ergebnis als das, es sind alle praktisch gleich stark und man kann von keiner der starken mehr sagen, wie groß der Fortschritt, den sie vielleicht noch macht, eigentlich ist, dass jedes solche andere (hoffentlich auch genauere) Ergebnis ganz für sich allein steht.
Sorry, ist aber halt so

Aber mal von solchen Sophismen wieder abgesehen, würde ich im Wesentlichen eh auch einfach sagen, ja Tests haben wir genug, wir müssen uns keine neuen mehr ausdenken. So gesehen ist die LAN-5-Version vom STS durchaus ausreichend, wenn man nichts Anderes will als ein ungefähres Abbild von einer bestimmten Art von game playing. Aber wie du schon bei der Ungenauigkeit dessen gesehen hast, was verschiedene Engines aus der Zeit- Vorgabe machen, wenn wir mehr als nur dieses und jenes ganz ungefähr wissen wollen, dann gäbe schon noch diese und jene kleine oder große Verbesserung, und dann muss man auch bedenken, dass die Evals, die jetzt für Moscas STS- Set herangezogen worden sind, von SF 15 sind, jetzt ist aber schon SF 15.1 aktuell.
Was wäre, wenn wir als Fortschritt überhaupt daran gingen, nur mehr Verbesserungen der Aussagekraft von Evals an und für sich gelten zu lassen? Wenn wir jetzt daran gehen, die Engines auch gleich an den Evals anderer Engines zu messen, sollten wir dann nicht zumindest die Änderungen dieser Evals über die Zeit und die Enwicklung der Engines und der Netze genauer zu beobachten? Und dann müsste man spätestens bei SF 16 den mit SF evaluierten STS auch neu bewerten.

Mir geht vor allem eine Art der Elo- Umrechnung ab, wie sie EloStatTS macht. Die Minimatches zwischen je 2 Engines bei jeder Stellung als win draw loss- Wertung, bei der's Remis praktisch nur bei Stellungen gibt, die von beiden miteinander Verglichenen nicht gelöst werden, das ist schon etwas anderes vom Prinzip her, als das alleinige Vergleichen mit einem (ja doch willkürlich geeichten) fixen Score der Stellungen.

Frank Sanders schrieb:

Die Stefan Pohl Liste hat schon keine Elo mehr sondern einen EAS Score.

Das sind verschiedene Listen, die mit dem EAS-Tool erstellte ist nur eine.
Von der ersten Site

https://www.sp-cc.de/

kommt man mit dem Untermenü links zu

https://www.sp-cc.de/eas-ratinglist.htm

Frank Sanders schrieb:

Welche lc0 Kombination ist die derzeit beste? Diese Frage kann wohl niemand mehr beantworten, auch nicht die Entwickler.

Da sind wir wieder beim springenden Punkt: diese Frage kann man auf so viele Arten beantworten, wie man Tests hat. So viele Antworten wie Tests, was ihre Stellungen angeht (ausgespielt oder nicht ausgespielt), was die Vergleichsengines und die Hardware- TC angeht.

Frank Sanders schrieb:

P.S.: Bei mir zeigt der Link

<a class='urs' href='https://sites.google.com/site/strategictestsuite/'>https://sites.google.com/site/strategictestsuite/</a>

nur eine leere Seite an. In allen Browsern und auch auf meinem iPad.

Bei mir ist da die erste Seite, die nur als Überschrift Downloads ankündigt mit dem kleinen Text

Zitat:

Please navigate through the links below to find the downloads for each one of the test suites.

darunter und links hat man die Auflistung der Unterseiten.

Frank Sanders schrieb:

Und wenn man hier ein Bild zeigen will, muss man es dann woanders hosten und gibt es einen Platz wo man das kostenlos tun kann?

Ich finde die hier

https://postimages.org/

ganz praktisch.

By Frank Sanders Date 2023-02-06 14:41

Wenn ich es richtig verstanden habe geht es um die Fragen "Warum und Was testen?"

Die Ergebnisse von Listen, Schachtests, Computerturnieren,... sind denke ich nur mehr für Leute interessant, die ein Schachprogramm entwickeln, oder die sich fürs Computerschach interessieren.

Mich interessiert dabei folgendes, wenn eine neue Version eines Programms erscheint zu erfahren wie groß der Fortschritt allgemein ist, und wenn es noch möglich wäre zu definieren worin genau der Fortschritt besteht (besseres Endspiel, Aggressivität,...) dann noch besser.
Dann interessiert mich, wenn ein neues Programm angekündigt wird, wo es ungefähr einzuordnen ist, und wenn möglich, worin seine Stäken oder auch Schwächen liegen.

Du sagst jetzt, diese allgemeinen Aussagen, kann man zwar machen, aber sie gehen an der Wirklichkeit vorbei, weil viele Programme so dicht beieinander liegen, dass sie nicht viel aussagen. Vielmehr müsste man ganz genau, ganz bestimmte Test ausführen und kann dann über den genau bestimmten Bereich etwas aussagen.

Für mich hat aber ein Test dann Sinn wenn er von Besonderen (dem Test) auf das Allgemeine schließen lässt (z.B. Endspielstärke). Wenn ich das zu sehr einenge, fällt das Allgemeine weg. Ich übertreibe es jetzt einmal, aber wenn ich Programm X mit diesem EvalFile auf so und soviel Threads und diesem Hash und jener Bedenkzeit diese Stellung gebe und am Ende nur aussagen kann, dass Programm x mit diesem EvalFile auf so und soviel Threads und diesem Hash und jener Bedenkzeit diese Stellung so löst, dann habe ich nichts gewonnen. Dann habe ich das Besondere genau untersucht, aber was ist der Allgemeine Schluss daraus?

Danke für den Postimage Link, bei mir schaut die seite so aus

By Peter Martan Date 2023-02-06 15:52 Edited 2023-02-06 16:06

Frank Sanders schrieb:

Die Ergebnisse von Listen, Schachtests, Computerturnieren,... sind denke ich nur mehr für Leute interessant, die ein Schachprogramm entwickeln, oder die sich fürs Computerschach interessieren.

Mich interessiert dabei folgendes, wenn eine neue Version eines Programms erscheint zu erfahren wie groß der Fortschritt allgemein ist, und wenn es noch möglich wäre zu definieren worin genau der Fortschritt besteht (besseres Endspiel, Aggressivität,...) dann noch besser.
Dann interessiert mich, wenn ein neues Programm angekündigt wird, wo es ungefähr einzuordnen ist, und wenn möglich, worin seine Stäken oder auch Schwächen liegen.

Du sagst jetzt, diese allgemeinen Aussagen, kann man zwar machen, aber sie gehen an der Wirklichkeit vorbei, weil viele Programme so dicht beieinander liegen, dass sie nicht viel aussagen. Vielmehr müsste man ganz genau, ganz bestimmte Test ausführen und kann dann über den genau bestimmten Bereich etwas aussagen.

Für mich hat aber ein Test dann Sinn wenn er von Besonderen (dem Test) auf das Allgemeine schließen lässt (z.B. Endspielstärke). Wenn ich das zu sehr einenge, fällt das Allgemeine weg. Ich übertreibe es jetzt einmal, aber wenn ich Programm X mit diesem EvalFile auf so und soviel Threads und diesem Hash und jener Bedenkzeit diese Stellung gebe und am Ende nur aussagen kann, dass Programm x mit diesem EvalFile auf so und soviel Threads und diesem Hash und jener Bedenkzeit diese Stellung so löst, dann habe ich nichts gewonnen. Dann habe ich das Besondere genau untersucht, aber was ist der Allgemeine Schluss daraus?

Danke für den Postimage Link, bei mir schaut die seite so aus

Ich mache meine Tests auch hauptsächlich zum Vergleich von sehr nahe beisammen liegenden Engines, Versionen, Branches, Settings und Netzen, die anders (mit game playing) praktisch nicht vergleichbar sind unter 2000, 3000 Partien, es sei denn mit sehr sehr kurzen TCs, die dann ihrerseits auch wieder kaum auf Matches mit längeren TCs übertragbar sind.

An den Wirklichkeiten, wie sie der Buddhist zum Unterschied von der Wahrheit sieht, geht nichts vorbei, was wahr wirkt, im Sinne von einer bestimmten Wahrnehmung, die sich überprüfen und vermitteln lässt, sagen wir, an der statistischen Relevanz eines Ergebnisses als Beispiel verwendet, geht kein Ergebnis, das auf methodisch richtige Art erreicht wird und genug Datenmaterial richtig ausgewertet bekommen hat, "an der Wirklichkeit vorbei". Was man gern hinter den vielen Wirklichkeiten (Ergebnissen) sähe, wäre die eine absolute Wahrheit der overall playing strength, des "wahren Elo- Wertes", von dem sich Diejenigen, die an ihn glauben, eine Übertragbarkeit auf andere Ergebnisse erwarten würden.
Diese overall playing strength gibt es nur als Vorstellung, nicht als überprüfbare und schon gar nicht als messbare Realität, sie ist beim Schach ein Elosion, beim Buddhisten das, was man hinter den Wirklichkeiten der erdgebundenen Existenzen zwar vermuten und sich vorstellen, es aber auch nicht direkt wahrnehmen kann, sei man noch so erleuchtet

Das jetzt noch ein letztes Mal als Ausflug in die Esoterik des (Computer)Schachs und jetzt zurück zu dem, was wir messen können und was es uns sagt oder zumindest sagen kann, wenn wir's richtig interpretieren. Wenn ich einen Test mit lauter Endspiel- Stellungen mache, egal, ob ich die alle ausspielen lasse (warum nicht, Thementurnier) oder als Suite laufen lasse, dann sagt mir der, wenn ich die richtigen verwendet habe und die richtige TC und ihn richtig auswerte, wie die Engines, die ich teste (ob in der Suite oder durch Partien) im Vergleich zueinander damit umgehen.
Mehr wird's nicht, Frank, da kannst du dann an weiteren Schlüssen daran anknüpfen, was du willst, du kannst durchaus vermuten, dass die "Endspielstärke", die du mit deinem Test (ja auch nur als Ausschnitt der größeren Wirklichkeit Endspielstärke, die man ihrerseits schon wieder als Wahrheit sehen müsste, die man nicht mehr insgesamt messen kann) gemessen hast, irgendwas mit der "taktischen", "positionellen", "allgemeinen" Spielstärke der Engines zu tun hat, aber wissen kannst du das nach dem einen Test allein nicht. Du wolltest ja auch was Spezielleres wissen, oder? Sonst hättest du anderes Stellungen nehmen sollen.

Bei deinem Screenshot fehlt mir das auf der linken Seite (vielleicht am Ausschnitt vom Bildschirm abgeschnittene?) zum Text, den ich gestern auch schon zitiert habe, passende Auswahlmenü an Unterseiten, auf denen die einzelnen Motive und runterladbaren Blöcke der Suite anzuwählen sind.

Ich hab's jetzt mit dem "Vorschaulink für Foren" reinkopiert, der "Direktlink" braucht unnötig viel Platz hier, durch Draufklicken kann ihn dann der Leser vergrößern, damit möglichst viel vom Wichtigen vom Screenshot aufs kopierte Bild kommt, bearbeite ich es im Ausschnitt vor dem Hochladen auch noch immer mit Paint.
Und weil ich gerade dabei war:

Der Enspieltest ist auf 178 angewachsen, weil der eh noch sehr schnell durchläuft, hab' ich deinen Vorschlag mit dem Pause- Befehl mal bei allen Runs von heute ausprobiert, alle bekommen ein "Good" bei der time allocation, tatsächlich hakt's hingegen bei LC0 ganz ordentlich, wie du auch schon geschrieben hast.
Ich hab' (siehe Screenshot) sowohl das 325er als auch das 784968er Netz (siehe auch Stefan Pohls jüngste LC0- Liste) sowohl mit 500 als auch mit 1000msec laufen lassen, welches Netz es ist, macht keinen (kaum einen) Unterschied, aber MEA schreibt bei den beiden Zeiten tatsächlich so ziemlich die Hälfte von dem, was erwartet würde an tatsächlich verbrauchter Zeit an, bei 500msec:

Zitat:

Time allocation : BAD!! spending less time
at < et - mt
ExpectedTime    : 89.0s
ActualTime    : 42.1s
MarginTime/pos   : 0.1s
MarginTime    : 22.2s

und bei 1000:

Zitat:

Time allocation : BAD!! spending less time
at < et - mt
ExpectedTime    : 178.0s
ActualTime    : 81.6s
MarginTime/pos   : 0.2s
MarginTime    : 35.6s

Das waren jeweils die 784968er- runs, wie gesagt, die mit BT2 waren praktisch gleich.
Muss also am (selben) Compile und seinem Zeitmanagement liegen, man wird sich bei LC0 jedes neue Compile (sicherheitshalber auch jedes neue Netz) einmal in Hinblick auf den tatsächlichen Zeitverbrauch anschauen müssen, und bei diesem einen Test, auf den's einem ankommt, die Zeit jeweils relativieren, bei den nur 178 Stellungen hier mal wirklich ziemlich verdoppeln, damit's dem entspricht, was man eigentlich messen will.
Wieder genug für jetzt.

By Frank Sanders Date 2023-02-06 21:35

Wie machens denn die Menschen?

Nach deiner Definition kennen wir die overall playing strength von Carlson nicht. Vielleicht hat Liren Ding eine höhere overall playing strength, wer will das schon messen?

Aber was macht das, die Menschen spielen gegeneinander und der der die meisten Partien und gegen die stärksten Kontrahenten gewinnt, ist der stärkste Schachspieler. So machen es auch die Engine-Engine Tester, wer am meisten gewinnt ist ganz oben, wer dauernd verliert ist unten. Carlson hat vielleicht ganz andere Stärken und Schwächen als sie Kramnik hat. Für die FIDE Weltrangliste spielt das keine Rolle, da zählen nur die Ergebnisse der Partien der Teilnehmer untereinander.
So ist es auch bei den Computerlisten. Ob diese Listen etwas über die Spielstärke der einzelnen Teilnehmer etwas aussagen oder nur eine reine Ergebnistabellen sind, darüber kann man nachdenken.

Wenn ich mehr über die Stärken der einzelnen Spieler wissen möchte, könnte ich Carlson 100 Positionen mit schweren Endspielen vorlegen und dann Liren Ding, und nach der Auswertung feststellen, Carlson ist im Endspiel so und soviel besser als Ding. Das gilt aber nach deiner Definition wiederum genaugenommen nur für diese 100 Positionen.

Ich sehe das Testen der Programme eher als Abkürzung, dass ich eben nicht 5000 Partien spielen muss um festzustellen, die neue Igel Version ist deutlich besser, wahrscheinlich wird sie sich in der Liste um 5 Plätze verbessern.
Anderen geht es vielleicht gar nicht mehr um diese Ranglistenstärke, die sagen mich interessieren Programme die aggressiv spielen, darum mache ich mir einen Test der mir hilft diese Programme zu finden.

Bei der STS Homepage kann ich das Seitenmenü öffnen, aber wenn ich einen Punkt anklicke z.B. "10. Simplification" komme ich nur eine Seite weiter, kann aber nicht herunterladen, da ich kein Google Konto habe. Und dafür werde ich mir auch keines zulegen.

P.S.: Ich habe ab morgen Vormittag für drei Tage kein Internet. Eine etwaige Antwort kann daher dauern.

By Frank Sanders Date 2023-02-12 17:18

Ein letztes Statement zu den Listen. Wenn ich vier verschiedene Ranglisten habe, und die mit verschiedenen Eröffnungsbüchern spielen, und mit verschiedenen Zeiten, und mit verschiedenem Hash, und mit verschiedenen MultiPV, und mit verschiedener Hardware, und am End ist ist immer das gleiche Programm die Nummer eins, dann kann ich schließen, das dieses Programm auch die beste allgemeine Spielstärke hat. Das gilt selbstverständlich nur so lange, bis jemand kommt und das Gegenteil beweist.
Mein nächster Eintrag wird nur von Testpositionen handeln.

By Peter Martan Date 2023-02-12 17:30 Edited 2023-02-12 17:34

Du hast einersseits recht, dass du nicht viel falsch machen wirst. so lange du mit deinen Matches immer dieselbe Nr. 1 kriegst (was aber natürlich auch schon mal voraussetzt, du lässt diese Engine immer mitspielen

), was aber die Reihung weiter unten angeht, wird's schon nach dem 3. Platz immer weniger klar, es wird immer mehr drauf ankommen, wer mitspielt (z.B auch an Branches und Settings und Netzen) und so weit kommst du ja mit den halbwegs ans game playing angepassten Stellungstests auch locker.
Wenn du jetzt hingegen noch wissen willst, um wieviel welche Engine in welchem Match besser abschneidet, dann wird's knifflig, und ob du Selfplay- Elo so werten sollst, wie Ranglisten- Elo, davon wollen wir gar nicht anfangen.
Ist dir schon aufgefallen, dass es mehr und mehr Ranglisten gibt, die ohne LC0 geführt werden und dafür andere eigene, bei denen's mitspielt?
Und jetzt wieder zu deinen Teststellungen

By Frank Sanders Date 2023-02-26 17:17

Jetzt noch ein Beitrag zum Stellungstesten. Wie oft sollte man denn den Testdurchlauf wiederholen, damit man ein relevantes Ergebnis bekommt?

Dazu habe ich vier Programme (Stockfish, Dragon, Rebel und Shash) jeweils ein Testset mit 324 Testpositionen mit 100ms durchlaufen lassen. Aber nicht einmal, sondern einhundert mal.

Zunächst die extremen Ergebnisse:

Stockfish bester Durchlauf: 184 gefunden    schlechtester Durchlauf: 165 gefunden
Dragon bester Durchlauf: 180 gefunden    schlechtester Durchlauf: 156 gefunden
Shash bester Durchlauf: 190 gefunden    schlechtester Durchlauf: 163 gefunden
Rebel    bester Durchlauf: 171 gefunden    schlechtester Durchlauf: 151 gefunden

Wenn es ganz blöd läuft findet Z.B. in einem Durchlauf Rebel 171 Lösungen, Dragon aber nur 156. Shash 190 und Stockfish nur 165. Usw.

Wie schaut es jetzt mit den 98 Werten dazwischen aus?

Hier verteilen sich die jeweils gefunden Lösungen relativ linear zwischen den beiden Extremwerten, wie man auf folgende Graphik sehen kann:

Da die Spitzenprogramme aber sehr nahe beieinander liegen ist es nicht irrelevant ob bei, sagen wir 300 Positionen, 170 oder 180 gefunden werden.
Damit zurück zu meiner Eingangsfrage, oft sollte man den Testdurchlauf wiederholen, damit man ein relevantes Ergebnis bekommt?

By Frank Sanders Date 2023-03-01 10:11

Hier noch ein Nachtrag. Ich hatte gedacht, dass die großen Unterschiede wahrscheinlich der kurzen Bedenkzeit geschuldet sind. Ich habe darum noch einen Durchlauf mit Rebel 16.2 und Dragon 3.2, einer Sekunde Bedenkzeit und 20 Partien gemacht. Die Ergebnisse sind:

Rebel 16.2 bester Durchlauf 181 gefunden schlechtester Durchlauf 164 gefunden
Dragon 3.2 bester Durchlauf 184 gefunden schlechtester Durchlauf 168 gefunden.

Auch durch die Verlängerung auf eine Sekunde Bedenkzeit sehe ich keine Veränderung der Ergebnisse.

By Chess Player Date 2023-03-01 11:27 Edited 2023-03-01 11:30

Vergiß eines nicht: du hast wahrscheinlich die Firma "klein und weich" mit an Bord!

Horch und Guck ist nicht noch nicht vorbei.

By Frank Sanders Date 2023-03-02 18:41

Und noch ein Nachtrag, da ich mir dachte vielleicht wird die große Anzahl unterschiedlicher Züge durch das Multiprozessoring ausgelöst. Ich habe daher 50 Durchläufe mit 100ms mit nur einer CPU gemacht. Interessanterweise ist das Ergebnis fast noch extremer:

Rebel 16.2 bester Durchlauf 172 gefunden schlechtester Durchlauf 153 gefunden
Dragon 3.2 bester Durchlauf 177 gefunden schlechtester Durchlauf 153 gefunden

Vielleicht ist es wie beim Partientesten, man braucht einfach eine gewisse Anzahl von Durchläufen um etwas aussagen zu können.

By Stefan Pohl Date 2023-02-07 08:14 Edited 2023-02-07 08:23

Frank Sanders schrieb:

Mich interessiert dabei folgendes, wenn eine neue Version eines Programms erscheint zu erfahren wie groß der Fortschritt allgemein ist, und wenn es noch möglich wäre zu definieren worin genau der Fortschritt besteht (besseres Endspiel, Aggressivität,...) dann noch besser.
Dann interessiert mich, wenn ein neues Programm angekündigt wird, wo es ungefähr einzuordnen ist, und wenn möglich, worin seine Stäken oder auch Schwächen liegen.

Dazu empfehle ich den Blick auf meine EAS-Rangliste...
https://www.sp-cc.de/eas-ratinglist.htm

Hier werden die Engines nach Spielstil "gerankt", also nach Aggressivität. Und das wird auch in mehrere Kategorien prozentual aufgeschlüsselt (Opfer, Kurzsiege, schlechte Remisen und durchschnittliche Länge der Gewinnpartien insgesamt) und so mit Punkten versehen.
Im komplette Textfilfe gibt es unter der EAS-Liste noch die zweite EAS-Liste mit noch genauerer Aufschlüsselung (Prozentwerte der höher- und niedrigerwertigen Opfer etc.)
https://www.sp-cc.de/files/statistics_eas_ratinglist.txt

Hier läßt sich der Spielstil eine Engine sehr genau beurteilen... Das wird man mit Stellungstests nicht so hinbekommen. Denn die EAS-Auswertung erfolgt ja mit den gespielten Partien meiner SPCC-Rangliste und das heißt ja, daß jede Engine mindestens 7000 Partien gespielt hat(!)

Meine Full-ratinglist hat natürlich auch eine EAS-Rangliste im Angebot (direkt unter der full ratinglist (alle Engines/Versionen ab 2020)):
https://www.sp-cc.de/files/spcc_full_list.txt

Das EAS-Tool ist, wie alle meine Tools und Daten, natürlich gratis zur Eigennutzung:
https://www.sp-cc.de/files/engines_aggressiveness_statistics_tool.7z

(In der ReadMe des Downloads wird auch das (recht komplexe) EAS-Scoring-System genau erklärt...). Ganz nebenbei gibt das EAS-tool auch noch in einzelnen pgn-files die Opferpartien und Kurzsiege aus, die man sich dann anschauen kann...

By Peter Martan Date 2023-02-07 09:51 Edited 2023-02-07 10:51

Stefan Pohl schrieb:

Frank Sanders schrieb:

Dazu empfehle ich den Blick auf meine EAS-Rangliste...
<a class='ura' href='https://www.sp-cc.de/eas-ratinglist.htm'>https://www.sp-cc.de/eas-ratinglist.htm</a>

Hier werden die Engines nach Spielstil "gerankt", also nach Aggressivität. Und das wird auch in mehrere Kategorien prozentual aufgeschlüsselt (Opfer, Kurzsiege, schlechte Remisen und durchschnittliche Länge der Gewinnpartien insgesamt) und so mit Punkten versehen.
Im komplette Textfilfe gibt es unter der EAS-Liste noch die zweite EAS-Liste mit noch genauerer Aufschlüsselung (Prozentwerte der höher- und niedrigerwertigen Opfer etc.)
<a class='ura' href='https://www.sp-cc.de/files/statistics_eas_ratinglist.txt'>https://www.sp-cc.de/files/statistics_eas_ratinglist.txt</a>

Hier läßt sich der Spielstil eine Engine sehr genau beurteilen... Das wird man mit Stellungstests nicht so hinbekommen.

Nein, Stefan, so nicht, aber dafür halt anders

Sehr gutes Tool von dir und sehr wertvolle Zusatzinfos, und wenn ich genau die haben will, schau ich mir immer gern genau diese deine Liste(n) an. Danke mal wieder herzlich für das alles und vor allem auch für deine frei runterladbaren Sammlungen an schön evaluierten und dokumentierten Eröffnungsteststellungen bei der Gelegenheit mal wieder.

Worauf ich nur auch wieder die ganze Zeit herumreite: alle solchen Teilaspekte (auch eine noch so komplette und ausgewogenene Ranking- und Rating- Liste kann nur über das Aufschluss geben, was die Vorgaben bestimmen, die Engines, die mitspielen, die Hardware- TC und die Eröffnungsstellungen, die ja, um es auch immer wieder zu erwähnen, auch "nur" Teststellungen sind, halt nicht für "Stellungstests", wie man sie allgemein versteht, und wie auch immer das im Einzelnen sehr verschieden gemacht werden kann, die Eröffnungsstellungen sind Teststellungen für ausgespielte Stellungstests.

Das mit den Spielstilen ist überhaupt auch so eine Sache, ich finde am relevantesten als irgendwie umschreibbaren und definierbaren Teilaspekt der Performance von Engines (übrigens auch von Menschen) ist der in der Eröffnung (die wird vom game playing aus frühen Eröffnungsstellungen sowieso immer mehr abgebildet als die beiden anderen, weil nur Mittel- und Endspiele aufs Brett kommen, die die Engines aus der jeweiligen Eröffnung heraus zulassen), im Mittelspiel und im Endspiel.
Im Endspiel wird meiner Meinung nach auch eine besondere Art von "taktischer" Qualität gefordert, die vor allem für den Menschen noch am ehesten beurteilbar ist, drum hab' ich den Stellungstest, der mich am ehesten in Hinblick auf diese taktisch vom Menschen beurteilbare Teilleistung interessiert, hier mal wieder gänzlich aus Endspielstellungen rekrutiert, es sind lauter Studien, die in die Harold van der Heijden- Datenbank auch Einzug gehalten haben, allerdings lauter solche, die von SF innerhalb einer oder weniger Sekunden auf guter Hardware gelöst werden (was, nur so am Rande bei z.B. den ersten 512 in der Datenbank bei 495 innert einer Sekunde der Fall ist).
Um von denen eine gewisse Mindestanzahl für die statistische Aussagekraft in kurzer Gesamthardwarezeit beurteilen zu lassen, gebe ich mit dem MEA- Tool von Ferdinand Mosca 200 msec für die A-B-Engines pro Stellung vor, bei LC0 muss man mehr für die längere Initialisierungszeit nehmen, außerdem verwendet diese Engine (in den Compiles, die ich bisher probiert habe) ziemlich genau nur die Hälfte der Zeit pro Zug, die ihr das Tool zuordnet, ich hab im vorigen Posting den MEA- Output dazu gezeigt. Daher bekommt LC0 von mir nicht nur einen 500 für 200- Bonus, um in vergleichbare Performance zu kommen, sondern ich verdopple das noch einmal, LC0 bekommt also 1000 statt 200 msec, verbraucht werden von den 1000 ziemlich genau 500.
Das ist die Endspiel- Studien- Suite:

https://www.dropbox.com/s/pap9dmewiw3fh3z/HH256.epd?dl=0

Gestern habe ich sie noch an Harold van der Heijden per Mail geschickt, der über die Sache schon länger informiert ist, und an Emil Vlasák, der im Arves- Magazin mit der bekannten zugehörigen Datenbank das VisualCQL5- Programm betreut, das von ihm stammt, zur Motiv- Suche nach Einträgen. Er kannte die erste Probeversion der Suite auch schon.

https://www.arves.org/arves/index.php/en/halloffame/594-vlasak-emil-1956

Hier hab' ich ein paar erste Ergebnisse mit der Suite und dem MEA- Tool gesammelt auf der 16x3.5GHz Ryzen- CPU mit der 3070ti Nvidia GUP für LC0:

Zur Vergabe der Punkte noch: ich habe zuerst 3 Runs zur Einteilung hergenommen, mit SF single thread bei 100, 300 und 500msec, diejenigen Stellungen, die bei 100 gelöst waren, haben 25 Punkte pro Lösung, die zwischen 100 und 300=50, die zwischen 300 und 500=75 und die über 500 immer noch nicht gelösten 100 Punkte.
Auch noch am Rande dazu: auf folgende Art könnte man mit den Kommentarsymbolen, die ein GUI interpretieren kann (Fritz kennt wie die meisten GUIs das ? als Kennzeichnung eines avoid moves, besonders bei diesem GUI ist dann noch das mit "RR-äquivalent ist" dem Zug vorangestellte =, damit kann man Untervarianten als gleichwertige Lösungen kennzeichen in einer Suite) in 5 Schritten Abstufungen von multiplen Lösungen bewerten:

?!=1/4, !?=1/2, kommentarloser Hauptzug=1, !=2, !!=4, damit hätte man ausreichend unterschiedliche Punktezahlen für beliebig viele Lösungen einer Stellung, so wäre das dem MEA- Tool ähnliche über ein GUI machbar und man könnte sich die Syntax pro Fen sparen.
Das einzige, was mir dann immer noch fehlte, wäre eine win- draw- loss- Bewertung jedes einzelnen Minimatches, das je 2 Engines im direkten Vergleich bei jeder einzelnen Stellung pro TC adjudiziert bekämen, wie es EloStatTS macht.
Ohne die genaue Lösungszeit pro Stellung und Engine (wie bei EloStatTS) auch noch heranzuziehen, könnte ein Tool oder GUI auf die Art jede Stellung zwischen je 2 Engines in eine wdl- Statistik eintragen, wie sie die Grundlage jeder Elo- Berechnung auch beim game playing ist.
Einfachster Weise so: Von 2 Engines gleichermaßen gelöste Stellungen ebenso wie beidseits ungelöste als Remis (wenn man die gelösten nicht noch zusätzlich mit den Lösungszeiten in msec adjuzieren will) nur von der ersten Engine gelöste als 1-0- Resultate und nur der von andere gelöste als 0-1.

An Herrn Wüllenweber hab' ich diese meine Wünsche ans Fritz- Stellungstestfeature auch schon gemailt

By Frank Sanders Date 2023-02-12 17:10

Danke für den Link, werde ich mir anschauen.