STS neu

By Peter Martan Date 2022-10-25 07:12 Edited 2022-10-25 07:35

In Lothars Thread über den Geschwindigkeitsvergleich der RTX- GPUs ging's ab hier

https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=158671#pid158671

eigentlich nur mehr um dieses Thema, drum mache ich mal einen neuen Thread auf dazu.

Das

http://talkchess.com/forum3/viewtopic.php?p=936524#p936524

ist das Posting von Ed Schröder im CCC dazu, und daraus ist dieser Link zu seiner Rebel- Site, auf der man die neu bewertete Suite und das dazu notwendige Tool von Ferdinand Mosca zur Auswertung herunterladen kann:

http://rebel13.nl/misc/sts.html

Wie wär's mit einem Gesmeinschaftsprojekt CSS- Forum zu einer noch besseren Bewertung der 1500 Stellungen nach dem Punktepinzip aber mit mehr Punkten pro Stellung, wie's Ferdy im weiter folgenden Thread (den sollte man vielleicht ganz lesen zum Stand der Entwicklung) vorschlägt und mit einem genauer nachvollziehbaren Schema?
Man könnte im Zug der Durchsicht natürlich auch Stellungen austauschen oder ergänzen.
Ich mach' erst mal Schluss hier um zu sehen, wie das Interesse daran wäre.

Mir würde vorschweben, dass sich so 10 Leute je 100- 200 Stellungen vornehmen und in einer Analyse- Art, über die man sich zunächst einigen müsste, die Punkte der Stellungen neu vergeben.

Auch dazu haben Ed Schröder, Ferdinand Mosca und Dann Corbit (der ja einer der Autoren der ursprünglichen Strategic Test Suite ist) im Thread im CCC noch einiges geschrieben.

Wer würde mitmachen wollen?
Dann erst, wenn man das Projekt überhaupt gemeinsam angehen will, mache ich konkrete Vorschläge, wie ich in der Bewertung vorginge, Vorstellungen hätte ich schon ziemlich genaue.

Edit: Ich habe mir gerade erst dieses Posting von Ferdinand Mosca dazu genauer durchgelesen:

http://talkchess.com/forum3/viewtopic.php?p=936637#p936637

Der direkte Link daraus zu seiner Version der Sammlung:

https://github.com/fsmosca/STS-Rating/tree/master/epd

und zur Erklärüng der Technik, mit der er vorgegangen ist bei der Punktevergabe:

https://github.com/fsmosca/STS-Rating#evaluationpoint-mapping

Das wäre schon eine recht gute Basis, finde ich.
Muss man schauen, wie sich das, was er da geändert hat, in der Test- Praxis auswirkt.
Was mich nur aufs Erste stört: 1 Minute SF sinlge thread MultiPV=10 wäre mir zu wenig Hardware- Zeit um Stellungen genauer zu beurteilen, die doch nicht immer ganz einfach sind.
Hab im CCC an Ferdinand Mosca meine Einwände geschrieben und einen Link zu diesem Posting hier gesetzt.

By Peter Martan Date 2022-10-25 08:40 Edited 2022-10-25 09:14

Peter Martan schrieb:

Muss man schauen, wie sich das, was er da geändert hat, in der Test- Praxis auswirkt.

Mit der Lan5- Version vom obigen Download- Link von Ferdinand Mosca sieht das schon etwas besser aus. 30 Threads der 16x3.5GHz- CPU, 100msec./Stellung:

    EPD  : epd\FM.epd
    Time : 100ms
                                                Max   Total    Time   Hash          
    Engine            Score   Found  Pos   ELO  Score   Rate     ms     Mb  Cpu      
 1  Stockfish 110922  143696   1187  1500  4320  149703  96.0%    100     8   30
 2  Stockfish 231022  143474   1186  1500  4311  149703  95.8%    100     8   30

 3  Stockfish 231022  115272   1033  1188  4365  118800  97.0%    100     8   30
 4  Stockfish 110922  114476   1023  1188  4338  118800  96.4%    100     8   30

 5  Stockfish 110922  14291    1179  1500  4293  14973   95.4%    100     8   30
 6  Stockfish 231022  14267    1190  1500  4288  14973   95.3%    100     8   30

10  Stockfish 110922  13873   1209  1500  4162  15000   92.5%    100     8   30
11  Stockfish 231022  13871   1212  1500  4162  15000   92.5%    100     8   30

                                    Created with MEA
                                          by
                                       Ferdinand
                                         Mosca

Die noch jüngere Lan6- Version enthält nur 1188 Stellungen, ich hab' sie jetzt im Vergleich drin gelassen, eigentlich spreizen die das Ergebnis am weitesten, das sind die Zeilen 3 und 4 (Lan6), 1+2 Lan5, 3+4 Lan4 von gestern, 10+11 die sts-SF15.epd von Schröder.
Die neuen Ergebnisse hab' ich im CCC auch noch gepostet.
Dass die prozentuellen Performances bei gleichem Bewertungsschema und denselben Stellungen nicht soo viel anders sind, ist kein Wunder, es ändern sich die Punkte ja nur numerisch, für mehr Diskrimination bräuchte man unterschiedlichere Relationen als sie die Engine- Evals allein hergeben.
Aber dass zwei SF dev.- Versionen, die nur ein Monat auseinander liegen, nicht mehr Unterschied in den Ergebnissen haben, spricht ja auch irgendwie für den Test als solchen

By Peter Martan Date 2022-10-27 10:18 Edited 2022-10-27 10:21

Nachdem das Interesse hierorts ja offenbar ähnlich enden wollend ist, wie erwartet (

), habe ich meine momentane Zusammenfassung zu den weiteren (sicher nicht uninteressanten) Bemühungen in der Sache im entsprechenden CCC- Thread hier

http://talkchess.com/forum3/viewtopic.php?p=936857#p936857

zusammengefasst.
Nicht, dass ich annähme, dass das auf mehr Interesse stoßen wird, nur um den Thread hier doch auch für mich irgendwie wieder zu einem vorläufigen Abschluss zu bringen.