Oh Lothar, du reiner Ländler du

Ich habe Leela- Mausi sowohl die default vorgegebenen 2 Threads in einem Run gegönnt, als auch die Hash- Ziffern nur angepasst, damit man was dort stehen hat. Ich weiß wohl, dass sich die Engine um das, was ein GUI ihr vorschreibt (ohnehin nur, wenn's das GUI nicht besser weiß, und ihr überhaupt was vorschreiben will, lass uns nicht näher ins Detail gehen, welches GUI das ist) nicht kümmert, aber ich müsste die Zeile mit den Hash- Einstellungen sonst eigens aus dem Mea- Script immer wieder rausnehmen und für A-B-Engines dann wieder einfügen, dieser Befehl ist aber über die Konsole ohnehin ebenso unwirksam wie er es über ein GUI wäre, weil ihn lc0 nicht in den UCI- Optionen hat und es ein UCI- Kommando ist, das LC0 wie gesagt ohnehin ignoriert.

Es geht also einfach darum, dass da etwas in dieser Zeile steht muss (ich weiß eigentlich nicht, was das Script macht, wenn sie leer bleibt, es interessiert mich auch nur sehr am Rande).
Kümmere dich also bitte du ebenso wenig um das, was bei Leela da in der Spalte Hash steht, ich passe auch nicht den NN-Cache eigens an, was ich hingegen schon natürlich über eine eigene UCI- Kommandozeile machen könnte, das wäre aber wieder derselbe Extra- Aufwand, wenn ich die batch- Datei dann auch für A-B abwechselnd verwenden will.

Dass das Leelalein mehr Initialisierungszeit braucht, ist ja eigentlich nicht die Schuld der anderen Engines, aber dass sie mehr als 200msec mehr braucht als A-B-Engines, glaube ich eigentlich nicht, und der kürzeste Vergleichsrun ist mit 300 auch schon das 3/2- fache von den 200 bei SF, es ist ohnehin einer mit 500 deshalb auch da, dass man mal (bei dieser einen Suite und diesem Vergleichsfeld) den Unterschied feststellt.

Gerne, weil ich's ja jetzt eh auf 999 reduziert habe (zu den 1111, die eigentlich sogar weniger game- playing- ähnlich gepunktet haben) werde ich die paar runs, die ich mit LC0- Versionen und - Netzen machen werde, mit 500 machen, weil ich ja jetzt ohnehin nur mehr Tests mit Versionen und Netze von Liebling Leela machen muss, die auf der offiziellen LC0- site stehen (und oder von dir und deinen discord- compañeros aus Rheinland und Amiland abgesegnet sind als gerade aktuellste super-über-drüber Kombis ), es sei denn, ein Rhein- oder Amiländer hätte gern wieder ganz was Anderes.

Das ist insofern ein ernstgemeintes Angebot, als diese Suiten alle frei runterladbar sind und sie jeder so verwenden kann und darf und soll, wie es die Fragestellung, die die- oder derjenige damit beantworten will, am besten hergibt.

Für einen internen Versionsvergleich, der nicht für eine breitere Gegnerschaft an A-B-Engines auch gedacht ist, kann man sowieso nehmen, was man will.
500 msec sind ein guter Kompromiss, glaube ich, wenn man mit 2-300 single thread für SF vergleichen wollte, aber der geht damit dann relativ zu 200 gerade in diesem sensiblen Bereich dieser Stellungen auch gleich noch ein Stück nach oben, man sieht ja auch hier schon, wieviel Unterschied zwischen 1 und 8 Threads ist (bei A-B, bei Leela wohl auch zwischen 1 und 2 CPU- Threads nicht, interessiert ja auch praktisch nicht, weil mit 1 auch kein Determinismus wie bei A-B zu erwarten ist, war hier auch nur ein einmaliger Versuch, um's halt auch mal zu sehen.

Hingegen ist das Verhältnis von Engines, die da zwischen 60 und 90% der Punkte holen jetzt ohnehin ein ziemlich breit gefächertes, denke ich und man kann wohl recht gut mit Hardware- TC je nach Teilnehmern zusätzlich viel mehr Breite schaffen.
Übrigens bin ich natürlich auch schon wieder dabei, diese 999, von denen die meisten UHOs darin, wenn man zu wenig eindeutige nicht einfach nur ersetzen will, sondern auch mit mehreren Lösungen mit vorangestelltem = im Fritz versieht, auch als "sozusagen oder annähernd single best move"- Suite (halt nur im Fritz als solche korrekt verwendbar) zu einer .cbh- Datei zu machen. Das wird wieder ein bisschen dauern, aber dann kann man so ca. 1000 derartige mit 1"/Zug auch mit EloStatTS auswerten lassen


Edit, edit, edit, wenn 300 msec zu kurz sind für das Leela- Mausi, sind aber für 500 msec. 8G NN-Cache, von denen du schreibst, erst recht zuviel. Default haben die 30dag- compiles 2G, für LTC setze ich das auf die im Fritz maximal einstellbaren 10, aber für VSTC, zu dem der MEA- Stellungstest mit diesen Rechenzeiten auch mehr als zu STC gehört, wäre nur 1G wahrscheinlich sogar besser.
Und weil du meinst, du würdest die Liste mit "nur" 8 Threads (ich nehme an, du meinst SF) erstellen, ja, erstellle beliebig viele Listen, Lothar, für mich sind die Zeiten der langen Listen, was MEA angeht, vorbei, das wird nur immer unübersichtlicher. Mit MEA speicherst du Resultatzeilen und kannst sie dann für eine gemeinsame Listendarstellung beliebig alte mit neuen kombinieren, so lange du bei denselben Suiten bleibst (geht auch mit mehreren, die Elo sind dann aber noch weniger vergleichbar untereinander, die Prozent an Punkten stimmen sogar immer noch).
Wenn ich SF und LC0 vergleichen wollte mit dieser Suite, würde ich SF single thread nehmen (hab ich ja hier auch zur Hälfte so gemacht) und dann kannst du schwächere A-B-Engines mit derselben kurzen TC noch mit 8 dazu vergleichen. Das wirklich gemeinsame Niveau haben hier, wie du siehts, SF mit 200msec single thread und LC0 mit 3070ti, 2 CPU- Threads (der Unterschied zu einem spielt hier kaum eine Rolle und wie gesagt, Determinismus bei LC0 sowieso auch mit einem einzelnen CPU- Thread nicht) und 500msec.
Das alles ist Sache von Test und Irrtum, viel Spaß beim Herausfinden!

Et voilá:

    EPD  : epd\999.epd
    Time : 200 - 500ms
                                                Max   Total   Time   Hash         
    Engine           Score   Found  Pos   ELO  Score   Rate    ms     Mb  Cpu     
1  SF230114          9700    868   999  3901  11184  86.7%    200     8    8
2  ShashChess27.1    9634    859   999  3874  11184  86.1%    200     8    8
3  SF15              9524    856   999  3834  11184  85.2%    200     8    8
4  Dragon3.2         9430    839   999  3793  11184  84.3%    200     8    8
5  lc0dag0.30-BT2    9346    826   999  3762  11184  83.6%    500     2    2
6  SF230114          9320    830   999  3748  11184  83.3%    300     3    1
7  ShashChess27.1    9234    829   999  3717  11184  82.6%    300     3    1
8  Dragon3.2         8766    796   999  3528  11184  78.4%    300     3    1

Bei LC0 steht das, was bei Hash eingetragen ist, für den NN- Cache. 2M ist ohnehin default bei diesem compile und war daher auch vorher schon bei diesem Run eingestellt.
Ich denke, wir meinten beide in dem Zusammenhang nicht G sondern M(egabyte), ich hab' mich bei dem, was ich vorhin ganz unten im Edit schrieb, jedenfalls mal wieder zwischen Mb und Gb geirrt, Gb wäre ja an Hash für die A-B-Engines auch viel zu viel für die 200 bis 300 msec Rechenzeit.

Was für ein harter Kampf war das mit Ethereal 13.75

https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=161106#pid161106

Nachdem die Stellung Nr. 797 von den 999 (weiter oben mit download- Link) aber auch mit koivisto schon einmal zum Abstürzen geführt hatte, wollte ich unbedingt wissen, was mit der Syntax nicht simmt, alle möglichen Variatonen der id probiert, das mit den _und Leerzeichen dort, wo sie sein sollen und dort, wo sie nicht sein dürfen, scheint auch hin und wieder (obwohl ich an dieser Stelle, im id- Teil des Strings, noch nie andere Probleme gesehen hatte) nicht egal zu sein.
Weil die Stellung aber auch ohnehin keine soo gute war, hab's ich sie jetzt doch einfach durch diese (auch schon in der MEA- Syntax so verwendbar)



ersetzt. Dann hatte ich natürlich wieder zuerst gleich einmal das Semikolon hinter der Punktezahl nach dem " vergessen, aber das hat koivisto, den ich jetzt in seiner neuen Version 9.0

https://github.com/Luecx/Koivisto

auch noch sicherheitshalber probiert hab, gleich am Anfang hingeschrieben, das alles zusammen hat mich das ganze Mittagsschläfchen gekostet. Eine wirklich brave Engine lässt so eine Stellung dann halt einfach aus und schreibt freundlicher Weise auch dazu, warum


Und wenn man da jetzt weiß, das mit genau der Stellung was nicht stimmt, dann findet man das fehlende Semikolon leicht, vor allem an der Stelle, von dem man schon weiß, dass sie crucial ist, aber das mit dem id- String, und noch dazu wie gesagt, von den meisten Engines ohnehin ignoriert, das war gemein.

   EPD  : 999.epd
   Time : 200-500 ms
                                                Max   Total   Time   Hash         
    Engine           Score   Found  Pos   ELO  Score   Rate    ms     Mb  Cpu     
1  SF230114          9700    868   999  3901  11184  86.7%    200     8    8
2  ShashChess27.2    9693    859   999  3901  11184  86.7%    200    16    8
3  ShashChess27.1GD  9634    859   999  3874  11184  86.1%    200     8    8
4  lc030dag-BT2-325M 9503    838   999  3825  11184  85.0%    500     2    2
5  Dragon3.2         9430    839   999  3793  11184  84.3%    200     8    8
6  lc0dag0.30-BT2    9346    826   999  3762  11184  83.6%    500     2    2
7  Koivisto9         8113    749   999  3262  11184  72.5%    200    16    8
8  Koivisto8.16      7999    751   999  3217  11184  71.5%    200     8    8
9  Berserk10         7951    741   999  3199  11184  71.1%    200     8    8
10 Ethereal13.75     7657    718   999  3082  11184  68.5%    200    16    8

                                    Created with MEA
                                          by
                                       Ferdinand
                                         Mosca