Diejenigen der 108, die Vincent Lejeune von den 114 des HTC zuletzt noch übrig gelassen hat, und die sich nicht mit Eret überschneiden, aus dem 102 und der Rest aus Arasan 2021, das alles in MEA- Syntax. so dass die HTC- Stellungen im Schnitt 100, die Eret 75 und die Arasan 50 Punkte für den best move bekommen, was die Sinnhaftigkeit von MEA für single best move- Stellungen erhöht, es trägt dem doch unterschiedlichen Hardware- TC- Schwierigkeitsgrad Rechnung und erhöht damit die Ergebnisspreizung bei gleicher statistischer Signifikanz. Das Pendant dazu bei EloStatTS: die Zeit- Indices.



Macht 256, die für die stärksten Engines SMP mit 5"/Stellung durchaus immer noch verwendbar sind, für die schwächeren müsste man einfach die TC etwas erhöhen, was in gewissen Grenzen ja mit EloStatTS machbar ist, weil da die kürzeren Zeiten in die Zeit- Indices positiv eingehen. Mit MEA bräuchte man in diesem Fall dann zur WDL- Umrechnung noch das Tool von Frank Sanders.

Hier jetzt aber mal eine erste Gegenüberstellung von jeweils einzelnen Runs mit MEA ausgewertet und mit EloStatTS. In beiden Fällen mit 5"/pos., im Fritz mit 30 Threads der 16x3.5GHz CPU, mit MEA mit 8, um mehrere Instanzen gleichzeitig laufen lassen zu können, Lc0 jeweils mit der 3070ti GPU, Hauptnachteil hier mit MEA nach wie vor, dass verschiedene Netze verschiedenen Zeitverbrauch bei gleichen Vorgaben haben, das BT4- Netz nimmt sich etwas mehr und hat mit 9500msec den gleichen Gesamtverbrauch wie das T3 mit 10000, beide sind dann den 5" der A-B-Engines gleich (bei denen gibt's auch Ausnahmen, aber nicht in diesem Feld).

    EPD  : epd\erehtc.epd
    Time : 5000ms
                                                Max   Total   Time   Hash         
    Engine           Score   Found  Pos   ELO  Score   Rate    ms     Mb  Cpu     
1  Lc0-6077500      14240    184   256  3303  19405  73.4%   5000   500    2
2  SF240303         13700    183   256  3172  19425  70.5%   5000   512    8
3  Lc0-2815M        13690    179   256  3172  19425  70.5%   5000   500    2
4  SF240203         13270    179   256  3073  19425  68.3%   5000   512    8
5  Dragon3.3        12765    171   256  2961  19405  65.8%   5000   512    8
6  Ethereal14.25     9360    128   256  2169  19425  48.2%   5000   512    8

                                    Created with MEA
                                          by
                                       Ferdinand
                                         Mosca

Und mit EloStatTS:

    Program                                    Elo   +/-  Matches  Score   Av.Op.   S.Pos.   MST1    MST2   RIndex

  1 Stockfish16.1                            : 3514    7    668    52.8 %   3495   214/256    1.3s    1.9s   0.92
  2 Stockfishdev-20240303                    : 3504    7    659    50.7 %   3499   203/256    1.3s    2.0s   0.90
  3 Lc0v0.31.0-dag+git.aeb1663f-2815M        : 3492    7    649    48.4 %   3503   192/256    1.2s    2.2s   0.82
  4 Lc0v0.31.0-dag+git.a4877961-6077500      : 3490    8    648    48.0 %   3504   192/256    1.3s    2.2s   0.82

MST1  : Mean solution time (solved positions only)
MST2  : Mean solution time (solved and unsolved positions)
RIndex: Score according to solution time ranking for each position


Bei dieser Suite, dieser TC und diesem Feld würde ich MEA bevorzugen, wenngleich es nicht genau dieselben Engines sind, (SF 16.1 ist ein anderes Compile als 240203, das eine von der SF- site das andere von abrok) im Fritz die error bar noch sinken würde mit mehr runs und die Hardware Stockfish begünstigt gegenüber Lc0.
Und die "Elo" sind bei MEA natürlich bizarr gespreizt, macht ja aber nichts, wenn man sie nicht mit anderen vergleicht, als error bar würde ich da ca. 1-1.5% des möglichen Gesamt- Scores sehen. Wollte man da EloStatTS- vergleichbare Werte, müsste man jetzt noch mit dem Tool von Frank Sanders in WDL umrechnen, auf die Art könnte man dann auch noch ähnlich wie bei EloStatTS mehrere Runs verschiedener TC in eine gemeinsame Liste eintragen lassen.

Mit einer der 128er- Suiten 10 bis 100 Punkte pro Stellung je nach Schwierigkeit (Hardware- TC- Bedarf bei SF und Lc0) in MEA- Syntax


und Hardware wie oben (8 Threads für A-B und die 3070ti für Lc0), 30"/pos.
ShashChess hätte die Anpassung, die ich von den 5" übernommen hatte, gar nicht mehr gebraucht, statt der 29.4, die dann auch ein bisschen weniger Gesamtverbrauch gebracht haben, wären die ganzen 30 auch ok gewesen, halt vermutlich (hab's nicht mehr eigens probiert) dann ein bisschen über dem, was SF nutzt. Bei Lc0 hätte ich nicht für beide Netze 60" nehmen sollen, für's kleinere Netz wären 57 genauer gewesen. Und bei Crystal bin ich mir nicht sicher, dass die eoption- Einstellungen für MultiPV und Depth wirklich von MEA so an die Engine weitergegeben werden wie in der Konsole, ich argwöhne ein bisschen, dass der eher default gelaufen ist, wenn ich mir sein Ergebnis im Vergleich zu den anderen anschaue, die alle 4 primaries hatten.

    EPD  : mea128.epd
    Time : ms
                                                Max   Total   Time   Hash         
    Engine           Score   Found  Pos   ELO  Score   Rate    ms     Mb  Cpu     
1  ShashChess34.6HT  2850     77   128  2443   5250  54.3%  30000  1024    8
2  Lc0-6077500       2530     79   128  2169   5250  48.2%  30000  4000    2
3  SF240303          2430     67   128  2083   5250  46.3%  30000  1024    8
4  CrystalMZ040823   2340     71   128  2007   5250  44.6%  30000  1024    8
5  Lc0-2815M         2280     73   128  1953   5250  43.4%  30000  4000    2
6  Dragon3.3         1210     37   128  1035   5250  23.0%  30000  1024    8

                                    Created with MEA
                                          by
                                       Ferdinand
                                         Mosca

Mit EloStatTS kann man das nur bedingt vergleichen, weil es nicht genau dieselbe Suite ist, aus der alten Liste, die ich mit den 128 und 15" vor Längerem das letzte Mal aktualsiert hatte, sind ein paar Stellungen ausgetauscht worden, drum stimmt auch beim jetzt letzten neuen Run mit ShahChess 34.6 die Gesamtzahl nicht überein, es werden aber ohnehin immer nur die unter den Matches neu berechnet, die in alten und neuen Listen übereinstimmen. Und die Hardware- TC war in dieser Liste immer 30 Threads für A-B und 15".

    Program                                    Elo   +/-  Matches  Score   Av.Op.   S.Pos.   MST1    MST2   RIndex

  1 ShashChess34.6-MuPV4HTal                 : 3589    4   7216    63.5 %   3493    95/128    2.8s    5.9s   0.69
  2 HypnoSIccf190523-Set2                    : 3588    4   7207    63.2 %   3494    95/127    3.0s    6.0s   0.67
  3 CrystalMZ140523bmi2-Set2                 : 3581    4   7039    62.2 %   3494    93/127    3.1s    6.3s   0.64

32  Stockfishdev-20230405-MV4                : 3526    4   6130    54.1 %   3497    70/127    3.5s    8.6s   0.52

43  Lc0v0.30.0-dag+git.77382b9c-325M         : 3498    5   6255    49.3 %   3504    59/127    3.7s    9.8s   0.32

52  Dragon3.2byKomodoChess64-Aggr.MV4        : 3462    5   5795    43.9 %   3504    51/127    5.2s   11.1s   0.25

56  Dragon3.1byKomodoChess-MV4               : 3452    5   5564    42.4 %   3505    47/127    4.7s   11.2s   0.26
 
71  Rebel-16.2                               : 3351    5   4891    28.2 %   3514    18/127    4.0s   13.4s   0.09
72  Revenge3.0b-MV4                          : 3350    5   5155    28.3 %   3511    29/127   12.8s   14.5s   0.02

MST1  : Mean solution time (solved positions only)
MST2  : Mean solution time (solved and unsolved positions)
RIndex: Score according to solution time ranking for each position


Edit: Dass das Crystal- Ergebnis in der MEA- Suite nicht stimmen wird, sieht man auch, wenn man man's mit dem hier vergleicht, das im Shredder mit derselben Suite bei gleicher Hardware- TC (8 Threads und 30"/pos.) gelaufen ist:

CrystalMZ 040823
NNUE evaluation using nn-c38c3d8d3920.nnue

Bisher gelöst: 99 von 128  ;  22:07m

         1   2   3   4   5   6   7   8   9  10  11  12  13  14  15  16  17  18  19  20
-------------------------------------------------------------------------------------
   0 |   0   3   5   0   0   4   -   1   0   3   0   0   0   3   0   6  30   5   0   1
  20 |   1  16   2  20   1   0   1   2   1   0   4   2  25   8   -   3   0   2   7   0
  40 |   -   0   -   0  22   -   6   -   8   0   0   6   6   -   -   -  23   0   3   0
  60 |   0   0   -   -  10   -   -   -   0   0   2   0   0   2   0   -   1   1   0   0
  80 |   5   0   0   0  30   6   0   0  11   0   0   6   0   0   9   0   2   -   2   0
100  |   -   -   -   0  30   -   0   0   0   0   6   -  30   3   -   4   1   1   -  10
120  |   -   -   -   -   3   7   -   -

  K/s: 26.741.103 
  TotTime: 31:10m    SolTime: 22:07m

Mit den Punkten kann man's natürlich nicht vergleichen, aber mit dem, was unter "Found" in der MEA- Tabelle eingetragen ist, da ist der Unterschied zwischen 71 dort und 99 hier einfach zu groß, offenbar ist Crystal mit MEA nicht mit MultiPV gelaufen wie im Shredder (in dem war's dafür eingestellt auf Iccf=3, bedeutet MultiPV=8, Depth war 21).

Die eine oder andere neue Idee zum Verfeinern bestehender Test- Tools hätte ich schon immer wieder mal, und stelle 2 davon hier rein, falls ein Python- Kundiger sich mal ein bisschen Arbeit machen will mit solchen Basteleien. Ferdinand Mosca hab' ich schon vor einer Weile diesbezüglich im Talkchess per PM angeschrieben, das ist aber schon über einen Monat in der Outbox dort, anscheinend meldet sich Ferdy derzeit nicht sehr häufig an.

Das Eine wäre eine Kombination von MEA- Punkten mit Eval- Ranges der Engine- Outputs, man könnte die vom Tool pro Lösung vergebenen Punkte anhand der Engine- Evals relativ zu definierten Ziel- Evals erhöhen bzw. senken, ev. sogar, wie es das EloStatTS- Tool macht, Minimatches zwischen je 2 Engines pro Stellung als WDL-Punkte auswerten lassen, jede Stellung wird zwischen je 2 runs anhand der Evals relativ zur Ziel- Eval in bestimmten prozentuellen Ranges gewertet. Z.B. innerhalb von 50% der best eval können Engine- Evals, die sich voneinander um mehr als 25% unterscheiden, ganze Punkte (Wins) bringen, außerhalb der 50% sind Evals automatisch auch bei richtiger Lösung Losses, alle anderen sind Draws. Über die Grenzen müsste man pro Stellung jeweils extra nachdenken, die müssten von der Schwierigkeit der Stellung (pro Hardware- Zeit) abhängen.

Das bedürfte schon einer gewissen Programmier- Arbeit, vor allem auch in der .epd- Syntax pro Stellung, aber folgende zweite Idee wäre noch um Einiges leichter zu verwirklichen, denke ich:
Man dividiert die MEA- Punkte pro Engine und Stellung durch die Sekunden, die das GUI (z.B. Shredder hätte da zum Schluss immer diese übersichtlichen Lösungs- Tabellen) für die Stellung im einzelnen run notiert hat und bekommt so Punktesummen, die der (durch die Punkte definierte) Schwierigkeit der Stellung und der jeweiligen Lösungszeit/Stellung Rechnung trägt.

Ich bin nicht gut genug im Erstellen von Batch- Dateien (eine solche zusätzlich zum MEA- batch- file würde vermutlich auch schon genügen) oder mit Python, so etwas selbst zu schreiben, aber wie gesagt, vielleicht findet sich jemand, der's probieren will.
Für Tests und das Bereitstellen von passenden MEA- Suiten wär' ich gern bereit.