Diejenigen der 108, die Vincent Lejeune von den 114 des HTC zuletzt noch übrig gelassen hat, und die sich nicht mit Eret überschneiden, aus dem 102 und der Rest aus Arasan 2021, das alles in MEA- Syntax. so dass die HTC- Stellungen im Schnitt 100, die Eret 75 und die Arasan 50 Punkte für den best move bekommen, was die Sinnhaftigkeit von MEA für single best move- Stellungen erhöht, es trägt dem doch unterschiedlichen Hardware- TC- Schwierigkeitsgrad Rechnung und erhöht damit die Ergebnisspreizung bei gleicher statistischer Signifikanz. Das Pendant dazu bei EloStatTS: die Zeit- Indices.



Macht 256, die für die stärksten Engines SMP mit 5"/Stellung durchaus immer noch verwendbar sind, für die schwächeren müsste man einfach die TC etwas erhöhen, was in gewissen Grenzen ja mit EloStatTS machbar ist, weil da die kürzeren Zeiten in die Zeit- Indices positiv eingehen. Mit MEA bräuchte man in diesem Fall dann zur WDL- Umrechnung noch das Tool von Frank Sanders.

Hier jetzt aber mal eine erste Gegenüberstellung von jeweils einzelnen Runs mit MEA ausgewertet und mit EloStatTS. In beiden Fällen mit 5"/pos., im Fritz mit 30 Threads der 16x3.5GHz CPU, mit MEA mit 8, um mehrere Instanzen gleichzeitig laufen lassen zu können, Lc0 jeweils mit der 3070ti GPU, Hauptnachteil hier mit MEA nach wie vor, dass verschiedene Netze verschiedenen Zeitverbrauch bei gleichen Vorgaben haben, das BT4- Netz nimmt sich etwas mehr und hat mit 9500msec den gleichen Gesamtverbrauch wie das T3 mit 10000, beide sind dann den 5" der A-B-Engines gleich (bei denen gibt's auch Ausnahmen, aber nicht in diesem Feld).

    EPD  : epd\erehtc.epd
    Time : 5000ms
                                                Max   Total   Time   Hash         
    Engine           Score   Found  Pos   ELO  Score   Rate    ms     Mb  Cpu     
1  Lc0-6077500      14240    184   256  3303  19405  73.4%   5000   500    2
2  SF240303         13700    183   256  3172  19425  70.5%   5000   512    8
3  Lc0-2815M        13690    179   256  3172  19425  70.5%   5000   500    2
4  SF240203         13270    179   256  3073  19425  68.3%   5000   512    8
5  Dragon3.3        12765    171   256  2961  19405  65.8%   5000   512    8
6  Ethereal14.25     9360    128   256  2169  19425  48.2%   5000   512    8

                                    Created with MEA
                                          by
                                       Ferdinand
                                         Mosca

Und mit EloStatTS:

    Program                                    Elo   +/-  Matches  Score   Av.Op.   S.Pos.   MST1    MST2   RIndex

  1 Stockfish16.1                            : 3514    7    668    52.8 %   3495   214/256    1.3s    1.9s   0.92
  2 Stockfishdev-20240303                    : 3504    7    659    50.7 %   3499   203/256    1.3s    2.0s   0.90
  3 Lc0v0.31.0-dag+git.aeb1663f-2815M        : 3492    7    649    48.4 %   3503   192/256    1.2s    2.2s   0.82
  4 Lc0v0.31.0-dag+git.a4877961-6077500      : 3490    8    648    48.0 %   3504   192/256    1.3s    2.2s   0.82

MST1  : Mean solution time (solved positions only)
MST2  : Mean solution time (solved and unsolved positions)
RIndex: Score according to solution time ranking for each position


Bei dieser Suite, dieser TC und diesem Feld würde ich MEA bevorzugen, wenngleich es nicht genau dieselben Engines sind, (SF 16.1 ist ein anderes Compile als 240203, das eine von der SF- site das andere von abrok) im Fritz die error bar noch sinken würde mit mehr runs und die Hardware Stockfish begünstigt gegenüber Lc0.
Und die "Elo" sind bei MEA natürlich bizarr gespreizt, macht ja aber nichts, wenn man sie nicht mit anderen vergleicht, als error bar würde ich da ca. 1-1.5% des möglichen Gesamt- Scores sehen. Wollte man da EloStatTS- vergleichbare Werte, müsste man jetzt noch mit dem Tool von Frank Sanders in WDL umrechnen, auf die Art könnte man dann auch noch ähnlich wie bei EloStatTS mehrere Runs verschiedener TC in eine gemeinsame Liste eintragen lassen.

Mit einer der 128er- Suiten 10 bis 100 Punkte pro Stellung je nach Schwierigkeit (Hardware- TC- Bedarf bei SF und Lc0) in MEA- Syntax


und Hardware wie oben (8 Threads für A-B und die 3070ti für Lc0), 30"/pos.
ShashChess hätte die Anpassung, die ich von den 5" übernommen hatte, gar nicht mehr gebraucht, statt der 29.4, die dann auch ein bisschen weniger Gesamtverbrauch gebracht haben, wären die ganzen 30 auch ok gewesen, halt vermutlich (hab's nicht mehr eigens probiert) dann ein bisschen über dem, was SF nutzt. Bei Lc0 hätte ich nicht für beide Netze 60" nehmen sollen, für's kleinere Netz wären 57 genauer gewesen. Und bei Crystal bin ich mir nicht sicher, dass die eoption- Einstellungen für MultiPV und Depth wirklich von MEA so an die Engine weitergegeben werden wie in der Konsole, ich argwöhne ein bisschen, dass der eher default gelaufen ist, wenn ich mir sein Ergebnis im Vergleich zu den anderen anschaue, die alle 4 primaries hatten.

    EPD  : mea128.epd
    Time : ms
                                                Max   Total   Time   Hash         
    Engine           Score   Found  Pos   ELO  Score   Rate    ms     Mb  Cpu     
1  ShashChess34.6HT  2850     77   128  2443   5250  54.3%  30000  1024    8
2  Lc0-6077500       2530     79   128  2169   5250  48.2%  30000  4000    2
3  SF240303          2430     67   128  2083   5250  46.3%  30000  1024    8
4  CrystalMZ040823   2340     71   128  2007   5250  44.6%  30000  1024    8
5  Lc0-2815M         2280     73   128  1953   5250  43.4%  30000  4000    2
6  Dragon3.3         1210     37   128  1035   5250  23.0%  30000  1024    8

                                    Created with MEA
                                          by
                                       Ferdinand
                                         Mosca

Mit EloStatTS kann man das nur bedingt vergleichen, weil es nicht genau dieselbe Suite ist, aus der alten Liste, die ich mit den 128 und 15" vor Längerem das letzte Mal aktualsiert hatte, sind ein paar Stellungen ausgetauscht worden, drum stimmt auch beim jetzt letzten neuen Run mit ShahChess 34.6 die Gesamtzahl nicht überein, es werden aber ohnehin immer nur die unter den Matches neu berechnet, die in alten und neuen Listen übereinstimmen. Und die Hardware- TC war in dieser Liste immer 30 Threads für A-B und 15".

    Program                                    Elo   +/-  Matches  Score   Av.Op.   S.Pos.   MST1    MST2   RIndex

  1 ShashChess34.6-MuPV4HTal                 : 3589    4   7216    63.5 %   3493    95/128    2.8s    5.9s   0.69
  2 HypnoSIccf190523-Set2                    : 3588    4   7207    63.2 %   3494    95/127    3.0s    6.0s   0.67
  3 CrystalMZ140523bmi2-Set2                 : 3581    4   7039    62.2 %   3494    93/127    3.1s    6.3s   0.64

32  Stockfishdev-20230405-MV4                : 3526    4   6130    54.1 %   3497    70/127    3.5s    8.6s   0.52

43  Lc0v0.30.0-dag+git.77382b9c-325M         : 3498    5   6255    49.3 %   3504    59/127    3.7s    9.8s   0.32

52  Dragon3.2byKomodoChess64-Aggr.MV4        : 3462    5   5795    43.9 %   3504    51/127    5.2s   11.1s   0.25

56  Dragon3.1byKomodoChess-MV4               : 3452    5   5564    42.4 %   3505    47/127    4.7s   11.2s   0.26
 
71  Rebel-16.2                               : 3351    5   4891    28.2 %   3514    18/127    4.0s   13.4s   0.09
72  Revenge3.0b-MV4                          : 3350    5   5155    28.3 %   3511    29/127   12.8s   14.5s   0.02

MST1  : Mean solution time (solved positions only)
MST2  : Mean solution time (solved and unsolved positions)
RIndex: Score according to solution time ranking for each position


Edit: Dass das Crystal- Ergebnis in der MEA- Suite nicht stimmen wird, sieht man auch, wenn man man's mit dem hier vergleicht, das im Shredder mit derselben Suite bei gleicher Hardware- TC (8 Threads und 30"/pos.) gelaufen ist:

CrystalMZ 040823
NNUE evaluation using nn-c38c3d8d3920.nnue

Bisher gelöst: 99 von 128  ;  22:07m

         1   2   3   4   5   6   7   8   9  10  11  12  13  14  15  16  17  18  19  20
-------------------------------------------------------------------------------------
   0 |   0   3   5   0   0   4   -   1   0   3   0   0   0   3   0   6  30   5   0   1
  20 |   1  16   2  20   1   0   1   2   1   0   4   2  25   8   -   3   0   2   7   0
  40 |   -   0   -   0  22   -   6   -   8   0   0   6   6   -   -   -  23   0   3   0
  60 |   0   0   -   -  10   -   -   -   0   0   2   0   0   2   0   -   1   1   0   0
  80 |   5   0   0   0  30   6   0   0  11   0   0   6   0   0   9   0   2   -   2   0
100  |   -   -   -   0  30   -   0   0   0   0   6   -  30   3   -   4   1   1   -  10
120  |   -   -   -   -   3   7   -   -

  K/s: 26.741.103 
  TotTime: 31:10m    SolTime: 22:07m

Mit den Punkten kann man's natürlich nicht vergleichen, aber mit dem, was unter "Found" in der MEA- Tabelle eingetragen ist, da ist der Unterschied zwischen 71 dort und 99 hier einfach zu groß, offenbar ist Crystal mit MEA nicht mit MultiPV gelaufen wie im Shredder (in dem war's dafür eingestellt auf Iccf=3, bedeutet MultiPV=8, Depth war 21).