Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Ethereal 14.00
- - By Peter Martan Date 2023-02-08 08:14 Edited 2023-02-08 08:28 Upvotes 1
Andrew Grant schreibt dazu im Talkchess:

https://talkchess.com/forum3/viewtopic.php?p=942808#p942808

Fürs MEA- Tool muss man wieder so wie schon bei 13.75 in die Batch- Datei
Code:
--eoption "EvalFile=e1400.standard.nnue"

eintragen, vorausgesetzt, das besagte Netz befindet sich im selben Ordner wie die Binary.
Ein erster run mit dem LAN_v5 STS- set von Ferdinand Mosca:

Parent - - By Lothar Jung Date 2023-02-08 08:21 Upvotes 1
Es wurde auch veröffentlicht:

http://chess.grantnet.us/Ethereal/
Parent - - By Peter Martan Date 2023-02-08 08:29 Edited 2023-02-08 08:37 Upvotes 1
Ja, Lothar, der Link steht gleich zuoberst im zitierten Talkchess- Posting.
Dort gibt's auch weitere Resultate, ebenso wie in einer Antwort darauf erste CCRL- Ratings im FRC.
Parent - - By Lothar Jung Date 2023-02-08 08:42 Upvotes 1
Habe gerade ein kostenloses Update erhalten

Bin gespannt wie es in deinem Test abschneidet.
Parent - - By Peter Martan Date 2023-02-08 08:48 Edited 2023-02-08 08:53 Upvotes 1
Lothar Jung schrieb:

Habe gerade ein kostenloses Update erhalten

Ich auch

Nicht nur, dass er das Kunden vom 13er wieder gratis überlässt, schickt er den Download- Link auch gleich unaufgefordert per Email (was ja auch nicht selbstverständlich ist). Ich überlege, den zusätzlich angebotenen Upgrade- Bonus für weitere kommende Versionen 14.25, 14.50 und 14.75 um 20$ auch zu nehmen.
Parent - By Lothar Jung Date 2023-02-08 08:52
Mache ich auch!
Parent - - By Peter Martan Date 2023-02-08 09:23 Edited 2023-02-08 09:47 Upvotes 1
Lothar Jung schrieb:

Bin gespannt wie es in deinem Test abschneidet.

Hier mal die 128

https://www.dropbox.com/s/804b7chwli13laf/1284.epd?dl=0

mit 15"/Stellung, die untere Hälfte der Liste, leider noch nicht die aktuelle LC0- Version mit dem BT2- Netz, muss ich auch mal nachholen

    Program                                    Elo   +/-  Matches  Score   Av.Op.   S.Pos.   MST1    MST2   RIndex

15 Stockfishdev-20230104-9fe9ff00-MV4       : 3529    7   3025    54.8 %   3496    66/128    4.1s    9.4s   0.44
16 Sting28                                  : 3500    7   2938    49.8 %   3501    52/128    3.9s   10.5s   0.32
17 Ceres0.97RC3-784038                      : 3498    8   2810    49.1 %   3504    49/128    3.3s   10.5s   0.35
18 Fire8.NN.MC.3-ninu-0.3.bin-MV4           : 3494    7   2765    48.7 %   3503    50/128    4.0s   10.7s   0.36
19 Stockfish310722                          : 3491    7   2876    48.6 %   3500    55/128    5.5s   10.9s   0.30
20 Ceres0.97RC3-784822                      : 3490    7   2790    48.1 %   3504    48/128    3.5s   10.7s   0.33
21 Lc0v0.30.0-dag+git.c91bf77-784038        : 3485    8   2777    47.3 %   3504    45/128    3.5s   11.0s   0.32
22 Sting28-MV4                              : 3482    8   2765    46.9 %   3504    45/128    3.3s   10.9s   0.30
23 Berserk20230130b-MV4                     : 3481    7   2772    46.9 %   3503    50/128    4.8s   11.0s   0.29
24 Lc0v0.30.0-dag+git.c91bf77-784822        : 3476    8   2772    45.9 %   3504    46/128    4.7s   11.3s   0.27
25 Dragon3.1byKomodoChess-MV4               : 3475    7   2714    46.0 %   3503    47/128    4.7s   11.2s   0.28
26 SlowChessBlitz2.9avx2-MV4                : 3456    7   2625    43.1 %   3504    43/128    5.5s   11.8s   0.24
27 Dragon3.1byKomodoChess                   : 3448    8   2556    41.8 %   3506    39/128    5.0s   12.0s   0.26
28 Ethereal14.00(NNUE)-MV4                  : 3448    8   2573    41.8 %   3506    40/128    5.5s   12.0s   0.22
29 Minic3.30-forceNNUE-MV4                  : 3446    7   2569    41.4 %   3506    40/128    5.7s   12.1s   0.21
30 Dragon3.1byKomodoChess-MCTS-MV30         : 3443    8   2573    40.8 %   3507    37/128    4.0s   11.8s   0.14
31 Ethereal13.75(NNUE)-AnalysisMode-MV4     : 3436    8   2482    39.7 %   3508    34/128    4.3s   12.2s   0.22
32 Berserk20220725-MV4                      : 3431    8   2464    39.2 %   3508    35/128    4.8s   12.2s   0.20
33 RubiChess20220813(bmi2)-MV4              : 3421    8   2462    37.6 %   3509    29/128    3.4s   12.4s   0.19
34 PowerFritz18AVX20-MV4                    : 3404    8   2383    35.2 %   3510    30/128    6.1s   12.9s   0.14
35 Koivisto9.2                              : 3378    8   2296    31.5 %   3513    21/128    5.0s   13.4s   0.12
36 Revenge3.0b-MV4                          : 3374    8   2468    31.4 %   3510    30/128   12.4s   14.4s   0.03
37 Koivisto8.16                             : 3372    8   2248    30.6 %   3514    19/128    3.5s   13.3s   0.13
38 Koivisto9.0                              : 3371    8   2258    30.6 %   3514    18/128    3.4s   13.4s   0.14

MST1  : Mean solution time (solved positions only)
MST2  : Mean solution time (solved and unsolved positions)
RIndex: Score according to solution time ranking for each position


Edit: und weil's so schnell gegangen ist, auch noch einen run mit einem MEA- set mit 1144 Stellungen, für die ich noch keinen Download- Link habe, weil ich noch an ihnen feile, ist eine Fortsetzung der 888er, 999er- Serie um die Endspielstellungen aus der diesbezüglichen 256er- Spezialsuite ergänzt, sozusagen ein weiteres Mittelding zwischen game playing und "Taktik"- Test.

Parent - - By Lothar Jung Date 2023-02-08 09:55
Sehr schön!
Gleichauf mit Komodo Dragon.
Parent - - By Peter Martan Date 2023-02-08 10:04 Edited 2023-02-08 10:10
Nein, du musst mit Dragon 3.1-MV4 (3.2 ist noch gar nicht drin) vergleichen, da kommen bei Dragon in der Liste schon noch einmal 27 Elo und 2 Plätze dazu, weil Ethereal 14.00 auch (nur) so gelaufen ist (MV4 heißt wie immer MultiPV=4), einen single primary run hab' ich mit Dragon nur deshalb drin, weil ich von dem den genaueren Unterschied diesbzüglich sehen wollte, Sting ist die einzige der getesten Engines (in der Liste), die MV4 schlechter performen, ich probier's im Zweifel schon immer wieder in beiden Settings, speichere dann aber nur den besseren, bei Ethereal gehe ich einfach davon aus, dass er vom MV4 profitiert, wie alle neueren A-B-Engines, die ihn beherrschen, Koivisto z.B. ja nicht.

Wenn ich viel Zeit habe, mach ich vielleicht noch einen single primary run mit Ethereal 14.00, aber momentan läuft ein 1'+1"- Match gegen die jüngste Berserk- Version
Parent - By Peter Martan Date 2023-02-08 17:51 Edited 2023-02-08 18:29
Zitat:

aber momentan läuft ein 1'+1"- Match gegen die jüngste Berserk- Version

Das hab' ich nach 110 Partien abgebrochen, weil da Ethereal gerade mal wieder eine Partie vorn lag

Unter 2000 Partien wird man da wohl kaum aus der error bar rauskommen, die hier laut EloStat bei 37 liegt:

1.0min+1.0sek, je 8 threads, ponder on, UHO 6mvs. Eval 110-119   
                       
1   Ethereal 14.00 (NNUE)    +3  +18/=75/-17 50.45%   55.5/110
2   Berserk 20230130b        -3  +17/=75/-18 49.55%   54.5/110


Weiß jemand, wie man die UCI- Option des Netzes in cutechess cli eingibt? Mit option.EvalFile=e1400.standard.nnue geht's nicht.
Parent - By Peter Weise Date 2023-02-08 08:49 Upvotes 2
Die Cegt'ler haben auch schon 1800 Partien spielen lassen, siehe:
https://cegt.forumieren.com/t1872-testing-ethereal-14-00nn-x64-1cpu
Parent - - By Stefan Pohl Date 2023-02-10 07:54 Edited 2023-02-10 07:58 Upvotes 1
Ratinglist-testruns von Ethereal 14.00 nnue sind durch (12000 Partien für die SPCC-Rangliste und 10000 für die UHO Top10 Rangliste).
+57 Elo SPCC-Rangliste.
Auch in der EAS-Liste konnte sich Ethereal um 10 Plätze verbessern (von Rang 45 auf Rang 35), aber der EAS-Score ist immer noch schlecht. Und die durchschnittliche Länge der Gewinnpartien ist mit 88 Zügen immer noch unterirdisch (Durchschnitt in der EAS-Liste ist 77 Züge). Heißt: Ethereal spielt immer noch langweilig und umständlich...nur nicht mehr ganz so schlimm wie Version 13.75.

https://www.sp-cc.de

https://www.sp-cc.de/uho_ratinglist.htm

Also take a look at the EAS-Ratinglist, the world's first engine-ratinglist not measuring strength of engines but engines's style of play:
https://www.sp-cc.de/eas-ratinglist.htm

(Perhaps you have to clear your browsercache (press STRG+SHIFT+DEL) or reload the website))
Parent - - By Peter Martan Date 2023-02-10 08:01
Suppi, danke!

Übrigens, wenn du dich erinnerst, was ich zu Kovisto 9.2 schrieb, das hat sich doch als relevant erwiesen:

https://talkchess.com/forum3/viewtopic.php?p=942836&sid=5b0772fd10256eabc5c4e77434c003c4#p942836

Gibt auch schon neue Compiles von Ipman zum Hotfix.
Parent - - By Stefan Pohl Date 2023-02-10 08:18
Peter Martan schrieb:

Suppi, danke!

Übrigens, wenn du dich erinnerst, was ich zu Kovisto 9.2 schrieb, das hat sich doch als relevant erwiesen:

<a class='ura' href='https://talkchess.com/forum3/viewtopic.php?p=942836&sid=5b0772fd10256eabc5c4e77434c003c4#p942836'>https://talkchess.com/forum3/viewtopic.php?p=942836&sid=5b0772fd10256eabc5c4e77434c003c4#p942836</a>

Gibt auch schon neue Compiles von Ipman zum Hotfix.


Ja, danke, hab ich gesehen. Da aber Koivisto 9.2 nur einen neuen Zuggenerator hat und sonst alles beim Alten ist (im Vergleich zu Version 9), lohnt sich ein Test kaum, hier kann es nur leichte Geschwindigkeitsvorteile geben, die bei meinem Testtempo von 3min+1sec nicht viel Elo bringen dürften... Außerdem hab ich zu viel zu tun: Stockfish 230209 läuft, zudem BlackCore 5.1 und dann kommt noch Caissa 1.6.
Parent - By Peter Martan Date 2023-02-10 08:40 Edited 2023-02-10 09:08
Schon klar, ist kein Major Update wie bei Ethereal, wollte nur sichergehen, dass du nicht ein Menge Partien kübeln musst. Ich lass' gerade, weil Kovisto ein Ausreißer in manchen Stellungstests ist (und ein bisschen widersprüchlich in best moves zu STS- artigen) ein Match Ethe14-Koi9.2 laufen, da kriegt die neue Koivisto-Version bei VSTC auch nicht viel Boden. Dragon ist hingegen von Ethereal schon noch ein Stück weit weg, Dragon MCTS aber bleibt schon deutlich unter 14.00.

Die Einzelergebnisse dieser Verfolgergruppe, zu der man Koivisto, Berserk, RubiChess jedenfalls auch zählen muss, sind so unterschiedliche, je nachdem wer gegen wen mit welcher TC antritt, dass man allein daran schon deutlich sieht, wie viel schneller die Entwicklung derzeit in die Breite (Zahl an ganz oben ähnlich Starken) als ganz oben weiter in die Höhe geht, was ihre Nachweisbarkeit betrifft. Kann ja sein, in "Wahrheit" entwickeln sich die obersten 3 auch noch immer ganz stark weiter, es statistisch siginifikant nachzuweisen, geht nur nicht mehr gleich leicht wie bei denen weiter unten.
Auch so ein Effekt der diminishing returns von Entwicklungen, je mehr unten ähnlich Starke nachrücken, desto weniger werden die oben noch gleich schnell nachweisbar besser in einem gemeinsamen Pool.
Das könnte man nach den ersten 75 Partien mit 15"+0.25, je 8 threads und UHO 6mvs 110-119 eigentlich schon abbrechen, wenn's einem nur um die LOS geht:

Score of Ethereal-14.00-pext-avx2 vs Koivisto_9.2-windows-avx2-pgo-pext: 23 - 9 - 43 [0.593]
Elo difference: 65.6 +/- 51.3, LOS: 99.3 %, DrawRatio: 57.3 %
75 of 100 games finished.

Edit: schon fertig,

Score of Ethereal-14.00-pext-avx2 vs Koivisto_9.2-windows-avx2-pgo-pext: 28 - 11 - 61 [0.585]
...      Ethereal-14.00-pext-avx2 playing White: 27 - 0 - 23  [0.770] 50
...      Ethereal-14.00-pext-avx2 playing Black: 1 - 11 - 38  [0.400] 50
...      White vs Black: 38 - 1 - 61  [0.685] 100
Elo difference: 59.6 +/- 42.3, LOS: 99.7 %, DrawRatio: 61.0 %
100 of 100 games finished.


Mit cutechess geht das bei so kurzer TC und mehreren Instanzen gleicheitig wirklich angenehm flott, und wenn man sieht (wie's z.B. beim neuen Berserk-Compile von Dariusz vom 30.1.23 gegen Ethereal14.00 war, allerdings mit 1'+1"

https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=161554#pid161554

), das kommt nicht unter 2000 Partien aus der error bar heraus, bricht man's einfach ab und testet lieber beide gegen SF als Stellvertreter, der dann zwar 2 auch nicht direkt vergleichbare Ergebnisse bringt, aber viel schneller Diskrimination zu beiden Gegnern, die einen eigentlich im direkten Vergleich interessiert hätten. Die Elo sind so natürlich wieder ganz eigene, aber was das Ranking angeht, so lange man nur die 3 Engines allein betrachtet...).
Parent - By Stefan Pohl Date 2023-02-10 08:22 Edited 2023-02-10 08:29 Upvotes 1
Interessant sind die Ergebnisse in der UHO Top 10 Rangliste, wenn man die 10000 Partien in 5000 Gamepairs umrechnet, was ja bei unbalancierten Eröffnungen, die man mit vertauschten Farben wiederholt, sinnvoll ist. Dann sieht man, wie chancenlos selbst eine starke Engine wie Ethereal 14.00 (Nummer 3 hinter Stockfish und Komodo) gegen Stockfish ist... 2 von 500 bzw. 1 von 500 Gamepairs konnte Ethereal 14 nur gegen die Stockfishe gewinnen. Au weia.

Code:

Ethereal 14.00 nnue   -524 :   5000 (+1689,=1651,-1660),  50.3 %

    vs.                         :  games (    +,    =,    -),   (%) :   Diff,   SD, CFS (%)
    Stockfish 230202 avx2       :    500 (    1,   30,  469),   3.2 :   -564,   10,    0.0
    Stockfish 15.1 221204       :    500 (    2,   42,  456),   4.6 :   -524,    9,    0.0
    KomodoDragon 3.2 avx2       :    500 (   14,  125,  361),  15.3 :   -317,    7,    0.0
    Berserk 10 avx2             :    500 (  184,  228,   88),  59.6 :    +43,    5,  100.0
    Koivisto 9 avx2             :    500 (  189,  242,   69),  62.0 :    +80,    6,  100.0
    RubiChess 221120 avx2       :    500 (  203,  229,   68),  63.5 :   +122,    6,  100.0
    Revenge 3.0 avx2            :    500 (  231,  217,   52),  67.9 :   +140,    6,  100.0
    Rebel 16.1                  :    500 (  272,  193,   35),  73.7 :   +182,    6,  100.0
    Fire 8.NN avx2              :    500 (  278,  182,   40),  73.8 :   +186,    6,  100.0
    Igel 3.4.0 popavx2          :    500 (  315,  163,   22),  79.3 :   +232,    6,  100.0


Zum Vergleich die Werte der aktuellen Stockfish Dev vom 2.Februar (kann man auch alles auf meiner Website sehen) - so sieht Dominanz aus! Selbst gegen Stockfish 15.1 kann die Stockfish Dev schon fast doppelt so viele Gamepairs gewinnen (152) wie sie verloren hat (82)...

Code:

1) Stockfish 230202 avx2   40 :   5000 (+4300,=590,-110),  91.9 %

    vs.                         :  games (    +,   =,   -),   (%) :   Diff,   SD, CFS (%)
    Stockfish 15.1 221204       :    500 (  152, 266,  82),  57.0 :    +40,    9,  100.0
    KomodoDragon 3.2 avx2       :    500 (  316, 157,  27),  78.9 :   +246,    9,  100.0
    Ethereal 14.00 nnue         :    500 (  469,  30,   1),  96.8 :   +564,   10,  100.0
    Berserk 10 avx2             :    500 (  474,  26,   0),  97.4 :   +607,    9,  100.0
    Koivisto 9 avx2             :    500 (  475,  25,   0),  97.5 :   +644,    9,  100.0
    RubiChess 221120 avx2       :    500 (  474,  26,   0),  97.4 :   +685,    9,  100.0
    Revenge 3.0 avx2            :    500 (  483,  17,   0),  98.3 :   +703,    9,  100.0
    Rebel 16.1                  :    500 (  482,  18,   0),  98.2 :   +746,    9,  100.0
    Fire 8.NN avx2              :    500 (  482,  18,   0),  98.2 :   +750,    9,  100.0
    Igel 3.4.0 popavx2          :    500 (  493,   7,   0),  99.3 :   +796,   10,  100.0
Up Topic Hauptforen / CSS-Forum / Ethereal 14.00

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill