Aktuelle Rangliste der Computer-Engines - Lc0 liegt mit 39 Elo hinter Stockfish

By Reinhold Stibi Date 2024-01-02 17:55 Edited 2024-01-02 17:58 Upvotes 1

Die Rangliste von Stefan Pohl dürfte sehr realistisch die Spielstärke der Computerschach-Engines
darstellen.

Lc0 liegt da mit 39 Elo hinter Stockfish; das trifft m.E. sehr gut zu.

Lc0 konnte doch den 2.Platz behaupten; prima Leistung.

Program Elo + - Games Score   Av.Op. Draws

   1 Stockfish 231222 avx2 : 3829 4 4 15000 72.5%   3652   46.9%
   2 Stockfish 16 230630 : 3821 4 4 15000 71.6%   3652   47.1%
[ Lc0 0.31dev TCEC 25 SuFi : 3790   15   15 1000 (NN vs SF15.1 testing)]
   3 Torch 1 popavx2 : 3783 4 4 15000 66.8%   3655   47.8%
   4 KomodoDragon 3.3 avx2 : 3751 4 4 15000 62.6%   3657   48.5%
   5 Berserk 12 avx2 : 3727 4 4 15000 59.4%   3658   48.3%
   6 Ethereal 14.25 nnue : 3673 4 4 15000 51.6%   3662   50.3%
   7 Caissa 1.15 avx2    : 3647 4 4 15000 47.9%   3664   50.5%
   8 RubiChess 230918 avx2 : 3641 4 4 15000 47.1%   3664   49.9%
   9 CSTal 2.0 avx2    : 3614 4 4 15000 43.3%   3666   50.1%
10 Obsidian 9.0 avx2 : 3611 4 4 15000 42.8%   3666   49.2%
11 Clover 6.1 avx2 : 3607 4 4 15000 42.2%   3667   50.0%
12 Koivisto 9.2 avx2 : 3598 4 4 15000 41.0%   3667   49.6%
13 Rebel EAS avx2    : 3581 4 4 15000 38.7%   3668   48.7%
14 Seer 2.7.0 avx2 : 3577 4 4 15000 38.0%   3669   47.9%
15 RofChade 3.1 avx2 : 3575 4 4 15000 37.8%   3669   48.0%
16 Uralochka 3.40a avx2    : 3568 4 4 15000 36.8%   3669   47.4%

https://www.sp-cc.de/

By Martin Steinwandter Date 2024-01-03 19:26 Upvotes 1

Ist dies die neueste Version von Torch? Wenn nicht, dann spiegelt diese Rangliste nicht die wirkliche Spielstärke der Engine wider.
Ich vermute Torch eher auf Platz 2, wenn ich mir die Ergebnisse der CCC-Turniere ansehe.

By Stefan Pohl Date 2024-01-04 07:38 Edited 2024-01-04 07:43 Upvotes 1

Martin Steinwandter schrieb:

Meine Testverhältnisse bzgl. der Leela-Ratio, also der Geschwindigkeit von Lc0 auf der GPU in Relation zu den anderen (CPU-)Engines, orientieren sich an der TCEC Leela-Ratio. Bei den Turnieren auf chesscom ist es aber nun so, daß die CPU-Hardware (in etwa) doppelt so schnell ist, wie die TCEC-Hardware. Leider aber läuft Lc0 in beiden Turnieren etwa vergleichbar schnell.
Daher ist Lc0 auf chesscom im Vergleich zu meinen Tests als auch im Vergleich zum TCEC, deutlich benachteiligt. Insofern passen die Testergebnisse meinerseits und das chesscom Turnierergebnis andererseits, sogar ziemlich gut zusammen. Denn man würde auch erwarten, daß Lc0 auf chesscom eben etwas schlechter abschneidet, als bei mir oder im TCEC.
Aber natürlich stimmt es auch, daß Torch 1, welches ja nur ich und CCRL von chesscom zum Testen erhalten haben, nicht mehr der aktuellen DEV-Version von Torch entspricht, die in den chesscom Engineturnieren natürlich mitspielt, da Torch ja weiterentwickelt wird. Eine neuere Version von Torch hat aber niemand auf der Welt bislang erhalten. Diese Dev-Version hat nur chesscom.

Und natürlich basiert die Lc0-Elozahl nur auf dem 1000-Partien Einzelergebnis von Lc0 vs Stockfish 15.1 aus meinen NN-Testruns. Das ist natürlich nicht dieselbe statistische Ergebnisqualität wie bei den "normalen" Engines. Weswegen ich die Lc0-Zeile in meiner Ranglisten-Tabelle auf meiner Website auch nur "ausgegraut" in meine Ranglisten-Tabelle eingefügt habe. Damit klar ist, daß diese Zeile statistisch "mit Vorsicht zu genießen ist".

By dkappe Date 2024-01-04 11:22 Upvotes 1

Torch hat jetzt L1=2560, obwohl der Rest des Netzes und die training Methode sich noch stark von SF unterscheidet. Die neuesten trainings Daten, zum Beispiel, werden von einem L1=3072 Netz produziert. Auch sind die „adversarial“ Gegner jetzt SF, Dragon, Berserk, Ethereal, Koivisto, Igel und ein kleines bisschen lc0. Lc0 Daten (also nicht adversarial) werden nach wie vor nicht verwendet.

Ich erwarte das dir ein neues Torch zukommen wird sobald wir sf16 schlagen können. Der Unterschied wahr mal -111 elo. Jetzt -37 elo. LTC, uho.

By Stefan Pohl Date 2024-01-04 13:42 Upvotes 1

dkappe schrieb:

Danke für diese Informationen. Allerdings liegt schon die Torch 1 Version bei mir bei nur -38 Elo zu Stockfish 16 in meiner UHO-Top15 Rangliste. Interessanter wäre daher für mich mal ein flotter Overnight-Testrun der aktuellen Torch Dev (die ja nur ihr bei chesscom habt) und Torch 1, die CCRL und ich seinerzeit zum Testen erhielten. Da würde mich mal die jetzige Elo-Differenz (UHO, LTC) interessieren... Vielleicht kannst du über Nacht mal 2000 Partien oder so spielen lassen...

By Volker Pittlik Date 2024-01-03 19:32 Upvotes 1

Code:

Program                         Elo     +    -  Games    Score   Av.Op. Draws

   1 Stockfish 231222 avx2    : 3829    4    4 15000    72.5%   3652   46.9%
   2 Stockfish 16 230630      : 3821    4    4 15000    71.6%   3652   47.1%
  [  Lc0 0.31dev TCEC 25 SuFi : 3790   15   15  1000 (NN vs SF15.1 testing)]
   3 Torch 1 popavx2          : 3783    4    4 15000    66.8%   3655   47.8%
   4 KomodoDragon 3.3 avx2    : 3751    4    4 15000    62.6%   3657   48.5%
   5 Berserk 12 avx2          : 3727    4    4 15000    59.4%   3658   48.3%
   6 Ethereal 14.25 nnue      : 3673    4    4 15000    51.6%   3662   50.3%
   7 Caissa 1.15 avx2         : 3647    4    4 15000    47.9%   3664   50.5%
   8 RubiChess 230918 avx2    : 3641    4    4 15000    47.1%   3664   49.9%
   9 CSTal 2.0 avx2           : 3614    4    4 15000    43.3%   3666   50.1%
  10 Obsidian 9.0 avx2        : 3611    4    4 15000    42.8%   3666   49.2%
  11 Clover 6.1 avx2          : 3607    4    4 15000    42.2%   3667   50.0%
  12 Koivisto 9.2 avx2        : 3598    4    4 15000    41.0%   3667   49.6%
  13 Rebel EAS avx2           : 3581    4    4 15000    38.7%   3668   48.7%
  14 Seer 2.7.0 avx2          : 3577    4    4 15000    38.0%   3669   47.9%
  15 RofChade 3.1 avx2        : 3575    4    4 15000    37.8%   3669   48.0%
  16 Uralochka 3.40a avx2     : 3568    4    4 15000    36.8%   3669   47.4%

Die Kopfzeile ordentlich zu formatieren ist ein blödes Leerzeichen Gefummel...