Lc0 BT4-6147500 Testrun durch

By Stefan Pohl Date 2024-03-02 07:32 Edited 2024-03-02 07:37 Upvotes 1

https://www.sp-cc.de/nn-vs-sf-testing.htm

Leider ist das BT4-6147500 eine deutliche Regression zu BT4-6077500. Aber noch innerhalb der Errorbar.

Ich habe übrigens mal spaßeshalber meine Lc0-Tests Datenbank durch mein EAS-Tool laufen lassen, um mal zu sehen, wie aggressiv Lc0 heutzutage so spielt:

Code:


                                 bad  avg.win 
Rank  EAS-Score  sacs   shorts  draws  moves  Engine/player 
-------------------------------------------------------------------
   1    148833  22.02%  18.44%  16.35%   75   Stockfish 15.1 avx2  
   2     65669  07.69%  07.24%  21.29%   81   Lc0 0.31dev TCEC 25 SuFi  
   3     60066  08.18%  07.94%  21.65%   79   Lc0 0.31dev TCEC 25  
   4     59541  15.15%  11.11%  23.79%   77   Lc0 0.30dev BT2-4510  
   5     58189  09.14%  02.03%  18.58%   83   Lc0 0.31dev BT3-2860  
   6     56708  12.62%  06.31%  23.48%   81   Lc0 0.31dev BT4-5000  
   7     54271  09.75%  03.39%  19.92%   81   Lc0 0.31dev BT4-6077500  
   8     51841  11.22%  10.20%  23.90%   77   Lc0 0.30dev T1-4000  
   9     51238  07.44%  09.09%  23.08%   77   Lc0 0.30dev TCEC 22  
  10     50587  09.09%  09.09%  25.94%   78   Lc0 0.30dev TCEC 18  
  11     50023  10.22%  05.91%  22.35%   79   Lc0 0.30dev TCEC 24  
  12     47178  10.00%  06.67%  21.88%   82   Lc0 0.31dev BT4-5757500  
  13     46616  05.37%  05.79%  20.13%   82   Lc0 0.31dev T3-2815  
  14     45382  11.17%  11.17%  27.11%   78   Lc0 0.30rc1 T1-4000  
  15     42201  09.60%  06.57%  24.42%   78   Lc0 0.30dev T1-30875  
  16     41261  06.94%  04.17%  21.33%   81   Lc0 0.31dev BT4-6147500  
  17     40945  09.77%  09.77%  25.29%   81   Lc0 0.30rc2 814174  
  18     40774  05.50%  07.00%  22.58%   81   Lc0 0.31dev BT4-3400  
  19     39803  08.81%  07.55%  23.43%   84   Lc0 0.30.0 815863  
  20     37558  13.33%  06.67%  27.22%   80   Lc0 0.30dev 813207  
  21     37545  05.26%  05.26%  26.91%   78   Lc0 0.30dev T1-2432500  
  22     35896  08.06%  06.64%  25.38%   79   Lc0 0.30dev 811107  
  23     35545  07.38%  03.28%  23.17%   86   Lc0 0.30dev TCEC 20  
  24     35520  03.90%  02.44%  23.24%   84   Lc0 0.31dev 817477  
-------------------------------------------------------------------
*** Average length of all won games:     77 moves

Diese Ergebnisse kann man leider bezüglich Aggressivität von Lc0 nur als desaströs bezeichnen:
Daß Lc0 wenig short-wins haben würde, war klar, Lc0 spielte schon immer recht "umständlich", insofern war das absehbar (allerdings habe ich short-wins Werte von unter 3% auch noch nicht gesehen). Aber die Opferquote ist auch sehr schwach und die bad-draws sind einfach nur unterirdisch. Und da alle Lc0 hier einen so schlechten EAS-Score haben, schließt das auch aus, daß es sich um statistische Unfälle handelt.
Kurz gesagt: Alle modernen Lc0 spielen umständlich, risikoscheu und viel zu remisfreudig. Oder einfacher: Extrem langweilig. Schade. Das schließt natürlich nicht aus, daß auch Lc0 mal eine schöne (Opfer-)Partie spielen kann, das ist klar, aber insgesamt ist das schon sehr enttäuschend.

By Reinhold Stibi Date 2024-03-02 08:15

Da ist die Frage ob Lc0 als Alternative zu Stockfish und Abkömmlinge überhaupt noch was bringt.

Lohnt sich da noch der Kauf einer erschwinglichen RTX 4060er wenn man deren Kosten und doch
noch recht hohen Stromverbrauch berücksichtigt wenn von schachlicher Seite kein Zugewinn zu erwarten ist.

Die Vorteile die Lc0 früher gegenüber Stockfish hatte sind doch nicht mehr gegeben besonders seit Stockfish
nnue integriert hat.

Ja schade, aber immerhin ist Lc0 von der Spielstärke die Nr. 2.

By Stefan Pohl Date 2024-03-02 09:42

Reinhold Stibi schrieb:

Da ist die Frage ob Lc0 als Alternative zu Stockfish und Abkömmlinge überhaupt noch was bringt.

Die Vorteile die Lc0 früher gegenüber Stockfish hatte sind doch nicht mehr gegeben besonders seit Stockfish
nnue integriert hat.

Ja, das ist durchaus ein Gedankengang, der nachvollziehbar ist. Wobei ja noch dazu kommt, daß das nnue-Netz von Stockfish im Wesentlichen aus Lc0-Lerndaten besteht, weswegen Stockfish ja mittlerweile typische AlphaZero-Spielweisen zeigt (besonders auffällig ist das frühe und weite Vorschieben des h-Bauern, was man auch bei SF heutzutage sehr oft sieht).
Man muß sich fragen, wozu Lc0 noch benötigt wird. Für Analysezwecke ist die langsame MCTS-Suche sowieso nicht geeignet, weil sie tatisch zu fehleranfällig ist - alle Lc0-Analysen muß man eigentlich mit einer nnue-Engine noch mal überprüfen. Und für Showzwecke, also spektakuläre Partien, die heutzutage auf youtube von TheBigGreek und Gothamchess als Video präsentiert werden, spielt Lc0 viel zu unspektakulär.
Und bei Engine-Turnieren (wie TCEC) hat man das zusätzliche Problem, daß jedwede Leela-Ratio zwischen GPU und CPU willkürlich gewählt werden muß, weil es einfach keine "richtige" Leela-Ratio geben kann.

Es ist keine Frage, daß AlphaZero/Lc0 ein ganz wichtiger Entwicklungsschritt für das Computerschach war. Ich würde sogar sagen, es war der wichtigste der letzten 30 Jahre überhaupt. Aber das heißt eben noch lange nicht, daß es im Hier und Jetzt noch Lc0 braucht.

By Stefan Pohl Date 2024-03-02 09:55 Edited 2024-03-02 10:09 Upvotes 1

Trotzdem kann auch Lc0 schön spielen, so ist es nicht. Es passiert nur eben weit seltener, als bei Stockfish, Torch und Co...
Aus dem gerade zuende gegangenen Rapid Semifinal auf chesscom (die ersten 8 Züge sind die Vorgabe aus meinen UHO-Eröffnungen, ab Zug 9 von Weiß wird gerechnet). Natürlich wie immer gefunden von meinem Interesting Wins Search Tool, wer will schon 480 Partien (bzw 174 nicht-Remisen) durchsehen:

Event:

Ort:

Datum:

Weiss:

Schwarz:

Ergebnis

Board

By Tommy Tulpe Date 2024-03-02 19:37

Insbesondere angesichts der sehr hohen, mittelfristig weiter steigenden Energiekosten, würde ich sagen: Lc0 auf einer GPU bringt nicht mehr genügend Nutzen.
Natürlich nur meine persönliche Meinung.

By Lothar Jung Date 2024-03-02 20:14

Du hast einen wichtigen Punkt vorgebracht.
Dies gilt uneingeschränkt für den Bereich der GPUs über 700 €.
Man definiert es dann als teueres Hobby.
Für den mittleren Preisbereich bringen die GPUs nicht nur für LC0 Schach genügend Nutzen:
Bild- und Videobearbeitung, Spiele, KI, wissenschaftliche Anwendungen.
Die Preise werden derzeit durch NVIDIA (hoch) gesetzt.
Die anderen Anbietern hinken bei Hard- und Software hinterher.
Das könnte sich auch ändern.
Meine Notebook GPU 3060m ist immer noch attraktiv.
Die großen Netze passen aber mittlerweile kaum in den VRAM Speicher.

By Max Siegfried Date 2024-03-02 08:45

Stefan Pohl schrieb:

<a class='ura' href='https://www.sp-cc.de/nn-vs-sf-testing.htm'>https://www.sp-cc.de/nn-vs-sf-testing.htm</a>

Leider ist das BT4-6147500 eine deutliche Regression zu BT4-6077500. Aber noch innerhalb der Errorbar.

Ich habe übrigens mal spaßeshalber meine Lc0-Tests Datenbank durch mein EAS-Tool laufen lassen, um mal zu sehen, wie aggressiv Lc0 heutzutage so spielt:

Diese Ergebnisse kann man leider bezüglich Aggressivität von Lc0 nur als desaströs bezeichnen:
Daß Lc0 wenig short-wins haben würde, war klar, Lc0 spielte schon immer recht "umständlich", insofern war das absehbar (allerdings habe ich short-wins Werte von unter 3% auch noch nicht gesehen). Aber die Opferquote ist auch sehr schwach und die bad-draws sind einfach nur unterirdisch. Und da alle Lc0 hier einen so schlechten EAS-Score haben, schließt das auch aus, daß es sich um statistische Unfälle handelt.
Kurz gesagt: Alle modernen Lc0 spielen umständlich, risikoscheu und viel zu remisfreudig. Oder einfacher: Extrem langweilig. Schade. Das schließt natürlich nicht aus, daß auch Lc0 mal eine schöne (Opfer-)Partie spielen kann, das ist klar, aber insgesamt ist das schon sehr enttäuschend.

LC0 ist vom Spielstil her ein Reflektor. (Er spielt wie Karpow)
Stockfish ist vom Spielstil her ein Pragmatiker. (Er spielt wie Fischer)
Zwischen den beiden liegen Welten.
Da macht es keinen Sinn bei 2 Engines die schon gefühlt bei 4000 Elo liegen zu erwarten, dass die eine plötzlich wie die andere spielt, was zu gleichen Ergebnissen führen würde.

Zitat: Alle modernen Lc0 spielen umständlich, risikoscheu und viel zu remisfreudig. Oder einfacher: Extrem langweilig. Schade.
Herzlichen Glückwunsch, du hast herausgefunden das LC0 vom Spielstil her ein Reflektor ist

Deine Beschreibung ist trotzdem...
Es kann ja nicht so schlecht sein, wenn man damit mehrfach Weltmeister wird. Vielleicht sollte ich das mal nachmachen und auch Weltmeister werden.
Da war noch ein Reflektor... ein gewisser MC, ich komme gerade nicht auf den Namen

PS. Bei gefühlt 4000 Elo bedeuten Opfer ein extrem hohes Niveau an Taktik.
Taktik bedeutet das man sich verrechnen kann.
Warum soll ein LC0 Reflektor das Risiko eingehen?? 1. Kann er auch ohne dieses Risiko zu haben gewinnen. 2. Wird es in der Regel im schlimmsten Fall ein Unentschieden. 3. Reflektoren Spielstil.

Ich finde den Spielstil extrem spannend, weil es der einzige Spielstil ist, den man nur extrem schwer kopieren kann.
Außerdem braucht man ein Mindestmaß an Schachverständnis = Elo um die Züge halbwegs nachvollziehen zu können und natürlich muss man die Partien analysieren.
So wird aus Extrem langweilig. Schade. ein Extrem spannend. Super.

By Reinhold Stibi Date 2024-03-02 09:41

Die Erkenntnisse von Stefan Pohl sind fundiert aus zig tausenden Partien
und etlichen Lc0 Varianten mit den verschiedensten Netzen.

Deine nicht, das ist nur Wunschdenken.

Der Spielstil von Lc0 ist kaum zu unterscheiden von Stockfish; der Unterschied macht doch
nur einige taktische Schwächen von Lc0.