Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Reckless auf Augenhöhe mit Lc0
- - By Lothar Jung Date 2025-10-05 17:12
Bei dem derzeitigen TCEC Turnier:

https://tcec-chess.com/
Parent - By Peter Martan Date 2025-10-05 17:41 Edited 2025-10-05 18:22
https://www.sp-cc.de/

Beim TCEC FRD- Turnier haben sich allerdings in einer Partie Schwächen in der finalen Mattführung mit dem Turm gezeigt:

https://talkchess.com/viewtopic.php?p=983648#p983648

Ich hab' das dann noch, nachdem im Analyse- Modus gleich die richtige DTM der Output- Variante kommt am Heimrechner (siehe auch hier:

https://talkchess.com/viewtopic.php?p=983672#p983672

) Reckless 0.9.0 allein ausspielen lassen von dort aus, wo der schwarze König schon allein ist, das wurde auch problemlos abgewickelt. Da muss etwas nicht gestimmt haben mit der die eine Partie auf TCEC spielenden Installation.
- - By Peter Martan Date 2025-10-06 08:39
Ein interesting win (IWS- tool, unter very interesting wins wird nichts gefiltert aus dem League C- Match) mit Remis- Gegenpartie eingefügt (Zitieren oder C8- Feld), die Nr. 55

https://tcec-chess.com/live.html#div=frdlc&game=55&season=28

+Nr. 76:

Event:
Ort:
Datum:

Weiss:
Schwarz:

Ergebnis
Board

Wenn man 3500 Elo für die Referenz- Engine in Ordo 1.0 eingibt, schaut das Ergebnis so aus:

   # PLAYER                                       : RATING  ERROR   POINTS  PLAYED    (%)
   1 Reckless 0.9.0-dev-b9beffbe                  : 3500.0   ----     16.0      24   66.7%
   2 LCZero 0.33-dev-f20db7e-BT4-6147500-it332    : 3481.6  156.9     15.5      24   64.6%
   3 Viridithas 19.0.0-dev-ccf28cd5               : 3409.9  152.6     13.5      24   56.3%
   4 RubiChess 20250919                           : 3392.3  162.0     13.0      24   54.2%
   5 Velvet 9.0.0-dev7                            : 3304.7  147.4     10.5      24   43.8%
   6 Altair 7.2.1-be6dc151                        : 3214.8  148.8      8.0      24   33.3%
   7 Revenge 20241013                             : 3196.2  153.3      7.5      24   31.3%
Parent - - By Lothar Jung Date 2025-10-06 13:44
Könnte bei Weiterentwicklung Stockfish gefährlich werden.
Wäre schön wenn wir 3 bis 5 sehr starke Engines hätten.
Derzeit wird Lc0 von Grund auf neu zusammengesetzt.
Parent - - By Peter Martan Date 2025-10-06 13:54 Edited 2025-10-06 14:08
Lothar Jung schrieb:

Wäre schön wenn wir 3 bis 5 sehr starke Engines hätten.
Derzeit wird Lc0 von Grund auf neu zusammengesetzt.

Um dann von den 5 sehr starken Engines SF, Obsidian, Reckless, Plentychess und Integral weiter überholt zu werden, was derzeit in der SPCC- Liste schon der Fall ist, und Torch habe ich noch gar nicht mitgezählt, weil nicht allgemein zugänglich, aber auch Berserk, wenn damit wieder etwas flotter weiter entwickelt wird, ist vermutlich demnächst an Lc0 vorbei. Auf ziviler CPU- Hardware gegen zivile GPU- Hardware werden wir demnächst eher 10 als 5 NNUE- Engines haben, die Lc0 im game playing von frühen Eröffnungsstellungen aus überholen werden, sag' ich jetzt mal so, Entwicklungssprünge hat's ja früher immer wieder mal gegeben, aber diese Zeiten sind schon allein deshalb vorbei, weil sich Fortschritte, so überhaupt noch messbar, ja nur mehr mit Unmengen von Partien beweisen lassen, wenn man nicht nur einzelne head to head matches gelten lässt. Das kommt wiederum auch daher, dass es immer mehr Engines werden, die man mitspielen lassen müsste, um eine relevante Liste zu haben, wenigstens von denen, die ganz oben rangieren.

Natürlich ist das mit TCEC- Hardware wieder etwas anders, aber dort wird man in absehbarer Zeit nicht genug Partien zusammen bekommen bei den TCEC- üblichen TCs, überhaupt statistisch signifikante Resultate zu haben, so what.
Parent - - By Stefan Pohl Date 2025-10-07 05:55 Edited 2025-10-07 06:00
Peter Martan schrieb:

Lothar Jung schrieb:

Wäre schön wenn wir 3 bis 5 sehr starke Engines hätten.
Derzeit wird Lc0 von Grund auf neu zusammengesetzt.

Um dann von den 5 sehr starken Engines SF, Obsidian, Reckless, Plentychess und Integral weiter überholt zu werden, was derzeit in der SPCC- Liste schon der Fall ist, und Torch habe ich noch gar nicht mitgezählt, weil nicht allgemein zugänglich, aber auch Berserk, wenn damit wieder etwas flotter weiter entwickelt wird, ist vermutlich demnächst an Lc0 vorbei. Auf ziviler CPU- Hardware gegen zivile GPU- Hardware werden wir demnächst eher 10 als 5 NNUE- Engines haben, die Lc0 im game playing von frühen Eröffnungsstellungen aus überholen werden, sag' ich jetzt mal so, Entwicklungssprünge hat's ja früher immer wieder mal gegeben, aber diese Zeiten sind schon allein deshalb vorbei, weil sich Fortschritte, so überhaupt noch messbar, ja nur mehr mit Unmengen von Partien beweisen lassen, wenn man nicht nur einzelne head to head matches gelten lässt. Das kommt wiederum auch daher, dass es immer mehr Engines werden, die man mitspielen lassen müsste, um eine relevante Liste zu haben, wenigstens von denen, die ganz oben rangieren.

Natürlich ist das mit TCEC- Hardware wieder etwas anders, aber dort wird man in absehbarer Zeit nicht genug Partien zusammen bekommen bei den TCEC- üblichen TCs, überhaupt statistisch signifikante Resultate zu haben, so what.


Naja, Lc0  in meiner Liste ist nun statistisch sehr, sehr fragwürdig, ich habe das nur als grobe Orientierung drin. Und passiert ist bei Lc0 bzgl. Spielstärke seit Ewigkeiten nichts (noch viel länger als jetzt bei Stockfish). Und, daß Lc0 jetzt "neu zusammengesetzt" wird, das haben wir ja nun auch schon öfters gehört. Im TCEC ist Lc0 aufgrund der Wahnsinns-Hardware natürlich noch recht stark. Aber aufgrund der chaotischen Entwicklung von Lc0 und auch der Tatsache, daß Neuralnetze (wenn auch in in vereinfachter Form) mittlerweile in allen Engines genutzt werden, muß ich mir schon langsam bzgl. der weiteren Entwicklung von Lc0 die Sinnfrage stellen.

Viel interessanter sind für mich Reckless und die anderen starken nnue-Engines. Im TCEC spielte z.B. PlentyChess kürzlich mit einer neuen, experimentellen Version (TI = Thread Inputs). Diese Thread Inputs für nnue-Netze sind momentan für Blitztempo/singlethread (also Ranglisten-Bedingungen) noch zu langsam, aber im TCEC kann das schon funktionieren. Der Autor von PlentyChess und ich planen schon eine Testreihe unter meinen Ranglisten-Bedingungen mit ansteigender Bedenkzeit, um die Thread Inputs weiter auszutesten und falls möglich, zu optimieren.
Parent - By Peter Martan Date 2025-10-07 08:32 Edited 2025-10-07 08:41
Stefan Pohl schrieb:

Naja, Lc0  in meiner Liste ist nun statistisch sehr, sehr fragwürdig, ich habe das nur als grobe Orientierung drin.

Aber wenigstens überhaupt, das Einpflegen von Lc0- Partien hat ja relativ zu dem, was mit CPU- basierten Engines geht, noch dazu den großen Nachteil, dass man mit einer einzelnen GPU keine concurrencies laufen lassen kann, ich hab' das Problem ja sogar auch mit Stellungstests, wenn sie eine gewisse sample size haben sollen, es dauert einfach um das länger, bis Lc0 durch ist, was man bei modernen CPUs auf mehrere Kerne verteilen kann. Das Testen ist mit Lc0 einfach viel Hardware- zeitaufwändiger, um überhaupt belastbare Ergebnisse zu bekommen. Auch so gesehen ist es eigentlich kein Wunder, dass die Entwicklung mit der der CPU- Engines nicht mitkommt.
Heißt nicht, dass sich nicht wieder mal etwas tun kann, aber die Strom- und Hardware- Kosten sind schon ziemlich verschwenderisch, sogar relativ zu dem, was da sowieso ganz allgemein alles verbraten wird. Wenn jetzt auch noch die AI ordentlich zum "Fortschritt" in der Engine- Programmierung und zum Testen eingesetzt wird, dann haben wir vollends die brave new world. Dann können wir gleich, außer das Testen völlig an die Maschinerie selbst zu delegieren, auch noch das Anpassen der Algorithmen an die Ergebnisse automatisieren. Endlich wird die Maschine, die die Kartoffeln anbaut, erntet, wäscht, kocht und aufisst verwirklicht sein

Danke für die Infos über Plentychess.
- - By Peter Martan Date 2025-11-08 15:07 Edited 2025-11-08 15:21
Das jüngste PlentyChess- Compile von hier

https://talkchess.com/viewtopic.php?p=984943#p984943

und das von Reckless0.9 von github

https://github.com/codedeliveryservice/Reckless/releases/tag/v0.9.0-dev-fe4d4b3d

Single thread (3.5GHz) 3'+1", UHO 2024 900-990cp 6mvs:

Score of PlentyChess7.0.17 vs Reckless0.9: 109 - 134 - 257 [0.475]
Elo difference: -17.4 +/- 21.2, LOS: 5.4 %, DrawRatio: 51.4 %
500 of 500 games finished.

Die 256 mit 30"/pos.:

    Program                                    Elo   +/-  Matches  Score   Av.Op.   S.Pos.   MST1    MST2   RIndex

  1 RemsM-091224-26-4-2000                   : 3576    2  36146    61.1 %   3497   216/256    3.8s    7.9s   0.56 
  7 ShashChess39.1-8t-MCTS1-MuPV4            : 3553    2  34861    57.8 %   3498   195/256    4.2s   10.4s   0.52
  9 Lc0v0.32.0-rc2-1740-MuPV4                : 3551    2  33307    57.5 %   3499   193/256    4.8s   11.0s   0.59
12 ShashChess40-8t-MCTS1-MuPV4               : 3549    2  34503    57.3 %   3498   193/256    4.5s   10.8s   0.52
32 Stockfish-251014-8t-MuPV4                 : 3539    2  33940    55.8 %   3499   183/256    4.6s   11.8s   0.51
51 Obsidian-16.15-8t-Co100-MuPV4             : 3527    2  33024    53.9 %   3499   174/256    4.8s   12.9s   0.46
63 Reckless0.9.0-8t                          : 3521    2  33444    53.1 %   3500   173/256    5.3s   13.3s   0.43
65 PlentyChess7.0.17-8t-MuPV4                : 3520    2  32642    52.9 %   3500   167/256    4.3s   13.2s   0.44
68 PlentyChess7.0.0-8t-MuPV4                 : 3518    2  32570    52.6 %   3500   168/256    4.6s   13.3s   0.42
76 Reckless0.8.0-8t                          : 3510    2  32256    51.5 %   3500   164/256    5.3s   14.2s   0.41
79 ShashChess39.1-8t                         : 3509    2  32577    51.4 %   3500   164/256    5.8s   14.5s   0.43
81 ShashChess40-8t-MuPV1                     : 3509    2  32444    51.3 %   3500   163/256    5.5s   14.4s   0.42
94 Stockfish-251014-8t-MuPV1                 : 3491    2  31224    48.7 %   3501   147/256    5.7s   16.0s   0.41
100 Obsidian-16.15-8t-C100-MuPV1             : 3485    2  30854    47.7 %   3501   139/256    4.9s   16.4s   0.38
121 PlentyChess7.0.17-8t-MuPV1               : 3469    2  30341    45.3 %   3502   127/256    5.0s   17.6s   0.35
125 PlentyChess7.0.0-8t-MuPV1                : 3464    2  29987    44.6 %   3502   125/256    5.1s   17.8s   0.33
154 Dragon1-MCTS-6t-MuPV4                    : 3310    3  25495    24.3 %   3507    42/256    7.5s   26.3s   0.06

MST1  : Mean solution time (solved positions only)
MST2  : Mean solution time (solved and unsolved positions)
RIndex: Score according to solution time ranking for each position
Parent - - By Lothar Jung Date 2025-11-08 20:35
Dein Bewertungsansatz ist mehr als fraglich.
Im übrigen sehe ich Reckless 30 Elo hinter Lc0.
Und an 63 Position. Lc0 an 9 Position.
Gleichwohl ist Reckless sehr stark.
Er hätte aber eine ernstzunehmende Bewertung verdient.
Parent - By Peter Martan Date 2025-11-08 23:03 Edited 2025-11-08 23:08
Weil ich da wieder ganz unnötig lang herumgeschrieben und -editiert habe, und weil ich im Posting, auf das du geantwortet hast, erstmalig nach Längerem (sonst schreib' ich's eh immer dazu, ich nehme halt mittlerweile an, dass das ohnehin hinlänglich bekannt ist und  auch, was die A-B-Engines betrifft, aus der Liste selbst hervorgeht) diesen wesentlichen Punkt der Hardware- TC- Verteilung nicht eigens erwähnt habe, eine Kurt's Fassung anstatt des wieder gelöschten Postings von vorhin:

Lc0 hat die 3070ti GPU für sich allein (weil deren Leistung nicht auf concurrencies gleichmäßig verteilbar ist), die A-B-Engines hingegen haben je 8 threads ("8t") der 16x3.5GHz CPU pro concurrent run, von denen finden jeweils 2 gleichzeitig statt, es sind also auch keine 8 echten Kerne, sondern 8 hyperthreading on threads. Somit ist die Hardware- Leistung des einzelnen A-B-runs "nur" ein Viertel der gesamten CPU- Leistung (bei Rems steht's ausnahmsweise nicht dabei, es sind aber dieselben 8 threads auch bei dieser Engine), während Lc0 die 3070ti GPU für sich allein und den einzelnen run nutzt.
Up Topic Hauptforen / CSS-Forum / Reckless auf Augenhöhe mit Lc0

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill