Neue Suche bei Lc0

By Lothar Jung Date 2025-04-13 06:44 Upvotes 1

We've (mostly) finished switching to the new search API, which means we'll start the actual search rewrite soon!

The change touched many parts (ponder, clock handling, syzygy loading, cache, thinking info responding, chess960 handling and so on), and it's likely that we have bugs.

Therefore we ask you to test the Lc0 through new API in different scenarios (mostly looking for crashes and bugs rather than strenghts).

### How to use the search through new API:

1. Either build from source, or take artifact from here: <https://ci.appveyor.com/project/LeelaChessZero/lc0/builds/51874790> (that's artefacts of pr/2153)
1a. Alternatively, if building from source, you can pass `-ddefault_search=classic`

2. **Important!** Rename the file so that it contains "classic" in the name, for example `lc0classic.exe`. Otherwise, old API will be used.
2a. Other than `classic`, we also have `policyhead` and `valuehead` which are even less tested, but they are not as important.

3. Run it without GUI to confirm new API is active. If should write `Running engine with search algorithm=classic` on startup.

4. Use the engine normally (*and expect it to fail miserably very soon*).

By Peter Martan Date 2025-04-13 08:54 Upvotes 2

Lothar Jung schrieb:

4. Use the engine normally (*and expect it to fail miserably very soon*).

Sehr witzig.
Bräuchte ich noch andere Gründe, reichte der eine allein wohl auch schon völlig, bei sowas nicht unter den Ersten sein zu müssen, die es auszuprobieren dürfen

By Lothar Jung Date 2025-04-13 10:59

Tue ich mir auch nicht an.

By Jörg Oster Date 2025-04-13 12:44 Upvotes 1

Peter Martan schrieb:

Lothar Jung schrieb:

4. Use the engine normally (*and expect it to fail miserably very soon*).

Sehr witzig.
Bräuchte ich noch andere Gründe, reichte der eine allein wohl auch schon völlig, bei sowas nicht unter den Ersten sein zu müssen, die es auszuprobieren dürfen

Ist ja eigentlich auch nur für die Entwickler gedacht (wurde im Channel #dev-log gepostet).
Schönen Sonntag allen!

By Lothar Jung Date 2025-04-18 13:53 Upvotes 1

To expand on what borg said above:

- In thе `master` branch (and in <https://ci.appveyor.com/project/LeelaChessZero/lc0/builds/51907449>), we now have `dag-preview` search algorithm (in additional to classic, valuehead and policyhead)
- To activate it, rename the binary to something that contains `dag-preview`, for example `lc0-dag-preview.exe`. Try running it without GUI and confirm that it prints `Running engine with search algorithm=dag-preview`.
- It's a DAG algorithm that lived in a separate branch up to now. It still has its problems (mishandling of threefold repetitions, recently discovered issue with handling running out of memory), that's why it has "`preview`" in its name.
- Mostly, we are interested in just stability tests (various configurations to see whether it crashes).
- But as for the `classic` search, the recent changed caused `nps` increase, it would be interesting to check whether we see similar speedup in vs old DAG binary.

By Peter Martan Date 2025-04-18 14:26 Edited 2025-04-18 14:50 Upvotes 1

Also, wenn man's mit hier vergleicht,

https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=174160#pid174160

Zitat:

v0.32.0-dev+git.63b66e4 built Apr 15 2025
go depth 13
Found pb network file: C:\eng\...BT4-1024x15x32h-swa-6147500-policytune-332.pb.gz
info depth 13 seldepth 56 time 117679 nodes 797828 score cp 13 wdl 209 641 150 nps 6896 tbhits 0 pv g1f3 d7d5......
bestmove g1f3 ponder d7d5

ist an der reinen Knotenzahl der Unterschied der einer deutlich kleineren solchen mit der dag-preview option:

v0.32.0-dev+git.d3faf5e built Apr 17 2025
Running engine with search algorithm=dag-preview

go depth 13
Found pb network file: C:\eng\...BT4-1024x15x32h-swa-6147500-policytune-332.pb.gz

info depth 13 seldepth 49 time 99584 nodes 368048 score cp 12 wdl 209 640 151 nps 3792 tbhits 0 pv g1f3 d7d5 ...
bestmove g1f3 ponder d7d5

Einen einzelnen Stellungstest- run kann ich mir ja wieder gönnen, um zu sehen, ob's in dem wenigstens stabil läuft.

By Peter Martan Date 2025-04-18 18:11 Edited 2025-04-18 18:29

Zitat:

Einen einzelnen Stellungstest- run kann ich mir ja wieder gönnen, um zu sehen, ob's in dem wenigstens stabil läuft.

Tatsächlich ist die Engine im Fritz19 nach 200 und nach 250 Stellungen 2 mal abgestürzt, GUI lief dann aber mit Bestätigen der problem in the engine- Meldung jeweils wieder weiter.
8t heißt 8 Threads der 16x3.5GHz CPU (um ein halbwegs ausgewogenes Hardware- Verhältnis zur 3070ti GPU zu haben und um mehrere Instanzen gleichzeitig laufen lassen zu können, Frank Sanders hat ein feines Tool geschrieben, mit dem man dann die aus den Lösungs- .cbh- files erzeugten .pgns zu einer gemeinsamen zusammenfügen kann, die für EloStatTS funktioniert, hilft halt nur für die CPU- Engines, Lc0 geht auf nur einer GPU natürlich nach wie vor nur mit 1 concurrency, aber die Liste ist auf diese Art schon viel länger als hier abgebildet, was ja die error bar der StatTS- Elo immer weiter senkt, je mehr runs miteinander verglichen werden), alle im MultiPV- Modus für eine halbwegs fairen Vergleich mit Engines wie Omega (Eduards jüngstes Kind, zumindest das jüngste, von dem ich weiß), 24-4-2000 heißt bei dem: Random Op. Plies=24, MultiPV=4, Score=2000.
TC 30"/Stellung:


    Program                                    Elo   +/-  Matches  Score   Av.Op.   S.Pos.   MST1    MST2   RIndex

  1 OmegaMPV-8t-24-4-2000                    : 3575    4   6540    61.2 %   3496   205/256    3.8s    9.0s   0.77

  5 Stockfish17.1-8t-MuPV4                   : 3538    4   6226    55.8 %   3498   185/256    5.5s   12.3s   0.63
  6 Lc0v0.32.0-MuPV4                         : 3537    4   6320    55.6 %   3498   182/256    5.0s   12.2s   0.63

  8 Lc0v0.32.0-classic-6147500PT-MuPV4       : 3536    4   6299    55.4 %   3498   178/256    4.5s   12.2s   0.61

 10 Lc0v0.31.2-6147500PT-MuPV4                : 3535    4   6329    55.3 %   3498   183/256    5.3s   12.3s   0.57
 11 Lc0v0.32.0-dag-preview-MuPV4              : 3533    4   6252    55.1 %   3498   177/256    4.6s   12.5s   0.61

MST1  : Mean solution time (solved positions only)
MST2  : Mean solution time (solved and unsolved positions)
RIndex: Score according to solution time ranking for each position