Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Lc0 v0.29.0-rc1 veröffentlicht
- - By Lothar Jung Date 2022-12-09 13:32 Upvotes 3
After a long wait, v0.29.0-rc1 is finally out. You can find it in <https://github.com/LeelaChessZero/lc0/releases/tag/v0.29.0-rc1>. In this release we have:
* New metal backend for apple systems. This is now the default backend for
  macos builds.
* New onnx-dml backend to use DirectML under windows, has better net
  compatibility than dx12 and is faster than opencl. See the README for use
  instructions, a separate download of the DirectML dll is required.
* Full attention policy support in cuda, cudnn, metal, onnx, blas, dnnl, and
  eigen backends.
* Partial attention policy support in onednn backend (good enough for T79).
* Now the onnx backends can use fp16 when running with a network file (not with
  .onnx model files). This is the default for onnx-cuda and onnx-dml, can be
  switched on or off with by setting the `fp16` backend option to `true` or
  `false` respectively.
* The onednn package comes with a dnnl compiled to allow running on an intel gpu
  by adding `gpu=0` to the backend options.
* The default net is now 791556 for most backends except opencl and dx12 that
  get 753723 (as they lack attention policy support).
* Support for using pgn book with long lines in training: selfplay can start at
  a random point in the book.
* New "simple" time manager.
* Support for double Fischer random chess (dfrc).
* Added TC-dependent output to the backendbench assistant.
* Starting with this version, the check backend compares policy for valid moves
  after softmax.
* Some assorted fixes and code cleanups.
Parent - - By Walter Eigenmann Date 2022-12-09 13:47
Lothar Jung schrieb:
* New onnx-dml backend to use DirectML under windows, has better net compatibility than dx12 and is faster than opencl.
See the README for use instructions, a separate download of the DirectML dll is required.
Vor allem auf diese dx12-Verbesserung bin ich gespannt; in meinem Zweitrechner arbeitet eine AMD-Radeon,
und die kann man leider nicht füttern mit Cuda, wodurch sie schlechter performte, obwohl diese RX-6900xt eine kräftige Karte sein soll.
Danke für den Hinweis.

.
Parent - - By Wolfgang Battig Date 2022-12-09 18:32 Edited 2022-12-09 18:40 Upvotes 1
Walter Eigenmann schrieb:

Vor allem auf diese dx12-Verbesserung bin ich gespannt; in meinem Zweitrechner arbeitet eine AMD-Radeon,
und die kann man leider nicht füttern mit Cuda, wodurch sie schlechter performte, obwohl diese RX-6900xt eine kräftige Karte sein soll.
Danke für den Hinweis.

Hallo Walter,
die Verbesserungen beziehen sich dem Text nach vor allem auf die Kompatibilität mit neueren Netzen. Die dx12-Variante kam leider nur bis zu den 77xxxx Netzen klar.
Das von mir ausführlich getestete 771721 läuft auf beiden Varianten praktisch gleich schnell.
Auf der Vega 8, die in meiner Ryzen 5 5600g CPU/APU enthalten ist, sind das etwa 3700 Knoten/Sek. nach knapp einer Minute nach 1.d4. Auf deiner 6900xt wird das ein Vielfaches dessen sein. Dort sollten auch die "dicken" Netze vernünftig laufen, was auf meiner bescheidenen APU nicht der Fall ist. Dafür verbraucht der Grafikteil unter Volllast nur ca. 30 Watt...
Wichtig für mich ist, dass ich nun endlich auch die 79xxxx Netze testen kann, das 791556, ein schlankes 15x192, ist im Download enthalten.
Die Installation ist etwas umständlicher (zusätzliche DLL, ein bestimmter Eintrag in der lc0-config), aber kein Problem.
Das 791556 Netz macht deutlich weniger Knoten, ca. 2200 unter obigen Bedingungen, also ca. 60%. Dem Vernehmen nach dürfte das an deutlich mehr Schachwissen liegen.
Grüße Wolfgang
Parent - By Walter Eigenmann Date 2022-12-09 21:20
.

Merci für die Info.
Ja, kann ich bestätigen hier. Um bei deinem Beispiel zu bleiben (1min lang nach 1.d4): Dieses neue Backend OnnX-DML kriegt
mit dem Default-Netz 791556 auf meiner RadeonX-6900XT stattliche 45'000 k/s hin. Ich versuche nun mal eines der neuesten 80er Netze.

.
Parent - By Peter Martan Date 2022-12-09 14:09 Edited 2022-12-09 14:16
Danke für die Info.
Die Fähigkeiten als Analyse- Engine, die Lc0 v0.30.0-dag+git.8260381 hatte (hat), sind leider wieder dahin, zumindest bei den wenigen Stellungen, die ich bisher probiert habe, z.B. bei der hier gezeigten Ryabinin- Studie:

https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=159653#pid159653

0.29-rc1 verhält sich da jetzt wieder ebenso "unbelehrbar" durch Backward wie alle anderen LC0- Versionen, die ich dahingehend probiert habe, zumindest mit dem wie im zitierten Posting verwendeten 806638- Netz, aber von dem wird das nicht abhängen, weil der best move nach Eingeben ja erkannt wird, er wird nur wieder nicht mehr mit dem Zurücknehmen im Output behalten (siehe dazu auch das Beispiel mit LC0 0.29-rc0)
Parent - By Max Siegfried Date 2022-12-09 18:58
Lothar Jung schrieb:

After a long wait, v0.29.0-rc1 is finally out. You can find it in <<a class='ura' href='https://github.com/LeelaChessZero/lc0/releases/tag/v0.29.0-rc1'>https://github.com/LeelaChessZero/lc0/releases/tag/v0.29.0-rc1</a>>. In this release we have:
* New metal backend for apple systems. This is now the default backend for
  macos builds.


Super
- - By Lothar Jung Date 2022-12-13 11:47 Upvotes 4
Die endgültige Version von Lc0 0.29 wurde heute veröffentlicht:

We are pleased to announce that lc0 v0.29.0 is finally out. You can find it in <https://github.com/LeelaChessZero/lc0/releases/tag/v0.29.0>. Only small build system fixes relative to rc1, so I'm not going to repeat the above feature list here but just add that the main feature from rc0 is the removal of non multigather (legacy) search code and the consequent removal of the `--multigather` option.
Parent - - By Clemens Keck Date 2022-12-13 22:59
HAllo

was ist denn an 29.0 anders (oder stärker/schwächer) als beim letzten dag master ?
die T80 Netze machen auf v29.0 mehr als 100.000 nps (RTX 4090)
mit dem Dag Master engine komme ich auf 55.000 nps bei gleichem Netz T80 ( zB 807418 )
Gruß
CK

Lothar Jung schrieb:

Die endgültige Version von Lc0 0.29 wurde heute veröffentlicht:

We are pleased to announce that lc0 v0.29.0 is finally out. You can find it in <<a class='ura' href='https://github.com/LeelaChessZero/lc0/releases/tag/v0.29.0'>https://github.com/LeelaChessZero/lc0/releases/tag/v0.29.0</a>>. Only small build system fixes relative to rc1, so I'm not going to repeat the above feature list here but just add that the main feature from rc0 is the removal of non multigather (legacy) search code and the consequent removal of the `--multigather` option.
Parent - By Lothar Jung Date 2022-12-13 23:33 Upvotes 1
Hallo,

Du hast zwei verschiedene Lc0 Versionen getestet:

0.29.0 und

0.30 dev. (eingesetzt bei TCEC und CCC)

Hier die Historie:

https://ci.appveyor.com/project/Etcaqab/lc0/history

Bei der gerade veröffentlichten Version wurde nur multigather herausgenommen.

Aber die beschriebenen nps-Unterschiede sind mir unverständlich.

Lothar
- By Lothar Jung Date 2022-12-19 09:33 Upvotes 2
Die Implementierung von Cuda 11.8 steht an und hat die Möglichkeit 9% VRAM einzusparen und etwas zu beschleunigen.

Hier die entspreche Beiträge auf Discord:

„Setting  CUDA_MODULE_LOADING=LAZY is supposed to reduce load time and memory usage (starting with 11.7, and even more so with 11.8).
I tested with 11.7 on Linux using Ceres. Indeed, loading 2 networks (T70, T80) on all 4 GPUs takes 8.98sec and 4903k without but only 7.53sec and 4477k.
However setting the environment variable programmatically at initialization (before call to cudaInit()) surprisingly doesn't work for me; one has to set it from shell before launch.

testing it with lc0, it does appear to have a 9% reduction in vram usage
testing the 0.29.0 cuda builds using 11.1, it uses more vram than 11.8 with lazy loading (with a 4090)

if it can be set programmatically, could possibly be a way to move up to 11.8 prebuilt releases (assuming it works for older cards)

a lazy `_putenv_s("CUDA_MODULE_LOADING", "LAZY");` in lc0 seems to work„
- By Lothar Jung Date 2022-12-20 08:05 Edited 2022-12-20 08:21 Upvotes 1
Auf Discord ein aktuelles T80-Netz mit veränderten Parameter (siehe unten) für das anstehende Turnier:

I just sent in the Leela submission for Chess324.
Binary still from <https://github.com/borg323/lc0/tree/dag-master-pr1791>
Net was updated to 807777 (most recent net with highest self-Elo, and a lucky number
cpuct is a bit higher, so hopefully the slightly wider search can decrease the frequency of surprising opponent's moves
thanks to <@181152738086748160> for running tunes

[
  {
    "name": "LCZero 0.30-dag-contempt_807777",
    "command": "taskset -c 0-51:2 ./lc0 --show-hidden",
    "restart": "on",
    "rating": "3593",
    "options": [
      {
        "name": "MoveOverheadMs",
        "value": "1000"
      },
      {
        "name": "WeightsFile",
        "value": "0040870ed1e602b8b45353575c1ac34bf3235a638481f25f21b385b78ad4cb79"
      },
      {
        "name": "Threads",
        "value": "2"
      },
      {
        "name": "Backend",
        "value": "demux"
      },
      {
        "name": "BackendOptions",
        "value": "backend=cuda-fp16,(gpu=0),(gpu=1)"
      },
      {
        "name": "RamLimitMb",
        "value": "94500"
      },
      {
        "name": "MinibatchSize",
        "value": "384"
      },
      {
        "name": "CPuct",
        "value": "2.52"
      },
      {
        "name": "CPuctFactor",
        "value": "3.973"
      },
      {
        "name": "CPuctBase",
        "value": "45669"
      },
      {
        "name": "FpuValue",
        "value": "0.66"
      },
      {
        "name": "PolicyTemperature",
        "value": "1.4"
      },
      {
        "name": "TaskWorkers",
        "value": "3"
      },
      {
        "name": "SmartPruningFactor",
        "value": "2"
      },
      {
        "name": "SmartPruningMinimumBatches",
        "value": "300"
      },
      {
        "name": "TimeManager",
        "value": "legacy(book-ply-bonus=0.4)"
      },
      {
        "name": "VerboseMoveStats",
        "value": "true"
      },
      {
        "name": "SyzygyPath",
        "value": "/home/syzygy7"
      },
      {
        "name": "LogFile",
        "value": "lc0.log"
      },
      {
        "name": "Ponder",
        "value": "false"
      },
      {
        "name": "UCI_ShowWDL",
        "value": "true"
      },
      {
        "name": "UCI_ShowMovesLeft",
        "value": "true"
      },
      {
        "name": "StrictTiming",
        "value": "true"
      },
      {
        "name": "WDLContemptAttenuation",
        "value": "0.59"
      },
      {
        "name": "WDLDrawRateReference",
        "value": "0.5"
      },
      {
        "name": "WDLDrawRateTarget",
        "value": "0.95"
      },
      {
        "name": "WDLEvalObjectivity",
        "value": "0.0"
      },
      {
        "name": "CommandLineOptions",
        "value": "--show-hidden"
      }
    ],
    "protocol": "uci",
    "workingDirectory": "/home/tcec/Engines/LCZero/"
  }
]
- By Lothar Jung Date 2022-12-21 12:44 Upvotes 1
Hier die neuen Lc0 Parameter im einzelnen:

```
2022-12-20 21:21:38,689 INFO     Current optimum:
{'WDLContemptAttenuation': 0.6595534735444458, 'CPuct': 2.3648777076355625, 'FpuValue': 0.47021784115268317}
2022-12-20 21:21:38,689 INFO     Estimated Elo: 84.9158 +- 9.0085
2022-12-20 21:21:38,689 INFO     90.0% confidence interval of the Elo value: (70.0981, 99.7334)
2022-12-20 21:21:38,783 INFO     90.0% confidence intervals of the parameters:
Parameter               Lower bound  Upper bound
------------------------------------------------
WDLContemptAttenuation         0.02         0.91
CPuct                                      2.1          3.5
FpuValue                                0.34         0.99
```

Bemerkung: Das derzeit laufende TCEC Turnier wird von Lc0 mit höherem Contempt gespielt.
- - By Lothar Jung Date 2022-12-28 11:06 Upvotes 1
Hier ein Blog über die Änderungen von Lc0 0.29.0

https://lczero.org/blog/2022/12/lc0-release-v0.29.0/
Parent - By Peter Martan Date 2022-12-28 11:17 Edited 2022-12-28 11:23 Upvotes 1
Der Thread ist im Zusammenhang mit den neueren über die verschiedenen aktuellen 0.30- Versionen etwas irreführend mittlerweile.
Aber es liegt natürlich nicht nur an den Threadtiteln im CSS, es ist die zunehmend unklare Entwicklungskontrolle von LC0.
0.29.0 ist für mich schon deshalb out, weil es einen Rückschritt darstellt relativ zu denjenigen 0.30-dag- developments, die wenigstens Ansätze zu etwas zeigen, was man bei A-B von Forward- Backward in der Analyse profitiert, das war bei 0.29.0 wieder völlig verloren gegangen. Warum man solche deutlich sichtbaren Fortschritte nicht in den offiziellen Stand der Entwicklung auf der offiziellen Site dafür inkorporiert, ist mir schleierhaft.
Up Topic Hauptforen / CSS-Forum / Lc0 v0.29.0-rc1 veröffentlicht

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill