Lc0 BT3 Entwicklung

By Lothar Jung Date 2023-04-26 09:45 Upvotes 3

Big transformer 3. Tentative new network arch using smolgen-augmented self-attention (see https://github.com/Ergodice/lczero-training/blob/attention-net-body/README.md) from BT2. Will probably switch main activation from square relu to mish. The plan is to have embedding size 1024, ffn projection size 1024, 32 heads per layer, and 10 total layers. We have also found a way of preprocessing the inputs that prevents early layers from doing nothing, which should slightly improve performance. Removing layernorms after attention also improves performance and slightly decreases latency. Experiments are currently in progress to quantize the dense layers to int8 precision to improve speed. There are also cuda optimizations available, which should reduce latency by 10 to 15%.
Last updated: 4/7/23

By Max Siegfried Date 2023-04-26 10:02

Lothar Jung schrieb:

Big transformer 3. Tentative new network arch using smolgen-augmented self-attention (see <a class='ura' href='https://github.com/Ergodice/lczero-training/blob/attention-net-body/README.md'>https://github.com/Ergodice/lczero-training/blob/attention-net-body/README.md</a>) from BT2. Will probably switch main activation from square relu to mish. The plan is to have embedding size 1024, ffn projection size 1024, 32 heads per layer, and 10 total layers. We have also found a way of preprocessing the inputs that prevents early layers from doing nothing, which should slightly improve performance. Removing layernorms after attention also improves performance and slightly decreases latency. Experiments are currently in progress to quantize the dense layers to int8 precision to improve speed. There are also cuda optimizations available, which should reduce latency by 10 to 15%.
Last updated: 4/7/23

LC0 wurde sehr gut weiterentwickelt.
2 bis 4 Nvidia RTX 5090, werden LC0 bestimmt deutlich weiterhelfen: https://www.gamestar.de/artikel/nvidia-rtx-5000-erste-geruechte,3392516.html
Die Netze werden immer größer und LC0 wird mit der Zeit immer tiefer rechnen.
Wie lange kann Stockfish da noch mithalten?
RTX 5090 dürfte für einen Gleichstand sorgen.
LC0 mit RTX 6090 sollte stärker sein als Stockfish.

https://tcec-chess.com
Die Kreuztabelle zeigt wie gut LC0 in der Lage ist Vorgabestellungen gegen Stockfish!! zu gewinnen, welche dieser selbst nicht gegen LC0 gewinnen kann.
Bei Stockfish gibt es noch massig Verbesserungspotential und das ist gut so.

By Reinhold Stibi Date 2023-04-26 11:59 Edited 2023-04-26 12:35 Upvotes 1

Bei TCEC geht das Turnier bald zu ende.

Stockfish führt mit 4 Punkten Vorsprung.

Bei der Weiterentwicklung von Lc0 ist die Frage welche Rolle das Programm und die Hardware spielt.

Kann auch gut sein, dass eine Verbesserung der Hardware nicht mehr viel bringt.

Gut vorstellbar wäre mit der kommenden RTX 5000er Version ein Gleichstand von Lc0 und Stockfish.

Bei normaler Hardware könnte Lc0 bei einer Verdreifachung der Stärke einer RTX 3070Ti mit Stockfish
und 32 Kerner Ryzen gleichziehen wie Stellungstests mit 45 Sek. zu 15 Sek. je Zug belegen.

Warten wir es ab.