Lothar Jung schrieb:
Big transformer 3. Tentative new network arch using smolgen-augmented self-attention (see <a class='ura' href='
https://github.com/Ergodice/lczero-training/blob/attention-net-body/README.md'>https://github.com/Ergodice/lczero-training/blob/attention-net-body/README.md</a>) from BT2. Will probably switch main activation from square relu to mish. The plan is to have embedding size 1024, ffn projection size 1024, 32 heads per layer, and 10 total layers. We have also found a way of preprocessing the inputs that prevents early layers from doing nothing, which should slightly improve performance. Removing layernorms after attention also improves performance and slightly decreases latency. Experiments are currently in progress to quantize the dense layers to int8 precision to improve speed. There are also cuda optimizations available, which should reduce latency by 10 to 15%.
Last updated: 4/7/23
LC0 wurde sehr gut weiterentwickelt.
2 bis 4 Nvidia RTX 5090, werden LC0 bestimmt deutlich weiterhelfen:
https://www.gamestar.de/artikel/nvidia-rtx-5000-erste-geruechte,3392516.htmlDie Netze werden immer größer und LC0 wird mit der Zeit immer tiefer rechnen.
Wie lange kann Stockfish da noch mithalten?
RTX 5090 dürfte für einen Gleichstand sorgen.
LC0 mit RTX 6090 sollte stärker sein als Stockfish.
https://tcec-chess.comDie Kreuztabelle zeigt wie gut LC0 in der Lage ist Vorgabestellungen gegen Stockfish!! zu gewinnen, welche dieser selbst nicht gegen LC0 gewinnen kann.
Bei Stockfish gibt es noch massig Verbesserungspotential und das ist gut so.