Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Neues Lc0-Netz JH-94-40 mit guten Testergebnissen
- - By Lothar Jung Date 2020-11-16 10:43 Edited 2020-11-16 10:51 Upvotes 1
Heute auf Discord die beiden Test mit jeweils starker Hardware:

1. Test:

**Match**: J92/J94 vs SF-12 16 Threads
**Hardware**: RTX 3080, i9-10900kf
**Time control**: 5s + 0.5s (time forfeit disabled)
**Openings**: TCEC SuFi 10-19 (500 pos.)
**Lc0 26.3 cuda-fp16**: threads=2, minibatch-size=204, move-overhead=0
**MLH tcec-19**: moves-left-max-effect=0.2, moves-left-threshold=0.00000, moves-left-slope=0.004, moves-left-scaled-factor=1, moves-left-quadratic-factor=0, moves-left-constant-factor=0
**Stockfish 12 bmi2**: threads=16, hash=256, move overhead=0
**TBs and adj.**: syzygy 5-men, draw 5 moves 5cp move 30, resign (two-sided) 5 moves 600cp
**Comments**: Excellent performance by J94-40. J92-190 and SF-12 16T on par in this setup.
**Games**: https://gofile.io/d/gV3Vrk
```# PLAYER            :  RATING  ERROR  PLAYED  (%)   CFS   W    D    L    D(%)
1 lc0-263-j94-40        :    23.6   11.8   1000  53.20   90  210  644  146  64.40
2 lc0-263-j92-330  b   :    11.8   12.5   1000  51.60   97  202  628  170  62.80
3 stockfish-12-16T.      :     0.0   ----   3000  48.40   50  489 1926  585  64.20
4 lc0-263-j92-190       :     0.0   11.7   1000  50.00  ---  173  654  173  65.40

Engine             Depth   MIDG   EARLY   ENDG   LATE
lc0-263-j92-190    9.70   10.59 | 11.15 | 8.95 | 7.25
lc0-263-j94-40     9.82   10.68 | 11.08 | 9.10 | 7.28
lc0-263-j92-330    9.90   10.81 | 11.25 | 9.00 | 7.66
stockfish-12-16T   26.82  22.65 | 23.06 | 28.22 | 43.27```

2. Test:

**SPRT-Matches** of 384 nets
**LC0 version:** v0.26.3
**LC0 options:** Threads=1, MinibatchSize=64, MaxPrefetch=32, MaxCollisionEvents=32, MaxOutOfOrderEvalsFactor=2.0, Backend=cuda-fp16, ScoreType=centipawn_2019, MoveOverheadMs=0,  SmartPruningMinimumBatches=2, RootHasOwnCpuctParams=false, CPuct=1.350, FpuValue=0.228, PolicyTemperature=1.497, CPuctFactor=3.468, CPuctBase=20253, MLH-S18-SuFi-Settings: MovesLeftMaxEffect=0.2, MovesLeftThreshold=0.0, MovesLeftSlope=0.007, MovesLeftScaledFactor=1.0, MovesLeftQuadraticFactor=0.0, MovesLeftConstantFactor=0.0
**Hardware:** Ryzen 9 3950X (3.5GHz) + RTX 3080
**Time control:** 1.5s/game+0.025s/move
**Speed:** ≈1000 nodes/move
**Book:** 3-moves unbalanced book, order=random
**Tablebases:** 6-man
**Adjudication:** 6-man TBs + -resign movecount=3 score=500, -draw movenumber=20 movecount=5 score=10
**Software:** Cutechess-CLI, time forfeits disabled
```diff
   # ENGINE             :  RATING  ERROR  CFS(%)   GAMES    W     D    L  DRAWS(%)
+  1 lc0.net.J94-40     :    15.6   10.2    99.9    2336  659  1104  573      47.3
   2 lc0.net.J92-320    :     0.0   ----     ---    2336  573  1104  659      47.3
White advantage = 155.5 +/- 5.1
Draw rate (equal opponents) = 59.5 % +/- 1.3```BayesElo bounds [0.0;5.0] scaled to logistic bounds based on drawrate:
`sprt.py --elo0 0.0 --elo1 3.883 --results 15 212 635 284 22`:
```
[Elo0,Elo1]                 :  {0.000,3.883}
Elo                            :  12.1
Confidence interval         :  [4.6,19.7] (95.0%)
LLR [u,l]                    :  2.944  [-2.944,2.944]```

Hier die Einzelheiten und Neuigkeiten zum J94-40 Netz auf Github:

https://github.com/jhorthos/lczero-training/wiki/Leela-Training

Hier die Beschreibung der neu eingeführten „Value Repair Method“:

https://github.com/jhorthos/lczero-training/wiki/Value-Repair-method

Lothar
Parent - - By Reinhold Stibi Date 2020-11-16 14:01
Hallo Lothar,

danke für die Info.

Bei Lc0 tut sich so Einiges vielversprechend und Lc0 scheint mir wieder im Aufwind zu sein.

Wenn die neuen 30er Grafikarten im Einsatz sind und Lc0 sich weiter verbessert dann 
dürfte die Spielstäre auf Augenhöhe mit NNUE sein.

Reinhold
Parent - By Lothar Jung Date 2020-11-16 21:12
Hier ist der Download-Link für das neue JH-94-60 Netz:

https://mega.nz/file/WF8wCBLT#xnsK6TgqUX_JTyoUlN3tFxonk77ZEFD5CVz_XhhhExo

Lothar
Parent - - By Lothar Jung Date 2020-11-17 16:08
Hier ein aktueller Test auf Discord zum Abschneiden der neuen J-94 Netzen:

**Match**: J94-60 vs stockfish 12 in fixed nodes
**LC0 version:** 0.26.2, built with cuda11 + cudnn7
**LC0 options:** cudnn-fp16,  1 thread, default for the rest
**SF options:** 1 thread, 1GB Hash.
**Time control:**  Leela: 1 kn/move, SF 12: 400Kn/move
**Hardware:** RTX 2070, i7-7700
**Book:** Balsa 2724 openings
**Tablebases:** 6-man TB for both.
**Adjudication**: 6-man TB, -draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=1000
**Software:**cutechess-cli
**Comments:** J94-60 beats SF 12 (+4 elo) and occupies the first place.

```diff
Leela: 1 thread, 1Kn/move
SF 12: 1 thread, 400Kn/move

Balsa 2724

   # PLAYER                :  RATING  ERROR   POINTS  PLAYED   (%)  CFS(%)      W      D      L
+  1 lc0.net.J94-60.1k     :       4      6   2751.5    5448  50.5      64   1073   3357   1018
   2 lc0.net.J94-40.1k     :       2      6   2739.5    5448  50.3      74   1046   3387   1015
-  3 Stockfish_12.400k     :       0   ----  32985.0   65376  50.5      56  12794  40382  12200
   4 lc0.net.J92-330.1k    :       0      6   2720.5    5448  49.9      51   1023   3395   1030
   5 lc0.net.J92-270.1k    :      -1      6   2720.0    5448  49.9      68   1063   3314   1071
   6 lc0.net.J92-290.1k    :      -2      6   2705.5    5448  49.7      53   1012   3387   1049
   7 lc0.net.J92-260.1k    :      -3      6   2703.0    5448  49.6      54   1004   3398   1046
   8 lc0.net.J92-280.1k    :      -3      6   2699.5    5448  49.6      54   1045   3309   1094
   9 lc0.net.J92-190.1k    :      -4      6   2696.0    5448  49.5      54    996   3400   1052
  10 lc0.net.J92-250.1k    :      -4      6   2693.0    5448  49.4      62   1015   3356   1077
  11 lc0.net.J92-300.1k    :      -5      6   2683.5    5448  49.3      55   1009   3349   1090
  12 lc0.net.J92-320.1k    :      -6      6   2679.5    5448  49.2      99   1004   3351   1093
  13 lc0.net.J92-100.1k    :     -16      6   2599.5    5448  47.7     ---    910   3379   1159
```

Erfreulich!

Lothar
Parent - By Benno Hartwig Date 2020-11-17 16:28 Upvotes 2
   # PLAYER                :  RATING  ERROR   POINTS  PLAYED   (%)  CFS(%)      W      D      L
+  1 lc0.net.J94-60.1k     :       4      6   2751.5    5448  50.5      64   1073   3357   1018
   2 lc0.net.J94-40.1k     :       2      6   2739.5    5448  50.3      74   1046   3387   1015
-  3 Stockfish_12.400k     :       0   ----  32985.0   65376  50.5      56  12794  40382  12200
   4 lc0.net.J92-330.1k    :       0      6   2720.5    5448  49.9      51   1023   3395   1030
   5 lc0.net.J92-270.1k    :      -1      6   2720.0    5448  49.9      68   1063   3314   1071
   6 lc0.net.J92-290.1k    :      -2      6   2705.5    5448  49.7      53   1012   3387   1049
   7 lc0.net.J92-260.1k    :      -3      6   2703.0    5448  49.6      54   1004   3398   1046
   8 lc0.net.J92-280.1k    :      -3      6   2699.5    5448  49.6      54   1045   3309   1094
   9 lc0.net.J92-190.1k    :      -4      6   2696.0    5448  49.5      54    996   3400   1052
  10 lc0.net.J92-250.1k    :      -4      6   2693.0    5448  49.4      62   1015   3356   1077
  11 lc0.net.J92-300.1k    :      -5      6   2683.5    5448  49.3      55   1009   3349   1090
  12 lc0.net.J92-320.1k    :      -6      6   2679.5    5448  49.2      99   1004   3351   1093
  13 lc0.net.J92-100.1k    :     -16      6   2599.5    5448  47.7     ---    910   3379   1159
Up Topic Hauptforen / CSS-Forum / Neues Lc0-Netz JH-94-40 mit guten Testergebnissen

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill