Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Aktuelle Lc0-J92 Tests gegen SF auf Discord
- - By Lothar Jung Date 2020-11-04 08:30
**Match**: J92-320 vs stockfish 12 in fixed nodes
**LC0 version:** 0.26.2, built with cuda11 + cudnn7
**LC0 options:** cudnn-fp16,  1 thread, default for the rest
**SF options:** 1 thread, 1GB Hash.
**Time control:**  Leela: 1 kn/move, SF 12: 400Kn/move
**Hardware:** RTX 2070, i7-7700
**Book:** Balsa 2724 openings
**Tablebases:** 6-man TB for both.
**Adjudication**: 6-man TB, -draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=1000
**Software:**cutechess-cli
**Comments:** J92-320 got -6 elo vs SF 12, unimpressive here.

```diff
Leela: 1 thread, 1Kn/move
SF 12: 1 thread, 400Kn/move

Balsa 2724

   # PLAYER                :  RATING  ERROR   POINTS  PLAYED   (%)  CFS(%)      W      D      L
-  1 Stockfish_12.400k     :       0   ----  30408.5   59928  50.7      57  11905  37007  11016
   2 lc0.net.J92-270.1k    :      -1      6   2720.0    5448  49.9      68   1063   3314   1071
   3 lc0.net.J92-290.1k    :      -2      6   2705.5    5448  49.7      53   1012   3387   1049
   4 lc0.net.J92-260.1k    :      -3      6   2703.0    5448  49.6      54   1004   3398   1046
   5 lc0.net.J92-280.1k    :      -3      6   2699.5    5448  49.6      55   1045   3309   1094
   6 lc0.net.J92-190.1k    :      -4      6   2696.0    5448  49.5      54    996   3400   1052
   7 lc0.net.J92-250.1k    :      -4      6   2693.0    5448  49.4      61   1015   3356   1077
   8 lc0.net.J92-230.1k    :      -5      6   2684.0    5448  49.3      51    980   3408   1060
   9 lc0.net.J92-300.1k    :      -5      6   2683.5    5448  49.3      55   1009   3349   1090
+ 10 lc0.net.J92-320.1k    :      -6      6   2679.5    5448  49.2      75   1004   3351   1093
  11 lc0.net.J92-220.1k    :      -9      6   2656.0    5448  48.8      96    978   3356   1114
  12 lc0.net.J92-100.1k    :     -16      6   2599.5    5448  47.7     ---    910   3379   1159
```

**Match**: J92 vs SF 12
**Nodes**: Lc0 26.3 cudnn-fp16 = 5000, Stockfish 12 modern = 2 500 000
**Openings**: TCEC SuFi 10-19 (500 pos.)
**Hardware**: Ryzen 7 3750H, GTX 1660 Ti (J92-270: Ryzen 9 4900H, RTX 2060)
**Lc0**: nncache=100000, threads=1
**MLH**: moves-left-max-effect=0.2, moves-left-threshold=0, moves-left-slope=0.004, moves-left-constant-factor=0, moves-left-scaled-factor=1, moves-left-quadratic-factor=0
**SF 12**: threads=2, hash=64
**TBs and adj.**: syzygy 5-men, draw 5 moves 5cp move 30, resign (two-sided) 5 moves 600cp
**Games**: https://gofile.io/d/hL0fjz
```# PLAYER                : RATING  ERROR  PLAYED    (%)  CFS   W     D    L   D(%)
1 lc0-263-j92-310-5k    :   13.5   13.7   1000   51.80   69  247   542  211  54.20
2 lc0-263-j92-270-5k    :    9.4   12.9   1000   51.25   72  230   565  205  56.50
3 lc0-263-j92-280-5k    :    3.7   13.5   1000   50.50   55  239   532  229  53.20
4 lc0-263-J92-190-5k    :    2.6   14.2   1000   50.35   64  227   553  220  55.30
5 stockfish-12-2T-2500k :    0.0   ----   4000   49.02  ---  865  2192  943  54.80

White advantage = 90.32 +/- 3.69
Draw rate (equal opponents) = 59.40 % +/- 0.75

Engine                 Depth  MIDG  EARLY   ENDG   LATE
lc0-263-j92-310-5k     7.99   8.67 | 8.74 | 7.25 | 6.27
lc0-263-J92-190-5k     8.01   8.61 | 8.71 | 7.36 | 6.39
lc0-263-j92-270-5k     8.06   8.72 | 8.94 | 7.34 | 6.48
lc0-263-j92-280-5k     8.06   8.73 | 8.70 | 7.35 | 6.55
stockfish-12-2T-2500  25.50  22.51 | 22.67| 26.62| 38.37```

Fazit: Das 270er und das 310er Netz sehen vielversprechend aus.
J92-310 dürfte derzeit das stärkste Netz darstellen.

Lothar
Parent - - By Clemens Keck Date 2020-11-04 08:54 Edited 2020-11-04 08:56
Moin moin alle friedlichen und alle Streithähne

Die ganzen Tests auf discord betrachte ich mit großem Abstand.
Meistens werden sehr kleine Zeitkontollen gespielt, die weit unter 1 Minute liegen.
Oftmals ist auch die GPU hardware sehr schwach. (nicht in diesem Beispiel)
Manche tests verwenden auch abweichende settings und verschieden Stockfish Versionen(Stockfish 12 spiegelt zB nicht die Stärke der aktuellen NNUE engines wieder.), was eine Vergleichbarkeit schwierig macht.
So kommt es zu Tabellen, die eine so, die andere so.

In meinem aktuell noch laufenden Test (nach 104 von 180 Partien, 8+2, ponder on) ist J92-320 von allen bisher getesteten Netzwerken mit Abstand das beste weightfile.
Ich kann es gar nicht glauben, habe deswegen einen zweiten Test auf einem zweiten Rechner gestartet (dauert nochmal 3 Tage).

C.K.
Parent - By Lothar Jung Date 2020-11-04 09:10
Hallo Clemens,

Du hast natürlich recht.
Auf Discord bekommt man in den Test nur einen eingeschränkten und relativen Eindruck.

Ich bin auf Deine Ergebnisse gespannt!

Lothar
Up Topic Hauptforen / CSS-Forum / Aktuelle Lc0-J92 Tests gegen SF auf Discord

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill