Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Tests von T60-Netzen mit MLH-Settings
- - By Lothar Jung Date 2020-05-31 12:11
Heute auf Discord:

**Match:** Gauntlet 63600 vs SF11
**Hardware:** Geforce RTX 2070S & i7-5960X (8 cores/16 threads)
**Lc0 version:** v0.25.1
**Lc0 options:** Backend=cudnn-fp16 MovesLeftMaxEffect=0.2 MovesLeftThreshold=0.0 MovesLeftSlope=0.007 MovesLeftQuadraticFactor=0.85 MovesLeftScaledFactor=0.15 MovesLeftConstantFactor=0.0
**SF11 options:** Threads=14 Hash=1024
**Speed:** Lc0:11.4 kN/s, SF11:12554 kN/s (from benchmarks)
**Time control:** 15s+0.5s
**Book:** openings-8ply-10k.pgn, sequential, color reversed
**Tablebases:** 6-man syzygy
**Adjudication:** 6-man TB, -draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=1000
**Software:** cutechess-cli
**Comments:** MLH parameters apply from net 63600. To track MLH I have included average ply counts per game below. Note that I didn't test net 63500.

```diff

   # PLAYER           :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)     W     D     L
+  1 lc0.net.63600    :    54.7   13.9   460.5     800  57.6      92   190   541    69
   2 lc0.net.62900    :    41.0   13.7   445.5     800  55.7      63   171   549    80
   3 lc0.net.63100    :    37.8   13.8   442.0     800  55.3      50   180   524    96
   4 lc0.net.63000    :    37.8   13.4   442.0     800  55.3      55   180   524    96
   5 lc0.net.62800    :    36.4   13.7   440.5     800  55.1      59   173   535    92
   6 lc0.net.62700    :    34.2   13.8   438.0     800  54.8      54   172   532    96
   7 lc0.net.63400    :    33.3   13.5   437.0     800  54.6      61   175   524   101
   8 lc0.net.63300    :    30.6   13.8   434.0     800  54.3      52   151   566    83
   9 lc0.net.62600    :    30.1   13.2   433.5     800  54.2      81   161   545    94
  10 lc0.net.63200    :    21.5   13.4   424.0     800  53.0      50   148   552   100
  11 lc0.net.62500    :    21.5   13.4   424.0     800  53.0      79   159   530   111
  12 lc0.net.62400    :    13.9   13.4   415.5     800  51.9      98   159   513   128
- 13 stockfish_11     :     0.0   ----  4363.5    9600  45.5     ---  1146  6435  2019

White advantage = 53.28 +/- 2.08
Draw rate (equal opponents) = 70.57 % +/- 0.50

```
Average ply count per game:
```diff

         Wins   Draws  Losses   
63400    178    160    131
63600    143    148    127

```
**Match:** Gauntlet 63600 vs SF11
**Hardware:** Geforce RTX 2070S & i7-5960X (8 cores/16 threads)
**Lc0 version:** v0.25.1
**Lc0 options:** Backend=cudnn-fp16
**MLH options:** See below
**SF11 options:** Threads=14 Hash=1024
**Speed:** Lc0:11.4 kN/s, SF11:12554 kN/s (from benchmarks)
**Time control:** 15s+0.5s
**Book:** openings-8ply-10k.pgn, sequential, color reversed
**Tablebases:** 6-man syzygy
**Adjudication:** 6-man TB, -draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=1000
**Software:** cutechess-cli
**Comments:** I tested three different sets of MLH parameters before deciding to use mlh2 for my T60 testing which has a similar ELO to the "more aggressive" mlh3. Use mlh3 if you want to minimise draws in favour of more wins and more losses.

```diff
                                mlh1    mlh2    mlh3
MovesLeftMaxEffect              0.2179  0.2     0.2
MovesLeftThreshold              0.0     0.0     0.0
MovesLeftSlope                  0.0346  0.007   0.007
MovesLeftQuadraticFactor        1.0     0.85    0.0
MovesLeftScaledFactor           0.0     0.15    1.0
MovesLeftConstantFactor         0.0     0.0     0.0

```

```diff

   # PLAYER                :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W     D    L
   1 lc0.net.63600_mlh3    :    57.3   14.2   463.5     800  57.9      61  220   487   93
   2 lc0.net.63600_mlh2    :    54.5   13.9   460.5     800  57.6     100  190   541   69
   3 lc0.net.63600_mlh1    :    24.6   13.9   427.5     800  53.4     100  160   535  105
   4 stockfish_11          :     0.0   ----  1048.5    2400  43.7     ---  267  1563  570

White advantage = 50.77 +/- 4.05
Draw rate (equal opponents) = 69.04 % +/- 1.01

```
Parent - - By Thomas Müller Date 2020-05-31 13:38 Edited 2020-05-31 13:41 Upvotes 2
nutzt doch bitte für die tabellen oder wenn der text formatiert besser lesbar wäre die funktion "tt" 
Ist direkt oberhalb des textfenster per button auswählbar, dann innerhalb davon den text rein kopieren fertig.

   # PLAYER           :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)     W     D     L
+  1 lc0.net.63600    :    54.7   13.9   460.5     800  57.6      92   190   541    69
   2 lc0.net.62900    :    41.0   13.7   445.5     800  55.7      63   171   549    80
   3 lc0.net.63100    :    37.8   13.8   442.0     800  55.3      50   180   524    96
   4 lc0.net.63000    :    37.8   13.4   442.0     800  55.3      55   180   524    96
   5 lc0.net.62800    :    36.4   13.7   440.5     800  55.1      59   173   535    92
   6 lc0.net.62700    :    34.2   13.8   438.0     800  54.8      54   172   532    96
   7 lc0.net.63400    :    33.3   13.5   437.0     800  54.6      61   175   524   101
   8 lc0.net.63300    :    30.6   13.8   434.0     800  54.3      52   151   566    83
   9 lc0.net.62600    :    30.1   13.2   433.5     800  54.2      81   161   545    94
  10 lc0.net.63200    :    21.5   13.4   424.0     800  53.0      50   148   552   100
  11 lc0.net.62500    :    21.5   13.4   424.0     800  53.0      79   159   530   111
  12 lc0.net.62400    :    13.9   13.4   415.5     800  51.9      98   159   513   128
- 13 stockfish_11     :     0.0   ----  4363.5    9600  45.5     ---  1146  6435  2019


                                mlh1    mlh2    mlh3
MovesLeftMaxEffect              0.2179  0.2     0.2
MovesLeftThreshold              0.0     0.0     0.0
MovesLeftSlope                  0.0346  0.007   0.007
MovesLeftQuadraticFactor        1.0     0.85    0.0
MovesLeftScaledFactor           0.0     0.15    1.0
MovesLeftConstantFactor         0.0     0.0     0.0


   # PLAYER                :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W     D    L
   1 lc0.net.63600_mlh3    :    57.3   14.2   463.5     800  57.9      61  220   487   93
   2 lc0.net.63600_mlh2    :    54.5   13.9   460.5     800  57.6     100  190   541   69
   3 lc0.net.63600_mlh1    :    24.6   13.9   427.5     800  53.4     100  160   535  105
   4 stockfish_11          :     0.0   ----  1048.5    2400  43.7     ---  267  1563  570
Parent - By Lothar Jung Date 2020-06-08 12:27
Das T60-Netz erholt sich derzeit von einer längeren Regression.

Lothar
Parent - - By Lothar Jung Date 2020-06-10 09:18
Hier ein schöner Test über die Auswirkungen von mlh:

Match 3972_20k trained on T60 data to improve moves left head using moves_left_weight = 0.02. Training started from SV net 3972.
LC0-version: master
LC0 options (common options): --minibatch-size=64 --max-out-of-order-evals-factor=2
LC0 options (mlh): --moves-left-max-effect=0.1 --moves-left-threshold=0.5 --moves-left-slope=0.007 --moves-left-quadratic-factor=0 --moves-left-scaled-factor=1 --moves-left-constant-factor=0.
LC0 options (mlh_quad): --moves-left-max-effect=0.05 --moves-left-threshold=0.5 --moves-left-slope=0.005 --moves-left-quadratic-factor=1 --moves-left-scaled-factor=0 --moves-left-constant-factor=0.
SF options: Threads=16, Hash=512
Hardware: Ryzen 7 1700X, RTX2080 SUPER (150 W power limit)
Time control: 5+1
Book: 10ply.pgn
Tablebases: 5-man
Adjudication: -draw movenumber=35 movecount=5 score=8 -resign movecount=5 score=1000 -twosided=true -tb
Speed: lc0 6.3 knps (backendbench), SF 19.1 Mnps (benchmark).
Software: cutechess-cli
Comment: Enabling MLH likely gains elo against SF. Not much elo difference between linear and quadratic parameters
but the more agressive linear parameters has shorter won and longer lost games.

   # PLAYER                          :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W     D    L  D(%)
   1 lc0_384x30-3972_20k_mlh             :    60.4   12.9   467.0     800    58      54  195   544   61    68
   2 lc0_384x30-3972_20k_mlh_quad    :    59.5   12.9   466.0     800    58      96  200   532   68    66
   3 lc0_384x30-3972_20k                    :    43.5   13.2   448.5     800    56     100  167   563   70    70
   4 sf_dev                                           :     0.0   ----  1018.5    2400    42     ---  199  1639  562    68

Average game length in plies.
Win
lc0_384x30-3972_20k 170.5
lc0_384x30-3972_20k_mlh 144.9
lc0_384x30-3972_20k_mlh_quad 151.4
sf_dev 147.1
Lose
lc0_384x30-3972_20k 150.0
lc0_384x30-3972_20k_mlh 157.2
lc0_384x30-3972_20k_mlh_quad 135.1
Parent - - By Peter Martan Date 2020-06-10 10:09 Edited 2020-06-10 11:02

#PLAYER                           RATING  ERROR  POINTS  PLAYED  (%)  CFS(%)  W   D   L  D(%)
1 lc0_384x30-3972_20k_mlh         60.4    12.9   467.0    800    58   54      195 544 61 68
2 lc0_384x30-3972_20k_mlh_quad    59.5    12.9   466.0    800    58   96      200 532 68 66
3 lc0_384x30-3972_20k             43.5    13.2   448.5    800    56  100      167 563 70 70
4 sf_dev                          0.0           1018.5   2400    42  199     1639 562 68
Parent - By Lothar Jung Date 2020-06-14 11:35
**Match:** Gauntlet 63600 vs SF11
**Hardware:** Geforce RTX 2070S & i7-5960X (8 cores/16 threads)
**Lc0 version:** v0.25.1
**Lc0 options:** Backend=cudnn-fp16
**MLH options:** See below
**SF11 options:** Threads=14 Hash=1024
**Speed:** Lc0:11.4 kN/s, SF11:12554 kN/s (from benchmarks)
**Time control:** 15s+0.5s
**Book:** openings-8ply-10k.pgn, sequential, color reversed
**Tablebases:** 6-man syzygy
**Adjudication:** 6-man TB, -draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=1000
**Software:** cutechess-cli
**Comments:** mlh5 are the parameters being suggested by !mlh on June 14th.

```diff
                                        mlh1    mlh2    mlh3    mlh4    mlh5
MovesLeftMaxEffect              0.2179  0.2     0.2    0.15    0.15
MovesLeftThreshold              0.0       0.0     0.0     0.3     0.3
MovesLeftSlope                  0.0346  0.007   0.007   0.015   0.01
MovesLeftQuadraticFactor        1.0     0.85    0.0     1.0     0.85
MovesLeftScaledFactor            0.0     0.15    1.0     0.0     0.15
MovesLeftConstantFactor         0.0     0.0     0.0     0.0     0.0

```

MLH3 schneidet hier am besten ab:

```diff

   # PLAYER                :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W     D    L
   1 lc0.net.63600_mlh3     :    57.6   14.2   463.5     800  57.9      61  220   487   93
   2 lc0.net.63600_mlh2     :    54.8   14.2   460.5     800  57.6      98  190   541   69
   3 lc0.net.63600_mlh4     :    32.9   13.9   436.5     800  54.6      55  171   531   98
+  4 lc0.net.63600_mlh5    :    31.5   14.0   435.0     800  54.4      75  176   518  106
   5 lc0.net.63600_mlh1     :    24.8   13.6   427.5     800  53.4     100  160   535  105
-  6 stockfish_11                :     0.0   ----  1777.0    4000  44.4     ---  471  2612  917

White advantage = 56.10 +/- 3.28
Draw rate (equal opponents) = 69.34 % +/- 0.79

```
Up Topic Hauptforen / CSS-Forum / Tests von T60-Netzen mit MLH-Settings

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill