Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Tests SF1 (dev) gegen Sergio 3010 und T60-Netze
- By Lothar Jung Date 2020-06-12 09:23 Edited 2020-06-12 09:26 Upvotes 1
Heute auf Discord:

Match: SF vs. lc0 nets 1m+1s gauntlet at equal cost hardware
LC0-version: v0.26.0-dev+git.dd46737 built Jun  1 2020
LC0 options: minibatch 40, backend multiplexing, backendOptions (backend=cudnn-fp16,gpu=0),(backend=cudnn-fp16,gpu=1), threads 3, MovesLeftMaxEffect 0.2, MovesLeftThreshold 0, MovesLeftSlope 0.007, MovesLeftConstantFactor 0, MovesLeftScaledFactor 1, MovesLeftQuadraticFactor 0
SF-version: SF-dev 2020.06.01
SF options: 1024mb cache, 32 threads
Hardware: CPU: Ryzen 3950x ($961 CAD) + GPU: 2x RTX 2060 ($997 CAD)
Time control: 1m+1s
Speed: SF ~50mnps LC0 ~20knps (Leela ratio 0.35)
Book: openings-6ply-1000.pgn
Tablebases: none
Adjudication:  -draw movenumber=40 movecount=3 score=10, -resign movecount=3 score=600
Software: Cutechess GUI windows build care of zz4032 (pinned post)
Comments: expected outcome, will continue comparing winner against new entrants, using new book
   # PLAYER         :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W     D    L  D(%)
   1 lc0-3010mlh    :     9.4    7.9   578.5    1078  53.7      70  164   829   85  76.9
   2 lc0-3010         :     5.8    7.9   573.0    1078  53.2      74  154   838   86  77.7
   3 lc0-63688       :     1.5    7.6   566.5    1078  52.6     100  154   825   99  76.5
   4 sf200601       :   -16.7    4.2  1516.0    3234  46.9     ---  270  2492  472  77.1

White advantage = 40.00 +/- 2.92
Draw rate (equal opponents) = 80.14 % +/- 0.75

gauntlet1.7z
2.33 MB

Match: lc0.25.63730 vs Stockfish 11 4CPU - 100 rapid games
LC0-version: v25.1 cuda
LC0-options: --backend=multiplexing --cpuct=2.147 --cpuct-factor=2.815 --cpuct-base=18368 --fpu-value=0.443 --policy-softmax-temp=1.607
Time control: 15min + 5s (CCRL 40/15)
Hardware: CPU i7-8700 4cores vs 1070Ti GPU
Book: Custom short lines played from both sides (!sheet4 for opening list)
Tablebase: 6 piece syzygy (DTZ + WDL) for both engines
Software: Arena
Speed: Leela ratio ~0.85; Lc0 npm~200K, SF npm~200M  (based on 24x256 nets, T60 is slower)
Context: Same MLH params as prev; !sheet4 for test history

MLH2 params:
--moves-left-max-effect=0.15 --moves-left-threshold=0.03 --moves-left-slope=0.015 moves-left-quadratic-factor=1.0 --moves-left-scaled-factor=0.0 --moves-left-constant-factor=0.0

Ordo w/ comparison to previous T60 scores:
# PLAYER                             :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%) (Against SF)
1 lc0.25.1.63677_MLH2       :  3529.6   30.0    54.5     100    55      98   15   79    6    79
  2 lc0.25.63558                   :  3525.7   29.6    54.0     100    54      97   14   80    6    80
  3 lc0.25.63450                   :  3511.2   29.7    52.0     100    52      83   12   80    8    80
+ 4 lc0.25.1.63730_MLH2     :  3500.6   32.0    50.5     100    51      59   12   77   11    77
  5 lc0.25.1.63608_MLH        :  3500.6   33.8    50.5     100    51      58   13   75   12    75
- 6 Stockfish_11_x64_bmi2   :  3497.0   ----    52.5     100    53     ---   15   75   10    75 (against 62091)
  7 lc0.24.384x30-t60-3010    :  3486.4   31.0    48.5     100    49     ---    9   79   12    79

lc0.25.1.63730_MLH2 - Stockfish_11_x64_bmi2 : 50.5/100 12-11-77 (===0=1=====1=======0==1==01===1==0===0========1==1=01===============10=000========1=========1===10==)  51%  -> 3501 ordo score
[20:34]
Addendum - Avg game lengths:
   Net      MovesGame  MovesWin  MovesLoss  MovesDraw
  63608_MLH        68     52       75        71
  63677_MLH2      82      54        34           88
+ 63730_MLH2     82      69        60           87     
  63558                80      76        56           83 
  63223                88      89        53           91 
384x30-t60-3010  80      91        56           82
  63450                88      92        63           89 
  63375                92      99        69           93  

Zwar alles nicht vergleichbar, aber interessant.
Besonderes Hardwarekosten RTX/Ryzen 3950X

Lothar
Up Topic Hauptforen / CSS-Forum / Tests SF1 (dev) gegen Sergio 3010 und T60-Netze

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill