T60 schon jetzt fast auf Augenhöhe

By Tom Paul Date 2019-12-29 10:48

Von "fast auf Augenhöhe" würde ich hier überhaupt nicht sprechen.
T60 hat 5 Siege und 14 Niederlagen in einem Spiel erreicht welches Remis ist.
Bildhaft formuliert: 5 zu 14 oder 1/3 oder 33%
Sergios 30x384 Netz hat: 10 zu 11 oder 3/3 oder fast 100%

By Benno Hartwig Date 2019-12-29 11:49

Kleiner Tip: mit einem Klick auf den "tt"-Button bekommst du die Tabelle auch schick formatiert:

   # PLAYER                  :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
   1 stockfish_261119        :       0     11   313.5     600  52.3      59   84  459   57  76.5
   2 Sergio T40-1207         :      -4     29    49.5     100  49.5      50   10   79   11  79.0
   3 lc0-Terminator 2-136    :      -4     29    49.5     100  49.5      56   14   71   15  71.0
   4 Leelenstein v11.1       :      -7     30    49.0     100  49.0      62   10   78   12  78.0
   5 Lc0 T40B.4-260          :     -14     31    48.0     100  48.0      77    8   80   12  80.0
   6 Lc0 T60 Latest          :     -33     31    45.5     100  45.5      56    5   81   14  81.0
   7 Fat Fritz v281          :     -36     28    45.0     100  45.0     ---   10   70   20  70.0

Abgesehen davon, dass 100 Partien allenfalls eine sehr ungefähre Einschätzung ermöglichen, ist T60 doch eigentlich ganz schön von SF weggepuschert worden, oder?

By Walter Knobloch Date 2019-12-31 10:31

ich schätze T60 wird auf dieser Hardware SF dev in einer Woche überflügelt haben.

By Lothar Jung Date 2019-12-31 12:21

Vielleicht auch/oder LC0 1538 T60-2 Sergio Vieri, das auf T60-Trainingspartien basiert.
Derzeit läuft ein Tunier von Edosani mit dem Netz auf Twitch.

By Walter Knobloch Date 2019-12-31 13:43

Sergios Netze belegen die Qualität der T60 Daten, aber werden in ca. einer Woche geschlagen werden. Ist zumindest meine Prognose

.
50 Elo könnten drin sein.

By Martin Steinwandter Date 2020-01-01 15:05

Walter Knobloch schrieb:

ich schätze T60 wird auf dieser Hardware SF dev in einer Woche überflügelt haben.

Hätte man nicht gleich mit einem größeren Netz das Training beginnen können, wo das 60er jetzt schon besser spielt? Wie viel Stärker als Stockfish wäre dann wohl das nächstgrößere Netz. Dass es funktioniert, weiß man ja schon seit google Alphazero trainiert hat. Warum nicht gleich mit dem größtmöglichen Netz weitermachen?

By Tom Paul Date 2020-01-01 21:43

Martin Steinwandter schrieb:

Walter Knobloch schrieb:

ich schätze T60 wird auf dieser Hardware SF dev in einer Woche überflügelt haben.

Dieses Netz und kleinere Netze werden dazu verwendet, möglichst schnell, diverse Fehler zu beheben und möglichst schnell diverse andere mögliche Verbesserungen zu testen.
Da geht es inzwischen eigentlich gar nicht mehr um Spielstärke.
Deshalb wird alles davon laufend ins große Sergio Netz integriert. https://www.comp.nus.edu.sg/~sergio-v/t60/ 384x30-t60-2: Ongoing, at 3rd LR (0.002)

By Walter Knobloch Date 2020-01-02 02:53

Walter Knobloch schrieb:

ich schätze T60 wird auf dieser Hardware SF dev in einer Woche überflügelt haben.

Stichtag ist also der 7.1.
Es könnte sich grad so ausgehen mit meiner Prognose, daß T60 ab da alles andere wegputzt.

By Clemens Keck Date 2019-12-31 18:15

meine bisherigen Tests:

Code:

# PLAYER                          :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W     D    L  D(%)
   1 Lc0 v0.22.0-leele12.1           :       1     15   150.5     300  50.2      54   20   261   19  87.0
   2 Lc0 v0.22.0-leele11.1           :       0     15   150.0     300  50.0      50   16   268   16  89.3
   3 Stockfish 031219 64 BMI2-T13    :       0   ----   916.5    1800  50.9      62  142  1549  109  86.1
   4 Lc0 v0.22.0-sergio1207          :      -2     15   149.0     300  49.7      63   15   268   17  89.3
   5 Lc0 v0.22.0-T40.B4-160          :      -6     14   147.5     300  49.2      73   24   247   29  82.3
   6 Fat Fritz                       :     -13     16   144.5     300  48.2      70   18   253   29  84.3
   7 Lc0 v0.22.0-61653               :     -19     15   142.0     300  47.3     ---   16   252   32  84.0

Das relativ neue T60 Netz 61653 immerhin nur ~20 Elo auf SF
aktuell läuft Leelenstein 12.2, dauert noch 2,5 Tage.

Wünsche Allen einen guten Rutsch ins 2020.

C.K.

By Lothar Jung Date 2020-01-01 09:44

Ein aktuelles Netz 61750 überholt 41800 um 6 Elo-Punkte auf einer RTX 2070:

**Match**: 61750 vs 41800
**LC0 version:** 0.22
**LC0 options:** cudnn-fp16, *1 thread, cpuct=2.08, fpu-value=0.47, policy-softmax-temp=1.92*
**Time control:**   1Kn/move
**Hardware:** RTX 2070
**Book:** SuperGM_4mvs_500 book, in sequence, reversed color
**Tablebases:** 6-man TB
**Adjudication**: 6-man TB, -draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=1000
**Software:**cutechess-cli
**Speed:** Average nps from the pgn file: 41800: 17 knps, T60: 8.8 knps
**Comments:** 61750 vs 41800: +200 -184 =616 (+6 elo): happy new year with strong performance of 61750: the first time T60 beats 41800 here in fixed nodes!

```diff
1 thread, vs 41800 at 1 Knpm, cpuct=2.08, fpu-value=0.47, policy-softmax-temp=1.92

   # PLAYER    : RATING ERROR POINTS PLAYED   (%) CFS(%)    W    D    L
+ 1 lc0.net.61750 :    6    13   508.0 1000 50.8 80   200   616   184
- 2 lc0.net.41800 :    0   ---- 6205.0   12000 51.7 72 2577 7256 2167
   3 lc0.net.61600 : -4    13   494.5 1000 49.5 54   202   585   213
   4 lc0.net.61700 : -5    13   493.0 1000 49.3 64   193   600   207
   5 lc0.net.61650 : -8    14   488.0 1000 48.8 65   190   596   214
   6 lc0.net.61500 :    -12    13   482.5 1000 48.3 54   197   571   232
   7 lc0.net.61450 :    -13    14   481.0 1000 48.1 50   188   586   226
   8 lc0.net.61400 :    -13    13   481.0 1000 48.1 56   171   620   209
   9 lc0.net.61350 :    -15    14   479.0 1000 47.9 62   193   572   235
10 lc0.net.61200 :    -18    14   474.5 1000 47.5 51   154   641   205
11 lc0.net.61300 :    -18    13   474.0 1000 47.4 57   162   624   214
12 lc0.net.61550 :    -20    13   471.5 1000 47.1 60   155   633   212
13 lc0.net.61250 :    -23    13   468.0 1000 46.8    ---   162   612   226
```

By Lothar Jung Date 2020-01-01 10:02

Die beiden T60 Netze halten sich gut gegen SF dev auf sehr guter Hardware und langer TC im Tunier von Edosani auf Twitch.

Auf den Testplattformen werden zunehmend T60-Netze getestet.
Dabei holt T60 immer mehr und schneller auf.

By Lothar Jung Date 2020-01-02 13:27

Vor kurzem hat T60 den zweiten LR-Drop erfahren.

By Walter Knobloch Date 2020-01-02 13:39 Edited 2020-01-02 14:17

Rosige Zeiten für TCEC S17. Wenn das Trainingsfenster in ca. 40 Netzen gefüllt ist, kann man mal einen Test gegen SF11 wagen oder finden sie die verbliebenen 5 elo für ein Release einfach nicht mehr

By Lothar Jung Date 2020-01-03 11:58 Edited 2020-01-03 12:03

Schon jetzt hat T60 nach dem 2. LR-Drop rd. 30 Self-Elo hinzugewonnen (2780 - 2810).
Dies dürfte - gepaart mit den bisherigen anderen Parameter-Optimierungen- sich auch in Real-Elo umsetzen.
Die nächsten Meßlatten sind SF 10, SF dev und Lc0 42850.

**Match**: 61750, 61770, 61771, 61782, T2 vs 42850
**LC0 version:** 0.22
**LC0 options:** cudnn-fp16, *1 thread, cpuct=1.45, fpu-value=0.24, policy-softmax-temp=1.85*
**Time control:**   1Kn/move
**Hardware:** RTX 2070
**Book:** SuperGM_4mvs_500 book, in sequence, reversed color
**Tablebases:** 6-man TB
**Adjudication**: 6-man TB, -draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=1000
**Software:**cutechess-cli
**Speed:** Average nps from the pgn file: 41800: 17 knps, T60: 8.8 knps
**Comments:** This custom settings [1.45, 0.24, 1.85] boosts all net performance at 1Kn/move compared to default settings, but T40 seems get more strength, that's why Terminator 2 is only +24 elo better than 42850 here in fixed nodes. T60 improves quite a lot after the LR drop, 61782 is at -28 elo compared to 42850 in this test, so only 60 elo less than the the same size net J13B2.

```diff
1 thread, vs 42850 at 1 Knpm, cpuct=1.45, fpu-value=0.24, policy-softmax-temp=1.85

   # PLAYER : RATING ERROR POINTS PLAYED   (%) CFS(%)    W    D L
   1 lc0.net.J13B.2-136 : 24    11   534.0 1000 53.4    100   162   744   94
- 2 lc0.net.42850    :    0   ---- 2719.0 5000 54.4    100 1064 3310 626
+ 3 lc0.net.61782    :    -27    13   461.5 1000 46.1 96   133   657 210
   4 lc0.net.61770    :    -43    12   439.5 1000 44.0 77   123   633 244
   5 lc0.net.61750    :    -49    13   430.0 1000 43.0 86   113   634 253
   6 lc0.net.61771    :    -60    13   416.0 1000 41.6    --- 95   642 263
```

By Lothar Jung Date 2020-01-03 14:27

Hier sieht man die aktuelle Entwicklung von T60 nach 2. LR Drop:

https://cdn.discordapp.com/attachments/425419483016855563/662623295367151626/unknown.png

By Tom Paul Date 2020-01-03 15:01

Spricht eigentlich etwas gegen einen LR Drop Nr. 4 und 5?

By Walter Knobloch Date 2020-01-03 15:16

gerade war der zweite. Ein drittes Absenken der Lernrate (ist auch eine Vergesslichkeitsrate) wird es noch geben.
Da die Lernrate aber üblicherweise um den Faktor 10 abgesenkt wird, wird diese sehr schnell so klein, daß keine meßbaren Spielstärkesteigerung mehr erfolgt.
Die Lernrate kann man sich so vorstellen, daß eine hügelige Landschaft (loss landscape) zunächst in großen Schritten abgetastet wird und im Weiteren mit kleineren Schritten.

By Lothar Jung Date 2020-01-03 16:28

Hier gegen ein Spitzen-NN, nur 20 Elo-Punkte auseinander:

**Match:** Lc0 (61788) vs Lc0 (J13B.2-188)
**LC0-version:** 0.23
**LC0 options:** -cudnn-fp16 -roundrobin -threads:3, -nncache: 20000000 --logit-q
**Hardware:** GPU: RTX 2080TI (2x), CPU: 1950x
**Speed:** Lc0 39Kn/s (T60)
**Time control:** 100000 nodes / move
**Book:** (http://www.dii.unisi.it/~addabbo/eco.zip) randomized, repeat, 5 plies
**Tablebases:** 6-man TB
**Adjudication:** -draw movenumber=40 movecount=5 score=10 -resign movecount=5 score=800
**Software:** cutechess-cli
**Comment:**
`
   # PLAYER : RATING ERROR POINTS PLAYED   (%) CFS(%) W D L D(%)
   1 Lc0 (J13B.2-188) :    0   ----   105.5    200 52.8 97   22 167   11 83.5
   2 Lc0 (61788)    :    -20    20 94.5    200 47.3    ---   11 167   22 83.5

White advantage = 40.61 +/- 9.67
Draw rate (equal opponents) = 88.32 % +/- 2.72

`

By Lothar Jung Date 2020-01-04 10:03

Aktuelle T60-Netze überholen 42850:

LC0-version: lc0-v0.23.2
Time control: 1k nodes
Hardware: i5-6402 + GTX 1060
Book: Chad openings-8ply, random, colours reversed
Tablebases: 5-men
Software: Cutechess

```
   # PLAYER    : RATING ERROR POINTS PLAYED   (%) CFS(%) W D L D(%)
   1 lc0 61799 : 17.5   23.6   210.0    400 53 60 102 216   82 54
   2 lc0 61794 : 13.1   23.6   207.5    400 52 86   93 229   78 57
   3 lc0 42850 :    0.0   ----   788.5 1600 49 58 346 885 369 55
   4 lc0 61783 : -2.6   24.3   198.5    400 50 61   81 235   84 59
   5 lc0 61777 : -7.9   24.6   195.5    400 49    ---   93 205 102 51
```

By Peter Martan Date 2020-01-04 10:54 Edited 2020-01-04 10:58

Muss im Einzelfall nicht so sein, aber ausschließen könnte man auch nicht, dass bei 5 60er Netzen und nur einem 40er (aus dem Teil der Liste, die du kopiert hast, geht nicht mehr hervor), allein schon die Überzahl der 60er ein Vorteil für die sein könnte.
Und die Knotenzahl als "Time Control" kann bei verschieden großen Netzen doch wohl auch nicht gerecht sein, oder?

By Lothar Jung Date 2020-01-04 10:58

Die 60er-Netze spielen nicht untereinander, sondern nur gegen 42850.

By Peter Martan Date 2020-01-04 10:59

Trotzdem, vielleicht sogar erst recht.
Was die Knotenzahl als TC angeht, hab' ich's dann erst wahrgenommen und das Posting nochmals editiert, da hattest du aber schon geantwortet, ohne dass ich's sah. Vielleicht hat sich's auch echt überschnitten.

By Lothar Jung Date 2020-01-04 11:06 Edited 2020-01-04 11:14

Die gleiche Knotenzahl schafft eine bessere Vergleichbarkeit als ein TC.
60er-Netze berechnen pro Zeiteinheit ca. nur die Hälfte an Knoten wie die 40er-Netze.
Die Leela-Ratio wird nur zwischen NN und A/B angewendet.

By Clemens Keck Date 2020-01-04 11:17

Also ich mag das mit den Knotenzahlen überhaupt nicht.
Es sollen halt möglichst viele Partien gespielt werden, daher kommt das imho.
Die meisten haben nicht mal Geduld für 1m +1s.

C.K.

Lothar Jung schrieb:

By Lothar Jung Date 2020-01-04 11:36 Edited 2020-01-04 11:51

Deine Tests weichen kaum von den aktuellen Tests auf Discord ab.
Netz 61653 schneidet doch ganz gut gegen die Spitzengegnerschaft ab.
Vielleicht könntest Du noch ein aktuelles T60 nach dem 2. LR-Drop testen.
Ich wäre auf das neue Ranking gespannt. Könnte gegen SVdev reichen.

**Match:** 61643 vs 61794 Progress Review
**LC0-version:** v0.23.2
**LC0 options:** cudnn-fp16, 1 thread, LogitQ, all else = Default parameters
**Time control:** 1kn/m
**Hardware:** RTX2070S + R5 3600
**Speed:** 12knps
**Book:** Balsa_v2724 Top 500 - Sequential, colors reversed
**Tablebases:** 5 men Syzygy
**Adjudication:**
-resign score=700 move count =5
-draw movenumber=50 move count= 6 score=10
**Software:** cutechess-cli
**Comments:** LR drop growth
```
   # PLAYER    : RATING ERROR POINTS PLAYED   (%) CFS(%) W    D L D(%)
   1 lc0.net.61794 : 20 5 1056.5 2000 52.8    100 413 1287 300 64.3
   2 lc0.net.61643 :    0 5   943.5 2000 47.2    --- 300 1287 413 64.3

White advantage = 20.95 +/- 4.74
Draw rate (equal opponents) = 64.97 % +/- 1.04```

By Walter Knobloch Date 2020-01-04 12:08 Upvotes 1

ab 61813 fließen nur noch Partien nach dem LR drop ins Training ein. Bis 61850 wird es dann noch einen gut meßbaren Anstieg geben, weil die Qualität der Trainingspartien noch deutlich steigt.
Danach wird der Forschritt langsamer. Ich hoffe noch auf verbesserte Parameter aus T59 (evtl. niedrigere Eröffnungs-temperature).
Es wäre jedenfalls sehr zu wünschen, daß T60 ab 61850 langsam an J13 ranschmecken kann. Ein vereintes Such-Parameter Tuning sollte auch noch was bringen.
Für irgendwas müssen 9 Monate Trainingszeit (bis März/April) schließlich gut sein. Wenn T60 am Ende nur 15 Elo über J13 liegt, wäre das vielleicht eine leise Enttäuschung. Oder es ist ein Hinweis, daß man sich verstärkt einer Optimierung der UCT Suche widmen sollte.

By Tom Paul Date 2020-01-04 13:21

Wie kommst du überhaupt darauf, dass T60 über J13 liegen wird???
Hat dir das jemand versprochen?

Bei LC0 Sergio 30x384 wird immer etwas drauf gepackt.
Somit geht die Spielstärke immer weiter nach oben.
Bei T60 wird immer etwas geändert und dann fängt das Training wieder bei 0 an.
Dann wird gehofft das die ELO nach 12 Monaten Training deutlich über allen anderen Netzen liegen wird.
Und dann setzt die Realität ein.

Die kleinen Netze sind im Grunde genommen nur "Vorarbeiter" für die großen Netze.

Wenn z.B. T60 3550 ELO hat.
Dann wird erwartet das T70 3600 ELO erreicht.
Dazu muss sich T70 in 12 Monaten von 0 auf 3600 ELO steigern. In der Zeit ist hier die Hälfte tot und hat nix davon und T70 ist da gerade mal bei vielleicht 3560 oder 3570 ELO.
Das ist eine Steigerung von = 3600 ELO auf 3600 ELO
LC0 Sergio 30x384 startet z.B. direkt bei 3550 und hat 12 Monate Zeit sich von 3550 auf 3600 ELO zu steigern.
Das ist eine Steigerung von = 50 ELO auf 3600 ELO

Das es das T70 Netz schafft diese ELO zu erreichen ist sehr fraglich, da wahrscheinlich schon vorher durch die Netzgröße das Limit an ELO erreicht wird. Da hilft das Tuning/die Qualität der Züge nicht weiter, weil da schon das Lernen für nur +5 ELO deutlich mehr kostet als beim Sergio Netz.
Das es das LC0 Sergio Netz 30x384 schafft sich um 50 ELO zu verbessern, dass ist quasi garantiert, da das Limit viel höher liegt und das Netz sich nur um 50 ELO anstatt um 3600 ELO verbessern muss.

By Walter Knobloch Date 2020-01-04 13:35 Edited 2020-01-04 14:11 Upvotes 2

Weil RL besser als SL ist und die Qualität der Partiedaten höher ist als bei T40. Daneben gab es schon noch ein paar andere Änderungen ggü. T40.

Die meisten Deiner Aussagen stimmen einfach nicht.
Sergios Training bedient sich der T40 und T60 Daten und ist nicht wirklich RL.
T60 startet nicht immer wieder neu. Wie kommst Du darauf?
Welche Realität? Jeder Durchlauf war bisher eine Verbesserung.

T70 wird mit Sicherheit ein 10b run, vermutlich chess960.
Du hast offenbar keine Ahnung wie die Netze von Sergio entstehen. Auch er ist an ein Prozedere mit LR drops, etc. gebunden und kann nicht "immer was draufpacken".

Außerdem verstehst Du nicht, daß Sergio überhaupt gar kein Netz erstellen könnte ohne die Partiedaten der offiziellen Pipeline.
Ebenso verstehst Du nicht, daß ab einer bestimmten Netzgröße die Spielstärke abnimmt, weil dann der Geschwindigkeitsnachteil das Mehr an Wissen schlägt.
Wo diese Grenze liegt ist nicht ganz klar. Du kannst es aber herausfinden, wenn Du 500-1000 Nvidia V100 mit 32GB RAM sponsorst, die für Deine 40x512 Netze nötig sein werden. Das Projekt wäre sicher dankbar für diese Unterstützung im Volumen von ca. 5-10 mio €.

By Klaus S. Date 2020-01-04 14:10

T60, T70, J13,
RL, SL, 10b run,
LR Drop, LogitQ, CPuct
PolicyTemperature

Ahhh, verstehe.
Bei uns vorm Haus herrscht gerade eine Temperatur von 5 Grad C° bei Regenwetter.

SCNR

By Walter Knobloch Date 2020-01-04 14:14

SCNR?

By Thomas Plaschke Date 2020-01-04 14:23

Habe mich auch schon gewundert, was Junior 13 damit zu tun hat.

SCNR2

Viele Grüße
Th. Plaschke

By Stefan Pohl Date 2020-01-04 16:45

Walter Knobloch schrieb:

Ebenso verstehst Du nicht, daß ab einer bestimmten Netzgröße die Spielstärke abnimmt, weil dann der Geschwindigkeitsnachteil das Mehr an Wissen schlägt.
Wo diese Grenze liegt ist nicht ganz klar.

Naja, eigentlich ist das ziemlich klar. Wir sehen sowohl bei meinen Tests als auch in Andreas Strangmüllers Tests, daß die 20x256 Netze am stärksten sind. Zudem hatte Google ja beim Promo-Wettkampf AlphaZero gegen Stockfish eine Hardware, die so ca. 80000 n/s brachte (mit einem 20x256 Netz), also eine Geschwindigkeit, die auch für Besitzer von RTX Karten noch sehr hoch ist. Und Google hat ein 20x256 Netz verwendet. Diese Netzgröße fiel ja für Google nicht vom Himmel, man darf wohl annehmen, daß Google auch andere Netzgrößen probiert und sich letzendlich für die Größe 20x256 als idealen Kompromiß zwischen Intelligenz und Verarbeitungsgeschwindigkeit entschieden hat.
Ich bin ja zudem gerade dabei, einige Netze verschiedener Größe mit deutlich längerer Bedenkzeit (8'+5'', also ca. 10x mehr als in meinen Bullet-NN-Testruns) nur gegen Stockfish zu testen. Auch dort zeichnet sich bereits ab, daß die Netze, die größer als 20x256 sind, schlechter abschneiden als 20x256. Aber da wird es demnächst mehr von mir dazu geben.

By Walter Knobloch Date 2020-01-04 17:09

ja, aber ich will nicht ausschließen, daß etwas größere Netze für längere Bedenkzeiten und auf HW wie sie etwa bei chess.com genutzt wird, ihre Berechtigung haben.
Aber was Tom Paul fordert (40x512) ist völlig unrealistisch. Trotzdem war ich schon etwas skeptisch als man für T60 24x320 gewählt hat. Das zu trainieren dauert einfach.
Welches Potential die 10x128 Netze haben, konnte man ja an T58 sehen und T59 läßt vermuten, daß noch mehr drin ist.

By Eduard Nemeth Date 2020-01-04 18:55

Das T58 Netz zeigt sich auch in der Praxis auf dem Server als sehr stark. Hätte man es noch 14 Tage länger trainiert, wäre es noch besser. Hoffentlich wird T59 ein wenig länger trainiert.

By Lothar Jung Date 2020-01-04 19:28

Aktuelles T60 reagiert sehr positiv auf LQ, + 23 Elo-Punkte:

**Match:** 61806 LogitQ Test
**LC0-version:** v0.23.2
**LC0 options:** cudnn-fp16, 1 thread, LogitQ (one net), all else = Default parameters
**Time control:** 1kn/m
**Hardware:** RTX2070S + R5 3600
**Speed:** 12knps
**Book:** Balsa_v2724 500 - Sequential, colors reversed
**Tablebases:** 5 men Syzygy
**Adjudication:**
-resign score=700 move count =5
-draw movenumber=50 move count= 6 score=10
**Software:** cutechess-cli

```
   # PLAYER    : RATING ERROR POINTS PLAYED   (%) CFS(%) W    D L D(%)
   1 lc0.net.61806LQ : 23 3 2129.0 4000 53.2    100 806 2646 548 66.2
   2 lc0.net.61806 :    0 3 1871.0 4000 46.8    --- 548 2646 806 66.2

White advantage = 29.10 +/- 3.21
Draw rate (equal opponents) = 67.26 % +/- 0.77```

Zur vorstehenden Diskussion:

1. T60 wird verbessert trainiert und die Erfahrungen aus den T58/59-Netzen fließen laufend in Parameteranpassungen ein.

2. Der Kn/sec-Nachteil der T60-Netze gegenüber T40-Netze relativiert sich mit längeren TC und besserer Hardware.

3. Die GPU-Hardware-Entwicklung in den nächsten Jahren wird größere Netze bevorteilen.

4. Nicht alle Computerschachfreunde sind Tester (viele Partien), sondern setzen die NNs für Analysen oder Tuniere ein.

By Lothar Jung Date 2020-01-05 09:27

Neuer Test auf Discord; SF10 hat gegenüber 61800 weniger als 5 Elo Vorsprung:

**Match:** Gauntlet SF10 vs 61800
**Hardware:** Geforce RTX 2070S & i7-5960X (8 cores/16 threads)
**Lc0 version:** v0.22.0
**Lc0 options:** --backend=cudnn-fp16
**SF9 options:** Threads=13 Hash=512
**SF10 options:** Threads=14 Hash=512
**Speed:** Lc0:15.0 kN/s, SF9:12317 kN/s, SF10:12401 kN/s (from benchmarks)
**Time control:** 15s+0.5s
**Book:** openings-8ply-10k.pgn, random, color reversed
**Tablebases:** 6-man syzygy
**Adjudication:** 6-man TB, -draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=1000
**Software:** cutechess-cli

```diff

   # PLAYER : RATING ERROR POINTS PLAYED   (%) CFS(%)    W    D    L
   1 lc0.net.J13B.2-188 : 0.00   ---- 1128.5 2000 56.4    100   563 1131   306
- 2 stockfish_10 : -27.23 12.31 1240.5 2500 49.6 71   488 1505   507
+ 3 lc0.net.61800    : -32.02 21.24   370.0    750 49.3 87   131   478   141
   4 lc0.net.61300    : -48.06 20.79   393.5    750 52.5 56   184   419   147
   5 lc0.net.61700    : -49.63 15.27   743.5 1500 49.6 87   313   861   326
   6 lc0.net.61600    : -61.95 21.25   379.0    750 50.5 61   170   418   162
   7 lc0.net.61500    : -65.30 21.01   375.5    750 50.1 52   179   393   178
   8 stockfish_9    : -65.78 13.18 3807.5 7750 49.1 72 1663 4289 1798
   9 lc0.net.61200    : -70.57 20.86   370.0    750 49.3 61   158   424   168
10 lc0.net.61100    : -73.92 20.59   366.5    750 48.9 52   157   419   174
11 lc0.net.61400    : -74.40 21.07   366.0    750 48.8 70   154   424   172
12 lc0.net.61000    : -80.63 20.80   359.5    750 47.9 78   154   411   185
13 lc0.net.60900    : -89.75 21.59   350.0    750 46.7    ---   142   416   192

White advantage = 54.32 +/- 2.27
Draw rate (equal opponents) = 58.50 % +/- 0.51

```

By Tom Paul Date 2020-01-05 09:56

Lothar Jung schrieb:

SF10 hat gegenüber 61800 weniger als 5 Elo Vorsprung:
Geforce RTX 2070S & i7-5960X (8 cores

By Lothar Jung Date 2020-01-05 10:36

Nach dem 2. LR Drop steigt auch das policy head Elo kontinuierlich:

https://cdn.discordapp.com/attachments/425419483016855563/663310834705104928/unknown.png

Lila: policy head Elo
Pink: self play Elo

By Benno Hartwig Date 2020-01-05 12:07 Upvotes 1

   # PLAYER                :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)     W     D     L
   1 lc0.net.J13B.2-188    :    0.00   ----  1128.5    2000  56.4     100   563  1131   306
-  2 stockfish_10          :  -27.23  12.31  1240.5    2500  49.6      71   488  1505   507
+  3 lc0.net.61800         :  -32.02  21.24   370.0     750  49.3      87   131   478   141
   4 lc0.net.61300         :  -48.06  20.79   393.5     750  52.5      56   184   419   147
   5 lc0.net.61700         :  -49.63  15.27   743.5    1500  49.6      87   313   861   326
   6 lc0.net.61600         :  -61.95  21.25   379.0     750  50.5      61   170   418   162
   7 lc0.net.61500         :  -65.30  21.01   375.5     750  50.1      52   179   393   178
   8 stockfish_9           :  -65.78  13.18  3807.5    7750  49.1      72  1663  4289  1798
   9 lc0.net.61200         :  -70.57  20.86   370.0     750  49.3      61   158   424   168
  10 lc0.net.61100         :  -73.92  20.59   366.5     750  48.9      52   157   419   174
  11 lc0.net.61400         :  -74.40  21.07   366.0     750  48.8      70   154   424   172
  12 lc0.net.61000         :  -80.63  20.80   359.5     750  47.9      78   154   411   185
  13 lc0.net.60900         :  -89.75  21.59   350.0     750  46.7     ---   142   416   192

Wunderbar formatiert hattest du es ja schon.
Es fehlte dann nur noch ein Klick auf das "tt".

By Lothar Jung Date 2020-01-05 14:53

Jetzt ein weiterer Test gegen 42850, mit RTX 2070S und 4000 Partien, fast gleich auf.
Bei gleichem TC, also nicht fixed Nodes, dürfte 42850 noch vorne liegen.

**Match:** T60 vs 42850 - Fixed Nodes Test
**LC0-version:** v0.23.2
**LC0 options:** cudnn-fp16, 1 thread, LogitQ, all else = Default parameters
**Time control:** 1kn/m
**Hardware:** RTX2070S + R5 3600
**Speed:** T60: 12knps, T40: 20knps
**Book:** Balsa_v2724 500 - Sequential, colors reversed
**Tablebases:** 5 men Syzygy
**Adjudication:**
-resign score=700 move count =5
-draw movenumber=50 move count= 6 score=10
**Software:** cutechess-cli
**Comments:** I would say they are evenly matched if the CFS wasn't so low.
```
   # PLAYER    : RATING ERROR POINTS PLAYED   (%) CFS(%) W    D L D(%)
   1 lc0.net.42850 :    0 4 2024.0 4000 50.6 85 774 2500 726 62.5
   2 lc0.net.61816 : -4 4 1989.5 4000 49.7 54 703 2573 724 64.3
   3 lc0.net.61799 : -4 4 1986.5 4000 49.7    --- 695 2583 722 64.6

White advantage = 31.63 +/- 2.73
Draw rate (equal opponents) = 64.54 % +/- 0.63```

By Lothar Jung Date 2020-01-09 18:44

Hier ein Test gegen das stärkte T40 Netz:

**Match**: 61884 vs 256x20-T40-1541 (SV strongest 20b net)
**LC0 version:** 0.23.2
**LC0 options:** cudnn-fp16, *1 thread, cpuct=1.45, fpu=0.24, pst=1.85, cpuct-base=5000*
**Time control:**   1Kn/move
**Hardware:** RTX 2070
**Book:** SuperGM_4mvs_500 book, in sequence, reversed color
**Tablebases:** 6-man TB
**Adjudication**: 6-man TB, -draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=1000
**Software:**cutechess-cli
**Speed:** Average nps from the pgn file: T40B-1541: 17.5 knps, T60: 9.2 knps
**Comments:** 61884 vs T40-1541: +113 -219 =668 (-37 elo): T60 continues to progress.

```diff
1 thread, vs 256x20-t40-1541 at 1 Knpm, cpuct=1.45, fpu=0.24, pst=1.85, cpuct-base=5000

   1 lc0.net.J13B.2-136    :    2    12   503.5 1000 50.4 66 134   739 127
- 2 lc0.net.256x20-t40-1541 :    0   ---- 1608.5 3000 53.6    100 573 2071 356
+ 3 lc0.net.61884 :    -37    12   447.0 1000 44.7 69 113   668 219
   4 lc0.net.61866 :    -42    12   441.0 1000 44.1    --- 109   664 227
```

Aktuell hat T60 die SelfElo von 2.840 überschritten; über 60 SelfElo nach dem 2. LR Drop.
T60 nimmt kontinuierlich an Spielstärke zu.

By Lothar Jung Date 2020-01-04 10:49

Interessantes Blitz-Tunier von Edosani auf Twitch:

https://clips.twitch.tv/NaiveTawdryDelicataPrimeMe

61782 schlägt sich sehr gut.

By Reinhold Stibi Date 2020-01-10 06:40

Das 61er Net holt gegen neuen Stockfish kräftig auf nur noch ca. 20 Elo hinter Stockfish.

Lc0 v0.23.1 61879 2834 Net-Elo vom 08.01.20 mit RTX 2070 gegen Stockfish 10.12.19 12 CPUs

124 Partien +15 =87 -22 = 47,2 % = - 20 Elo.

Schätze dass in ca. 10 Tagen das 61er Net Gleichstand mit Stockfish erreichen kann und nach
ca. 1 Monat mit +20 Elo Stockfish überholen kann.

Leelenstein 12.2 oder das kommende Leelenstein 12.3 sowie das Sergio Net werden stärker sein.

Abwarten, ob sich das 61er Net weiter so schnell entwickeln kann oder wieder ein wochenlanger
Stillstand eintritt.

By Eduard Nemeth Date 2020-01-10 07:46

Leelenstein 13 gibt es schon. Und ich habe gehört dass Sergio ein 128x10 Netz mit T60 Partien plant.

By Lothar Jung Date 2020-01-10 08:32 Edited 2020-01-10 08:34

Es wird an einem T60 Eröffnungsbuch gearbeitet:

<@!311675903480692737>, I've run out T60's most popular openings from training pgns to 16 moves (which takes forever).
Bei Discord Gerneral gibts die .csv Datei.

By Eduard Nemeth Date 2020-01-10 10:31

Ich brauche ein Buch im CTG Format. Sonst ist es nur für Labortests gut. Es wäre gut wenn Lc0 wenigstens das *.bin Format nutzen könnte, so wie Brainfish.

By Lothar Jung Date 2020-01-10 11:09

Die Datei steht nur im Excelformat zur Verfügung.
Vielleicht kann man umwandeln? png ?
Sonst frage ich den Autor, ob er die Datei im bin Format zur Verfügung stellen kann.
Ein Eröffnungsbuch würde bei kurzen Partien Bedenkzeit einsparen und die Qualität erhöhen.

By Lothar Jung Date 2020-01-10 11:14

Ich habe ihn gefragt.

By Reinhold Stibi Date 2020-01-10 11:24 Upvotes 1

Test Lc0 v0.23.1 61879 mit RTX 2070 gegen Stockfish 10.12.19 12 CPUs

nach nun 184 Partien +22 =134 -28 =48,4 % = -11 Elo.

Das 61er Netz ist also ganz dicht an Stockfish dran.

Nun teste ich Leelenstein 13

Leelenstein 12.2 erzielte gegen Stockfísh 10.12.19 nach 200 Partien + 23 Elo.

Mal schauen ob sich Leelenstein 13 noch weiter von Stockfish absetzen kann.