Komodo Dragon @ CEGT

By Wolfgang Battig Date 2020-11-12 00:14

25'+8" Test läuft auch: https://cegt.forumieren.com/t1386-testing-dragon-1-0-x64-nnue

By Lothar Jung Date 2020-11-12 08:36 Edited 2020-11-12 08:48 Upvotes 1

Hallo,

hinsichtlich weiterer Testsequenzen möchte ich anregen, anstatt Lc0 0.25.1 mit LS 15.0 besser Lc0 26.3 cuda-fp-16 mit JH 330 Netz einzusetzen.

Das bisher verwendete Netz und die Engine entsprechen nicht mehr der aktuellen Lc0-Entwicklung, die Steigerung dürfte über 50 Elo liegen.

Hier ein Testergebnis auf Discord vom 10.10.20:

**Gauntlet**: Lc0 tcec-18 (Lc0 25.1 + svjio-t60-3972-mlh)
**Time control**: 100s + 1s, Ryzen 4900H, RTX 2060 mobile
**Openings**: TCEC SuFi 2016 (50 pos.) + 6-ply openings (50 pos.)
**Engine settings** here: https://discordapp.com/channels/425419482568196106/530486338236055583/762308367913320468
**Lc0 25.1** : cudnn-fp16, minibatch-size=80, max-prefetch=36, max-collision-events=36
**MLH**:--show-hidden, moves-left-max-effect=0.2, moves-left-threshold=0.0, moves-left-slope=0.007, move-left-scaled-factor=1, move-left-quadratic-factor=0
**TBs and adj.**: Syzygy 5-men, resign movecount=5 score=600, draw movenumber=35 movecount=5 score=5
**Comments**: Lc0 gained approximately 50 elo between TCEC-18 (06/20) and TCEC-19 here.
**Lc0 tcec-18 games**:https://gofile.io/d/lDVFmO
``` # PLAYER : RATING ERROR PLAYED (%) CFS W    D L   D(%)
1 Lc0 26.3-rc1 + J92-190 tcec-19: 48.7   10.5 1000 56.75 100 201   733   66 73.30
2 CFish 050920 + SV-1739 : 18.2 7.0 1400 51.57   56 195 1054 151 75.29
3 Lc0 26.1 + J92-100 ccc-15    : 17.3 8.2 1000 52.40   99 148   752 100 75.20

>>new 4 Lc0 tcec-18 : 0.1 9.4 1000 50.00 50 130 740 130 74.00

5 Stockfish 12 :    0.0 7.3 1400 48.68   78 160 1043 197 74.50
6 Allie 120820 + LS 15.0 : -4.0 6.7 1400 48.04   58 147 1051 202 75.07
7 Lc0 26.2 + SV-5300 : -5.2 7.1 1400 47.86   72 135 1070 195 76.43
8 CFish 11a 8CPU : -8.5 8.2 1400 47.32 --- 182   961 257 68.64

White advantage = 50.09 +/- 2.69
Draw rate (equal opponents) = 78.08 % +/- 0.65```

Die aktuelle Lc0-Netze sind noch stärker.

Viele Grüße

Lothar

By Wolfgang Battig Date 2020-11-12 14:02 Edited 2020-11-12 14:22 Upvotes 1

Danke für den Hinweis, Lothar.

Dieser macht für den aktuellen Test allerdings wenig Sinn, nix für ungut.
Wenn ich eine Engine (hier Dragon) neu teste benötige ich Engines, die bereits eine halbwegs (!) verlässliche Wertung haben. Daher fällt eine ebenfalls (!) neue Engine (hier wie von Dir vorgeschlagen eine neue/andere LC0-Version) aus. Dafür müsste ich erst diese LC0 ausführlich testen um diese danach als Testgegner für Dragon zu verwenden. Dazu fehlt mir momentan sowohl die Zeit als auch die Lust...
Ranglistentests sind nunmal etwas anders als Spielen am Server oder anderes. Nicht besser oder schlechter, einfach nur "anders"

Was nicht heißen soll, dass wir nicht bei Gelegenheit eine aktuelle Version testen werden.
Bin aber nicht sicher, ob die von Dir vorgeschlagene Version auch für unsere GTX-Karten, die wir aus Gründen der Hardwaregleichheit verwenden, geeignet ist. Das käme dann auf einen Versuch an.
Zur Erinnerung: wir testen mit 1CPU! Da macht eine RTX leider keinen Sinn. Wir könnten natürlich irgendwie Hardwaregleichheit herstellen, müssten dafür aber eine Engine, die als Single CPU geführt wird, mit mehr CPU spielen lassen und hinterher dann so tun, als ob es eine SingleCPU Engine ist. Das hielte ich für im höchsten Maße zweifelhaft und unprofessionell.

Aber, über diese Brücke gehen wir wenn wir sie erreicht haben

Wolfgang

By Lothar Jung Date 2020-11-12 15:38

Danke Wolfgang,

mir leuchten Deine Bedenken hinsichtlich der Normierung der Testergebnisse ein.
Die Umrechnung zwischen Lc0 und A/B-Engines ist schwierig. Das ist bei NNUE anders.

Aber irgendwie müßte man auch die Entwicklung von Lc0 nachzeichnen.

Vielen Dank für Deine/euere wertvolle Arbeit

Lothar

By Wolfgang Battig Date 2020-11-12 17:25

Gerne!

In der "40/20" ist übrigens eine recht aktuelle Version drin:
http://www.cegt.net/40_40%20Rating%20List/40_40%20SingleVersion/3.html

Abstand zu Stockfish 12 NNUE ist sehr gering, aber man sollte dabei im Hinterkopf haben, dass die dort genutzten Grafikkarten LCZero einen Vorteil geben. Nicht gewaltig, aber SF 12 NNUE dürfte real schon etwa 20 ELO weiter weg sein. Zudem müsste man dann fairerweise auch eine aktuelle(re) Stockfish Version heranziehen, dann sind es noch ein paar mehr. Ist aber alles sehr aufwändig und wir testen eben nicht nur zwei,drei Engines...
Aber trotzdem natürlich kein Weltuntergang für LCZero. Das Rennen bleibt offen

Grafikkarten bei Werner GTX 1650 + 1650 Super

By Wolfgang Battig Date 2020-11-13 20:53

Wolfgang Battig schrieb:

25'+8" Test läuft auch: <a class='ura' href='https://cegt.forumieren.com/t1386-testing-dragon-1-0-x64-nnue'>https://cegt.forumieren.com/t1386-testing-dragon-1-0-x64-nnue</a>

Und 5'+3" mit Ponder nun auch:
https://cegt.forumieren.com/t1397-testing-dragon-by-komodochess-1-0

By Wolfgang Battig Date 2020-12-02 00:27 Edited 2020-12-02 00:30

Nun mit etwas Verzögerung (unser Webmaster ist im Umzugsstress) eine Bestandsaufnahme:

40/4: (Platz 2, aktuelle LCZero Version fehlt noch)
http://www.cegt.net/40_4_Ratinglist/40_4_single/rangliste.html

40/20: (Platz 3)
http://www.cegt.net/40_40%20Rating%20List/40_40%20SingleVersion/rangliste.html

25'+8": (Platz 2, aktuelle LCZero Version fehlt noch)
http://www.cegt.net/25plus8Rating/Purelist/rangliste.html

3'+1" mit Ponder (noch nicht in der Liste, die nach 6 Monaten Pause wieder aufgenommen wurde)
Link zum Test, auch mit anderen "Neuen"
https://cegt.forumieren.com/t1401-tournament-matches-with-new-engines-versions

5'+3" mit Ponder
Link zum Test, Engine noch nicht in der Liste:
https://cegt.forumieren.com/t1397-testing-komodo-dragon-1-0#2739

By Benno Hartwig Date 2020-12-02 05:57

Danke, Wolfgang,
richtig fleißig seid ihr wieder gewesen!
Und Komodo Dragon schaffte es auf Anhieb, sich verdammt weit oben zu platzieren! Sein Team hatte nicht zu viel versprochen!