Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Deutlicher Zuwachs der T60-Netze
- - By Lothar Jung Date 2020-02-13 10:00 Edited 2020-02-13 10:22
Aktueller Test bei ausgeglichener Hardwarebasis:

**Match:** Gauntlet 62300 vs SF11
**Hardware:** Geforce RTX 2070S & i7-5960X (8 cores/16 threads)
**Lc0 version:** v0.23.2
**Lc0 options:** Backend=cudnn-fp16 Cpuct=2.147 CpuctFactor=2.815 CpuctBase=18368 FpuValue=0.443 PolicyTemperature=1.607
**SF11 options:** Threads=14 Hash=1024
**Speed:** Lc0:11.4 kN/s, SF11:12554 kN/s (from benchmarks)
**Time control:** 15s+0.5s
**Book:** openings-8ply-10k.pgn, sequential, color reversed
**Tablebases:** 6-man syzygy
**Adjudication:** 6-man TB, -draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=1000
**Software:** cutechess-cli

```diff

   # PLAYER           :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W     D    L
+  1 lc0.net.62300    :    25.5   14.4   428.5     800  53.6      88  169   519  112
   2 lc0.net.62000    :     13.4   14.0   415.0     800  51.9      57  159   512  129
   3 lc0.net.62200    :     11.6   14.1   413.0     800  51.6      73  142   542  116
   4 lc0.net.62100    :       5.4   14.2   406.0     800  50.8      77  153   506  141
   5 stockfish_11     :        0.0   ----  1537.5    3200  48.0     ---  498  2079  623

White advantage = 46.70 +/- 3.67
Draw rate (equal opponents) = 66.89 % +/- 0.87

```
Die Kiudee-Bonus-Settings steigern den Abstand zu SF11 noch weiter:

WCEC Kiudee Settings test 200/400 games (Halfway)
<https://www.twitch.tv/navratil25>

WCEC “Kiudee Settings Test

Participants:
Stockfish 20020515 - Contempt = 0
Lc0 T60 – Kuidee Bonus settings
Lc0 T60 – Kuidee V2 settings
Lc0 T60 – Default settings
Lc0 T60 – Navs settings

Hardware:
CPU Intel i9 22 threads
GPU 2 x RTX 2070

Time control: 10’ + 10”
Book: SuFi 16
TBS: Full 6 piece plus the most important 7 piece Syzygy tablebases (951 Gb)

The TCEC RATIO = 1.005
SF uses cpu threads 22 = 28579086 nps
Lc0 uses 2070 +2070 = 16733 nps

TCEC Ratio Calculation Formula
leela_nps / sf_nps * 1718

The above ratio was benchmarked using the SF from SuFi16 and lc0 T2-188

This TCEC Ratio give a precise way of measuring NN's of different sizes and speed and can be used to more accurately make comparisons between the various

Kiudee Bonus with a clear lead and is still unbeaten!
  ```    # PLAYER                :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
   1 62242_Kiudee_Bonus    :      50     34    28.5      50  57.0      78    7   43    0  86.0
   2 62242_Default            :        29     34    27.0      50  54.0      60    8   38    4  76.0
   3 62242_Kiudee_V2         :      21     33    26.5      50  53.0      70    5   43    2  86.0
   4 62242_Navs                  :       7     33    25.5      50  51.0      65    5   41    4  82.0
   5 Stockfish_200205          :       0     16    92.5     200  46.3     ---   10  165   25  82.5```

White advantage = 47.97 +/- 10.06
Draw rate (equal opponents) = 89.93 % +/- 3.25

Übrigens eine RTX 2070 wird bei Amazon für 325 € angeboten:

https://www.amazon.de/MSI-GeForce-RTX2070-Armor-Schwarz/dp/B07HFLS65D/ref=sr_1_4?keywords=GeForce+RTX+2070&qid=1581585616&sr=8-4

Ich hatte noch 500 € für die gleiche Karte bezahlt!

Hier ein Graph über den Elo-Zuwachs:

https://cdn.discordapp.com/attachments/539960268982059008/677209861506859038/unknown.png
Parent - - By Eduard Nemeth Date 2020-02-13 10:39
Was sind die Kiudee Bonus Settings? Sind das die mit denen Stefan Pohl testet, oder schon wieder neue?
Hast Du exakt die gleiche 2070 gekauft, also die mit 2 Kühlern wie da bei Amazon?

Anbei: das Sergio 1340 hat jetzt auf meiner GTX 1050 Ti sieben mal Remis gespielt auf Schach.de (16+2).
Parent - - By Lothar Jung Date 2020-02-13 11:22
Hier die Bonus-Settings:

CPuct=2.147
Fpu=0.443
PolicyTemperature=1.607
CPuctBase=18368
CPuctFactor=2.815

Die V2-Settings werden noch getestet und sind noch nicht veröffentlicht.

Ich habe damals bei Amazon die gleiche MSI 2070 gekauft.
Die RTX 2070 Super war genauso teuer und auch von MSI.
Sie ist schneller, verbraucht aber mehr Energie.
Aber die RTX 2070 Super wird auch im Preis sinken, wenn die RTX 3070 rauskommt.

Auch mit der RTX 2070 machst Du nichts falsch, besonders bei dem Preis.

Die Frage, die ich mir stellen würde ist, ob ich nicht zwei gebrauchte RTX 2070 für unter 600 € kaufen würde.
Aber die brauchen viel mehr Strom als eine RTX 3070, die so schnell wie eine RTX 2080ti sein soll.

Eine RTX 3070 (~600€) mit einem aktuellen T60-Netz macht sowieso einen SF11/dev.-  auf einer CPU-Hardware mit 16 Kernen/32 Threads (Intel/AMD) unter 1.000 € - platt.

Nebenbei: mit einer RTX 2070/3070 wirst Du weniger Remis spielen.
Parent - - By Reinhold Stibi Date 2020-02-13 11:55 Edited 2020-02-13 12:05
Das Lc0 Stockfish11 platt macht kann keine Rede sein. Da müsste schon mindestens ein Vorsprung
von 35 Elo sein. 

Lc0 hat nur einen geringen Vorteil von ca. 15 Elo.

Bei den Test sollte schon die Leela Ratio stimmen, am besten 1.0. Bei obigem Beispiel hatte natürlich
wieder Lc0 Hardwarevorteil.

Wenn man schon bei Lc0 die neueste Software einsetzt, müsste man dies auch bei Stockfish 11 tun.
Da hat sich in der Zwischenzeit auch einiges getan.

Und wenn bei Lc0 die Kiudee Einstellungen wählt, müsste man bei Stockfish 11 Contempt auf
0, oder -25 bis -50 setzten.
Bei Lc0 wird getunt, aber Stockfish lässt man in der Grundeinstellung spielen.

Wie kannst du von ausgeglichener Hardware sprechen wenn Stockfish 11 nur 8 echte Kerne hatte
und windige 12554 kns. Gegenüber einer 2070 S braucht es für eine ausgeglichene Hardware
mindestens 16 echte Kerne und ca. 25000 kns.
Parent - By Tom Paul Date 2020-02-13 12:37
Reinhold Stibi schrieb:

Das Lc0 Stockfish11 platt macht kann keine Rede sein. Da müsste schon mindestens ein Vorsprung
von 35 Elo sein. 

Lc0 hat nur einen geringen Vorteil von ca. 15 Elo.

Und wenn bei Lc0 die Kiudee Einstellungen wählt, müsste man bei Stockfish 11 Contempt auf
0, oder -25 bis -50 setzten.
Bei Lc0 wird getunt, aber Stockfish lässt man in der Grundeinstellung spielen.


Inzwischen sieht Contempt -75 (=Gleichstand) und erst recht Contempt -100 (=leichter ELO Vorteil für Stockfish aufgrund der höheren Remisquote und seiner super Taktik in Kombination mit mehr Siegen), deutlich besser aus gegen LC0 als nur Contempt -50.

So fair sollten dann auch die Kiudee Tester sein.
Parent - By Lothar Jung Date 2020-02-13 13:54 Edited 2020-02-13 14:02
Doch Reinhold,

schau Dir bitte das Langzeittunier von Edosani auf Twitch.tv an:
SF11 dev 74/141 = 52,5 %
62158 Kuidee 85/139 = 61,1%
Die 623xx-Netze sind noch stärker.
Alle Engines die Rang und Namen haben, nehmen daran teil.

T60 macht größere Fortschritte als SF11dev.
Wenn die RTX 3070 im Sommer rauskommt, ist Schluss mit lustig.
Dann braucht SF11 dev bei der noch höheren Spielstärke von T60 eine CPU mit über 16 Kernen/32 Threads und die sind viel teuerer als eine RTX 3070.
Dann hilft auch keine Leela Ratio, die kann man denn „in der Pfeife rauchen“.

Lothar
Parent - - By Lothar Jung Date 2020-02-14 16:38
Hallo Reinhold,
hier ein aktueller Test, mit 35 Elo Vorsprung zu SF11-dev:

**Gauntlet** 62300 (Kiudee's Bonus Parameters), 42850 vs stockfish dev (15 01 2020)
**LC0-version:** v0.23.2
**LC0 options:** T40 : cudnn-fp16, nncache=1000000, others default
                 T60 : cudnn-fp16, nncache=1000000, CPuct 2.147, CPuctFactor 2.815, CPuctBase 18368, FpuValue 0.443, PolicyTemperature 1.607, others default
**Time control:** 10s + 1s
**Hardware:** i7-3930K + RTX 2060
**Speed:** T60 ~10knps, T40 ~20knps, stockfish ~9500knps (starting position)
**Book:** Balsa, sequential, colours reversed
**Tablebases:** no
**Adjudication:** -draw movenumber=35 movecount=10 score=13 -resign movecount=5 score=800
**Software:** cutechess

```   # PLAYER              :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W     D    L
   1 lc0.net.62300       :      35     12   522.0     950  54.9      99  190   664   96
   2 lc0.net.42850       :      14     12   494.0     950  52.0      99  158   672  120
   3 Stockfish 150120    :      0   ----   884.0    1900  46.5     ---  216  1336  348

White advantage = 34.25 +/- 4.61
Draw rate (equal opponents) = 72.20 % +/- 1.06```
Parent - By Patrick Götz Date 2020-02-14 21:06
Besser lesbar mit der tt Formatierung:

# PLAYER              :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W     D    L
1 lc0.net.62300       :      35     12   522.0     950  54.9      99  190   664   96
2 lc0.net.42850       :      14     12   494.0     950  52.0      99  158   672  120
3 Stockfish 150120    :      0   ----    884.0    1900  46.5     ---  216  1336  348

White advantage = 34.25 +/- 4.61

Draw rate (equal opponents) = 72.20 % +/- 1.06```
[/quote]
Parent - - By Eduard Nemeth Date 2020-02-13 12:36
Wenn der Stromverbrauch nur geringer wäre, dann 2 RTX 2070. Aber gerade heute flatterte per Post bei mir ein Brief ein. Der Stromanbieter kündigt ab 1. April Stromerhöhung an: Mehr als 3 Cent pro kw und der Grundpreis wird auch teurer. Dann leider doch lieber eine 3070. Mir macht es übrigens auch mit der 1050 Ti reichlich Spass. Positionell ist Lc0 auch auf einer kleinen GPU um Längen besser als ein schneller Stockfish, trotz 2 kn/s (256x20 Netz). Ich kann mir garnicht vorstellen wie es mit 40 kn/s einmal wird. Die GPUs werden schneller und günstiger. Und die Netze trainieren auch noch weiter. Für Stockfish sehe ich keine rosige Zukunft mehr.
Parent - - By Tom Paul Date 2020-02-13 12:39
Eduard Nemeth schrieb:

Wenn der Stromverbrauch nur geringer wäre, dann 2 RTX 2070. Aber gerade heute flatterte per Post bei mir ein Brief ein. Der Stromanbieter kündigt ab 1. April Stromerhöhung an: Mehr als 3 Cent pro kw und der Grundpreis wird auch teurer. Dann leider doch lieber eine 3070. Mir macht es übrigens auch mit der 1050 Ti reichlich Spass. Positionell ist Lc0 auch auf einer kleinen GPU um Längen besser als ein schneller Stockfish, trotz 2 kn/s (256x20 Netz). Ich kann mir garnicht vorstellen wie es mit 40 kn/s einmal wird. Die GPUs werden schneller und günstiger. Und die Netze trainieren auch noch weiter. Für Stockfish sehe ich keine rosige Zukunft mehr.


Bei mir hat selbst das 40x512 Netz je nach Stellung meistens zwischen 5-7 kN/s.
Parent - - By Eduard Nemeth Date 2020-02-13 12:50 Upvotes 1
Das ist Mega.
Parent - By Tom Paul Date 2020-02-13 13:05
Eduard Nemeth schrieb:

Das ist Mega.


Hmm stimmt du hast recht, wahrscheinlich kann ich deshalb so frei große Netze benutzen.
Obwohl mir das ehrlich gesagt etwas zu wenig ist...
Parent - By Eduard Nemeth Date 2020-02-13 12:48
Ich spiele mit Lc0 auf Schach.de, im Schnitt mit einer Lc0 Ratio von 0.05 bis 0.1. Es läuft trotzdem nicht schlecht.
Parent - - By Klaus S. Date 2020-02-13 14:01 Edited 2020-02-13 14:04
Lothar Jung schrieb:

... snip
Übrigens eine RTX 2070 wird bei Amazon für 325 € angeboten:

<a class='ura' href='https://www.amazon.de/MSI-GeForce-RTX2070-Armor-Schwarz/dp/B07HFLS65D/ref=sr_1_4?keywords=GeForce+RTX+2070&qid=1581585616&sr=8-4'>https://www.amazon.de/MSI-GeForce-RTX2070-Armor-Schwarz/dp/B07HFLS65D/ref=sr_1_4?keywords=GeForce+RTX+2070&qid=1581585616&sr=8-4</a>

Ich hatte noch 500 € für die gleiche Karte bezahlt!
...
???

Unter dem Link ist der Preis 450 €  und nicht 325 €

und Single gebraucht EUR 657,00    
Parent - - By Reinhold Stibi Date 2020-02-14 07:05 Edited 2020-02-14 08:01
Zurück zum Thema:

Match mit RTX 2070  Lc0 v0.23.2 62325  2880 Network Elo vom 13.02.20  mit Kiudee Einst und  Laskos  CPuct=1.900
mit Fritz 16 GUI. Dass diese Einst. ansprechen zeigen einige Stellungstest die mit obiger Einstellung besser sind wie mit der Grundeinstellung.

gegen Stockfish 11 Contempt  -50 24 Threads   Stefan Pohl 4 Züge Eröffnungsvorgabe   1 Min. + 3 Sek.pro Zug

88 Partien   +7  = 77  -4   = 51,7 % = +12 für Lc0

Nun Match wie oben aber mit Stockfish Contempt 0

100 Partien   +8  =82  -10  = 49,0 %  = - 7 Elo bzw. + 7 Elo für Stockfish

Die Ergebnisse zeigen dass nun ein Gleichstand vom 62er Netz zu Stockfish 11 eingetreten ist.
Parent - - By Lothar Jung Date 2020-02-15 15:54 Edited 2020-02-15 15:56
Hier eine Übersicht über die jetzigen Stärkeverhältnisse der führenden Netze/Engines:

https://cdn.discordapp.com/attachments/539960268982059008/678213540427071498/unknown.png

Netz 62300 soll derzeit das stärkste T60-Netz sein.
Parent - By Tom Paul Date 2020-02-15 16:21
Lothar Jung schrieb:

Hier eine Übersicht über die jetzigen Stärkeverhältnisse der führenden Netze/Engines:

<a class='ura' href='https://cdn.discordapp.com/attachments/539960268982059008/678213540427071498/unknown.png'>https://cdn.discordapp.com/attachments/539960268982059008/678213540427071498/unknown.png</a>

Netz 62300 soll derzeit das stärkste T60-Netz sein.


Aus gerade einmal 36 blitz Partien ist es definitiv das beste Fazit des Jahres.       
Parent - - By Reinhold Stibi Date 2020-02-15 16:29
Das scheint mir wenig glaubhaft, wenn da behauptet wird, dass sogar das 61 Netz
besser wäre als Stockfish 11.

Die können schreiben was sie wollen. Für mich sind meine Tests mit realen Bedingungen
maßgebend.

Es wird ja so viel Mist geschrieben.
Parent - - By Lothar Jung Date 2020-02-15 18:10 Edited 2020-02-15 18:13
If you want another reference, you can check last CCCC bullet competition with Leela vs SF. Leela finished +15 or something I think against SF there

[17:15]
It was +14. Link to it: https://www.chess.com/computer-chess-championship#event=ccc1216-lc0-vs-stockfish

https://cdn.discordapp.com/attachments/425419483016855563/678274827626217473/unknown.png
Parent - - By Reinhold Stibi Date 2020-02-15 18:36
Wenn man schon Lc0 mit Kiudee Settings testet sollte man auch fairerweise Stockfish
mit Contempt 0 testen welches die beste Einst. ist, wie auch allgemein festgestellt.
Parent - - By Lothar Jung Date 2020-02-15 21:34
Hallo Reinhold,

bei SF11dev werden bei den Test nicht der Contempt angegeben.
Wird wohl 0 sein.

**Gauntlet** 62300 (Kiudee's Bonus Parameters), 42850 vs stockfish dev (15 01 2020)
**LC0-version:** v0.23.2
**LC0 options:** T40 : cudnn-fp16, nncache=1000000, others default
                 T60 : cudnn-fp16, nncache=1000000, CPuct 2.147, CPuctFactor 2.815, CPuctBase 18368, FpuValue 0.443, PolicyTemperature 1.607, others default
**Time control:** 10s + 1s
**Hardware:** i7-3930K + RTX 2060
**Speed:** T60 ~10knps, T40 ~20knps, stockfish ~9500knps (starting position)
**Book:** Balsa, sequential, colours reversed
**Tablebases:** no
**Adjudication:** -draw movenumber=35 movecount=10 score=13 -resign movecount=5 score=800
**Software:** cutechess

```   # PLAYER              :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W     D    L
   1 lc0.net.62300       :      35     12   522.0     950  54.9      99  190   664   96
   2 lc0.net.42850       :      14     12   494.0     950  52.0      99  158   672  120
   3 Stockfish 150120    :       0   ----   884.0    1900  46.5     ---  216  1336  348

White advantage = 34.25 +/- 4.61
Draw rate (equal opponents) = 72.20 % +/- 1.06```

Die Discord Testergebnisse sind meist NN gegen NN, das ist bei Twitch.tv anders (Endosani und Mattblachess).

Jedenfalls bei längeren TC und guter GPU-Hardware - aber Ratio ausgeglichen - liegt T60 deutlich vorne.

Nichts für ungut!

LG

Lothar
Parent - By Reinhold Stibi Date 2020-02-16 05:30
Hallo Lothar,

wenn bei dem Test Contempt bei Stockfish nicht angegeben wurde, muss man davon ausgehen, dass mit der Grundeinstellung von + 24 gespielt wurde.
Wie sich aber inzwischen herausgestellt hat spielt aber Stockfish mit Contempt 0 deutlich besser.

Und wieder spielte Stockfish mit einer viel zu schwachen Hardware. Bei einer RTX 2060 bräuchte Stockfish als Gegenparat 15 echte Kerne mit
einer Leistung von ca. 20.000 kn/s ; hier sind aber nur schwache ca. 9.500 kn/s gegeben.

Die Tablebases wurden auch nicht eingesetzt. Stockfish geht aber damit viel effizienter um.

Ich hätte doch auch nichts dagegen, wenn das 62er Netz tatsächlich besser wäre, wie Stockfish. Das ist aber nicht der Fall. Wie meine objektiven
Test zeigen besteht aber inzwischen Gleichstand. Leelenstein 13.2 dürfte inzwischen ca. 15 Elo besser sein als Stockfish. Das ist geringfügig besser
als Stockfish und bedeutet, dass bei 20 Partien nicht ein mal 1 Partie mehr gewonnen wurde.

Ob das katastrophale verhalten bei Lc0 mit der Mattführung von Dame oder Turm gegen König noch gegeben ist werde ich noch testen.

Leider hat Lc0 auch keine Mattanzeige, das liegt aber wahrscheinlich im System.

Deine Begeisterung für Lc0 und auch bei Anderen kann ich gut verstehen; ich gehöre selber dazu. Aber bei einem Match gegen Stockfish
sollten faire Bedingungen herrschen und leider ist das oft nicht der Fall.

Noch zu deiner Anmerkung wegen der kommenden RTX 3070. Diese wird sehr teuer sein und im Gegenzug wird wahrscheinlich ein Ryzen
Prozessor mit 24 echten Kernen in der gleichen Preisklasse liegen. 

Ob tatsächlich bei längerer Bedenkzeit Lc0 besser spielt, sei dahingestellt; ich tue mir das nicht an. Das wird sich im TCEC Match erweisen.

Verwunderlich wäre es nicht wenn das 62er Netz in ca. 3 Monaten besser wäre als der neueste Stockfish. Warten wir es geduldig ab. 

Viele Grüße

Reinhold
Parent - By Frank Brenner Date 2020-02-15 11:45 Edited 2020-02-15 11:53 Upvotes 1
Zitat:
Übrigens eine RTX 2070 wird bei Amazon für 325 € angeboten:


Der Anbieter bei Amazon ist ein Betrüger und Amazon weiß das, tut aber nichts!

Man erkennt die Amazon Betrüger daran, daß sie verlangen vor dem Kauf per Email kontaktiert zu werden um den Betrug außerhalb von Amazon stattfinden zu lassen.
Up Topic Hauptforen / CSS-Forum / Deutlicher Zuwachs der T60-Netze

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill