Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / T60 übertrifft die Erwartungen
- - By Lothar Jung Date 2020-01-26 12:17 Edited 2020-01-26 12:26
1. Hier ein aktuelles Tunierergebnis auf Discord:

**Match:** Gauntlet 62071 vs SF11
**Hardware:** Geforce RTX 2070S & i7-5960X (8 cores/16 threads)
**Lc0 version:** v0.23.2
**Lc0 options:** Backend=cudnn-fp16 Cpuct=2.147 CpuctFactor=2.815 CpuctBase=18368 FpuValue=0.443 PolicyTemperature=1.607
**SF11 options:** Threads=14 Hash=1024
**Speed:** Lc0:11.4 kN/s, SF11:12554 kN/s (from benchmarks)
**Time control:** 3m+2s
**Book:** openings-8ply-10k.pgn, sequential, color reversed
**Tablebases:** 6-man syzygy
**Adjudication:** 6-man TB, -draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=1000
**Software:** cutechess-cli
**Comments:** I wasn't sure whether to post this as the elo difference was considerably higher than I was getting with 15s+0.5s, but people were asking for higher node counts, so I decided to go ahead even though it is only 200 games. The average node count is ~45000 per move for lc0.

```diff

   # PLAYER           :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L
   1 lc0.net.62071    :   48.82  21.08   113.5     200  56.8     100   34  159    7
   2 stockfish_11     :    0.00   ----        86.5     200  43.3     ---       7  159   34

White advantage = 55.82 +/- 10.64
Draw rate (equal opponents) = 89.34 % +/- 2.98

```
2. Im Edosani-Tunier auf Twitch steht es zwischen 62078 K und SF 11 bei hohen TC (90 min/10 sec) und sehr guter GPU-Hardware (LeelaRatio 1.0) 9,5 : 6,5.

3. Das Tunier von Mattblachess auf Twitch (15 min/5sec, 200 Partien, GTX 1070ti) war kurz vor Schluss ausgeglichen.
Parent - - By Reinhold Stibi Date 2020-01-26 16:23 Edited 2020-01-26 16:31 Upvotes 1
Lothar, danke für die Übermittlung der Ergebnisse.

Das 1. Match oben ist wieder ein Beispiel für die Unausgeglichenheit der Hardware.

Stockfish 11 hatte nur  8 CPUs/12 Threads mit 12.554 kN/s  gegen RTX 2070S.

Stockfish hätte für eine Ausgeglichenheit 16 echte Kerne mit über 20.000 kn/s benötigt.

Ist die RTX 2070S wesentlich schneller als eine RTX 2070 ?ist mir nicht bekannt.
Wenn das so wäre, hätte Stockfish 11 mit 30.000 kn/s spielen müssen, d.h. ca. mit 24 echten Kernen.

Stockfish hätte wahrscheinlich auch mit Contempt 0 eingestellt werden müssen. 

Das Ergebnis kommt mir trotzdem nicht geheuer vor. Stockfish 11 soll nur 7 Partien gewonnen haben
und 34 verloren. Das scheint mir sehr unglaubwürdig.

Darum werde ich nun selbst einen Test mit Stockfish 11  gegen Lc0 v0.23.2  mit dem neuesten und besten Netz 62129
über 200 Partien vornehmen.

Ich vermute einen Sieg für Stockfish 11 oder höchstens Ausgeglichenheit.

Das beste Netz dürfte immer noch Leelenstein 13 sein.

Habe gerade den Eigenmann Test mit Lc0 v23.2 62129 mit RTX 2070 durchgeführt. Da erreichte das Netz 62129 sehr beachtliche  83 aus 111 bei 15 Sek.
Bedenkzeit pro Stellung.

Grüße
Reinhold

Gruß
Reinhold
Parent - By Lothar Jung Date 2020-01-26 17:29
RTX 2070 S ist stärker aber nicht wesentlich.
Ich berichte nur über die Ergebnisse.
Parent - - By Clemens Keck Date 2020-01-26 16:58 Edited 2020-01-26 17:02
Testrun NN 62078, default Einstellungen RTX 2060, gegen SF 11 mit zwölf echten CPU Kernen und contempt 0.

ponder on, Testsuite mit vertauschten Farben, 10min + 2sec
Code:
nn 62078, Blitz 10m+2s  2020

                               
1   Stockfish 11 64 BMI2-12cpu  +28/-20/=152 52.00%  104.0/200
2   Lc0,v0.23.2+git.c8d9095     +20/-28/=152 48.00%   96.0/200



Stockfish + 14 Elo

C.K.
Parent - By Lothar Jung Date 2020-01-26 17:31
Danke, guter Test!
Parent - - By Tom Paul Date 2020-01-26 17:08
Natürlich übertrifft T60 die Erwartungen.
Ist bei mir bereits 100 ELO stärker als Stockfish.

Und selbst mein halb so großes Netz ist 150 ELO stärker als Stockfish.
Parent - - By Lothar Jung Date 2020-01-26 17:30
Das kann nicht sein!
Parent - By Wolfgang Battig Date 2020-01-26 19:01 Upvotes 2
Ach was...
Du hast schon gelesen wer das Posting geschrieben hat, oder?
Parent - - By Tom Paul Date 2020-01-26 17:08
Natürlich übertrifft T60 die Erwartungen.
Ist bei mir bereits 100 ELO stärker als Stockfish.

Und selbst mein halb so großes Netz ist 150 ELO stärker als Stockfish.
Parent - - By Walter Knobloch Date 2020-01-26 17:20
welches Netz meinst Du mit "halb so groß"?
das ist also 50 elo stärker als das größere?
Parent - By Wolfgang Battig Date 2020-01-26 19:14
Vor allem "sein" Netz, ich lach mich schief.
Echt, wer den Typ auch nur ansatzweise ernst nimmt, dem ist wirklich nicht mehr zu helfen.
Es gibt aktuell kein Netz, das auch nur 50 Punkte besser ist als Stockfish, geschweige denn 100 oder 150.
Das Troll-Geschreibsel von TP ist einfach nur lächerlich
Parent - - By Lothar Jung Date 2020-01-26 17:36 Edited 2020-01-26 17:40 Upvotes 2
Hier das Ergebnis von Mattblachess:

**Match:** lc0.23.2.62091 vs **Stockfish 11 4CPU** - 100 rapid games
**LC0-version:** v23.2 cuda
**LC0-options:** --backend=multiplexing  --cpuct=2.147 --cpuct-factor=2.815  --cpuct-base=18368  --fpu-value=0.443 --policy-softmax-temp=1.607   (kuidee "bonus" settings)
**Time control:** 15min + 2s  (CCRL 40/40)
**Hardware:** CPU i7-8700 4 cores vs 1070Ti GPU
**Book:** Custom short lines played from both sides ever test (!sheet4 for opening list)
**Tablebase:** 6 piece syzygy (DTZ + WDL) for both engines
**Software:** Arena
**Speed:** Leela ratio ~0.85; Lc0 npm~200K, SF npm~200M  (based on 24x256 nets, T60 is slower)
**Context:** !sheet4 for test history
**Comment:** First match against SF11
```# PLAYER                    :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
1 Stockfish_11_x64_bmi2.    :  3495.0   ----    51.0     100    51      67   13   76   11    76
2 lc0.23.2.62091            :        3487.8   32.1    49.0     100    49     ---   11   76   13    76```
```lc0.23.2.62091 - Stockfish_11_x64_bmi2. : 49.0/100 11-13-76 (===01===1==0=====0===1===0=11====0===01=============101==========01=1====00==0=0=====0========1=====)  49%  -> 3488 ordo score```
For comparison the best T60 (against SF10) ever was:
```lc0.23.2.61915 - Stockfish_10_x64_bmi2 : 54.0/100 21-13-66 (=1=0====10=1===1====1==0==1=====1====01=1=1=1==00=1==0=====1=00===0=1=1==0==1=1====11=======1=10===0)  54%   -> 3495 ordo score```
The best T40 (against SF10) ever was:
```lc0.21.2-rc1.42615 - Stockfish_10_x64_bmi2 : 56.0/100 21-9-70 (=1=======0=1==11===01==0====1======0=11==0========11=1=====01=1====10=1==01=1==0====1=========11==1=)  56%   -> 3509 ordo score```

In dem großen Test von Edosani auf Twitch liegt 61994 auf dem ersten Platz.
Parent - - By Reinhold Stibi Date 2020-01-26 18:05
Mein Test   Stockfish 11  Contempt 0  24 Threads   gegen   Lc0 v23.2  62129  mit Kiudee-Settings wie ganz oben angeführt  RTX 2070

mit Stefan Pohl 4 Züge-Vorgabeeröffnungen  1 Min.+ 1 Sek.pro Zug.

Zu meiner Überraschung nach 14 Partien  + 0   = 11   -3.

Also ganz hervorragender Einstand für Lc0 mit Net 62129  3 Gewinnpartien und keine verloren.

Da kann sich natürlich nach 200 Partien noch viel ändern, aber es lässt Hoffnungen für Lc0 aufkommen.

Insofern wäre ein Ergebnis von +30 Elo Vorsprung  für Lc0 Net 62129 denkbar; abwarten ob das so weitergeht.

Die taktische Verbesserung von Lc0 (s.Eigenman-Test) ist schon sehr beachtlich und lässt auch auf eine deutliche Spielstärkesteigerung hoffen.
Parent - - By Lothar Jung Date 2020-01-26 18:22
Reinhold,
meine Partiebeobachtungen der T60-Netze bestätigen Deine Einschätzung.
T60 ist taktisch deutlich stärker als T40.
T60 ist im Endspiel auch wesentlich stärker.
Er ist nicht anfällig für schwächere Gegner.
Parent - By Reinhold Stibi Date 2020-01-26 18:45
Unglaublich, nach nun 24 Partien 4 Siege von Lc0 62129 und kein einziger Verlust.

Den Test führe ich durch mit der Fritz 16 GUI. Machen die sehr guten Ergebnisse bei Lc0 auch die Kuidee-Settingsaus aus  ?  - scheint fast so.

Contempt 0 bei Stockfish 11 kann sich doch bei X 5690 24 Threads nicht so negativ auswirken; hörte diesbezüglich nur von besserer Einstellung.
Parent - - By Benno Hartwig Date 2020-01-26 19:05

> Er ist nicht anfällig für schwächere Gegner.


Was meinst du damit?
Parent - - By Lothar Jung Date 2020-01-26 19:49
Er verliert kaum gegen Houdini und Komodo.
Siehe Edosani-Tunier bei Twitch.
Parent - - By Reinhold Stibi Date 2020-01-26 20:09
Nach nun 40 Partien normalisiert sich das Turnier.

+2  =33  -5   =46,3 %  = - 26    also + 26 Elo für Lc0 62129
Parent - By Reinhold Stibi Date 2020-01-27 08:27 Upvotes 1
Nach nun 116 Partien ist der Vorsprung von Lc0 62129 gegenüber Stockfish 11 auf  + 9 Elo geschmolzen.

Rechne nach 200 Partien auf völligen Gleichstand.

Das hätte ich wirklich nicht gedacht, dass sich das 62er Net so verbessern konnte

Eine Superleitung !  Vielleicht kann ja in einem Monat das 62er Net Stockfish 11 übertreffen.
Kommt auch darauf an, wie sich Stockfish 11 weiterentwickelt.
Parent - - By Lothar Jung Date 2020-01-27 09:03
Hier ein Taktiktest von T60-Netzen, sehr interessant:

```
Tactical test. Fastest to solve, give best score.
High score is best. This is not an Elo test.

62135........................ = 4.1
62133........................ = 4.7
62120........................ = 4.5
62098........................ = 3.8
62088........................ = 3.0
62078........................ = 4.1
62038........................ = 6.1  Good
62037........................ = 6.6  Very Good
62036........................ = 6.7  Record !!
62035........................ = 4.1
62024........................ = 6.6  Very Good
62012........................ = 5.8
62011........................ = 6.6  Very Good
62010........................ = 6.7  Record !!
62009........................ = 6.2  Good
62008........................ = 5.8
61984........................ = 4.9
61980........................ = 5.5
61959........................ = 5.1
61944........................ = 5.0
61929........................ = 4.4
61904........................ = 4.7
61900........................ = 5.4
61800........................ = 3.4
61700........................ = 4.3
61600........................ = 3.4
384x30-t40-1705.............. = 4.5
384x30-t40-1808.............. = 1.9
384x30-t40-1573.............. = 3.6
384x30-t60-2-1504............ = 4.2
384x30-t60-2-1530............ = 4.0
384x30-t60-2-1538............ = 3.9
384x30-t40-1207.............. = 4.4
386x30-1507.................. = 2.6
J13B.2-136................... = 2.5
J13B.2-148................... = 2.9
J13B.2-158................... = 3.0
J13B.2-168................... = 2.7
J13B.2-178................... = 2.9
J13B.2-188................... = 3.0
J13B.2-200................... = 2.9
J13B.2-220................... = 2.8
512x40-175................... = 2.5
```
Parent - - By Reinhold Stibi Date 2020-01-27 09:42 Upvotes 1
Was Tom Paul da erzählt das das bei ihm Lc0 ca. 100 bis 150 Elo stärker wäre als Stockfish
ist vollkommener Quatsch.

Er gehört eigentlich in den Bereich eines Märchenerzählers.

Mit seriösen Computerschach-Mitteilungen hat das nichts zu tun.

Mit seiner Hardware auf Lc0 Basis, die 3x so schnell ist wie auf seiner CPU-Basis kann er ja
keine aussagekräftigen Ergebnisse mitteilen. Außerdem hat er nie ausführliche Tests mit 200 Partien
pro Engines  getätigt. 

Bei ihm fehlt auch jede Aussage über seine Testbedingungen.

Wenn du ernst genommen werden willst, dann bleibe einfach bei der Wahrheit und nicht auf Lügengeschichten.
Parent - - By Reinhold Stibi Date 2020-01-27 15:37 Upvotes 1
Nun ist mein Match Stockfish 11  Xeon X5690 24 Threads   Contempt 0    gegen   Lc0 0.23.2  62129  mit Kuidee-Settings  RTX 2070  zu ende.

weitere Testbedingungen s. weiter oben.

202 Partien   +28  = 151  -23   =51,2 %  = + 9 Elo für Stockfish 11

Alle Achtung für die erfolgreiche Weiterentwicklung von Lc0 Net 62.

Das Ergebnis bedeutet praktisch Gleichstand, bei einem Turnier könnte mal  Stockfish  und das andere mal Lc0 gewinnen.

Behauptungen dass Lc0 oder Stockfish deutlich besser wären stimmen nicht.
Parent - By Lothar Jung Date 2020-01-27 16:50
Hallo Reinhold,
Danke für Deinen Test!

Hier ein anderer Test:

Match: 62078 vs SF11
LC0 version: 0.23.2
LC0 options: --backend=cudnn-fp16 --cpuct=2.147 --cpuct-base=18368 --cpuct-factor=2.815 --fpu-value=0.443 --max-collision-events=256 --max-prefetch=64 --policy-softmax-temp=1.607 --nncache=20000000
Time control:   3m+2s
Hardware: RTX Titan for lc0, 32 threads of AMD R9 3950x for SF11
Book: CCC12 openings
Speed: Stockfish bench: 48.43 Mnps, lc0 benchmark: 17.81 knps
Tablebases: 5-man TB
Software: Arena
Comments: lc0 wins, but very very close! Good baseline for further tests. Planning to run this every weekend to check T60 progress.
```
   # PLAYER           :  RATING  ERROR   (%)    W    D    L  PLAYED  CFS(%)
   1 Lc0.net.62078    :     3.6   12.8  50.5   27  148   25     200      61
   2 Stockfish11        :     0.0   12.8  49.5   25  148   27     200     ---

White advantage = 49.40 +/- 12.09
Draw rate (equal opponents) = 77.17 % +/- 3.23
```

Also wie bei Dir, Gleichstand.
Parent - - By Lothar Jung Date 2020-01-27 16:54
Hier einige Ergebnisse des ERET-Tests:

**Test-Positions:** ERET.epd, 111 test positions
**LC0-version:** lc0-v0.23.2, Backend=cudnn-fp16, Default parameters
**Hardware:** RTX 2060
**Software:** Arena 3.5.1
**Time control:** analysis with time limit of 15 seconds per move/position
**Comment:** Change of time limit from 10 seconds to 15 seconds per move / position.

Rank   Engine        Score
1      lc0.net.62140   78
2      lc0.net.59828   73
2      J13B.2-136      73
4      lc0.net.58613   68
5      LD2                  67
Parent - - By Reinhold Stibi Date 2020-01-27 17:26
Lc0 v0.23.2  62129  hat bei mir im ERET Test stolze 83 Lösungen aus 111 mit 15 Sek.pro Stellung  und mit RTX 2070 erbracht (mit Grundeinstellungen)
Parent - - By Eduard Nemeth Date 2020-02-01 11:21 Edited 2020-02-01 11:34
Im Analysemodus bis 6 Minuten auf GTX 1050 Ti ist das aktuelle T60 Netz bei mit jetzt das beste. Es ist besser als alle anderen Netze. Auffällig ist dass T60 auf meiner kleinen GPU in der Grundstellung nach einer Minute auf etwas über 1 kns kommt, während das 4x kleinere Sergio 256x20 nur etwas über 2 kns schafft. Das T60 ist also auch verhältnismässig schnell. Für die Analyse ist es für mich jetzt schon erste Wahl.

Edit:

Für die kleine Karte musste ich die Settings dafür verändern. Für das Netz 62184 auf GTX 1050 Ti ist dieses Setting für die Analyse spitze:

--threads=2
--minibatch-size=256
--max-prefetch=16
--nncache=2000000
--cpuct=3.000000
--cpuct-factor=2.500000
--policy-softmax-temp=1.700000
--fpu-value=0.700000

Es gab keine Stellung die nicht innerhalb von 6 Minuten gelöst wurde. Bin beeindruckt.
Parent - - By Lothar Jung Date 2020-02-03 10:01
Hier der aktuelle WCEC-Stand:

**WCEC RESULTS** - Games 96/120
<https://www.twitch.tv/navratil25>

T60-62039 still leads at the 80% mark.
```   # PLAYER                  :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
   1 v0.23.2 T60 - 62039     :      41     31    26.0      48  54.2      72    6   40    2  83.3
   2 Leelenstein 13              :      26     30    24.5      48  51.0      67    5   39    4  81.3
   3 Stockfish_11                :      15     30    23.5      48  49.0      72    5   37    6  77.1
   4 lc0-Terminator 2-136     :       0     31    22.0      48  45.8     ---    2   40    6  83.3```

White advantage = 58.39 +/- 14.81
Draw rate (equal opponents) = 91.31 % +/- 5.09
Parent - - By Reinhold Stibi Date 2020-02-03 11:55
Hallo Lothar,

warum testest du nicht mit deiner eigenen Hardware; die ist doch sehr gut und wäre aussagekräftiger. 

Nach meinem Test liegt das aktuelle 62er Netz 9 Elo hinter Stockfish zurück; das bedeutet praktisch Gleichstand mit Stockfish 11.

Leelenstein 13.2  und  Sergio 1541 sind besser.

Im taktischen Bereich ist das 62er Netz (bei mir 62129) das beste Netz, getestet mit Eigenmann Test 15 Sek.
83 aus 111,  Leelenstein 13.2 und Sergio 1541 je 81.
Parent - - By Lothar Jung Date 2020-02-03 13:13 Edited 2020-02-03 13:16
Hallo Reinhold,

Du hast recht!
NN gegen NN könnte ich gut testen (2x2070).
Müßte mir noch LS13.2 kaufen.
Gegen SF11 käme nur die 2070S in Betracht, da 2x2070 für Ryzen 3900X zu schwach wäre.
Was schlägst Du vor, daß Deine Tests ergänzt?
62156 ?
SF11 dev (Contempt -24)?

Lothar
Parent - - By Reinhold Stibi Date 2020-02-03 14:08
Leelenstein 13  kostet im Monat 3 EUR im Monat,  da bekommst Du dann immer das neueste Up-Date.

Bei meinem Test hatte SF 11 Contempt 0  24 Threads (entspricht 15 echten Kernen) gegen Leelenstein 13.2 Kiudee RTX 2070
nach 282 Partien + 23 Elo. Da kann man schon von besser reden. Mit Contempt -25 bei SF 11 schmolz der Vorsprung nach
254 Partien auf + 15 Elo.

Stefan Pohl und Andreas Strangmüller hatten noch bessere Werte mit Lc0 Sergio 1541 die aber Clemens Keck und ich nicht
nachvollziehen konnten.

Darum wäre ein Test von Dir mit Stockfish 11  Contempt 0 (Contempt -25 würde wahrscheinlich gegen schlechtere Engines nicht  so gute Werte bringen)
mit 12 echten Kernen und 12 in Hyperthreading (entspricht dann ca. 16 echten Kernen), bei Ponder  off (damit der Computer nicht zu sehr belastet wird)
und Lc0 v0.23.2 Sergio 1541 mit Kiudee Laskos Settings  RTX 2070 oder RTX 2070S.

Als Eröffnungsbuch Hert 250 (kann man auf der Webseite von Stefan Pohl herunterladen). Dieses Buch verwendet Andreas Strangmüller, schnitt bei
mir aber schlechter ab (bezogen auf Lc0) wie das von mir verwendete Buch Stefan Pohl 4-Züge-Eröffnungsvorgabe.

Bedenkzeit: 1 Min. + 1 Sek. pro Zug.  100 Partien dürften genügen, mehr sind noch etwas genauer.

Reinhold
Parent - By Michael Scheidl Date 2020-02-03 14:43 Upvotes 1
Zitat:
Leelenstein 13  kostet im Monat 3 EUR

Parent - - By Detlef Uter Date 2020-03-06 11:40 Upvotes 1
Leelenstein 13.0 ist inzwischen frei verfügbar!

https://www.patreon.com/posts/leelenstein-13-32874035 
Parent - By Thomas Lagershausen Date 2020-03-06 12:17
Danke für den Link.

Allerdings wird dort für nicht Patreon Leser nur ein Netz 20x256SE-jj-9-swa-415000000.pb.gz vom 4.Januar angezeigt.

Weitere 31 Kommentare werden erst durch eine Patreon Mitgliedschaft freigeschaltet.

Gruß und Dank für die Info.
Up Topic Hauptforen / CSS-Forum / T60 übertrifft die Erwartungen

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill