LC Zero News

By Tom Paul Date 2018-05-20 12:14

Stefan Pohl schrieb:

Hallo,

Wer bei LCZero wirklich up-to-date bleiben will, sollte sich die discord-App (Chat-App) installieren und dort bei LCZero reingehen.
<a class='ura' href='https://play.google.com/store/apps/details?id=com.discord'>https://play.google.com/store/apps/details?id=com.discord</a>

Dort wird viel mehr gepostet, auch von den Leela Autoren (Killerducky u.a.), als im Leela-Forum: <a class='ura' href='https://groups.google.com/forum/m/#!forum/lczero'>https://groups.google.com/forum/m/#!forum/lczero</a>

Unter anderem wurden (bzw. werden) dort drei wichtige Parameter für Leela-Cuda durch CLOP getunt.
Time Management: 2.8
cPuct: 3.1
FPU Reduction: -0.06

<a class='ura' href='https://cdn.discordapp.com/attachments/425419483016855563/447583754488250388/clop-lc0_314_n400.png'>https://cdn.discordapp.com/attachments/425419483016855563/447583754488250388/clop-lc0_314_n400.png</a>

Und diese Werte (obwohl die Änderungen ganz schön heftig sind) machen mir einen sehr guten Eindruck. Endlich ist der Bedenkzeitverbrauch “normal“ (verglichen mit normalen Engines)

Die Bedenkzeit zu verbessern ist dringend nötig, wenn man bedenkt das LC0 wahrscheinlich gar nicht bis kaum von einer Verdoppelung der Inkrement-Bedenkzeit profitiert, sondern nur von der Verdoppelung der normalen Bedenkzeit.
Oder einfach ausgedrückt: Die Engine kann mit Inkrement nicht umgehen. Das wird beim TCEC mit +15, +30, +60, +120, +150, +180 Sekunden pro Zug ganz übel enden.

Und das passiert immer wenn man sich nur auf die Grundbedenkzeit konzentriert und nie auf den Zeitbonus pro Zug.

By Guenter Stertenbrink Date 2018-05-20 12:16 Upvotes 1

geht leider nicht. Ich bin zu doof um das Google Kleingedruckte zu verstehen.
Und waer ich nicht zu doof, so waer ich doch zu faul das alles durchzulesen.
Und waer ich schlau und fleissig genug, so wuerde ich das alles wohl nicht akzeptieren.

By Stefan Pohl Date 2018-05-21 05:29 Edited 2018-05-21 05:34

Guenter Stertenbrink schrieb:

Selbst schuld.

Wieder Interessantes dort gelesen: es wird bald auch eine Cuda-Version der client.exe geben, also der Leela, die zum Network-Training für alle Hardware-Spender angeboten wird. Und - sehr erfreulich - NVIDIA hat die Genehmigung erteilt, das die drei .dll-Dateien, die man zum Betrieb der Cuda-Leela benötigt, auf der Leela-website mit verteilt werden dürfen. Es ist dann nicht mehr nötig, sich bei NVIDIA zu registrieren und zwei große Downloads zu machen und sich daraus dann die drei benötigten Dateien herauszusuchen.
Das ist eine sehr gute Nachricht, denn damit wird jeder, der eine Cuda-kompatible Grafikkarte hat, ca 4x mehr Partien in derselben Zeit für das Network-Learning generieren können (!!!) (Vorausgesetzt, die Komplexität des Networks (z.Zt. 15x192) und die Zahl der Rollouts (z.Zt. 800 pro Zug) bleiben gleich. Denn die Cuda-Leela läuft ca. 4x schneller, als die herkömmliche GPU-Version.
Allerdings kann man wohl damit rechnen, daß die Komplexität des Networks in absehbarer Zeit noch einmal angehoben wird. Auf die finale (?) Komplexitätsstufe (20x256), die auch Google bei Alpha Zero benutzt hat.

By Tom Paul Date 2018-05-21 06:12

Stefan Pohl schrieb:

Auf die finale (?) Komplexitätsstufe (20x256), die auch Google bei Alpha Zero benutzt hat.

Finale Komplexitätsstufe?

Das wird schon aus ganz vielen Gründen nicht die finale Komplexitätsstufe werden.

By Guenter Stertenbrink Date 2018-05-21 06:24

aus welchen ?

By Axel Caro Date 2018-05-21 13:13

Hallo Stefan,

das ist ein sehr interessanter Hinweis, danke dafür!

Leider ist es mir nicht gelungen die drei dll-Dateien oder eine neue Kurzanleitung zur Nutzung dieser schnelleren Lc0-Version auf den offiziellen LCZero-Seiten zu finden.

Hast Du hier einen Hinweis, wie man als "Otto-Normal-Verbraucher" relativ unkompliziert in den Genuss dieser schnelleren Version kommt?

Viele Grüße
Axel

By Stefan Pohl Date 2018-05-21 13:26 Edited 2018-05-21 13:28

Axel Caro schrieb:

Ja, ich hab da mal ein step-by-step manual geschrieben (hier die leicht aktualisierte Version):
(auf den offiziellen LC Zero-Seiten gibt es da z.Zt. noch keine Infos oder Downloads der CUDA-Version. Das kommt erst noch)

How to run Leela CUDA (should be around 4x faster, than Leela GPU(!)) in Fritz/Shredder GUI:

Important: Leela CUDA needs 3 .dll-files from the NVIDIA-website, otherwise it can not run!
And - of course - you need a NVIDIA CUDA GPU in your PC...

1) Get Lc0.exe for the cuDNN version from: https://crem.xyz/lc0/ and unpack it and put it in your Leela CUDA folder.
2) Install CUDA v9.0 from https://developer.nvidia.com/cuda-90-download-archive (you need an account) and get
cublas64_90.dll and cudart64_90.dll from the bin directory of CUDA v9.0 and copy it to your Leela CUDA-folder.
(Alternatively if you don't want to install CUDA, you can just unpack the installer (7z-packer) and search in the unpacked
folder and files for the .dlls with <Strg>+F in the Windows-Explorer, that was, what I did). Put the 2 files in
your Leela CUDA-folder.
3) Get cuDNN from https://developer.nvidia.com/rdp/cudnn-download (you also need an account for this) and get
cudnn64_7.dll from the bin directory of the zip and extract it and put it in your Leela CUDA-folder.
4) Download the latest network from http://lczero.org/networks and unpack it (Leela CUDA will autodetect it in
any form either as weights.txt or however it is named) and put it in your Leela CUDA-folder.

By Lothar Jung Date 2018-05-21 13:42

Hallo Stefan!
Wie sieht es mit Deinem „CUDA-Turnier“ aus?
Grüße
Lothar

By Stefan Pohl Date 2018-05-21 14:07

Lothar Jung schrieb:

Hallo Stefan!
Wie sieht es mit Deinem „CUDA-Turnier“ aus?
Grüße
Lothar

Gut.

Spaß beiseite. Es läuft. Aber erst seit heute. Allerdings aus gutem Grund. Die früheren Leela-Cudas liefen in der FritzGUI nur mit dem polyglot-Adapter und begannen nach einigen Dutzend Partien immer schwächer zu scoren. Vermutlich irgendein Adapter/Speicher-Management Problem.
Erst die neueren Versionen laufen nun auch ohne Adpater in der FritzGUI (zumindest in Fritz 16, Fritz 13 ist eine andere Geschichte). Ich hoffe, daß dieses Problem damit behoben ist. Außerdem gibt es seit kurzem eine Parameter-Optimierung. Ein User (siehe discord-App, bzw. mein Eingangsposting) hat zwei wichtige Parameter und den Bedenkzeitverbrauch mit dem CLOP-tool getunt. Und mit diesen Werten spielt Leela Cuda bei mir merkbar besser. Nur der Bedenkzeitparameter wurde etwas zu stark angehoben, was sich aber durch die Bedenkzeit erklärt, die beim Tuning genutzt wurde (3'+2''). Da dort nur ein Unterchied von Faktor 90 zwischen Inkrement und Basiszeit bestand, was relativ wenig ist. Hier mußte ich noch eine leichte Anpassung vornehmen.
Ich spiele nun mit diesen Werten:

Scale thinking time = 2.500000
FPU reduction = -0.068300
Cpuct MCTS = 3.168000

Nun hatte ich allerdings plötzlich das "Problem", daß diese Leela meine 5 Testgegner-Engines (Arminius 170101 (Elo: 2502), Greko 2018.2 (Elo: 2507), Gogobello 1.4 (Elo: 2534), Pro Deo 2.2 (Elo 2535), Cheese 1.9 (Elo 2543). Average opponent CEGT Elo (40moves/20'): 2524) nicht mehr so mit um die 60%-65% besiegte, wie die GPU-Leela es tat, sondern sie in Grund und Boden spielte. Ergo mußte ich 5 neue, stärkere Gegner nehmen (u.a. Wasp 3), die einen CEGT-Eloschnitt von 2832 haben. Näheres dazu sehr bald auf meiner Website.

Wegen dieser Anfangsprobleme mit Leela Cuda (besonders in der FritzGUI) und der enormen Spielstärkesteigerung, die Leela Cuda wegen ihrer ca. 4x höheren Geschwindigkeit (verglichen mit der normalen GPU-Version) und wegen des Parametertunings (s.o.) erfahren hat, mußte ich mein Turnier nun völlig neu aufsetzen. Ich hoffe, die 5 neuen, stärkeren Gegner sind nicht noch zu stark. Mal sehen. Bisher liegt Leela knapp unter 50%. Was gegen so starke Gegner ja unglaublich gut wäre. Allerdings hat das Turnier auch gerade erst begonnen.
Geplant ist, dann alle 7-8 Tage (300-400 Partien) jeweils ein Ergebnis zu posten, und dann ein neues Network-File zu nehmen.
Allerdings ist das mit dem Planen bei Leela so eine Sache...

By Stefan Pohl Date 2018-05-21 14:19

Ich kann nur jedem raten, der eine CUDA-kompatible Grafikkarte hat, sich Leela CUDA zu installieren (Anleitung dazu hier im Thread, weiter oben). Das ist ein Quantensprung in der Spielstärke, insbesondere, wenn man die drei Parameter so setzt, wie ich es hier gepostet habe.
Bei mir stieg die Zahl der rollouts/s in der Grundstellung (gemessen mit dem "go infinite"-Kommando im Konsolenmodus) mit Leela CUDA auf knapp 1700 rollouts/s, während es mit der normalen v10-GPU-Version nur knapp 450 rollouts/s sind. Allein das bringt natürlich schon einen ordentlichen Elo-Boost.

Die Installation ist natürlich ein bißchen aufwendiger, als man es von Schachengines gewohnt ist (siehe meine Anleitung), weil man sich bei NVIDIA registrieren muß und der Cuda 9.0 download allein hat gepflegte 1.2 GByte.
Aber es lohnt sich definitiv und die neueren Leela Cuda Versionen laufen auch wesentlich bugfreier.

By Thorsten Czub Date 2018-05-21 16:04

das ist ja alles komplizierter als schach spielen....

also ich bin jetzt an der stelle wo ich 3 dateien schon habe. aber nun will er membership bei nvidia von mir ...

für diese cudnn64_7.dll

By Stefan Pohl Date 2018-05-21 16:18

Also sooo kompliziert fand ich das nun auch nicht. Man muß halt einen Account auf der nvidia-developer website anlegen. Dann kann man sich den Cuda 9 installer herunterladen. Welchen man mit 7z-Packer (o.ä.) entpackt für sie ersten beiden dll, wodurch man sich die eigentliche Installation von Cuda erspart.. Und dann lädt man sich noch das gezipt CudNN file herunter und holt sich dann dort das cudnn64_7.dll file heraus. Ich hatte dabei keine echten Probleme. Irgendwelche memberships brauchte ich nicht. Vielleicht mußt du deinen Account noch per email-link bestätigen?! Ich weiß nicht mehr so genau, ob das erforderlich war, ehrlich gesagt.

By Axel Caro Date 2018-05-21 18:39

Danke, hat geklappt: Performance ist auf meiner mobilen Gforce 950M ca. 4x so hoch

!

Zwei Fragen noch:

Habe ich mit dem Hineinkopieren des jeweils aktuellen Networks dann die aktuell neueste Version oder muss ich jeweils eine neue Lco.exe herunterladen?

Was hat es mit der cuda92-Version auf sich? Diese funktioniert nicht mit den mir verfügbaren DLLs. Benötige ich hierfür andere DLLs? Hat die cuda92-Version sonstige Vorteile?

Danke!

By Stefan Pohl Date 2018-05-21 20:29 Edited 2018-05-21 20:34

Axel Caro schrieb:

Danke, hat geklappt: Performance ist auf meiner mobilen Gforce 950M ca. 4x so hoch

Frage 1: Engine und Network sind zwei Paar Schuhe und müssen separat vom User aktualisiert werden. Es gibt auch immer wieder neue Engine-Versionen der Leela Cuda. Das sind aber nur bugfixes etc. Auf die Spielstärke sollte das üblicherweise keinen Einfluß haben. Dennoch würde ich ab und zu mal die Engines-exe updaten (und dieses auch neu als UCI-Engine installieren und die alte Engine entsorgen). Aber keinesfalls alle paar Tage. Wenn das Network allerdings irgendwann auf die nächste Komplexitätsstufe angehoben wird (von jetzt 15x192 auf 20x256), wird es wohl zwingend ein Update auch der Engine erforderlich machen. Das merkst du spätestens dann, wenn die Engine nicht mehr läuft...

Frage 2: wenn du die Engine mit Cuda 9.2 laufen lassen willst, brauchst du logischerweise auch die 9.2 dll Dateien von der NVIDIA-website, also cublas64_92.dll und cudart64_92.dll. Ob das einen Vorteil für Leute hat, bei denen die 9.0 Version korrekt läuft, weiß ich nicht. Ich nutze noch Version 9.0. Habe mir aber die 9.2 dll-Files schon mal heruntergeladen, für den Fall, daß der Leela Cuda Autor nur noch Updates für Cuda 9.2 anbieten sollte. Das Herunterladen funktioniert genau wie bei Cuda 9.0: installer herunterladen, entpacken und nach den beiden Dateien suchen.

Mehr Erhellendes kann ich jetzt wohl nicht beitragen. Hoffe, geholfen zu haben.

By Stefan Pohl Date 2018-05-21 20:42 Edited 2018-05-21 20:46

Update: Schon passiert: neueste Leela Cuda von heute gibt es nur noch für Cuda 9.2. Also werde ich dann bald auch auf 9.2 umsteigen (müssen).

Changelog: Latest lc0 finally supports gzipped weights. (and produces gzipped training data, too [still no use for that, but this is being worked on]).
Also --slowmover (aka "Scale thinking time") is changed from 1.2 to 2.2 by default, it will think longer!

Für mich nicht von Bedeutung. Ich entpacke die Networks immer und Scale thinking time ist bei mir auf 2.5 gesetzt. Aber das Verarbeiten gepackter Networks ist natürlich wichtig, wenn Leela Cuda als client.exe released wird (fürs Network Training). Sozusagen ein vorbereitendes Update.

By Stefan Pohl Date 2018-05-22 11:17

The problem seems solved by now, with the latest CUDA 9.2 version of lc0, and I am switching to it as standard. The NPS is increased, but not dramatically, some 5%, but the bugs were eliminated. I compared the two versions in a gauntlet at 1s/move against Houdini 1.5a.

Games Completed = 200 of 200 (Avg game length = 131.265 sec)
Settings = Gauntlet/64MB/1000ms per move/M 9000cp for 30 moves, D 150 moves/EPD:C:\LittleBlitzer\3moves_GM_04.epd(817)
Time = 27816 sec elapsed, 0 sec remaining

1. Houdini 1.5a    110.0/200 73-53-74 (L: m=53 t=0 i=0 a=0) (D: r=54 i=7 f=6 s=0 a=7) (tpm=993.1 d=19.07 nps=2773781)

2. LC0 CUDA 9.2    48.0/100 30-34-36 (L: m=34 t=0 i=0 a=0) (D: r=24 i=6 f=3 s=0 a=3) (tpm=761.2 d=2.65 nps=6013)
3. LC0 CUDA 9.0    42.0/100 23-39-38 (L: m=39 t=0 i=0 a=0) (D: r=30

Es wurden die von mir empfohlenen Parametersettings benutzt:
Cpuct MCTS Option=3.17
First Play Urgency Reduction=-0.068

Nettes Ergebnis gegen Houdini 1.5a.

By Lothar Jung Date 2018-05-22 12:48

Danke Stefan, auch von mir!

Sehr schönes Ergebnis gegen Houndini 1.5a (IPO- Ratinglist 3029 ELo) fast ausgeglichen (48%) mit CUDA 9.2.
Ich bin sehr gespannt auf Deinen weiteren größeren Test.

Viele Grüße

Lothar Jung

By Stefan Pohl Date 2018-05-22 15:13 Edited 2018-05-22 15:40

Lothar Jung schrieb:

Und das mit 1s/Zug. Was Leela eigentlich viel zu schnell ist...

Aber ich habe ähnliches zu berichten. Erschütternderweise sind auch die neuen 5 Gegner mit 2832 Eloschnitt, die ich seit gestern spielen lasse, schon etwas zu schwach für Leela Cuda. Langsam hab ich echt die Faxen dicke...Also starte ich nun noch mal neu. Diesmal nehme ich gleich 10 Engines, die insgesamt einen CEGT-Eloschnitt von genau 3000 haben...Dazu mehr auf meiner Website.
3000 CEGT-Elo sind nun wirklich sehr hoch gegriffen für eine Leela Cuda, die bei mir ja auf einer relativ langsamen Mobil-Grafikkarte läuft (Nvidia Cuda Gforce GTX 950M). Ich denke, das wird momentan auch noch nicht gut für Leela ausgehen. Aber ich habe echt keine Lust, alle 1-2 Tage mein Testturnier neu aufzusetzen, weil die Gegner wieder zu schwach sind. Jetzt sollte ich etwas Zeit haben. Sollte Leela Cuda auf meiner Grafikkarte wirklich mal die 3000 CEGT-Elo performance knacken, also 50% oder mehr in diesem Turnier scoren, wäre das ein Meilenstein.

Bei dieser Gelegenheit steige ich nun auch gleich auf die CUDA-Version 9.2 um (bisher 9.0) Dazu habe ich auch ein aktualisiertes step-by-step manual geschrieben. Wichtig ist: Man muß (wahrscheinlich) zunächst mal seinen NVIDIA-Grafiktreiber auf seinem PC aktualisieren. Ich mußte es jedenfalls, vorher lief Leela Cuda 9.2 bei mir nicht...(da kam ich erst mal ins Grübeln...).
Hier also das neue manual:

How to run Leela CUDA (should be around 4x faster, than Leela GPU(!)) in Fritz/Shredder GUI:

Important: Leela CUDA needs 3 .dll-files from the NVIDIA-developer-website, otherwise it can not run!
And - of course - you need a NVIDIA CUDA GPU in your PC...

1) Update your Nvidia driver for your GPU to the latest version here: http://www.nvidia.de/Download/index.aspx.
After that: reboot your PC.
2) Get LC0.exe for the cuDNN version from: https://crem.xyz/lc0/ and unpack it and put it in your Leela CUDA folder.
3) Install CUDA v9.2 from https://developer.nvidia.com/cuda-92-download-archive (you need an account) and get
cublas64_92.dll and cudart64_92.dll from the bin directory of CUDA v9.2 and copy it to your Leela CUDA-folder.
(Alternatively if you don't want to install CUDA, you can just unpack the installer and search in the unpacked
folder and files for the .dlls with <Strg>+F in the Windows-Explorer, that was, what I did). Put the 2 files in
your Leela CUDA-folder.
4) Get cuDNN for CUDA 9.2 from https://developer.nvidia.com/rdp/cudnn-download (you also need an account for this)
and get cudnn64_7.dll from the bin directory of the zip and extract it and put it in your Leela CUDA-folder.
5) Download the latest network from http://lczero.org/networks and unpack it (Leela CUDA will autodetect it in
any form either as weights.txt or however it is named) and put it in your Leela CUDA-folder.
6) Create the UCI-Engine in Fritz/Shredder.

Done.

7) I strongly recommend to change the UCI-settings of Leela CUDA to this:

Scale thinking time = 2.500000
FPU reduction = -0.068300
Cpuct MCTS = 3.168000

Why these values? Because FPU reduction and Cpuct were optimized with the CLOP-tool to these values.
And raising Scale thinking time to 2.5 makes Leela moving slower, which means a better use of the game-time.
In my testing, Leela plays definitly stronger with this settings.

By Wilfried Eilmes Date 2018-05-22 16:03

Hallo Stefan,

es ist höchste Zeit: Auch von mir herzlichen Dank für dein großes Engagement hier im Forum!

Nicht jeder hat die Zeit, sich mit den Dingen tiefer zu befassen, möchte aber trotzdem an den spannenden Entwicklungen teilhaben.
Mit deiner Hilfe ist das möglich und auch ich habe immer als stiller Genießer davon profitiert.
Das musste mal gesagt werden

Beste Grüße

Wilfried Eilmes

By Stefan Pohl Date 2018-05-22 16:11 Upvotes 1

Dann möchte ich mich bei allen Leuten bedanken, die so freundlich zu mir "danke" sagen. Das ist heutzutage nicht selbstverständlich. Das gilt auch für alle, die sich mit mir per Kontaktformular auf meiner Website in Verbindung setzen. Dort bekomme ich auch Fragen zu allen möglichen Computerschach-Problemen, von allen Kontinenten... Auch dort versuche ich zeitnah alles zu beantworten, sowohl auf Englisch, als auch auf Deutsch. Manchmal kann es natürlich mal etwas dauern, so ganz nebenbei gehe ich ja noch arbeiten. Im Schichtbetrieb.

Ich helfe generell immer gerne, wenn ich kann. Ich bin sicher nicht der weltgrößte Computerexperte. Aber, wenn ich bei mir etwas zum Laufen bekomme, womit andere Schwierigkeiten haben, dann ist es für mich selbstverständlich, das auch mit anderen Leuten zu teilen, indem ich dann solche kurzen Schritt-für-Schritt Anleitungen schreibe. Oder anderweitig Tipps gebe.

Grüße an alle freundlichen Menschen - Stefan (SPCC)

By Stefan Pohl Date 2018-05-24 13:03 Edited 2018-05-24 13:05

Lothar Jung schrieb:

Da du dich so intensiv für meine Tests interessierst: mein Testturnier mit Leela Cuda.9.2 (Net 322) (Bedenkzeit 12'+5“) gegen nun 10 Engines mit einem Eloschnitt von 3000 CEGT-Elo läuft nun seit knapp 2 Tagen (knapp 6 Tage werde ich noch brauchen, um auf 300 Partien zu kommen). Gespielt sind jetzt 80 Partien. Erfolgsscore von Leela Cuda bisher knapp 45%. Bedeutet z.Zt eine Eloperformance von 2965. Unglaublich... Natürlich nur ein sehr früher Zwischenstand. Auf jeden Fall war es richtig, die Gegner noch mal zu verstärken.
Zum Vergleich mein letzter Testrun der normalen GPU-Leela vom 5.Mai
lczero v0.8 (GPU) N 251 (size: 15x192)(date: 180505): 320 (+164,= 73,- 83)
62.7 % (opponent-Elo: 2524) Elo-performance: 2614

Das muß man sich auch mal klarmachen. In zweieinhalb Wochen klettert Leela von 2614 Elo auf irgendwas über 2900 Elo (vielleicht sogar 2950, mal abwarten). Natürlich ist jetzt mit der Cuda-Version ein erheblicher Geschwindigkeitsboost erfolgt. Aber andererseits war in diesen zweieinhalb Wochen auch der große Absturz bei den Elozahlen der Networks. Insofern kann man nur noch staunen...
De facto hat Leela wohl jetzt das Niveau der allerstärksten Menschen erreicht, wenn nicht sogar überschritten...und das auf meiner langweiligen mobilen Grafikkarte, die nun bestimmt keine Bäume ausreißt.

Stefan

By Lothar Jung Date 2018-05-24 15:26

Vielen Dank Stefan für Deinen Zwischenbericht!
Wirklich unglaublich die durchschnittliche Elo-Stärke von aktuell 2.965.
Das „unser“ Notebook mit noch stärkeren Netzwerken die 3.000-Elo-Grenze schaffen wird, hätte ich wirklich nicht gedacht.
Das hätte ich meinem Desktopcomputer mit einer 3 bis 4 x schnelleren 1080 GPU eher erwartet.
Da ich mich in Frankreich aufhalte, kann ich damit zur Zeit keine Tuniere durchführen.
Kommt habe bald.

Beste Grüße aus Frankreich

Lothar

By Tom Paul Date 2018-05-24 17:57

Lothar Jung schrieb:

Kann die Engine eigentlich vier 1080 ti GPUs oder mehr verwenden?
Oder bedarf es dazu nur eines Eingriffs in den Code?
Oder muss man Nvidia da um Support bitten, damit sie die Option freischalten?

By Lothar Jung Date 2018-05-24 19:07

Hallo Tom!

Die Verwendung von mehreren GPUs ist Gegenstand eines Treads im Google-LCZero-Forum:

https://groups.google.com/forum/m/#!topic/lczero/cM7gOoQ8ZLA

Mein MainBoard hat nur 2 PCI3- GPU-Slots.
Das dürfte unter Windows unter SLI klappen.
Vielleicht geht das unter Linux??
Dafür braucht man aber das passende Profiequitment als auch die entsprechende Kenntnisse.

Viele Grüße

Lothar

By Thomas Müller Date 2018-05-24 19:30

in welches Board (HW) kann man 4x GTX 1080ti verbauen?

By Guenter Stertenbrink Date 2018-05-25 04:42 Edited 2018-05-25 04:59

https://de.wikipedia.org/wiki/Mining_Rig

mit 6 1080ti bei ebay fuer $10000

Ich weiss aber nicht, ob LC0 darauf laeuft , sollte eigentlich
theoretisch gehen, mit den richtigen Treibern

Allerdings kann man zu dem Preis auch 6 Gamer-PCs mit 1080ti kaufen.

1080ti : 11Teraflops bei 240W , $900
Titan V , 110 Teraflops bei 240W(?) , $3000
DGX-2, 160kg , ab Juli 2018 , 2*8 Tesla V100 , 2 Petaflops , 10KW , $400000

By Thomas Müller Date 2018-06-01 19:41

habe jetzt doch mal selber gesucht...
https://www.asus.com/de/Motherboards/ROG-RAMPAGE-VI-EXTREME/
liegt so bei € 525.-

By Tom Paul Date 2018-06-01 19:51

Thomas Müller schrieb:

habe jetzt doch mal selber gesucht...
<a class='ura' href='https://www.asus.com/de/Motherboards/ROG-RAMPAGE-VI-EXTREME/'>https://www.asus.com/de/Motherboards/ROG-RAMPAGE-VI-EXTREME/</a>
liegt so bei € 525.-

Also wenn wir da 4x 1080 ti drauf packen, dann haben wir 40 kN/s!!!

By Stefan Pohl Date 2018-05-24 18:17

Lothar Jung schrieb:

Stimmt. Aber gerade bei Leelas schwankenden Leistungen sollte man ein “Ergebnis“ mit nur 80 Partien mit allergrößter Vorsicht geniessen. Aber ich liebe es, Leela bei diesem Turnier spielen zu sehen. Selbst aus einer totlangweiligen Stellung heraus kann es passieren, daß Leela einen unfaßbaren Angriff startet, der in 10-15 Zügen den Gegner vernichtet. Oder aber, es wird ein spektakulärer Selbstmord. Weiß man vorher nie. Oder Leela produziert in einer klaren Gewinn- oder Remisstellung einen ihrer taktischen Totalaussetzer. Jede Partie bleibt so bis zum Schluß spannend. Großartig.

By Michael Scheidl Date 2018-05-24 22:01

Ja, großartig wenn eine Engine so unverläßlich und zufallsgesteuert ist.

P.S. Kann man das Stockfish-Unterforum durch ein Leelaforum ersetzen (oder ergänzen)...?

By Olaf Jenkner Date 2018-05-24 22:28

Michael Scheidl schrieb:

Ja, großartig wenn eine Engine so unverläßlich und zufallsgesteuert ist.

Spielt eben wie ein Mensch. Vielleicht sitzt da ein kleiner Türke drin.

Aber im Ernst: Wenn ein Programm trotz schlimmer Fehler derart stark spielt, dann muß man eigentlich nur noch diese Fehler abstellen, um ein unschlagbares Programm zu haben.
Denkbar wäre eine Hybridversion, bei der ein klassisches Schachprogramm die taktischen Patzer einfach überstimmt und ansonsten Leela spielen läßt.

By Stefan Pohl Date 2018-05-25 11:19

Olaf Jenkner schrieb:

Michael Scheidl schrieb:

Ja, großartig wenn eine Engine so unverläßlich und zufallsgesteuert ist.

Das wäre auf jeden Fall denkbar, zumal ja Leela primär die GPU nutzt und daher jede Menge CPU-Rechenkapazitäten frei bleiben, die eine klassische Schachengine nutzen könnte. Und Leela (und Stockfish) sind ja beide OpenSource. Insofern hätte ein guter Programmierer auch den Zugriff auf alles, was er dazu bräuchte. Wäre sicher ein hochinteressanter Ansatz.

By Stefan Pohl Date 2018-05-25 11:43

Michael Scheidl schrieb:

Ja, großartig wenn eine Engine so unverläßlich und zufallsgesteuert ist.

Leela ist überhaupt nicht zufallsgesteuert. Das ist schlicht falsch. Die Stellungsbewertung per (emuliertem) Neuralnetz ist nur so langsam, daß eine echte AlphaBeta Baumsuche schlicht unmöglich ist. Daher der MCTS Ansatz. Und dieser ist hochselektiv. Und nicht zufallsgesteuert. Leela ist eine bionische Schachengine: hochselektives Vorausberechnen bewertet von einem lernenden Neuralnetz. Und wie das biologische Vorbild auch, produziert dieser Ansatz neben brillanten Partien auch mal schlimme Fehler.
Es hat auch nie jemand behauptet, daß Leela für Analysezwecke geeignet wäre. Wäre sie auch nicht. Dafür spielt sie menschlicher als alles, was je auf einem Computer lief. Im positiven aber eben auch negativen Sinne. Und ich finde das großartig. Und belebend für das zunehmend perfekt-sterile Computerschach von Stockfish, Komodo und Co.

By Lothar Jung Date 2018-05-25 11:17 Edited 2018-05-25 11:21

Hallo!

LCZero CUDA 336 (1060) spielt gegen Komodo 8 (3.137 IPON-Elo) ein 50 Partientunier mit langer Bedenkzeit.
Nach 4 Partien steht es 2,5:0,5 für LCZero, der noch keine Partie verloren hat.

https://www.twitch.tv/edosani

Grüße

Lothar

By Stefan Pohl Date 2018-05-25 11:34

Schick. Da schau ich mal rein. Komisch, daß Leela Cuda anscheinend in der ArenaGUI keine Infos ausgibt, während sie denkt. In der Fritz16 GUI tut sie das bei mir nämlich sehr wohl.
Aktueller Zwischenstand bei mir nach nun 123 Partien: gut 43% Erfolgsscore. Also eine Eloperformance von ca. 2950.

By Lothar Jung Date 2018-05-25 12:48 Edited 2018-05-25 13:05

So ähnlich sieht es im CCLS-Turnier aus, von 200 Spielen 119 gewonnen(Net 335).

Auf eher schwacher Hardware, ohne CUDA:

Current specs: AMD Ryzen 7 1700, 32 GB Ram, Sapphire Radeon R9 380 Nitro (GTX 1080 coming soon).

Die 24 gegnerischen Engines kommen im Durchschnitt auf 2.852 Elo.

Vertiefte Infos auf:

https://docs.google.com/spreadsheets/d/1xUO3-MDP5yMcaPzikJGgZ3K3K2ySZs_-fYA-FK4-Q1I/edit#gid=0

Grüße

Lothar

PS: Die Skeptiker und Kritiker sei gesagt, dass LC0 (mit CUDA und einer GTX 1070/1080) unter den ersten 10 Engines in der IPON-Rangliste einzuordnen ist. PCs mit einer entsprechenden Grafikkarte haben parallel zu ihren CPU-Engines eine starke GPU-Engine on Board. Über diesen unerwarteten Wertzuwachs würde ich mich freuen.

By Kurt Utzinger Date 2018-06-06 18:35

Stefan Pohl schrieb:

Hallo Stefan
Diese Feststellung trifft bei mir unter Arena 3.5 Build 2816 nicht zu.
Gruss
Kurt

By Lothar Jung Date 2018-06-06 22:46 Edited 2018-06-06 22:48

Bei mir auch nicht!
Ich konnte - nach den dankenswerten ausführlichen Erklärungen von Stefan - lc0 Cuda 9.2 - mit dem neusten Net auf meiner GTX 1080 schnell zum laufen bringen.
Das 10-Spiele- Tunier, Blitz 4 Minuten, unter Arena ohne Eröffnungen und TB gegen Andscacs ging 4:2:4 recht deutlich für Lc0 aus. Gut Andscacs spiele auf dem Ryzen 1800x nur mit einem Kern, aber mit zwei GTX 1080 (ti) wäre er in der derzeit laufenden tcec-Runde konkurrenzfähig.
Viele Grüße
Lothar

By Stefan Pohl Date 2018-06-07 06:53

Das glaub ich gerne. Die GTX 1080 ist ja auch eine schnelle Grafikkarte. Nach den CUDA-Benchmarks (https://browser.geekbench.com/cuda-benchmarks), etwa 5x schneller als meine einfache GTX 950m Notebook-GPU. Damit sollte Leela schon die 3100 Elo erreichen können. Mindestens.

By Lothar Jung Date 2018-06-10 16:49

Hallo Stefan!
Mit dem Netz vom 7.6.18 gewann Andscacs in einem 4-Minuten-Tunier keine Partei gegen Lc0.
Das Tunier endete 7:3 für Lc0.
Ein Tunier mit 4 Kernen für Andscacs läuft gerade.
Zur Zeit ist die Partie bei 1:1:2 ausgeglichen.
Wenn Du auf meiner GTX 1080 mal was testen möchtest, sag mir Bescheid.
Viele Grüße
Lothar

By Tom Paul Date 2018-06-10 19:18

Lothar Jung schrieb:

Und jetzt verdoppelst du die Kerne von Andscacs mehrere Male, so das du auf ~43 TCEC Kerne kommst.
Dann ist Andscacs ~ 150-200 ELO stärker als jetzt.
Bei LC0 halbierst du mehrere Male anstatt zu verdoppeln, so das du auf ~2,5 kN/s = TCEC Hardware kommst.
Dann ist LC0 ~ 100-150 ELO schwächer als jetzt.
Da gibt es aktuell überhaupt keine Chance für LC0 beim TCEC gegen Andscacs zu gewinnen.

By Peter Martan Date 2018-06-10 19:51 Edited 2018-06-10 19:55

Tom Paul schrieb:

Da gibt es aktuell überhaupt keine Chance für LC0 beim TCEC gegen Andscacs zu gewinnen.

Wenn es die nicht gibt, dann wegen solcher Schwächen:

Ich habe außer LC0 kein Schachprogramm mehr auf der Festplatte, das das 1.Ta5 nicht sofort spielt.

Ich habe nach wie vor nur die CPU- Version und das Netzwerk ist auch schon wieder eine Weile veraltet, aber was ist jetzt überhaupt aktuell, nachdem anscheinend von vorn angefangen wurde?

http://talkchess.com/forum3/viewtopic.php?p=765064#p765064

Nachdem hier

http://talkchess.com/forum3/viewtopic.php?p=765080#p765080

noch niemand entrüstet LC0- Output gepostet hat, dass Leela das mittlerweile locker schafft, gehe ich mal davon aus, es hakt da immer noch.
Ist das so, oder irre ich mich?

By Peter Martan Date 2018-06-10 22:29 Edited 2018-06-10 22:54

Zitat:

Nachdem hier

http://talkchess.com/forum3/viewtopic.php?p=765080#p765080

noch niemand entrüstet LC0- Output gepostet hat, dass Leela das mittlerweile locker schafft, gehe ich mal davon aus, es hakt da immer noch.
Ist das so, oder irre ich mich?

Scheint mit der richtigen Hardware- Softwarekombi jetzt doch schon zu klappen:

http://talkchess.com/forum3/viewtopic.php?p=765107#p765107

Ob ID 25 (TEST) diejenige Version ist, die man jetzt runterladen soll, hab' ich dort mal noch nachgefragt. Weil Computer- Elo hat's ja, glaube ich, schon noch ein bisschen weniger, als es früher mit höher nummerierten Netzwerken maximal bereits zu geben schien, oder?

By Lothar Jung Date 2018-06-11 19:36

Leela erreicht unter Cuda 9.2 auf einer GTX 1080 3200 Elo!
In einem 10-Minuten-Tunier (10 Partien) schlug Leela knapp Andscacs (4 Kerne auf Ryzen 1800x) mit 3:2:5.
Eine Einschätzung von Leela in einem TCEC-Tunier gegen Andscacs ist schwer möglich.
Dazu müsste man Leela vielleicht mit zwei GTX 1080(ti) fahren.
Wie CPU-Multi-Tread gegen GPUs skalieren wäre zu untersuchen, zumal völlig andere Ansätze verwendet werden - Algorithmenparallelverarbeitung versus Neuronales Netzwerk (MI/KI).

Viele Grüße

Lothar

By Wolfgang Battig Date 2018-06-11 20:10

Echt jetzt?
Du machst eine Aussage zur Spielstärke mit Ausrufezeichen (du bist dir also scheinbar sicher!) auf der Basis von 2 x 10, in Worten: 2 x ZEHN Partien gegen einen einzigen Gegner, die 5,5:4,5 bzw. 6:4 für die eine Seite ausgingen? Respekt!!!!!

http://www.cegt.net/40_4_Ratinglist/40_4_single/668.html
Langsamere Grafik, älteres NW (vor CUDA), aber auch deutlich langsamere PCs für die Gegner im Vergleich zum Ryzen.

600 Partien (VIEL zu wenig), ich würde mir trotzdem keine Spielstärkeeinschätzung anmaßen, schon gar nicht mit "!"
Selbst bei der Partienzahl ist das gerade mal eine Tendenz.

By Lothar Jung Date 2018-06-11 20:23

Du hast natürlich recht!
Vorsichtige Tendenz unter spezifischer Hardware.

Zur Leistungseinschätzung der Skalierung von GPUs siehe
https://docs.google.com/spreadsheets/d/1lGFf6PLGmBUSMan-YP7Vul4DpRNfn6K8oeCjBILe6uA/edit#gid=0

Lothar

By Lothar Jung Date 2018-06-12 09:48

Hallo Wolfgang,
nur zur Info:

https://groups.google.com/forum/m/#!topic/lczero/zhHbs7Fc_Ak

Grüße
Lothar

By Wolfgang Battig Date 2018-06-12 10:44

Wobei man bedenken sollte, dass die CCRL-Zahlen unrealistisch hoch sind. Ich finde unsere CEGT-Zahlen schon grenzwertig, die von CCRL sind nochmal ca. 150 Punkte höher. Natürlich sind die Engines dort nicht "besser" sondern CCRL nutzt halt einen höheren Startwert. Das sollte man berücksichtigen bevor die Jubelstürme losgehen...

Die reinen Zahlen sind eh völlig wurscht. Entscheidend sind die Abstände.
Wenn jemand sagt, "Engine X hat 3200 ELO/CELO", kann ich damit nichts anfangen. 3200 wo? CCRL, CEGT, IPON, SPCC?
Schreibt man aber z.B.: "Engine X ist ca. 50 Punkte besser als Critter 1.6", dann ist das eine Hausnummer, mit der man arbeiten kann... Sofern eine halbwegs vernünftige Partienzahl vorliegt.

By Axel Caro Date 2018-05-21 21:15

Danke Stefan,

für mich vollumfänglich erhellend!