Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Einführungs-Info zu BT2
1 2 Previous Next  
- - By Lothar Jung Date 2023-01-15 14:05 Upvotes 2
Big transformer 2. SL-trained network based on the transformer (https://arxiv.org/abs/1706.03762) and smolgen (https://github.com/Ergodice/lczero-training/blob/attention-net-body/README.md). Better than T78/T80 and currently playing in CCC 1|1 Bullet and TCEC Cup.. It is much stronger at identical node counts (~110 elo vs T78 at one node) and effectively does less computation but suffers from high latency because of layer normalizations/high memory usage.

Latest net download (BT2-3.25m): https://discord.com/channels/425419482568196106/430695662108278784/1058300389558079558
Dag-master-pr1821 (1821 pr needed to run, dag technically isn't, but is overall a strength boost too): https://ci.appveyor.com/project/borg323/lc0/branch/dag-master-pr1821

Detailed network information: 82 million params, ~5 billion multiply-adds per network evaluation, 15 layers with embedding size 768, ffn size 1024, and 12 heads per layer. Uses smolgen, square relu activation function, and deepnet initialization (https://arxiv.org/pdf/2203.00555.pdf)

Attention heads have been observed specializing in the movement types of every piece, detecting whether the opponent has castled, and communicating information between rooks.

https://arxiv.org/abs/1706.03762
Parent - - By Walter Eigenmann Date 2023-01-16 17:28
Bis jetzt hat mir leider noch niemand erklären können, wie ich auf meiner "AMD-Radeon RX6900XT" diese BT2-Netze zum Laufen kriege.
Die 78er- und 79er- und 80er-Netze klappen (mittels der Lc0-Version onnx-dml): https://lczero.org/play/download/
Aber jedes BT2-Netz produziert auf meinem Ryzen9 sofort eine Fehlermeldung.
Vielleicht weiss hier jemand die richtigen Downloads - Lc0-Version? und "DirectML.dll"? - und das richtige Setting?

Dank und Gruss: Walter

.
Parent - - By Lothar Jung Date 2023-01-16 17:36 Edited 2023-01-16 17:51 Upvotes 1
Erstmal dieser Link:

https://github.com/LeelaChessZero/lc0/releases/download/v0.29.0-rc0/lc0-v0.29.0-rc0-windows10-gpu-dx12.zip

Ich habe keine DX GPU.

Probiermal diese binary:

https://ci.appveyor.com/project/borg323/lc0/branch/dag-master-pr1821/job/sed6qu6is8ao1dj7/artifacts

Und hier das:

I've got the right arch: ```george@GEORGE85D1 MINGW32 ~/Downloads/onnx
$ file *.dll *.exe
DirectML.dll:    PE32+ executable (DLL) (console) Aarch64, for MS Windows
onnxruntime.dll: PE32+ executable (DLL) (console) Aarch64, for MS Windows
lc0.exe:         PE32+ executable (console) Aarch64, for MS Windows```

Oder besser das:

Can you try this binary? You will also need the arm64 onnxruntime.dll from <https://github.com/microsoft/onnxruntime/releases/download/v1.13.1/Microsoft.AI.MachineLearning.1.13.1.zip> and directml.dll from <https://www.nuget.org/api/v2/package/Microsoft.AI.DirectML/1.10.0> (which you can rename to .zip to use) and hopefully nothing more.
Parent - - By Walter Eigenmann Date 2023-01-16 18:07
Also dx12 anstatt onnx ?
Probiere ich aus und berichte.

.
Parent - - By Lothar Jung Date 2023-01-16 18:15
Weiß ich nicht und kann es auf meinen Rechner nicht prüfen.
Keine AMD GPUs.
Auf deinem neuen Notebook mit einer 3060 GPU läuft alles einwandfrei.
Parent - - By Walter Eigenmann Date 2023-01-16 22:51
Hier alles Mögliche und Unmögliche ausprobiert - leider Fehlanzeige.
Auf meinem Zweitrechner mit einer RTX-2080 laufen die BT2-Netze anstandslos.
Sehr bedauerlich, dass LeelaChess so Nvidia-lastig ist.

Dank und Gruss

.
Parent - - By Max Siegfried Date 2023-01-17 01:13
Walter Eigenmann schrieb:

Hier alles Mögliche und Unmögliche ausprobiert - leider Fehlanzeige.
Auf meinem Zweitrechner mit einer RTX-2080 laufen die BT2-Netze anstandslos.
Sehr bedauerlich, dass LeelaChess so Nvidia-lastig ist.

Dank und Gruss

.


Auf meiner MacBook Pro M1 MAX GPU mit 32 Kernen läuft LC0 ohne Probleme.
Parent - - By Walter Eigenmann Date 2023-01-17 02:25 Upvotes 6
Merci vielmals, das hilft doch sehr weiter, gleich morgen geh' ich mir so ein MacBook kaufen.

.
Parent - By Detlef Uter Date 2023-01-17 10:39 Upvotes 2
Ach Gotchen nee-
der Maxe laesst das Mausen - aeh - (ver)aeppeln nich!   
Parent - By Walter Eigenmann Date 2023-01-20 16:33 Upvotes 3
.

Oh, sechs Möglichkeiten habe ich zum Einkaufen!?! Ob ich mir gleich sechs verschiedene MacBooks zulege, was meinst du, würde das reichen?

.
Parent - - By Lothar Jung Date 2023-01-17 08:41 Edited 2023-01-17 08:52
Aktuelle Antworten auf Discord/help: kannst auch selber nachschauen!

onnx-dml on windows is probably the recommendation, if you can find someone to explain how

but that requires extra setup

```
To run this version you will most likely need a very recent DirectML dll.
You can download the currently latest nuget installer package from
<https://www.nuget.org/api/v2/package/Microsoft.AI.DirectML/1.10.0>.
If you don't know how to use nuget installer packages, you can change the
extension to .zip and open it as a normal zip file, the dll you need is
`/bin/x64-win/DirectML.dll`.```

you need this, plus the onnxruntime dll from the 0.29.0 onnx-dml release

will check back when I get up, so if anything doesn't work, will try to figure that out

and pr 1806? https://ci.appveyor.com/project/LeelaChessZero/lc0/builds/45940195/job/1qdui23kv66g7jq7/artifacts
Parent - By Walter Eigenmann Date 2023-01-17 09:29 Edited 2023-01-17 09:34
Wie gesagt, ich habe hier schon alles probiert, natürlich auch die betr. Dll's - Fehlanzeige.
Ausnahmsweise scheint diesmal das Problem nicht vor dem Bildschirm zu sitzen 

Bin gespannt, ob Discord-Vordenker Borg & Co. das irgendwann mal hinkriegen für die AMD-Radeon's.
Man hat halt von Anfang an praktisch exklusiv auf Nvidia gesetzt, doch damit schliesst man
einen grossen Teil der User von der neuesten Lc0-Netz-Entwicklung aus.
Jedenfalls ist meine RX 6900XT ein kräftiges Teil, das keinen Vergleich mit den neuen RTX's scheut...
https://www.computerbase.de/thema/grafikkarte/rangliste/#abschnitt_benchmarks_in_spielen_exkl_nextgen

.
Parent - - By Peter Martan Date 2023-01-17 10:12 Edited 2023-01-17 10:20
Hör mir bitte auf mit dem sch... önen discord.

Gestern mal wieder eine Weile probiert, den download- link zu dem Netz, dass es anscheinend nur dort zum Runterladen gibt, den du gepostet hast, aufzumachen.

https://discord.com/channels/425419482568196106/430695662108278784/1058300389558079558

Man versucht sich mit Emailadresse und Passwort einzuloggen, weil's wieder ein Woche her ist, dass man das das letzte Mal gemacht hat:
"checken Sie ihren Maileingang"
"Verifizierungslink" landet im Spamfilter, bis man ihn aus dem rausgefischt hat (übers Webmail, weil ja nicht auf den PC durchgelassen) ist der Link abgelaufen.
Neuerlich Link schicken lassen, im Webmail lauern, einloggen,
Link aus deinem Posting, siehe oben, neuerlich klicken
"Sie sind an einem seltsamen Ort"

Ich hab' von diesem Server, der drauf besteht, dass man eingeloggt bleibt und oder alle Kanäle abonniert hat, die's überhaupt gibt und oder die discord- App installiert, die Nase schon länger ziemlich voll
Parent - - By Lothar Jung Date 2023-01-17 11:07 Edited 2023-01-17 11:35
you can also try this script from PR1832, in the same directory, to get the directml.dll: <https://raw.githubusercontent.com/LeelaChessZero/lc0/af3c8273915b7632ab2a8448d26b6e899fba29e4/dist/install-dml.cmd>

@echo off
where /q tar
if errorlevel 1 goto error

cls
echo Installing the DirectML.dll version required by the Lc0 onnx-dml backend.
curl -# --ssl-no-revoke -o tmp_directml.zip https://globalcdn.nuget.org/packages/microsoft.ai.directml.1.10.0.nupkg"
if errorlevel 1 goto error

tar -xzOf tmp_directml.zip bin/x64-win/DirectML.dll >DirectML.dll
if errorlevel 1 goto error

del /q tmp_directml.zip
echo Installation successful.
pause
exit /b

:error
cls
echo Installation failed - see the README for an alternative approach.
pause

Kann sein das jetzt zwei Einwohner im Alpengebiet aus dem Fenster springen.

Zur Beruhigung:

https://www.youtube.com/watch?v=s900eis0n5Q

https://youtu.be/if44Tn8yysI

Und Vorsicht mit dem Internet:

https://www.heise.de/hintergrund/Roomba-Wie-private-Fotos-eines-Staubsauger-Roboters-auf-Facebook-landen-koennen-7457283.html

Lothar aus den Rheinland
Parent - By Peter Martan Date 2023-01-17 11:55
Lothar aus dem Rheinland, ich brauch keine Scripts und ich brauch eigentlich auch keine neuen Netze, die spätestens nach dem laufenden CCC- Turnier sowieso wieder alt auschauen, der Download- Link zum neuen super-über-drüber-Netz, den du gestern gesetzt hast, ich hab ihn in dem Posting, auf das du gerade geantwortet hast, noch einmal zitiert, geht nicht, wenn man nicht ein prominenter, namentlich allen dort Prominenten bekannter discord- Dauerchatter ist.
(Am Einloggen scheitert's nicht, ich kann mich auf discord einloggen, auch wenn's jedesmal wieder just a pain in the ass is.

Oder es stimmt sonstwas nicht mit dem Link oder mit mir oder mit beiden, aber vergiss dieses Netz, wie gesagt, es verliert eh selbst für Bullet zu hoch, als dass es sich im STC- Stellungstest besser bewähren würde als das BT2, das ich schon getestet habe.
Parent - - By Walter Eigenmann Date 2023-01-17 12:02 Edited 2023-01-17 12:07
User-Freundlichkeit (bei den Leela-Machern) hieße: 1 Zip-File, das alles enthält.
Für Nvidia geht's ja auch - aber nicht für Radeon.

Trotzdem Dank für deine Links und die Zitate.

Gruss: Walter

.
Parent - By Peter Martan Date 2023-01-17 12:12 Edited 2023-01-17 12:29
Walter Eigenmann schrieb:

User-Freundlichkeit (bei den Leela-Machern) hieße:

dass sie sich untereinander auf eine best version in Kombination mit einem best net  einigten, dazu müssten sie aber zuerst selber wissen, bei welche Kombination das wäre

Im Ernst, zumindest das würde ich mir von Sachen erwarten, die dann die User testen sollen dürfen können müssen, alle anderen Versuche und Tests von einzelnen Netzen und einzelnen Versionen sollten erstmal intern allein so lange gestestet werden, bis von ihnen wenigstens schon feststeht, dass sie keine echte Verschlimmbesserung darstellen.
Und ja, natürlich zählen da auch solche Turniere wie die auf CCC oder TCEC dazu, aber da überlegt man sich ja (hoffentlich) auch von Seiten "der Entwickler" zunächst ein bisschen intern, was man wählt und miteinander kombiniert.
Mir ist der LC0- Laden diesbezüglich einfach zu inhomogen, Lothar spricht gern von beweglichen Zielen in der "AI", aber so, dass alle, die sich bewegen, aufeinander gegenseitig schießen, bis sich nichts mehr rührt, ist das glaube ich normalerweise nicht gemeint
Parent - - By Lothar Jung Date 2023-01-17 12:25
Dieser Blog enthält alles wesentliche:

https://lczero.org/play/quickstart/
Parent - - By Peter Martan Date 2023-01-17 12:37
Dacht' ich bisher auch, da steht aber nirgends was von BT2- Netzen und x verschiedenen 0.30- dag Versionen.
Parent - - By Lothar Jung Date 2023-01-17 12:42
Da musst Du Discord verfolgen oder mich fragen.

0.30-dag und BT2-Netz sind keine offiziellen Release und werden getestet.

Zu beiden habe ich viel geschrieben.

Ich bin nicht Jesus und mir wächst kein Efeu aus der Tasche.

Lothar
Parent - By Peter Martan Date 2023-01-17 12:57 Edited 2023-01-17 13:00
Dir sollten nicht einmals Links aus der Tasche wachsen, die nicht funktionieren.

Alles ist gut, Lothar aus dem Rheinland, wir sind uns ja darüber einigen, dass man nur Sachen selber testen soll, von denen man triftige Gründe hat, wenigstens inform von halbwegs schlüssigen Testergebnissen der Entwickler, erst recht nicht, wenn aus einem Alpenland stammt.
Parent - - By Walter Eigenmann Date 2023-01-18 09:58 Upvotes 1
.

Halleluja, User "Dio" vom Discord-Forum konnte inzwischen "göttlich" helfen mit einem neuen Compile.
Nun mischt bei mir auch die Radeon RX6900xt mit ihren BT2-Netzen kräftig mit.

Natürlich musste ich BT2 gleich auf ein paar Stellungen loslassen.
Beispielsweise wird das Folgende in jeweils 0,x Sekunden geknackt:

DAMENOPFER aus Gulko-VanWely (Groningen 1994)

Sfxe4!

_____________________________________________________

FLANKENANGRIFF aus Hebels-Kribben (Corr-Game 2004)

h5!

_____________________________________________________

LÄUFERTAUSCH aus LeelaChess-Stockfish (Comp-Game 2021)

Txf2!

_____________________________________________________

ENDSPIEL T/L/S vs L/B (G.Sonntag 2016)

Tc1!

u.v.a.

Beeindruckend, meine ich.

.
Parent - - By Lothar Jung Date 2023-01-18 10:06 Upvotes 1
Du wirst dich auch noch in Leela verlieben.

Lothar
Parent - - By Walter Eigenmann Date 2023-01-18 10:16 Upvotes 1
Oh, ich war ein Leela-Fan schon der ersten Stunde - und ich bin auch nicht der Meinung,
dass Stockfish "das beste Programm" ist, nur weil es ein paar Partien mehr gewinnt als alle anderen...

.
Parent - By Lothar Jung Date 2023-01-18 10:19 Upvotes 1
BT2 mit Netz hat ein saugute Policy.
Löst sehr viel in ein paar Sekunden oder sofort.
Parent - - By Peter Martan Date 2023-01-16 18:28 Edited 2023-01-16 18:30
Das compile vom Link gibt nach dem Download an, vom 29. 12.22 zu sein und läuft wenigstens auch mal wieder mit dem 807263- Netz, was das vorletze für BT2 gedachte compile nicht tat.
Jetzt hab ich es mal damit (d30dag-1821 ohne Netzangabe im Namen, damit er nicht zu lang wird) und dann mit meinem letzten BT2- Netz laufen lassen und wenn du dann den Link zu Discord auch außerhalb von Disord nutzbar machen kannst, dann das auch noch, sonst ist's mir erstmal genug, ein neues Compile zu testen, neue Netze kommen sowieso dauernd nach. Auf CCC macht's gegen Dragon ja nicht gerade Furore, aber vielleicht ist der ja auch wieder besser geworden.

Parent - By Lothar Jung Date 2023-01-16 18:36 Edited 2023-01-16 18:51
Das das derzeit schlechte Abschneiden von Leela liegt an den kurzen Bedenkzeiten von 1/1.
Parent - - By Lothar Jung Date 2023-01-19 18:02
Dies könnte die Performance deiner 3070ti erhöhen:

You can try variations of `--backend-opts=multi_stream=true,threads=2,cache_opts=true`. Note that `cache_opt` is new, not available in the v0.29.0 release.

Lothar
Parent - - By Peter Martan Date 2023-01-19 18:12 Edited 2023-01-19 18:16
Bei dieser Version
v0.30.0-dag+git.77382b9c built Dec 29 2022
nämlich dem cuda- compile davon habe ich in den UCI- options nur das hier

option name BackendOptions type string default

Kann man das in dieser Syntax, die du zitierst, in die Zeile der BackendOptions im GUIeintragen?
Parent - - By Lothar Jung Date 2023-01-19 18:13 Edited 2023-01-19 18:16
Genau so.
GUI weiß ich nicht. Optionen laufen nur mit 8 GB VRAM.
Parent - By Peter Martan Date 2023-01-19 18:21
setoption name BackendOptions value multi_stream=true
scheint in der Konsole zu klappen, die anderen Befehle halt entsprechend extra probieren, 8G VRAM hat meine 3070ti, glaube ich, schon.
Muss für heute aber wahrscheinlich eh Schluss machen, morgen vielleicht weiter probieren.
Parent - By Max Siegfried Date 2023-01-19 20:35
Lothar Jung schrieb:

Genau so.
GUI weiß ich nicht. Optionen laufen nur mit 8 GB VRAM.


Nur gut das ich 64 GB VRAM habe.
Parent - - By Peter Martan Date 2023-01-19 19:47
Lothar Jung schrieb:

Note that `cache_opt` is new, not available in the v0.29.0 release.

In meinem Compile
v0.30.0-dag+git.77382b9c built Dec 29 2022
aber offenbar auch nicht, hab' ein paar Versuche mit Konsolen- Befehlen gemacht, die unter den UCI- Optionen nicht gelistet sind, das klappt aber nicht.
Schon wieder ein neues Compile mag ich eigentlich nicht gleich wieder runterladen.
Parent - - By Lothar Jung Date 2023-01-22 17:32
Neueste BT2 Version:

https://ci.appveyor.com/project/borg323/lc0/branch/dag-master-pr1821

Mit multi stream gefixt.

Lothar
Parent - By Peter Martan Date 2023-01-22 20:35 Edited 2023-01-22 21:02
Eigentlich müsste ich die Liste neu anfangen, weil ich eine Stellung ausgetauscht habe (siehe im anderen Thread), aber einen soo großen Unterschied macht's ja bei 999 vielleicht eh nicht
Neuer Download- Link, der alte funktioniert nicht mehr:

https://www.dropbox.com/s/8ket86z8mddzw4k/999.epd?dl=0

  EPD  : 999.epd
  Time : 200-500 ms
                                                   Max    Total  Time    Hash         
    Engine              Score   Found  Pos   ELO  Score   Rate    ms     Mb  Cpu     
1  SF230114             9700    868   999  3901  11184  86.7%    200     8    8
2  ShashChess27.2       9693    859   999  3901  11184  86.7%    200    32    8
3  ShashChess27.1GD     9634    859   999  3874  11184  86.1%    200     8    8
4  lc030dag-BT2-325M    9503    838   999  3825  11184  85.0%    500     2    2
5  lc0a24e47f1-BT2-325M 9474    836   999  3811  11184  84.7%    500     2    2
6  Dragon3.2            9430    839   999  3793  11184  84.3%    200     8    8
7  Koivisto9            8113    749   999  3262  11184  72.5%    200    16    8
8  Koivisto8.16         7999    751   999  3217  11184  71.5%    200     8    8
9  Berserk10            7951    741   999  3199  11184  71.1%    200     8    8
10 Ethereal13.75        7657    718   999  3082  11184  68.5%    200    16    8


Nr.4= v0.30.0-dag+git.77382b9c
Nr.5= v0.30.0-dag+git.a24e47f1 (die neue von deinem Link)
Bei beiden war's wieder das BT2 325M- Netz, die dag-Version, die zu vorletzt etwas weniger gut abgeschnitten hat, ist nur noch als Ergebnis- Zeile gespeichert und hier nicht mehr gelistet.
Parent - - By Peter Martan Date 2023-01-23 08:10 Edited 2023-01-23 08:47
Und dann hab' ich mir mal wieder den Versuch gegönnt, zwei so eng beisammen liegende Versionen mit game playing zu unterscheiden und hab' die vorletzte und die letzte über Nacht gegeneinander ausspielen lassen auf der 3070ti- GPU mit
15"+0.25, UHO 6mvs mit 110-119 Eval- Range:

Score of lc0-231701 vs lc0-221229: 108 - 112 - 380  [0.497] 600
Elo difference: -2.3 +/- 16.8, LOS: 39.4 %, DrawRatio: 63.3 %

Was im Posting oben mit den Versionsnummern der Compiles bezeichnet ist, heißt hier nach dem Erscheinungsdatum.
Also unter 2000 Partien sehe ich da nicht viel Licht am Horizont, aus der error bar raus zu kommen, sehr viel schneller geht das, wenn man gegen SF spielen lässt, da hatte ich ohnehin schon aus dem anderen Thread zum Thema cutechess cli und Pondern ein Match mit der vorletzten Version, dazu jetzt noch ein Vergleichsmatch mit der neuen, beide SF- Matches waren mit ponder on, was die TC vielleicht ein bisschen in der Kürze abmildert, sonst in allen Bedingungen gleich dem direkten Match, SF hatte 8 threads der 16x3.5GHz CPU:

Score of lc0-231701 vs SF230114: 7 - 35 - 58  [0.360] 100
Elo difference: -100.0 +/- 43.4, LOS: 0.0 %, DrawRatio: 58.0 %

Score of lc0-221229 vs SF230114: 9 - 38 - 58  [0.362] 105
Elo difference: -98.5 +/- 44.1, LOS: 0.0 %, DrawRatio: 55.2 %

Vermutlich ziemlich zufällig (nämlich übertragen auf die nächsten Netze oder Versionen kann man's natürlich nicht, ohne es neu auszuspielen, man müsste jedenfalls auch wieder genau dieselben Bedinungen und dieselbe SF- Version nehmen) kommt man auf ähnliche 2 Elo Regression, nun könnte man bei genau diesem Match auf genau dieser Hardware- TC eine Korellation zu genau dem Stellungstest mit den 999 für genau diese Engine festmachen, mit dem schnell abzuwickelnden Match gegen SF kann man's ja hin und wieder überprüfen, so lange man sich auf genau diesen Stellungstest für genau diese Engine doch noch nicht allein verlassen will. Würde ich aber, wenn du weiter so viele neue Versionen und oder Netze bringst, immer zunächst mal ruhig machen, und nur diejenigen ev. noch im VSTC- Match gegen SF überprüfen, bei denen deutliche Fortschritte im Stellungstest zu sehen sind.
Und wie gesagt, fürs Ranking mag das dann reichen, weil ja erstens das Verhältnis zu SF ohnehin dasjenige ist, das am meisten interessiert und es ist am leichtesten aus der error- bar zu bekommen, wenn die TC (fast) beliebig kurz sein kann. Die Alterntive wäre eine andere x-beliebige viel schwächere Engine, die müsste die Diskrimination noch besser spreizen, aber was hat man davon, wenn man weiß, um wieviel besser LC0 in einer neuen Version in einem bestimmten VSTC- Match gegen z.B. eine alte komodo- Version abschneidet (weil schon frei erhältlich und doch noch irgendwie im Nahbereich der Spielstärke)?
Elo- Abstände aus dem SF- Match mit irgendwie anderer Hardware- TC sind allein schon mit anderen Eröffnungen natürlich vermutlich auch schon wieder ganz andere, aber wie gesagt, es käme ja nur auf ein bestimmtes einzelnes Vergleichsmatch und nur auf die LOS an, nicht auf irgendein anderes irgendwie übertragbares Rating.
Parent - - By Lothar Jung Date 2023-01-23 10:19 Edited 2023-01-23 10:24
Hallo Peter,
ist BT2 mit multi stream gelaufen.
Ist schneller, da GPU mit 8 GB doppelt das Netz lädt.

You can try variations of --backend-opts=multi_stream=true,threads=2,cache_opts=true. Note that cache_opt is new, not available in the v0.29.0 release.

Lothar
Parent - - By Peter Martan Date 2023-01-23 10:33 Edited 2023-01-23 10:40
No parameter settings except default ones, just compiles and nets.
Anything else up to your own tests


BTW
Zitat:
Note that cache_opt is new, not available in the v0.29.0 release.

Note that cache_opt isn't available in
v0.30.0-dag+git.a24e47f1 built Jan 17 2023
neither, at least not as an uci- option.
Parent - - By Lothar Jung Date 2023-01-23 10:39
Nur so, zum testen?!
Parent - By Peter Martan Date 2023-01-23 10:45 Edited 2023-01-23 11:03
Ja, mach' nur, wie ich eben noch editierte, kann ich zwar das multistream als UCI- Option eingeben, ob sich die Engine dann drum kümmert, weiß ich aber auch nicht, und das cache_opt gibt's nach wie vor auch in dem Compile, das ich jetzt gerade auf deinen Vorschlag hin getestet hab', nicht (als UCI- Option).
Ich gehe wie immer davon aus, dass die Entwickler wenigstens in den Compiles diejengine Parameter optimal einstellen, von denen sie meinen, dass sie die besten für die jeweilige Version sind.
Wenn du jetzt zusätzlich zu den ungetesteten Compiles und ungetesteten Netzen auch noch für jede einzelne solche Kombination einen einzelnen Parameter testen willst, musst du das schon selbst machen, Lothar, ansonsten, wenn's nicht ein und derselbe Test für jede einzelne Änderung ist, kann nicht einmal ein und derselbe Test Aufschluss darüber geben, woran ein Fortschritt oder eine Regression liegt, ob an der Version, am Netz oder am einzelnen Parameter oder an der einen oder anderen Kombination daraus.

Edit, edit: das mit SF schon zitierte Match kannst du übrigens mit ähnlicher Hardware wie meiner auch mit Dragon 3.2 machen, um mit 100 Spielen aus der error bar zu kommen. Damit hier die Diskrimination auch schnell genug groß genug wird, würde ich ohne Pondern spielen lassen und auch mit 15"+0.25, Dragon auch so wie SF 8 threads der Ryzen 5950- CPU und LC0 mit der 3070ti Nvidia:

Score of Dragon3.2 vs lc0-221229: 34 - 15 - 51  [0.595] 100
Elo difference: 66.8 +/- 47.9, LOS: 99.7 %, DrawRatio: 51.0 %
Parent - - By Peter Martan Date 2023-01-23 12:36
Nur so zum Testen hab' ich jetzt die neuere Version auch noch gegen Dragon wie im Posting drüber
Zitat:
Score of Dragon3.2 vs lc0-221229: 34 - 15 - 51  [0.595] 100
Elo difference: 66.8 +/- 47.9, LOS: 99.7 %, DrawRatio: 51.0 %

laufen lassen, und gut, dass ich es getan habe, weil da schneidet diese besser ab als die vorige :

Score of Dragon3.2 vs lc0-230117: 19 - 16 - 65  [0.515] 100
Elo difference: 10.4 +/- 40.4, LOS: 69.4 %, DrawRatio: 65.0 %

Sodass man es sich aussuchen kann, ob man dem Match gegen SF oder dem gegen Dragon mehr Beachtung schenken will

Nein, im Ernst ist hier bereits wieder die error bar soviel größer als der Abstand, dass da zuviel Zufall drin steckt. Und dem anderen Einzelmatch gegen Dragon kann man zwar in sich halbwegs vertrauen, aber die TC begünstigt Dragon halt offenbar doch auch stark, und vergleichen kann man die beiden dann halt jedenfalls nicht als indirektenTest für LC0, Das direkte Match war überhaupt selbst nach 600 Partien noch völlig unentschieden im Verhältnis zur Irrtumswahrscheinlichkeit, bleibt außer dem Stellungstest und um den zu eichen, nur das SF- Match mit VSTC.
Parent - - By Lothar Jung Date 2023-01-23 13:07
Peter,

das Abschneiden von Lc0 (neue Version) mit multi_streaming ist doch gegen Dragon deutlich besser.
Die Option läuft bei mir nicht, da meine GPU nur 6 GB hat.
Da die Option bei allen 8 GB VRAM läuft, würde ich das als default ansehen.
Auch deshalb, da in allen Turniere Lc0 diese Option anwendet.

Lothar
Parent - - By Peter Martan Date 2023-01-23 13:35 Edited 2023-01-23 14:33
Wenn's default ist, dann bei beiden von mir zuletzt getesten Versionen, Lothar, und dann muss ich's ja auch für keine von beiden eigens einstellen und gegentesten, weil ich's dann schon bei beiden mitgetestet habe.
Das ist genau das, was ich meine, nicht bei einer Version einen Parameter ändern und bei der anderen nicht, es sei denn, man lässt mit beiden Versionen dann noch je einen Gegenversuch laufen.
Bleiben wir einfach immer bei default und hoffen darauf, dass die Entwickler die Parameter, die default in den Compiles eingestellt sind, schon so weit vorgestet haben, dass sie sich für ein best setting im fertigen download entschieden haben (in einem überhaupt testbaren Bereich, das ist der ganze Witz an der Sache, es kann durchaus sein, dass auch im SF- Framework schon vieles nicht im Code behalten wurde, weil es einfach nicht die notwendigen Seflplay- Elo zusammengebracht hat, ja Pech für so einen Patch dann eben.)

Edit: mit MEA ist's mir ja kein Problem, eng-eng-match lass ich deshalb nicht nocheinmal eins laufen. Mit dieser Syntax
Code:
--eoption "backendoptions=multistream" --eoption "backendoptions=cacheopt" --log

hat's jedenfalls keine Fehlermeldung gegeben, genützt hat's aber was das Ergebnis angeht, auch nichts.

    EPD  : 999.epd
    Time : ms 200-500
                                                Max   Total   Time   Hash         
    Engine              Score   Found  Pos   ELO  Score   Rate    ms     Mb  Cpu     
1  SF230114             9700    868   999  3901  11184  86.7%    200     8    8
2  ShashChess27.2       9693    859   999  3901  11184  86.7%    200    32    8
3  lc0221229-325M       9503    838   999  3825  11184  85.0%    500     2    2
4  lc0a24e47f1-default  9474    836   999  3811  11184  84.7%    500     2    2
5  lc0a24e47f1-BT2-325M 9456    836   999  3802  11184  84.5%    500     2    2
6  Dragon3.2            9430    839   999  3793  11184  84.3%    200     8    8
7  Koivisto9            8113    749   999  3262  11184  72.5%    200    16    8
8  Berserk10            7951    741   999  3199  11184  71.1%    200     8    8
9  Ethereal13.75        7657    718   999  3082  11184  68.5%    200    16    8


Die Nr.4 und 5 sind beide dieselben jüngsten Compiles, das jetzt default benannte war schon gelaufen und das auf 5 hat jetzt die e-options wie zitiert dazu bekommen.
Wenn ich mir den Output der jüngsten Version nach den entsprechenden gleichen UCI- commands anschaue und mit dem Output von default vergleiche, sehe ich auch kaum Unterschiede in der time to depth (genau gleich gibt's bei LC0 nicht), also entweder sind das keine gültigen UCI- commands (da würden LC0 in der Konsole gestartet aber vermutlich meckern) oder sie sind ohnehin auch schon die default- Einstellungen, dann kannst du den zusätzlichen Befehl geben, so oft du willst. Oder die Auswirkung ist halt zu gering, um sich nachweisen zu lassen mit Performance- Unterschieden in diesem Test. Auch gibt LCo in der Konsole beim Check meiner GPU an:
GPU: NVIDIA GeForce RTX 3070 Ti
GPU memory: 7.99951 Gb
Wenn man das buchstäblich nimmt und der Punkt ein Komma ist, dann reicht meine GPU möglicherweise eh auch nicht
Parent - - By Lothar Jung Date 2023-01-23 13:59
BT2 bzw. Lc0 0.30 ist auch nicht default.
Parent - By Peter Martan Date 2023-01-23 14:18 Edited 2023-01-23 14:39
Erstens für das bestimmte entsprechende einzelne Compile doch (jedes Compile hat bestimme Parameter voreingestellt, das sind die default- Parameter des Compiles) und zweitens schau nochmal aufs Edit oben, hab dir den Gefallen schon getan mit einem zusätzlich Run. BT2 ist für mich mehr ein Netz als eine Engine- Version. Ich bin ja bereit, 2 Netze eigens mit ein- und demselben Compile zu testen und oder 2 Compiles mit ein und demselben Netz, aber auch das müsste man dann kreuzweise gegentesten und die Kernfrage bleibt: kommt's aus der error bar oder ist's halt einfach just wurscht, das soll's ja auch geben, wenngleich nicht für Tester

Im Ernst, theoretisch könnte auch SF schon mit x Versionen explosionsartige Fortschritte gemacht haben, von denen man nur nichts im game playing merkt, weil gegen die Vorversionen halt auch nur Remis oder 1:1- Paare erspielt werden.
Parent - By Peter Martan Date 2023-01-23 18:03 Edited 2023-01-23 18:56
Nur so zum Testen würd' ich wie gesagt erstmal eine einzelne Stellung anschauen, warum nicht gleich die Grundstellung?
Code:
v0.30.0-dag+git.a24e47f1 built Jan 17 2023
setoption name backendoptions value multistream
setoption name backendoptions value cacheopt
go depth 13
Found pb network file: C:\eng\lc0-v0.30-dag-tt/BT2-768x15-swa-3250000.pb.gz
Creating backend [cuda-auto]...
Switching to [cuda-fp16]...
CUDA Runtime version: 11.1.0
Latest version of CUDA supported by the driver: 11.7.0
GPU: NVIDIA GeForce RTX 3070 Ti
GPU memory: 7.99951 Gb
GPU clock frequency: 1845 MHz
GPU compute capability: 8.6
L2 cache capacity: 4194304
info depth 1 seldepth 2 time 1552 nodes 2 score cp 8 nps 500 tbhits 0 pv d2d4 d7d5
...
info depth 13 seldepth 50 time 55242 nodes 342136 score cp 10 nps 6371 tbhits 0 pv d2d4 d7d5 c2c4 d5c4 g1f3 g8f6 e2e3 a7a6 f1c4 c7c5 e1g1 e7e6 b2b3 b8d7 c1b2 f8e7 c4e2 e8g8 d4c5 e7c5 f3d4 d7b6 b1d2 d8e7 d1c2 c8d7
bestmove d2d4 ponder d7d5


Und zum Vergleich die letzte Zeile vom Output default mit go depth 13 gestartet:

info depth 13 seldepth 50 time 55749 nodes 342774 score cp 10 nps 6323 tbhits 0 pv d2d4 d7d5 c2c4 d5c4 g1f3 g8f6 e2e3 a7a6 f1c4 c7c5 e1g1 e7e6 b2b3 b8d7 c1b2 f8e7 c4e2 e8g8 d4c5 e7c5 f3d4 d7b6 b1d2 d8e7 d1c2 c8d7
bestmove d2d4 ponder d7d5

Bringt das also was?
500 msec weniger Zeit für Tiefe 13 bei 55 Sekunden insgesamt, nps gerade mal 50 von 6300 mehr, naja...

Nehmen wir eine einfache Teststellung, die Nr. 7 aus dem Eret zum Thema Läuferpaar



bm 16...Sde5

zuerst mit multistream und cacheopt :

...
info depth 16 seldepth 33 time 3149 nodes 7310 score cp 46 nps 4588 tbhits 0 pv c5d4 g1h1 g4f2 f1f2 d4f2 e2f3 b7f3 h7f8 d7f8 c2f2 f3a8 c1e3 f8g6 a1g1 a7a6 h2h3 g6h4 h1h2 d8e7 e3b6 e6e5 f4e5 c8c6 b6d4 c6g6

info depth 16 seldepth 33 time 4213 nodes 13296 score cp 227 nps 5004 tbhits 0 pv d7e5 e2g4 c5d4 g1h1 e5g4 h7f8 f7f5 f8g6 d8f6 c2d3 f6g6 d3d4 g4e3 d4d2 b7g2 h1g1 g2h3 g1f2 e3f1 d2d7 c8f8 d7c6 g6h6 c1e3 h6h4

Und dann default:
...
info depth 16 seldepth 32 time 3909 nodes 11518 score cp 41 nps 4866 tbhits 0 pv c5d4 g1h1 g4f2 f1f2 d4f2 e2f3 b7f3 h7f8 d7f8 c2f2 f3a8 c1e3 f8g6 a1g1 a7a6 h2h3 g6h4 h1h2 d8f6 e3d4 f6h6 d4e3 h6h5 f2g3 c8d8 e3f2

info depth 16 seldepth 32 time 4007 nodes 12071 score cp 214 nps 4896 tbhits 0 pv d7e5 e2g4 c5d4 g1h1 e5g4 h7f8 f7f5 f8g6 d8f6 h2h3 f6g6 c2e2 g6h5 f1f3 b7f3 e2f3 g4f2 h1h2 h5f3 g2f3 f2d3 c1d2 a7a6 a1b1 c8c4 h2g3 g8f7 h3h4

Time to solution ist default 200 msec besser.

Nun muss man das ein paar Mal wiederholen, um die Streuung zu sehen,
3 weitere Versuch default waren 4371, 3839, 4553 msec.
und mit multistream und cacheopt
7893 (!,obwohl immer noch in Tiefe 16 gefunden) 6910, 3964 (! das war allerdings schon in Tiefe 15).
Parent - - By Stefan Pohl Date 2023-02-04 08:28 Upvotes 2
Der NN-Testrun vom neueren BT2-3250 Netz ist durch und es gab einen neuen Bestwert:

https://www.sp-cc.de/nn-vs-kd-testing.htm

Netz findet sich hier, falls es interessiert:
https://storage.lczero.org/files/networks-contrib/BT2-768x15-swa-3250000.pb.gz
Parent - - By Max Siegfried Date 2023-02-04 09:16
Stefan Pohl schrieb:

Der NN-Testrun vom neueren BT2-3250 Netz ist durch und es gab einen neuen Bestwert:

<a class='ura' href='https://www.sp-cc.de/nn-vs-kd-testing.htm'>https://www.sp-cc.de/nn-vs-kd-testing.htm</a>

Netz findet sich hier, falls es interessiert:
<a class='ura' href='https://storage.lczero.org/files/networks-contrib/BT2-768x15-swa-3250000.pb.gz'>https://storage.lczero.org/files/networks-contrib/BT2-768x15-swa-3250000.pb.gz</a>


Wie lange dauert es bis BT2, BT3 das offizielle LC0 Netz wird?
Parent - By Lothar Jung Date 2023-02-04 09:24
BT2 ist eine Engine und kein Netz.
Für BT2 werden eigene Netze trainiert.
Die DAG Rev. Version 0.30 wird nach der abgeschlossen Prüfphase das  neue „offizielle“ Netz.
Bei der BT Version wird an einer besseren Performance gearbeitet.
Up Topic Hauptforen / CSS-Forum / Einführungs-Info zu BT2
1 2 Previous Next  

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill