leela / lczero in diversen ranglisten

By Wolfgang Battig Date 2018-04-24 11:49

Ich sehe das Problem eher darin, dass Schachrechner meist was die Grafikkarte angeht eher "spartanisch" ausgerüstet sind. Meine Testrechner haben z.B. ALLE lediglich Onboard-Grafikchips. Für Schach vollkommen ausreichend und vergleichsweise stromsparend. Oder besser "weniger stromfressend", denn von "Strom sparen" kann man bei der Testerei nicht wirklich sprechen...

Auch sind die Karten an sich ja nicht gerade billig. GTX1060 (bestenfalls gehobene Mittelklasse) ca. 250-300€, GTX1080 ca. 600 Euro. Von den Titanium-Modellen ganz zu schweigen.

Ich persönlich (nur meine Meinung/Einstellung dazu!) bin jedenfalls nicht bereit 300 bis "Ende offen" Euro in etwas zu investieren, das nur einer einzigen Engine zugute kommt und mir keinen Mehrwert bringt, da ich keine grafisch aufwändigen Dinge am PC mache.

Das soll nicht heißen, das wir (CEGT) die Engine nicht auch testen werden. Einer meiner Söhne hat sich kürzlich eine 1080 gekauft, vielleicht kann ich ja die "abgelegte" GK nutzen...

By Stefan Pohl Date 2018-04-24 11:58

Und man kann nicht mehr als eine Partie gleichzeitig auf einem PC mit Leela spielen. Das ist auch nicht wirklich günstig für Ranglisten-Tests...

By Lothar Jung Date 2018-04-24 12:18

Ich habe mir einen neuen Rechner zugelegt, 1800x + 1080, 16 GB DDR4 3.000 MHz.
Mit dem aktuellen Net 177 und eine gute Grafikkarte ist die Spielstärke jetzt doch um einiges höher!

By Stefan Pohl Date 2018-04-24 12:31

Lothar Jung schrieb:

Ich habe mir einen neuen Rechner zugelegt, 1800x + 1080, 16 GB DDR4 3.000 MHz.
Mit dem aktuellen Net 177 und eine gute Grafikkarte ist die Spielstärke jetzt doch um einiges höher!

Laß doch Leela mal in der Grundstellung eine Weile rechnen und errechne dann, wieviele Rollouts/s sie auf deinem PC schafft. Das wäre sehr informativ. Dazu bitte erstmal das -fulltuner Kommando laufen lassen, welches die GPU-Zugriffe von Leela deutlich optimiert und Leela mit sovielen Threads (default ist nur 2) ausstatten, wie CPU-Kerne da sind. Auch das macht Leela nochmal schneller, auch wenn die eigentlichen Berechnungen in der Grafikkarte stattfinden (bei mir ca. 15%, auf einem Quadcore-Notebook)'

By Lothar Jung Date 2018-04-24 14:05

Kerne oder Treads?
Auch wird bei der UCI ein -Hard Parameter erwähnt,
welchen Einfluss hat der ?
LG Lothar

By Michael Scheidl Date 2018-04-24 14:54

Zitat:

(...) von "Strom sparen" kann man bei der Testerei nicht wirklich sprechen...

Seit ich erfahren habe wie viel Strom für Kryptomining verbraucht wird, hab ich solche Bedenken über Bord geworfen.

Die Leute kaufen ganze Kraftwerke eigens dafür an, auch in Österreich. Man kann nur hoffen daß diese gehypte Nachfrage nicht den Strompreis hochtreibt.

Da sind wir mit unserem bißchen Computerschach statistisch nicht vorhanden.

By Wolfgang Battig Date 2018-04-24 16:38

Michael Scheidl schrieb:

...
Seit ich erfahren habe wie viel Strom für Kryptomining verbraucht wird, hab ich solche Bedenken über Bord geworfen.

Man kann auch im Kleinen was tun und wenn es nur für die eigene Stromrechnung ist. Eine extra Grafikkarte bringt mir (persönlich) keinen Mehrwert. Warum soll ich dann - neben dem Kaufpreis - auch noch den Stromverbrauch meiner Rechner locker verdoppeln?

Zitat:

Die Leute kaufen ganze Kraftwerke eigens dafür an, auch in Österreich

Wem's Spaß macht...

Zitat:

Man kann nur hoffen daß diese gehypte Nachfrage nicht den Strompreis hochtreibt.

Wovon träumst Du denn?

Angebot und Nachfrage bestimmen den Preis. Dafür brauchts kein Studium der Wirtschaftswissenschaften. Das hab ich bei meiner kaufmännischen Ausbildung im ersten Lehrjahr gelernt...

Zitat:

Da sind wir mit unserem bißchen Computerschach statistisch nicht vorhanden.

Zustimmung. Was aber vorhanden ist, und zwar nicht statistisch sondern ganz real, sind die höheren Zahlen auf meiner Stromrechnung, wenn meine drei Schachsysteme plötzlich mit (mindestens!) doppeltem Stromverbrauch zu Buche schlagen. Da kommen bei 24/7 an vielleicht 300 Tagen im Jahr schon einige (viele!) Euro zusammen.

Ingo Bauer hatte vor längerer Zeit hier mal eine Rechnung aufgemacht, was ihn ein einziger zusätzlicher Testlauf für die IPON an Strom kostet. Und der dauert nur ein paar Tage. Ingo testet ja nicht ständig. Ich habe zwar weniger Rechner, aber die laufen wie gesagt 24/7 fast das ganze Jahr.

By Michael Scheidl Date 2018-04-24 18:40

Zitat:

Angebot und Nachfrage bestimmen den Preis.

Ja klar, und das ist es ja was mir Sorgen macht. Die Nachfrage an Strom für Kryptomining ist gigantisch. Der Verbrauch ist jetzt schon höher als der ganzer Staaten wie z.B. Dänemark oder Irland.

Klingt seltsam ist aber leider so.

By Tom Paul Date 2018-04-25 09:42

Guenter Stertenbrink schrieb:

Elo 1958 , 373 Partien , 0.5 w123 , bei CCRL :

CCRL glaubt also wirklich das die Engine nur 1958 ELO hat

By Guenter Stertenbrink Date 2018-04-25 10:04

w123 auf CCRL Hardware

By Stefan Pohl Date 2018-04-25 12:51

Guenter Stertenbrink schrieb:

w123 auf CCRL Hardware

Tja, das ist genau das Problem fürs Ranglistentesten, gerade mit kurzen Bedenkzeiten. Dort wird eben mit mehreren Partien gleichzeitig auf einem PC getestet. Geht ja auch in vernünftigem Zeitrahmen nicht anders. Das hat nun aber bei Leela leider zur Folge, daß man die CPU-Version nehmen muß und diese zudem auch nur einen Kern zum rechnen bekommt. Und dann ist Leela wirklich extrem langsam (das kann deutlich unter 100 Rollouts/s liegen!). Insofern ist das Rating in der CCRL nicht unrealistisch. Nur sind eben die Testbedingungen für Leela sehr ungünstig. Die Testbedingungen wurden eben für "normale" Engines entworfen.

Genau aus diesem Grund teste ich Leela eben in meinem long thinking-time Turnier, weil dort nicht nur längere Bedenkzeiten gegeben sind, sondern auch nie mehr als eine Partie gleichzeitig läuft. So kann Leela sich dann ungestört auf der GPU austoben. Und dann sieht die Spielstärke gleich ganz anders aus.

Leela ist für alle Tester ein Problem. Oder eine Herausforderung. Wie mans nimmt.

By guest171218 Date 2018-04-25 13:02

Tom Paul schrieb:

CCRL glaubt also wirklich das die Engine nur 1958 ELO hat

Hallo,

da gibt es meines erachtens nichts zu lachen!

ich habe mal ein paar partien (gesamt 150) mit der cpu-leela
und netwerk id 123 (von 2018-04-12) spielen lassen. die gegner
hatten einen cegt-elo ø von 1800. dies deshalb weil die ccrl
werte immer um die 150-160 elo höher liegen als die der cegt
bei level 40in4.

cpu-leela erspielt bei mir (40 züge in 4 minuten) eine elo-
leistung von 1810 punkten. dies passt doch sehr genau zur
messung der ccrl!

ich werde versuchen in ein paar wochen mit der dann aktuellen
netwerk id den test zu wiederholen.

Gruß MiKa.

By Tom Paul Date 2018-04-25 13:24

MiKa schrieb:

Tom Paul schrieb:

CCRL glaubt also wirklich das die Engine nur 1958 ELO hat

Und damit wir jetzt für alle Interessierten ein übersichtliches, verständliches und natürliches Ergebnis unter fairen Bedingungen erhalten, freue ich mich jetzt schon auf den nächsten LC0 Test, wo genau die gleiche LC0 Version gegen genau die gleichen Gegner antritt.
Nur dieses mal dürfen die Gegner die GPU benutzen und LC0 wird auch die GPU benutzen.

So erhalten wir beste Hardware für LC0 und schlechteste Hardware für die anderen Engines.
Anstatt wie in dem vorherigen Test wo LC0 die schlechteste Hardware bekam während die Engines für sich die beste erhalten haben.

Und damit sich niemand wundert sage ich jetzt schon dass LC0 in dem Fall ausnahmslos alle Partien gewinnen wird.
Somit hätten die Gegner eine Spielstärke von 0 ELO

und LC0 wird auf jeden Fall über 1958 ELO liegen

By guest171218 Date 2018-04-25 13:39

Hallo,

ich denke man sollte den leuten von der ccrl nicht unrecht tun.
im gegensatz zu vielen anderen fordern die nicht, sondern liefern!
ob da in nächster zeit auch etwas von der cegt kommt?
ich persönlich würde mich freuen. schön wären natürlich tests mit
einer "gpu"-leela, allerdings steht weiter oben etwas gegenteiliges.

Gruß MiKa.

By Wolfgang Battig Date 2018-04-25 17:34

MiKa schrieb:

Hallo,
...
ob da in nächster zeit auch etwas von der cegt kommt?

Zwei Testerkollegen haben ein paar Testmatches mit der CPU-Version gespielt. Da sind die Ergebnisse trotz i7-Hardware erwartbarerweise eher bescheiden.

Zitat:

ich persönlich würde mich freuen. schön wären natürlich tests mit
einer "gpu"-leela, allerdings steht weiter oben etwas gegenteiliges.

Gruß MiKa.

Naja, ich schrieb: "Das soll nicht heißen, das wir (CEGT) die Engine nicht auch testen werden. Einer meiner Söhne hat sich kürzlich eine 1080 gekauft, vielleicht kann ich ja die "abgelegte" GK nutzen"

Sollte die ausgemusterte GTX770 (nach heutigen Maßstäben "langsam") noch funktionieren und ich LC0 damit zum Laufen bekommen, ja dann...

----

40/4: http://cegt.forumieren.com/t976-some-tests-with-lczero-0-7-cpu-version (Gerhard)
40/20: http://cegt.forumieren.com/t974-lczero-testmatch (Werner)

alles mit der CPU-Version.

Werner hat nun LC0 wohl auch auf seiner "HD-Graphics" (integrierte Grafikeinheit) zum laufen gebracht, mal sehen was da noch kommt. Scheint immerhin deutlich schneller zu sein als die CPU-Version, trotz i7.

----

Ansonsten bleibt es dabei, dass - bislang zumindest - keiner unserer Tester bereit ist hunderte von Euronen für eine ansonsten "nutzlose" Grafikkarte auszugeben.

By Guenter Stertenbrink Date 2018-04-26 03:58 Edited 2018-04-26 04:02

500 Elo Graphikkarte vs. CPU sind doch etwas happig.
bei 40 Elo je Geschwinfigkeits-Verdopplung waere die
CPU 5000 mal langsamer

id166,1CPU,2057
id181,1CPU,1963
id123,1956

id162,GTX950M,2551,+500
id163,GTX1060,2563,+506
id184,GTX1060,2610,+647
id123,GTX1060,2310,2396,+400

gibt's auch externe Graphikkarten fuer smartphone,Tablet ?

By Wolfgang Battig Date 2018-04-26 12:46

Guenter Stertenbrink schrieb:

500 Elo Graphikkarte vs. CPU sind doch etwas happig.
bei 40 Elo je Geschwinfigkeits-Verdopplung waere die
CPU 5000 mal langsamer

1. bitte Partienzahlen beachten, bisher ganze 20 (!!!!) pro Versuch bei Werner. Daraus irgendwelche Schlüsse zu ziehen ist abenteuerlich
2. LC0 läuft dort auf einer (!) CPU
3. natürlich ist die GPU nicht 5000x schneller als die CPU, aber LC0 ist nunmal auf (sehr!) schnelle GPUs angewiesen und optimiert und läuft auf CPUs "schneckenlangsam".

Von daher könnte ich mir ein paar hundert ELO Unterschied (500 erscheinen mir auch sehr viel) zwischen einer sehr (!) schnellen Grafikkarte im Vergleich zu einem einzigen (!) i5 oder i7-Kern, der noch dazu nicht annähernd ausgenutzt wird, durchaus vorstellen.

Zitat:

gibt's auch externe Graphikkarten fuer smartphone,Tablet ?

nicht dass ich wüsste. Wozu auch? Damit die (Achtung Ironie) Millionen Computerschachfreaks eine einzige Engine nutzen können? (Ironie aus)

Die Grafikeinheiten in Tablets und Smartphones sind schnell genug für das wofür sie gemacht sind (surfen, Videos schauen etc.). (Computer)Schach ist so eine kleine Nischenanwendung, dass sich das für einen Hersteller kaum lohnen dürfte. Und es schränkt die Mobilität ein, wenn ich als Anwender noch zusätzliche Kabel und Gerätschaften rumschleppen soll.

Auf was für Ideen manche Freaks kommen...

By Tom Paul Date 2018-04-26 18:07

Angeblich bekommt LC0 pro Verdopplung +65 ELO hinzu.
So eine GPU, einmal vom Modell abgesehen, ist ~20 mal schneller als eine CPU.
Jetzt verdoppel so lange bis du bei dem 20-fachen ankommst.
Sagen wir 4 Verdoppelungen x 65 ELO = mindestens 260 ELO mehr.
Wobei es einen riesen Unterschied macht, ob du eine schwache oder starke CPU mit der GPU vergleichst.
Und so eine 1080 ti oder Titan V kann im Vergleich zu einer Mittelklasse Grafikkarte ganz schnell 200-300 ELO zusätzlich erreichen.

By Guenter Stertenbrink Date 2018-04-27 04:48 Edited 2018-04-27 05:34

https://www.pcworld.com/article/2984716/laptop-computers/how-to-transform-your-laptop-into-a-gaming-powerhouse-with-an-external-graphics-card.html

[Werbe-intensive Seite "skript stoppen"]

am express-port , muesste aber auch per USB gehen ?!

moderne Tablets haben ja auch 'nen HDMI - Anschluss , obwohl man keinen
Monitor mit sich rumschleppt

und dann denle ich an die raspberry-pi Projekte ...

----edit----

https://www.computershopper.com/feature/2017-guide-the-best-external-graphics-card-boxes-egpus
The universal eGPU box that you can plug into any laptop is nowhere to be seen.

keywords : thungerbolt 3 , gaming box , eGPU

By Guenter Stertenbrink Date 2018-04-27 06:42

forget that post (Die Zeit zum Editieren dieses Beitrages ist leider abgelaufen!) and read instead :
https://www.reddit.com/r/eGPU/comments/5jpf2x/diy_egpu_101_introduction_to_egpu/

By Guenter Stertenbrink Date 2018-04-30 07:41

sorry, hab mich vertan. 100Elo pro 2M Partien , 8 Tage , ist der derzeitige Trend

By Benno Hartwig Date 2018-04-30 08:23 Edited 2018-04-30 08:25

Fasznierend, dass man dort Statistiken mit gerade mal 200 Partien pro lz0-Version präsentiert.
Mit Errorbars von satt über 50.
Darum überrascht auch nicht das wilde Auf und Ab der erspielten Elo-Werte.

Diese Einzelwerte sind ganz sicher mit seehhr viel Vorsicht zu genießen!
Aber es mag sein, dass dies für das Fortschreiten an sich nicht schädlich ist.

Benno

By Martin Steinwandter Date 2018-04-30 08:28

Würde mal sagen im Vergleich zu Stockfish, welche 50 im Jahr zulegt, doch wohl gigantisch.

By Wolfgang Battig Date 2018-04-30 10:39 Upvotes 1

Auf dem Niveau, das Stockfish bereits hat (gilt auch für Houdini, Komodo u.a.) sind 50 Punkte im Jahr sehr gut. Vielleicht nicht "gigantisch" aber sehr gut.

By Benno Hartwig Date 2018-04-30 13:31

Wenn man heute mit LZ0 anfängt und "nur" 50-Elo-pro-Jahr-Fortschritte machen würde, dann würde sich wohl auch die ganze Mühe nicht lohnen.

Benno

By Guenter Stertenbrink Date 2018-04-30 09:47 Edited 2018-04-30 10:29

ca 1000 Partien je Version http://lczero.org/matches und
ca. 7 Versionen pro Tag, da kann man die Werte addieren - siehe chart. http://lczero.org/
Kein wildes auf und ab seit id165 , durchschnittlich +-10.6 Elo
je Version die letzten 50 matches.

ca. 2600 abziehen fuer Elo auf PC mit guter Grafikkarte

-------------------------
100 Elo per 2M Partien in 6-8 Tagen --> 3265 am 1.6.
ab (spaetestens ?) 3200 geht's dann wohl langsamer, so wie bei A0

By Ingo Althöfer Date 2018-04-30 10:50 Upvotes 2

Mein lieber Guenter Buchela Stertenbrink:

Guenter Stertenbrink schrieb:

100 Elo per 2M Partien in 6-8 Tagen --> 3265 am 1.6.

gut, dass Ihr bei Euch nur Erdgeschoss habt, so weit
wie Du Dich aus dem Fenster lehnst

Nichts für ungut, Ingo.

By Benno Hartwig Date 2018-04-30 13:41

Ich sah die LZ0-Bestenliste in der Reihenfolge:
id219, id204, id190, id212, id197, id177, id184, id170, id156, id163

Natürlich ist eine schöne Tendenz unübersehbar. Klar.
Aber ich empfinde das schon noch als ziemlich holterdipolter. 200 Partien jeweils nur.
Benno