Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Hinweg mit dem nutzlosen Leela Ratio!
1 2 Previous Next  
Parent - - By Peter Martan Date 2019-12-04 12:30 Edited 2019-12-04 13:16
Stefan Pohl schrieb:

Würde man den Stromverbrauch als Vergleich heranziehen, wäre das auch nix. Denn die RTX Karten brauchen auch nicht nennenswert mehr Strom, als eine GTX Karte, lassen die NN Engines aber dank der fp-16 Option viel schneller laufen. Eine GTX 1080 hätte dann einen ähnlichen Ratiowert wie eine RTX 2070. UNSINN - Logisch. Denn in der NN- Verarbeitungsgeschwindigkeit liegen Welten zwischen beiden Karten.

Nennenswert heißt was genau?
Wenn du die GTX mit derselben LC0- Version und demselben Netz auf derselben Stellung gleich lang laufen lässt (natürlich möglichst auch auf demselben Rechner und unter denselben Bedingungen, was andere Anwendungen und die Configuration des Rechners angeht), ist dann der Stromverbrauch der RTX nicht doch auch vielleicht "nennenswert" verschieden?

Logisch fände ich es schon, wenn's so wäre, weil ja der Leistungsvorteil fp-16 auch irgendwie in den elektrischen Leistungsunterschied Mehrverbrauch an Strom eingehen könnte (sollte?).

Und wenn die GTX tatsächlich nicht nennenswert weniger Strom bei genau derselben Anwendung LC0 braucht, ist sie halt für einen direkten Vergleich mit der gleich wenig brauchenden RTX ungeeignet, eigentlich ja auch als Anschaffung, wenn jemand schon die GTX hat, und sich keine RTX kaufen will, muss er halt weiter irgendwie kompliziert umrechnen und sowieso nur für Ranglistenvergleiche, period.

Irgendwelche Schwachstellen hast du immer, bei jedem Richtwert, bei der Leela- Ratio zwischen verschiedenen GPUs wirst du eben auch, um es genauer zu wissen, wie gut welche in Elo abschneidet, das für jede einzelne Karte und jeden einzelnen Rechner bestimmen müssen. Ich weiß nicht, was da die einfachere Rechnung ist, und was weniger einzelne Versuche brauchen wird.
Die einen Versuche hat man halt schon teilweise gemacht und die anderen noch nicht, aber mit jeder neuen Karte, die auf den Markt kommt, musst du auch die Leela- Ratio wieder neu bestimmen, irgendwann sollte man anfangen, auf etwas leichter Vergleichbares umzusteigen, denke ich halt.
Just my two cents, wie man so schön neuhochdeutsch sagt.
Parent - - By Stefan Pohl Date 2019-12-04 13:57 Edited 2019-12-04 14:00
Peter Martan schrieb:

Stefan Pohl schrieb:

Würde man den Stromverbrauch als Vergleich heranziehen, wäre das auch nix. Denn die RTX Karten brauchen auch nicht nennenswert mehr Strom, als eine GTX Karte, lassen die NN Engines aber dank der fp-16 Option viel schneller laufen. Eine GTX 1080 hätte dann einen ähnlichen Ratiowert wie eine RTX 2070. UNSINN - Logisch. Denn in der NN- Verarbeitungsgeschwindigkeit liegen Welten zwischen beiden Karten.

Nennenswert heißt was genau?


So ganz auf die Schnelle bei google:

https://www.google.com/url?sa=i&source=images&cd=&cad=rja&uact=8&ved=2ahUKEwiAz6X5hJzmAhURsKQKHeRhBYQQjRx6BAgBEAQ&url=https%3A%2F%2Fwww.anandtech.com%2Fshow%2F13431%2Fnvidia-geforce-rtx-2070-founders-edition-review%2F14&psig=AOvVaw1RxDEGyepjyGnNiqQTeO-3&ust=1575550416850529

Die RTX Karten brauchen unter Last schon mehr Saft, aber im Bereich von 30%-40% mehr. Aber eben bei mindestens 3facher (eher 4facher, da die Karte an sich auch schneller ist) Knotenleistung für lc0 (eben wegen fp-16). Damit ist doch ganz klar, daß der Stromverbrauch als Benchmark nicht geeignet ist (+30% mehr Strom bringt das 3-4 fache an Knotenleistung), wenn man ältere GTX und neue RTX vergleicht. Und neuere GTX Karten (1660 z.B.) bringen auch nicht das 3fache an Knotenleistung beim Umschalten von fp-32 auf fp-16, sondern deutlich weniger. Auch hier wird der Stromverbrauch das nicht abbilden. Wie auch?
Ergo: Stromverbrauch als Vergleich / Benchmark funktioniert nicht.
Parent - - By Peter Martan Date 2019-12-04 17:33 Edited 2019-12-04 17:40
Stefan Pohl schrieb:

Damit ist doch ganz klar, daß der Stromverbrauch als Benchmark nicht geeignet ist (+30% mehr Strom bringt das 3-4 fache an Knotenleistung), wenn man ältere GTX und neue RTX vergleicht.

Klar wäre damit höchstens dann etwas, wenn die Knotenleistung ein schachlich relevanter Benchmark wäre, ist sie aber eben auch überhaupt nicht.
Du müsstest die Matchperformance vergleichen, wenn die das 3-4 fache wäre, dann wäre deine Argumentation schlüssig.
So sind wir nach wie vor bei schieren Vermutungen, übrigens auch, was die Leela- Ratio dieser einzelnen verschiedenen Karten angeht.
Parent - - By Stefan Pohl Date 2019-12-04 19:26
Peter Martan schrieb:

Stefan Pohl schrieb:

Damit ist doch ganz klar, daß der Stromverbrauch als Benchmark nicht geeignet ist (+30% mehr Strom bringt das 3-4 fache an Knotenleistung), wenn man ältere GTX und neue RTX vergleicht.

Klar wäre damit höchstens dann etwas, wenn die Knotenleistung ein schachlich relevanter Benchmark wäre, ist sie aber eben auch überhaupt nicht.
Du müsstest die Matchperformance vergleichen, wenn die das 3-4 fache wäre, dann wäre deine Argumentation schlüssig.
So sind wir nach wie vor bei schieren Vermutungen, übrigens auch, was die Leela- Ratio dieser einzelnen verschiedenen Karten angeht.


Nein. Es geht nur um Geschwindigkeitsmessungen. Beim GPU-Vergleich untereinander geht es ausschließlich um Messungen innerhalb von lc0. Daher ist hier zunächst nur die Rechengeschwindigkeit von lc0 interessant und diese ist eben nicht proportional zum Stromverbrauch. Womit klar gezeigt ist, daß eine Betrachtung des Stromverbrauchs schon auf GPU-Ebene nicht funktionieren kann. Das hat mit einem dann darüberhinausgehenden Vergleich von lc0 mit AB-Engines und CPU-Stromverbrauch etc. erst mal gar nichts zu tun. Und somit auch nichts mit der Matchperformance.

Mir reichts jetzt wirklich. Ich bin aus der Debatte raus. Sie ist und bleibt grotesk. Und hier wirds nun komplett absurd.
Over and out
Parent - - By Peter Martan Date 2019-12-05 01:03 Edited 2019-12-05 01:18
Stefan Pohl schrieb:

Es geht nur um Geschwindigkeitsmessungen.

Mag sein, dass es dir nur darum geht, mir halt nicht nur, ich zweifle genau das an, auch bei der Leela- Ratio.
Es werden Äpfel mit Birnen verglichen, A0 mit LC0 und Knotenzahlen mit Schachperformance.

Natürlich kannst du die n/s verschiedener GPU- Karten miteinander vergleichen, was die einzelne Anwendung LC0 angeht, aber auch nur, wenn's dasselbe Netz ist, und was das schachlich bedeutet, davon hast du, ohne es gegen bestimmte Gegner mit bestimmter TC und bestimmten Büchern probiert zu haben, einfach keine Ahnung.
Damit will ich nicht sagen, dass du, es auf verschiedene Weisen probiert habend, nicht mehr Ahnung hast als Andere, was aber zählt, ist allein der einzelne Versuch, (und eben auch genau der nur sehr bedingt auf mehr oder weniger ähnliche andere Versuche mit anderen Netzen, Engines und ihren verschiedenen Versionen, anderen TCs und Büchern übertragbar) nicht die Knotenzahlen.
Sonst müsstes du überhaupt keine Matches mehr ausspielen, sondern einfach nur die Knotenzahlen vergleichen.

Gerne lasse ich es auch gut sein damit, wir drehen uns schon länger im Kreis und reden nur aneinander vorbei.
Parent - - By Guenter Stertenbrink Date 2019-12-05 03:14 Edited 2019-12-05 03:18
Knotenzahlen sind schon ein ~relativ guter~ Massstab, die aendern sich nur wenig.
Aber man muss immer irgendwie "eichen", beim Leela-Ratio eben auf SF8 und. Google-TPUs.

Stromverbrauch-Eichung waere m.E. besser auch wenn es da kuerzlich die von Stefan
erwaehnten Schwankungen gab. Aber das ist immer so ... kommt ein grundlegend neues
Produkt auf den Markt, gibt es diese Schwankungen.

Lc0 lernt FP-16 zu nutzen  <-->
neue 2080 GPU  <-->

SF versionen mit popcount (AMD) oder in Assembler
engines lernen multi-threading, lazy SMP, 32bit-->64bit

das hat ja dem Elo-System und der Vergleichbarkeit  in der Vergangenheit auch nicht geschadet

-----------------------------------------

das messen des Stromverbrauchs ist zudem einfacher und kann automatisiert werden,
auch wenn das zur Zeit noch unueblich ist
Parent - By Peter Martan Date 2019-12-05 08:43 Edited 2019-12-05 08:55
Guenter Stertenbrink schrieb:

Knotenzahlen sind schon ein ~relativ guter~ Massstab, die aendern sich nur wenig.
Aber man muss immer irgendwie "eichen", beim Leela-Ratio eben auf SF8 und. Google-TPUs.

Knotenzahlen kannst du bei NN- Engines noch weniger interpretieren als bei A-B, sie ändern sich z.B. schon gewaltig mit der Netzgröße, nämlich in dem, was sie bedeuten und an eigentlich Relevantem zählen.
Und wenn man jetzt einfach die Knotenzahlen als Vergleich nimmt, wozu dann noch "Leela-Ratio", dann machen wir doch gleich eine Nodes Ratio und vergleichen die Knotenzahl von A0 (?) oder LC0 mit der von SF8
??
Auf SF(8) damit zu eichen, würde bedeuten, du kannst die Knotenzahlen von LC0 mit denen von SF vergleichen, kannst du aber überhaupt nicht.

Natürlich sind sie ein Schachbenchmark, aber man wusste schon lange vor A0 und auch nicht erst seit Rybka, dass sie eine reine Frage der Zählweise sind.
Und ja, natürlich könnte man sie als Maßstab zwischen ein und derselben Engine (auf ein und demelben Netz und auch bei A-B mit derselben Rechnerkonfiguration, derselben Stellung, demselben Hash, ob und in welchem GUI oder in der Konsole...) verwenden, aber dann wäre das eine andere "Leela- Ratio", gegen die ich ja auch überhaupt nichts habe, außer, dass sie für jedes Engine- Paar neu bestimmt werden müsste oder für jedes größere Teilnehmerfeld erst recht, ob es reine NN- Matches sind oder mehr A-Bs mitspielen und welche oder auch Hybride und welche, und was für Hardware- TC und was für Bücher...
...
Und das damalige A0 war (vermutlich) auch schon wieder ein ganz anderes als es jetzt ist, so es überhaupt noch eines gibt, und für direkte Vergleiche zwischen LC0 und A0 fehlen völlig jedwede Vergleiche aus direkter schachlicher Begegnung.

Und der Stromverbrauch ist eine ähnliche Krücke, krankt an ähnlichen und an anderen Unwägbarkeiten, dafür wieder weniger an welchen, an denen Knotenzahlen und die "Leela-Ratio" krankt, wie auch immer man die erst mal überhaupt genauer definieren müsste.
Ceterum censeo.
Und aus.
Parent - - By Benno Hartwig Date 2019-12-04 22:56
Jeder kann ja für sich entscheiden.

Aber wenn ich zum einen eine 1000-Euro-Maschine sehe, die bei 50W eine gute Schach-Performance bietet
und eine andere zum selben Preis bei 100W eine noch etwas bessere Schachperformance bietet,
dann finde ich das zweie Angebot überzeugender und mich würde gerade dieser Schachvergleich besonders interessieren
- weil der Kaufpreis ähnlich ist
- obwohl die Leistungsaufnahme sich so sehr unterscheidet.

Ein Vergleich zweier Engines, die eine ähnliche Leistungsaufnahme haben,
während die eine Maschine aber das Doppelte der anderen kostet,
interessiert mich vergleichsweise wenig.

Aber, wie ich schon sagte:
Jeder kann ja für sich entscheiden.
Parent - By Guenter Stertenbrink Date 2019-12-05 03:03
die Hersteller konzentrieren sich darauf, die Leistung pro Watt zu verbessern.
Das ist ein wichtiger Faktor fuer die meisten Anwender, fuer die Zukunftstraechtigkeit eines
Herstellungsprozesses.
Wenn jetzt mal die Preise das nicht so wiederspiegeln, dann liegt das vermutlich
an anderen Faktoren
Parent - - By Thorsten Czub Date 2019-12-03 21:21
Mein Lieblings Schachcomputer hat einen 1802 CMOS Prozessor eingebaut.
Ohne Kühlung !!! Mit sage und schreib 6.1 MHz !!

Und doch kann er oft stellungen besser einschätzen als komodo oder Stockfish.
Dabei rechnen die Millionen von Stellungen auf Rechnern die tausende MHz und Euro teuer sind.
Parent - - By Peter Martan Date 2019-12-03 21:28 Edited 2019-12-03 21:32
Du bist also dafür, dass wir die GPUs zusätzlich zu den CPUs lieber erst gar nicht weiter zum Einsatz bringen sollten, weil die nicht nur Unmgengen von Zügen, sondern anstatt dessen gleich Unmengen von Partien, zumindest sogenannten Rollouts brauchen, um zum nächsten Zug zu kommen. Und Unmengen von gespeicherten "Bildern" und jahrelanges Training mit wirklich großen Unmengen von Trainingspartien mit in Summe wirklich immenser Hardware- Zeitleistung.
Ich berechne übrigens noch viel weniger Stellungen beim Spielen als dein Lieblingsschachcomputer, dafür verliere ich halt auch meistens. Im Pläne schmieden bin ich aber praktisch unschlagbar. Und Stellungen einschätzen kann ich perfekt, verschätzen kann man sich ja immer.
Parent - By Thorsten Czub Date 2019-12-04 18:54
Ja richtig. Lc0 spielt auch auf einer CPU mit nur 1-15 NPS interessant genug.
Parent - - By Olaf Jenkner Date 2019-12-03 21:50 Upvotes 1
Thorsten Czub schrieb:

Und doch kann er oft stellungen besser einschätzen als komodo oder Stockfish.
Dabei rechnen die Millionen von Stellungen auf Rechnern die tausende MHz und Euro teuer sind.

Kannst du uns da bitte zwei oder drei Beispielstellungen zeigen? Das würde bestimmt viele im Forum interessieren.
Up Topic Hauptforen / CSS-Forum / Hinweg mit dem nutzlosen Leela Ratio!
1 2 Previous Next  

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill