Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Hinweg mit dem nutzlosen Leela Ratio!
1 2 Previous Next  
- - By Michael Scheidl Date 2019-11-30 21:37 Upvotes 2
Warum soll es uns interessieren oder eine Rolle spielen, welches Knotenverhältnis beim ersten Match AlphaZero Chess gegen Stockfish 8 bestand?! Das war eine Superhardware die niemand hat, und insbesondere eine NN-Software die niemand hat, also was geht uns das an? Es sagt für den real existierenden Normalverbraucher NICHTS aus.

Wenn ich ein System mit leistungsfähigen Komponenten habe, denke ich nicht im Traum daran deren Leistung zu beschränken, nur weil anderswo das Verhältnis anders gewesen sein mag. Was krazt mich das?! (Nebemerkung, im Alltagsbetrieb lasse ich natürlich nicht alle Threads/Cores volles Rohr laufen, aber das ist wegen Vermeidung von Überhitzung und aus keinem anderen künstlichen Grund.)

Der aktuelle Anlaß wegen CCRL, welche die Bedenkzeiten auf eine ziemlich alte Athlon 64 X2 CPU kalibrieren, ist ein Sonderfall. Da wird halt eine ganz moderne Super-GPU RTX 2080 mit einer, sagen wir nach heutigen Maßstäben "schaumgebremsten" CPU-Leistung vermischt. Der typische User hat sowohl eine schwächere GPU als auch eine stärkere CPU, behaupte ich mal.

Es sind so viele Faktoren im Spiel, daß vermutlich niemand etwas in der einen oder anderen Richtung beweisen wird können. Ich sage: Laßt Eure eigene Hardware laufen soviel sie hergibt! Es gibt keinen logischen Grund zur Selbstkastration.
Parent - - By Stefan Pohl Date 2019-11-30 21:42 Edited 2019-11-30 21:49 Upvotes 1
Michael Scheidl schrieb:

Warum soll es uns interessieren oder eine Rolle spielen, welches Knotenverhältnis beim ersten Match AlphaZero Chess gegen Stockfish 8 bestand?! Das war eine Superhardware die niemand hat,


Das stimmt doch gar nicht. AlphaZero kam mit einem 256x20 Netz auf 80000 n/s. Wer sich zwei RTX 2080 GPUs in ein System einbaut (und das haben schon einige gemacht), dessen Verarbeitungsgeschwindigkeit ist kaum geringer.

Gerade das Desaster der CCLR-Tests (es ist eben kein Sonderfall, sondern zeigt exemplarisch, was passiert, wenn man die Leela-Ratio ignoriert!) zeigt im Gegenteil, daß zum Testen die Leela-Ratio von größter Wichtigkeit ist. Natürlich nicht im praktischen Spiel in online-Turnieren oder so.
Was du Selbskastration nennst, nenne ich Eichprozesse. Die für jede Messung (nicht nur im Computerschach) essentiell sind. Und bei allen AB-Engine Tests selbstverständlich sind. Sie bei NN-Engines wegzulassen (also die Leela-Ratio zu ignorieren), ist völliger Unsinn und macht alle Tests obsolet.
Parent - - By Michael Scheidl Date 2019-11-30 22:19
Seriöse Eichprozesse erfordern exakt die gleichen Bedingungen unter denen sie vorgenommen werden, und dafür haben wir weder die AlphaZero-Hardware noch die AlphaZero-Software um das zu bestimmen. Also vergiß den Gedanken irgend einen realistischen Vergleich herstellen zu können. Jeder im Computerschach weiß daß die Knotenzahl alleine eine der irreführendsten, schlechtesten Maßzahlen ist, umso weniger zwischen AB- und NN-basierten Engines.

Es wird interessanter werden wenn CCRL die Resultate von 40/40m veröffentlicht. Im Blitz schien die bessere Bewertung die Oberhand zu behalten... aber mit mehr Rechentiefe?
Parent - - By Lothar Jung Date 2019-12-01 00:49 Upvotes 2
Eichprozesse in einem fließenden Prozess und auf total unterschiedlichen Bedingungen (A/B/NN) sind unmöglich.
Es fehlt die Referenz.
Und die verändert sich ständig.
Bei der Hardware, insbes. bei den GPU:. A0, GTX, RTX, RTX 3000...
Bei SF: SF8, SF9, SF10, SFdevs
Bei den Netzen und Netzgrößen: T10, T20, T30, T40, T40 ++, T60, T58
A/B und NN sind zwei unterschiedlich Welten.
Alles ist  total in Bewegung.
Es ist Unsinn es zu eichen!
Lasst die Programme auf Euerer persönlichen Hardware gegeneinander antreten.
Vielseitigkeit macht Spaß!
Parent - - By Florian Wieting Date 2019-12-01 06:08
Volle Zustimmung!
Das Bessere ist der Feind des Guten.

Nebenbei bemerkt: Gab es jemals einen AutomobilRatio gegenüber Pferdekutschen?
Nein! Gab es nicht!

Fortschritt hat sich noch nie stoppen lassen, auch wenn man es sich bisweilen wünschen würde.

Es gab vor Jahrzehnten bei den Computerschach-Weltmeisterschaften mal den ironisch gemeinten Vorschlag, dass der Programmierer soviel Hardware einsetzen darf, wie er allein zu tragen in der Lage ist.

Hardware und Software sind gleichwertige Entwicklungslinien seit Anbeginn der ersten Schachcomputer! Cray Blitz von Bob Hyatt gewann Turniere, weil ihm der damalige Supercomputer Cray-1 zur Verfügung stand.
Parent - By Tom Paul Date 2019-12-01 09:56
Sag ich doch.

Nieder mit der Ratio-pharm .
Parent - - By Stefan Pohl Date 2019-12-01 10:45 Edited 2019-12-01 10:56 Upvotes 1
Florian Wieting schrieb:

Volle Zustimmung!
Das Bessere ist der Feind des Guten.

Nebenbei bemerkt: Gab es jemals einen AutomobilRatio gegenüber Pferdekutschen?
Nein! Gab es nicht!

Fortschritt hat sich noch nie stoppen lassen, auch wenn man es sich bisweilen wünschen würde.



Da wollte auch niemand wissen, ob Auto oder Pferd das bessere Transportmittel wären.

Und Fortschritt kann man übrigens nur als solchen erkennen, wenn man ihn auch seriös misst. Im vernünftigen Vergleich zum bereits Bestehenden.

Warum hab ich Dummerchen mir überhaupt zwei RTX Notebooks gekauft? Wenn die LeelaRatio Quatsch ist, kann ich doch lc0 auch auf der CPU gegen Stockfish antreten lassen. Wäre ja dann total fair. Denn beide hätten die exakt gleiche Hardware. Nur schade, dass lc0 dann von Stockfish zermalmt wird. Aber egal. LeelaRatio braucht ja kein Mensch.
Oder ich schau mir einfach die Ergebnisse der CCRL an und geh dann mit Chessbase und Albert Silver feiern, weil Fat Fritz ja besser ist als Stockfish... Wär doch auch toll. Und ja auch ein total seriöses Ergebnis, wenn die LeelaRatio Quatsch ist. Das könnte ich ja per Münzwurf entscheiden, welche der beiden Methoden besser ist. Und ob lc0 nun 300 Elo schlechter als Stockfish ist, oder auf Augenhöhe. Was solls.

Das wird auch mein letzter Kommentar zum Thema LeelaRatio hier im Forum sein. Die Debatte finde ich völlig grotesk. Sollte sie weiterhin andauern, werde ich zudem sehr ernsthaft überlegen, mich aus dem Forum zurückzuziehen. Denn  Diskussionen auf diesem Niveau auch nur zu lesen, ist schon erschreckend und deprimierend. Und gegen soviel geballten Unfug anzuargumentieren, werde ich mir sicher nicht weiter antun.
Parent - - By Thomas Plaschke Date 2019-12-01 12:49 Upvotes 1

>Warum hab ich Dummerchen mir überhaupt zwei RTX Notebooks gekauft? ...


[/Ironie an]
Ja, wieso lässt Du überhaupt Engine-Tests auf einem oder identischen Rechnern laufen? Warum nicht Houdini 6 auf einer 288 Thread-Maschine und alles andere auf einem seit 20 Jahren höchst leistungsfähigen Pentium IV (mit Hyperthreading!). Dann wird wahr, was ich schon lange vermutete: Houdini schlägt alle!
[/Ironie aus]

Im Ernst. Mich erninnert die "Ist-doch-egal-worauf-LC0-läuft"-Haltung an die von Donninger und Mally(?) bloßgestellten "Piff-Paff-Puffer", denen nicht aufging, dass Ed Schröder sie verulkt. Hauptsache, die Engine spielt (und siegt und ich habe 'ne tolle Elo-Zahl, damit die Anschaffung der teuren Grafikkarte(n) ihre Rechtfertigung findet). Auch ich halte die Leela-Ratio für die praktikabelste Methode zum Vergleich von CPU-Engines mit GraKa-gestützten Programmen. Für Vergeiche kann schon gedanklich nicht egal sein, auf welcher Hardware die Programme laufen. Natürlich darf Michael Scheidl seine Frage stellen. Aber für seriöse Tests muss die Antwort immer sein: Voraussetzung sind vergleichbare und nachvollziehbare Bedingungen! Auf Playchess und bei ähnlichen Gelegenheiten darf man gerne am Schaulaufen der Eitelkeiten teilnehmen: Seht, ich habe den größten PC, die beste GraKa oder das meiste Geld ausgegeben! Man stelle sich vor, es gäbe Spielbedingungen, bei denen der Server die Bedenkzeit der Leistungsfähigkeit der Gegner anpasst. - Ideal für Buchautoren (und eine Herausforderung für Hacker, ihre Hardware schwächer erscheinen zu lassen als sie ist)!

Hättest Du bspw. von Anfang an gesagt, dass LC0 relativ zu einer Leistung von 30.000 Rollouts pro Sekunde in der Grundstellung getestet wird, wäre damit die Vergleichbarkeit zu anderen Grafikkarten hergestellt gewesen, aber der Vergleich der Spielstärke zu andern CPU-Engines abgeschnitten (das macht die Leela-Ratio). Das wäre genauso kritisiert worden. Deswegen stimme ich Deiner Aussage

>Die Debatte finde ich völlig grotesk.


zu und wundere mich ebenfalls.

>Sollte sie weiterhin andauern, werde ich zudem sehr ernsthaft überlegen, mich aus dem Forum zurückzuziehen.


Aber das würde zu weit gehen! "Einfach nich' ignorieren!" reicht.

Viele Grüße
Th. Plaschke
Parent - - By Eduard Nemeth Date 2019-12-01 13:28
Wer das Freistil-Maximum testen möchte, ist auf Schach.de besser aufgehoben. Und das ist gut so!

Ich bin viel dort. Es gibt einen der macht es dort richtig interessant, hat aber wohl viel Geld übrig. Er spielt mit 3 Accounts (aber nie gegen sich selbst). Sein stärkster ist ein Xeon mit 112 Thread, dann einer mit Xeon 44 Theads, und noch einer mit 3xRTX 2080 Ti. Seine Rechner laufen Tag und Nacht.

Sein bestplatzierter ist meist der 56 Kerner, der 22 Kerner liegt in etwa gleichauf mit den 3 RTX 2080 Tis. Ich habe gegen alle schon gespielt. Es ist schon imponierend im Chat zu sehen wie die 3x RTX 2080 Ti um die 100 kns schaffen. Allerdings schafft sein Stockfish ebenfalls 100000 kns. Da ist im Vergleich sogar Chancengleichheit gegeben. Trotzdem ist Stockfish auf der Blitzstufe derzeit noch der Bessere. Mal sehen wann sich das ändert.
Parent - - By Guenter Stertenbrink Date 2019-12-01 13:41
das ist ja besser als TCEC ! Ihr muesstet oeffentlich spielen und die Ergebnisse tabellieren
und Elomaessig auswerten. Wie hoch ist denn die Remisquote ?
Parent - - By Eduard Nemeth Date 2019-12-01 13:53
Der 56 Kerner:
+75 =310 -0

3x RTX 2080 Ti:
+61 =306 -18

Meine Bilanz mit Ryzen 2700 3,4 GHz:
+7 =112 -3

Es fliessen nicht alle gespielten Partien in die Bilanz, sondern je nachdem wie oft man spielt, die letzten 100 bis 400.
Parent - - By Guenter Stertenbrink Date 2019-12-01 14:22
das macht 30Elo fuer 22-->56 Kerne (=112 Threads ?) = 7mal so schnell wie 2700

und 92% Remisquote unter gleichstarken 2700ern

bei ... ich glaube du sagtest ... 16min pro Partie
Parent - - By Eduard Nemeth Date 2019-12-01 14:58 Edited 2019-12-01 15:01
Das ist nicht 16m sondern Blitz. Also zwischen 3m und 15m. Die meisten spielen 5+0, ich nur 5+0. Lc0 spieler auch hin und wieder 5+2. Am liebsten spiele ich gegen Lc0. Da gibt es meist hopp oder flopp. Da ich ein sicheres Buch pflege, ist es für Lc0 schwer zu gewinnen gegen Buchvarianten. Darum lassen Lc0 Spieler oft ohne Buch oder mit einem Kurzbuch spielen. Auf Blitzstufe geht es dann meist flopp. Man muss mindestens 2x RTX aufbieten, damit Lc0 taktisch nicht patzt. Diese Hardware haben aber die Wenigsten. Noch.
Parent - - By Guenter Stertenbrink Date 2019-12-01 15:17
sollte nicht die Zuhilfenahme von Buechern eher Lc0 beguenstigen ?
Keine Eroeffnungsfallen, strategische Fahrwasser anstreben,
wenn aus dem Buch.
Parent - - By Eduard Nemeth Date 2019-12-01 15:41 Edited 2019-12-01 15:58
Das wird auch gemacht. Ich aber stelle mein Buch gerade um, gegen die Spielweise von Lc0. Das hat zur Folge dass gegen andere Fische viel Remis gespielt wird. Aber Leela wird es schwer haben, ihr Spiel aufzuziehen. Praktisches Beispiel: Statt einer blockierten Bauernkette mittels c4-c5, mit etwas mehr Raumvorteil, lasse ich lieber die c Linie öffnen indem ich cxd5 spielen lasse. Ich öffne das Spiel wo es nur geht. Bei offenen Stellungen ist Stockfish stärker. Leela liebt Bauernwalzen und Bauernketten. Ich tune dagegen vorerst.

Mir fällt nichts ein wie Lc0 gegen den Fish gewinnen kann nach einigem Bauerntausch schon in der Eröffnung und bei lebhaftem Figurenspiel?
Parent - - By Guenter Stertenbrink Date 2019-12-01 15:55
und gezielt und vollautomatisch nach Fallen suchen ?!
------------------
gibt's auch Spieler mit Hybriden ?
Parent - - By Eduard Nemeth Date 2019-12-01 16:02
Ja gibt es. Es gibt eine Hybrid Engine über die man kaum etwas weiss. Es ist Eman xxx und ist privat. Ein sehr starkes Ding. Es ist noch in der Entwicklungsphase.

Mit dem Leelafish hingegen, spielt kaum jemand mehr.
Parent - By Eduard Nemeth Date 2019-12-01 16:23
Hier ist eine aktuelle Stellung (bin live auf dem Server) wo Lc0 schwarz hat, und gegen Eman spielt:


Analysis by Raubfisch ME262_GTZ20d1c_sl:

23...Dc7 24.Sh2 a6 25.Tf1 Tdg8 26.Lc2 Ka7 27.Ld1 Ld7 28.Sdf3 Sb7 29.Sg4 a5 30.Sf6 Td8 31.Sxd7 Dxd7 32.Lxa4 bxa4 33.Dxa4 Dxa4 34.Txa4 Ka6 35.Ld2 Kb5 36.Tfa1 Ta8 37.Le3 Thb8 38.Lf2 Sd8 39.Lg3 Sc6
  = (-0.27 ++)  Tiefe: 27/39   00:00:12  26302kN
23...Dc7 24.Se3
  = (-0.07 --)  Tiefe: 27/39   00:00:14  29606kN

Während für Weiss alles noch gut zu sein scheint, ist Leela hier bei +2 für sich. Solche Stellungen sind es die Lc0 anstrebt, und der Fish vermeiden sollte.
Lc0 gewann diese Partie. Solche Varianten werden aus meinem Buch gestrichen, auch wenn es länger dauert bis ich fertig bin.
Parent - - By Guenter Stertenbrink Date 2019-12-01 13:44 Edited 2019-12-01 13:52
versteh ich auch nicht, warum das Dummerchen Notebooks kaeuft fuer Engine-Turniere,
wo es Ryzens gibt.

------------------------------

was war da mit dem piffpaffpuffer ?  ... versteh ich nicht ... oder verulkst du uns
Parent - - By Thomas Plaschke Date 2019-12-01 17:25 Upvotes 1

>was war da mit dem piffpaffpuffer ?  ... versteh ich nicht ... oder verulkst du uns


Bei so einem ernsten Thema bin ich natürlich völlig frei von Humor!

Der völlig zu unrecht viel zu früh verstorbene, äußerst eloquente Thomas Mally arbeitete in einem der lesenswertesten CSS-Artikel (CSS 3/95, S. 51ff) heraus, dass Rebel 6.0 von seinem Autor "Nachhilfe" in einigen Stellungen des BT-Test erhalten hatte. Der Artikel charakterisierte "Piff-Paff-Puffer" als einen Tester, der sich nur die Zeit bis zum Erscheinen oder Ausspielen des Lösungszuges notiert. Dieser Typ Tester achtet nicht darauf, ob das Programm die Stellung auch verstandenen hat. Aus der Stellungsbewertung ließe sich das ablesen. - Schwierig bei Schachcomputern, die keine Bewertung anzeigen, was dieser Methode Vorschub leistete. Chrilly Donninger hat sich später mal schadenfroh verständnisvoll dazu geäußert. Für mich stellt sich heute das Hinterherlaufen nach Hardwaresteigerungen ähnlich dar, wenn dabei außer Acht gelassen wird, dass Testergebnisse dadurch zum Vergleich von Äpfeln mit Birnen werden können.

So viel zum Begriff "Piff-Paff-Puffer".

Viele Grüße
Th. Plaschke
Parent - By Thorsten Czub Date 2019-12-01 21:40
Deswegen habe ich auch immer versucht, neben teststellung noch turnierpartien zu spielen.
Parent - - By Stefan Pohl Date 2019-12-02 06:02
Thomas Plaschke schrieb:

Aber das würde zu weit gehen! "Einfach nich' ignorieren!" reicht.

Viele Grüße
Th. Plaschke


Ja, nur ist es doch so, dass das Ablehnen eines um 1.0 liegenden LeelaRatio Wertes (oder gar der LeelaRatio an sich) letztlich nicht anderes heisst, als jeglichen seriösen NN-Engine Ranglistentests (und damit auch meiner Testarbeit) den Wert und die Sinnhaftigkeit abzusprechen. Sollte sich das als Mehrheitsmeinung hier im Forum durchsetzen, dann habe ich hier nichts mehr verloren.
Parent - By Guenter Stertenbrink Date 2019-12-02 08:27
warum hast Du dann hier nichts mehr verloren ?
Gerade dann musst Du die Irrmeinung korrigieren.
Oder soll das jetzt eine Drohung sein,
"wenn ihr mich [zuviel] kritisiert poste ich nicht mehr"
oder teste ich nicht mehr
oder so

oder umgekeht
wenn ihr mich [genug] lobt, dann teste ich wieder [mehr]

----------
mehr Partien bei kuerzerer Bedenkzeit finde ich gut
NN-Tests mit LR-Angabe finde ich gut
Installations-Anleitungen finde ich gut (hab aber keine funktionierende Nvidia)
die Internetseite finde ich gut

Notebook statt Ryzen finde ich bloed
Immer nur eine Bedenkzeit,einen Kern finde ich bloed (>50% fuer verschiedene
andere)
Download-Partien ohne evals
little blitzer finde ich bloed
Parent - - By Werner Schüle Date 2019-12-02 09:11 Upvotes 1
Stefan Pohl schrieb:

Ja, nur ist es doch so, dass das Ablehnen eines um 1.0 liegenden LeelaRatio Wertes (oder gar der LeelaRatio an sich) letztlich nicht anderes heisst, als jeglichen seriösen NN-Engine Ranglistentests (und damit auch meiner Testarbeit) den Wert und die Sinnhaftigkeit abzusprechen. Sollte sich das als Mehrheitsmeinung hier im Forum durchsetzen, dann habe ich hier nichts mehr verloren.


Hallo Stefan,
wir liegen auf einer Linie. Für Ranglistenbetreiber ist die Vergleichbarkeit wichtig. Die derzeitige Ratio-Formel kann man durchaus diskutieren, dann bitte aber konstruktiv, also mit einer Alternative. Ich halte nichts davon, etwas wegzuwerfen, wenn man keine sinnvolle Alternative hat.
Parent - - By Peter Martan Date 2019-12-02 14:28 Edited 2019-12-02 14:38
Werner Schüle schrieb:

Die derzeitige Ratio-Formel kann man durchaus diskutieren, dann bitte aber konstruktiv, also mit einer Alternative. Ich halte nichts davon, etwas wegzuwerfen, wenn man keine sinnvolle Alternative hat.

Ganz richtig.
Wenn man aber schon beim Disktuieren ist, mich stört an der Leela- Ration vor allem, dass sie nur die Hardware- Zeit- Leistung zweier bestimmter Engines zueinander in Relation setzt, nämlich die von LC0 und Stockfish, eigentlich von A0 und SF8 anno dazumal.

Wer sagt, dass deutlich mehr Hardware- Zeit, sagen wir einerseits einer GTX 1070 und 4'+2", andererseits zweier 2080Tis und 10'+5", zwischen 2 entsprechend verschieden großen Netzwerken (sagen wir, ein 60er-Netz LC0 und das relativ kleine von Fat Fritz) nicht auch schon eine wesentliche Elo- Verschiebung bei einem bestimmten Eröffnungsset innerhalb von LC0- Engine(versionen) untereinander allein erbringt, vor allem auch je nachdem, was dann doch auch noch alles für andere Engines mitspielen, die ihrerseits wieder eine ganz andere GPU- CPU- Hardwarezeit- Nutzung haben?

Wäre da eine etwas allgemeiner gültige Hardware- Zeit- Leistungs- Relation nicht wünschenswert? Damit man verschiedene NN- Engines mit verschiedenen Netzen auf verschiedener GPU (+CPU, ist ja auch für die NN- Engines nicht ganz egal)- Hardware-TC auch dann vergleichen könnte, wenn SF und andere A-B-Engines  gar nicht mitspielen, oder mehrere A-B-Engines, die ja an sich schon auch jede für sich eine eigene Leela-Ratio haben müssten?

Und ist A0 gegen Stockfish8, so wie damals die Hardware- Zeit- Einteilung war (Fixzeit, buchlos) wirklich noch in der Hardware- Zeitleistung von LC0 heute mit SF 10+ und viel besserem Zeitmanagement zeitgmäß und vergleichbar?

Ok, ich weiß schon, dass ein 100 PS- Auto auch nicht wirklich in jedem beliebigen Wettkampf genau 100 Pferde ersetzt, aber wir wollten ja ernst bleiben.


Ehrlich gesagt wüsste ich allerdings auch nicht, wie eine allgemeiner gültige Ratio auszusehen hätte, so, dass sie dem, was man von CPUs allein zu werten gewöhnt ist, sagen wir GHz des einzelnen Kernes mal core- Anzahl, für die GPUs auch untereinander ebenso vergleichbar wäre.

Manche meinten über den Stromverbrauch, das schiene mir noch am plausibelsten.
Parent - - By Thomas Plaschke Date 2019-12-02 16:06

>Wäre da eine etwas allgemeiner gültige Hardware- Zeit- Leistungs- Relation nicht wünschenswert? Damit man verschiedene NN- Engines mit verschiedenen Netzen auf verschiedener GPU (+CPU, ist ja auch für die NN- Engines nicht ganz egal)- Hardware-TC auch dann vergleichen könnte [...]


Bis man etwas Besseres findet, sollte wir uns mit der Leela-Ratio behelfen. Wenn verschiedene Netze oder Netzgrößen mit einer bestimmten GraKa/GPU mehr oder weniger stark sind, beantwortet das schlicht die Frage, der Spielstärke im Vergleich zueinander oder die Frage der optimalen Netzgröße auf dieser GPU/GraKa. Jedenfalls haben die Netze auf dieser Hardware Chancengleichheit.

> [...] oder mehrere A-B-Engines, die ja an sich schon auch jede für sich eine eigene Leela-Ratio haben müssten?


Die Leela-Ratio wird nur zum Vergleich der unterschiedlichen Hardware gebraucht. Bei Programmen, die auf identischer Hardware laufen können, erübrigt sich das eigentlich, weil der Leistungsunterschied zwischen AMD- und Intel-CPUs bzw. CPUs desselben Herstellers augenfällig ist. Für Vergleichstests wäre es umgekehrt außerdem ein ziemlicher Aufwand, Engines auf verschiedenen CPUs laufen zu lassen.

>Und ist A0 gegen Stockfish8, so wie damals die Hardware- Zeit- Einteilung war (Fixzeit, buchlos) wirklich noch in der Hardware- Zeitleistung von LC0 heute mit SF 10+ und viel besserem Zeitmanagement zeitgmäß und vergleichbar?


Nach meinem Verständnis muss die Leela-Ratio für Benchmark-Zwecke nach wie vor mit Stockfish 8 und einem 256x20-Netz gemacht werden. Dietrich Kappe beschreibt es hier: https://github.com/dkappe/leela-ratio. Stockfish wird so konfiguriert, wie das Programm, das gegen LC0 spielen soll. Sollen andere Netzgrößen zum Einsatz kommen würde ich die Leela-Ratio trotzdem mit dem 256x20-Netz bestimmen, das System anpassen und dann mit dem Netz der anderen Größe spielen lassen.

Dass Stockfish kurz vor Versionsnummer 11 steht, spielt für die Vergleichbarkeit der Hardware keine Rolle - im Gegenteil. Die Leela-Ratio sollte immer mit demselben Netz (11248) und derselben CPU-Engine bestimmt werden (mit dem Original-Kompilat und nicht mit einem selbst erzeugten). Jede Abweichung geht auf Kosten der Vergleichbarkeit.

>Manche meinten über den Stromverbrauch, das schiene mir noch am plausibelsten.


Smartphone- und Tablet-CPUs würden dann weit vor XEONs und Threadrippers liegen. Ob das die Verhältnisse richtig - und besser(!) - wiedergibt?
Die Leela-Ratio ist ein Provisorium. Dafür gilt laut Henry Miller: "Aber auf dieser Erde ist, wie die Franzosen zu sagen pflegen, nichts dauerhaft - nur das Provisorium."

Viele Grüße
Th. Plaschke
Parent - - By Peter Martan Date 2019-12-02 17:51 Edited 2019-12-02 17:58
Thomas Plaschke schrieb:

Wenn verschiedene Netze oder Netzgrößen mit einer bestimmten GraKa/GPU mehr oder weniger stark sind, beantwortet das schlicht die Frage, der Spielstärke im Vergleich zueinander oder die Frage der optimalen Netzgröße auf dieser GPU/GraKa. Jedenfalls haben die Netze auf dieser Hardware Chancengleichheit.

Wer sagt das?
Du kannst eine Hardware- Zeitleistung immer nur zwischen einzelnen Engines direkt vergleichen, (in diesem Fall auch zwischen einzelnen Netzen, die mehr an Unterschieden ausmachen, als z.B Unterschied zwischen LC0 und Fat Fritz besteht, was die Engines angeht) sonst ist deine Ratio nichts anderes als eine self fulfilling prophecy.

Wenn du ein großes gegen ein kleines Netz spielen lässt, ist es sicher nicht egal, ob du starke oder schwache GPU- Hardware benutzt, und es wird die TC je nach Hardware eine ebenso große Rolle spielen vielleicht, wie wenn du einen Dualcore gegen eine 32Kerner spielen lässt zum Vergleich zweier A-B-Engines.

Aber auch bei so ungleichen CPU- Verhältinissen wirst du bei sehr langer Bedenkzeit weniger Elo Unterschiede zwischen genau diesen beiden Engines haben, einfach, weil die längere Bedenkzeit die schwächere Hardware begünstigt.

Also wenn schon eine Hardwarevergleichszahl zwischen CPUs und GPUs, dann auch zwischen GPUs allein, je nach Engines, die mitspielen und je nach TC (und natürlich auch je nach Büchern.).

Wenn du davon ausgehst, dass, was für A0 gegen SF8 (buchlos) gegolten hast, schon auch noch irgendwie für nicht allzu verschiedene TCs für SF11 gegen LC0 0.23 mit dem momentan gerade besten Netz (welches ist das? ), beide auf moderater Hardware mit moderaten Testsets spielend, kannst du daraus absolut noch nichts für ein buntes Teilnehmerfeld, viel kürzere oder viel längere TCs schließen und erst recht nicht für auch teilnehmende verschieden schwache A-B-Engines, verschieden schwache CPUs und verschieden starke GPUs mit stark unterschiedlich großen Netzen, doch, vermuten kannst du schon, deine Vermutungen sind dann nur ziemlich schwach fundiert.

Ich bin für Stromverbrauch zum Hardware- Vergleich, den kann man für CPU und für GPU leicht messen.
Wie gut dann welche Engine, welches Netz mit welcher Gegnerschaft und welchen Eröffnungen bei welcher TC zurecht kommt, musst du sowieso immer noch alles extra ausprobieren, wenn du nicht völlig willkürlich und statistisch ungenau extrapolieren willst.

Und wenigstens hast du dann als Richtschnur nicht mehr nur das eine Match von anno dazumal, als Google gerade mal 10 von 1000 Partien veröffentlicht hat, die Hardware sowieso eine ganz andere war, und wovon das Programm selbst ja auch nach wie vor nicht selbst zu weiteren Vergleichen herangezogen werden kann, weil es nach wie vor eigentlich gar nicht als solches bekannt ist
Vergleiche davon zu LC0 zu zieheh, hinkte schon von Anfang an, seit es so viele verschiedene Netze gibt und doch auch unterschiedliche NN- Engines, hinkt der Vergleich erst recht, SF hat sich auch weiterentwickelt, also sollte man die Eichung langsam etwas aktualisieren, finde ich halt.

Was spricht gegen den Stromverbrauch?
Parent - - By Thomas Plaschke Date 2019-12-02 23:54
Ich habe meinen Post noch einmal gelesen und finde, dass ich mich verständlich ausgedrückt und meinen Standpunkt logisch begründet habe.
Hier daher nur Extrakt: Chancengleichheit benutzte ich synonym zu gleiche Hardware-Bedingungen oder auch vergleichbar ähnlich gleiche Hardware-Bedingungen. Denn unterschiedliche Hardware ist nicht identisch. Wenn unterschiedliche Hardware als Plattform für Schachprogramme miteinander verglichen werden soll, kann eine Vergleichsgröße oder eine Relation nützlich sein. Im Vergleich verschiedener CPU-Typen bspw. Knoten pro Sekunde (bspw. um für ein Programm 4 Kerne à 4,5 GHz mit 6 Kernen à 3,0 GHz zu vergleichen). Im Vergleich LC0 mit CPU-gestützten Programmen hat sich die Leela-Ratio als nützlich erwiesen, weil LC0 anders arbeitet (Rollouts/s und keine Knoten/s). Die (willkürliche) Festlegung eines Wertes zur Herstellung der Vergleichbarkeit von LC0 hat mit Spielstärke nur insoweit zu tun, als dadurch ermöglicht wird, Ergebnisse, die auf unterschiedlicher Hardware erzielt wurden, miteinander vergleichen zu können. - Und das funktioniert! Jedenfalls verstehe ich Stefan Pohls Ergebnisse genau so. Deine Ausführungen zu TC, verschiedenen Netzen und Spielstärke halte ich daher nicht für zielführend.

Und was gegen den Stromverbrauch spricht? Hatte ich geschrieben. Es stellt schon die Verhältnisse im CPU-CPU-Vergleich auf den Kopf. Ob es sich gegen Knoten pro Sekunde durchsetzen wird? Oder soll man den Stromverbrauch etwa nur zum Vergleich CPU- gegen GPU-Engines heranziehen?

Viele Grüße
Th. Plaschke
Parent - By Peter Martan Date 2019-12-03 00:50 Edited 2019-12-03 01:46
Thomas Plaschke schrieb:

<code>Chancengleichheit </code>benutzte ich synonym zu <code>gleiche Hardware-Bedingungen</code> oder auch <code>vergleichbar ähnlich gleiche Hardware-Bedingungen</code>. Denn unterschiedliche Hardware ist nicht identisch.


Unterschiedliche Hardware ist nicht identisch, da hast du recht.
Inwieweit ihre Unterschiede für verschiedene Anwendungen größer oder kleiner sind, hängt von der Hardware und von den Anwendungen ab, nicht nur davon, ob es mehr die CPU oder mehr die GPU ist, die zum Einsatz kommt.

Thomas Plaschke schrieb:

Im Vergleich LC0 mit CPU-gestützten Programmen hat sich die Leela-Ratio als nützlich erwiesen, weil LC0 anders arbeitet (Rollouts/s und keine Knoten/s). Die (willkürliche) Festlegung eines Wertes zur Herstellung der Vergleichbarkeit von LC0 hat mit Spielstärke nur insoweit zu tun, als dadurch ermöglicht wird, Ergebnisse, die auf unterschiedlicher Hardware erzielt wurden, miteinander vergleichen zu können. - Und das funktioniert! Jedenfalls verstehe ich Stefan Pohls Ergebnisse genau so. Deine Ausführungen zu TC, verschiedenen Netzen und Spielstärke halte ich daher nicht für zielführend.


Ich schon.
Weil du nicht aus den qualitativen und quantitativen Unterschieden zwischen zwei bestimmten Engines, von denen eine eine NN-, die andere eine A-B-Engine ist, noch dazu die eine von Google ohne Veröffentlichung der Engine selbst auf einer völlig anderen Hardware lief, als die, die jetzt (auch völlig unterschiedlich im Einzelrechner) für LC0 verwendet wird, und die andere in einer viel früheren Version unter ebenfalls ganz anderen Bedingungen, als in Ranglistenmatches, wie sie im Computerschach üblich sind.

Aus diesem einen exotischen Match kannst du nicht so einfach auf die qualitativen und quantitativen Unterschiede zwischen LC0 und SF folgern, ohne das jeweilige Teilnehmerfeld in seiner Größe und Zusammensetzung und der unterschiedlichen Nutzung durch die verschiedenen A-B- und NN- Engines auch zu beachten, ebenso wie das Match zwischen A0 und SF8 mit fixen Zeiten und ohne Buch geführt wurde, was die Hardware- Zeit- Nutzung der beiden Programme auch wieder ganz anders zu werten macht, als das alles, wofür du deine Ratio jetzt verwendest.
Ich glaube eigentlich auch von meinen Ausführungen, nachdem ich's jetzt noch einmal redlich probiert habe, sie zu präzisieren, dass sie klar und verständlich sind, wenn man sie denn verstehen will und sich mit den Einwänden, die ich gegen die Leela- Ratio daher habe, überhaupt auseinandersetzen.

Thomas Plaschke schrieb:

Und was gegen den Stromverbrauch spricht? Hatte ich geschrieben. Es stellt schon die Verhältnisse im CPU-CPU-Vergleich auf den Kopf. Ob es sich gegen Knoten pro Sekunde durchsetzen wird? Oder soll man den Stromverbrauch etwa nur zum Vergleich CPU- gegen GPU-Engines heranziehen?


Was heißt, es stellt die Verhältnisse auf den Kopf?
Doch wohl höchstens relativ zu dem, was du für richtiger hältst und nur in Hinblick auf den einen und einzigen Vergleich, der dir wichtig erscheint, den zwischen LC0 mit einem einzelnen bestimmten Netz und Stockfish, oder?

Dass eine allgemeine Relation zwischen Hardware- Zeitleistungen von sowohl CPU- , als auch GPU- gestützten Programmen nicht durch diese eine einzelne Relation zwischen LC0 (eigentlich A0) und SF (8 unter den eher exotischen A0-SF- Turnierbedingungen von damals) ausreichend genau sein kann, wenn du damit z.B. auch nur verschiedene Netze auf verschiedenen GPUs mit unterschiedlicher TC, verschieden großem NN- Cache, verschiedenen Büchern und gegen ein verschieden buntes Gegnerfeld testen willst, würde dir dieselbe Kritikfähigkeit leicht sagen, die du uralten Feindbildern von "Stellungstests" gegenüber, schon aus Gewohnheit leicht aufbringst, wenn du da ähnlich kritikwillig wärest.

Dass ich das alles übrigens nicht allein so "kompliziert" sehe, kannst du im parallelen CCC- Thread und in anderen Threads, z.B. auch im LC0- Forum verfolgen.
Ein ganz gutes Posting von Einem, den man allgemein wohl nicht als unerfahren im Umgang mit NN- und A-B-Engines und den Vergleichen zwischen ihnen kennt, von Kai Laskos, hätte ich hier z.B.:

http://talkchess.com/forum3/viewtopic.php?p=821047#p821047

Zitat:
Leela ratio on an RTX GPU at 60'' + 0.6'' is smaller than at 60' + 36''. There are "curves" of Leela ratios function of hardware, time control, cache size, etc.


Kürzer und bündiger kann man's kaum sagen, ich persönlich habe damit und mit all dem anderen, was ich hier übrigens ja auch absolut nicht zum ersten Mal elaboriere, erst mal wieder genug.
Das sind alles schon so alte Hüte, die Frage der Vergleichbarkeit von Hardware- Zeit- Leistungen verschiedener Programme haben wir ja wirklich nicht erst seit A0 und LC0, warum jetzt plötzlich, wenn halt die GPU auch mitspielt, alles andere, was bisher auch schon bekannt war, wieder vergessen werden soll, damit man LC0 und SF überhaupt noch irgendwie glaubhaft wenigstens direkt gegeneinander soll vergleichen können, ohne sich nicht dauernd selbst den Vorwurf machen zu müssen, das sei statistisch alles überhaupt nicht signifikant und bewiesen, und warum einen außer dieser einen Auseinandersetzung, weil die allein halt schon eine zur statistisch signifikant überhaupt noch absicherbaren Elo- Unterscheidbarkeit (gültig wenigstens für die Zeit, die es dauert, genug Partien dafür ausgespielt zu haben) mehr als knappe Sache darstellt, absolut nichts anderes mehr im Computerschach interessieren soll, sehe ich wirklich nicht ein.

Für diejenigen, denen diese eine Frage, ab welcher Hardware- TC- Grenze ein bestimmtes NN- Netz gegen SF von der einen Grenze der Errobar gegen die andere hin wechselt, so unter den Nägeln brennt, dass ihnen sonst nichts mehr Platz hat in ihrem Hobby außer dieser einen Frage, hätte ich schon auch eine einfache stromsparende Antwort: das wird zu einem guten Teil darauf ankommen, wie man die dritte Nachkommastelle der Leela- Ratio wählt, und ansonsten ist die Auseinandersetzung vielleicht einfach praktisch Remis, auch wenn nach 3000 Partien die 3001. den Schritt aus der Errorbar hinaus gebracht hätte. Hat man zwar vielleicht nur um eine Partie zu früh mit dem Match aufgehört, weil längst schon wieder ganz andere Netze und Engine- Versionen aktueller geworden sind, dafür konnte man sich dann denen auch noch widmen, bevor der letzte Fan des einen bestimmten Netzes oder der einen bestimmten SF- Version das Lager gewechselt hat oder eingeschlafen ist.
SCNR.

Mich interessiert halt bei dieser nervenzerfetzenden Auseinandersetzung um Millielo immer wieder mal mehr die Frage, was spielt die eine und was spielt die andere (und vielleicht gar noch eine dritte, oder ein anderes Setting oder ein anderes Netz) in dieser und jener bestimmten einzelnen Stellung.

Ganz gut verstehen kann ich in dem Zusammenhang übrigens Michael Scheidl schon auch immer wieder mal in solchen Fällen, wenn er sich mit derlei Sophismen weniger antut und dafür etwas markigere Ausdrücke wählt. Immerhin hat er die Frage, ob man nach der heiligen Kuh Elo jetzt wirklich unbedingt eine weitere ebenso heilige Leela- Ratio verehren muss, oder auch an der hin und wieder etwas zweifeln darf, zu beachtlichem Interesse verholfen.
Zum Zweifel an ihrer absoluten Übertragbarkeit z.B.

Stromverbrauch wäre jedenfalls weniger fragwürdig für mich.

Bisher musste man nur die GHz mit der Kernzahl multiplizieren, um mehr hat man sich ja meistens eh auch schon nicht mehr wirklich geschert, (z.B. um die TC, das Teilnehmerfeld und die Bücher) warum kann man dann jetzt nicht einfach schauen, welche Anwendung auf welcher Hardware wie viele Wattstunden zapft?

Hätte auch den großen Vorteil, dass einem einmal mehr vor Augen geführt würde, was man da allein an dieser hierzulande viel zu billigen Ressource so alles ziemlich peinlich vergeudet, wenn man's mit dem vergleicht, wozu Strom vielleicht doch auch sonst noch irgendwie nützlich sein kann oder könnte.

Und aus.
Parent - By Guenter Stertenbrink Date 2019-12-03 04:41 Upvotes 1

>> Manche meinten über den Stromverbrauch, das schiene mir noch am plausibelsten.


> Smartphone- und Tablet-CPUs würden dann weit vor XEONs und Threadrippers liegen.
> Ob das die Verhältnisse richtig - und besser(!) - wiedergibt?

wieso das ? Ich denke Benchmark/Watt ist zur Zeit aehnlich
335, 5200, Cortex-A73,
680, snapdragon 855
70000, 3970x Threadripper

Das Leela Ratio mit Knoten-Vergleich ist schon OK, solange die Software
sich nicht aendert mit den Knoten. Aber z.B. Stockfish wird immer staerker
die letzten Jahre, obwohl er ca.5% weniger Knoten hat.

Ich wuerde ja lieber das Leela-Ratio am Stromverbrauch eichen.
Top-GPU und Top-CPU bei 100W oder so.
Der Stromverbrauch bestimmt die zukuenftige Entwicklung mehr als
z.B. Preisschwankungen am Markt (Ryzeen) oder Knotenzahlen (32-bit-->64-bit),
die durch groesere Register, neue Befehle (AMD-popcnt) usw. beeinflusst werden.

angenommen in ein paar Jahren gibt es CPUs, die auch schnell Matritzen multiplizieren koennen
oder CPUs mit integrierter GPU. Muessten wir dann nicht das Leela-Ratio darauf anpassen ?

angenommen die GPUs werden immer stromsparender und die CPUs kaum.
In den smartphones und tablets gibt es dann standardmaessig gute GPUs,
Es haengt vom Stromverbrauch ab. Auch bei PCs, aber da hat man mehr
Platz fuer ausgekluegelte Kuehlsysteme
Parent - - By Peter Weise Date 2019-12-02 15:21
Man müsste "nur" ein Tool entwickeln, welches eine bestimmte Aufgabe oder Messung in XY Zeit zu errechnen hat. Dieses Tool müsste sowohl auf CPUs als auch auf GPUs lauffähig sein und sonst keine besonderen Ansprüche an die Architektur der jeweiligen Hardware stellen. So hätte man einen Benchmark.
Nur: kann es solch ein Tool rein theoretisch überhaupt geben? Gibt es bei CPUs und GPUs überhaupt einen gemeinsamen Nenner?
Parent - By Guenter Stertenbrink Date 2019-12-03 04:46
ein Assembler Befehl (z.B. Ganzzahle-Addition) wird in einem cycle abgearbeitet, 
3200000000 pro sek. bei 3.2GHz.

Dann gibt es Speicher-Zugriff  Zeiten, unter gewissen Bedingungen koennen
mehrere Befehle gleichzeitig lauf, unvorhergesehende Sprung-verzweigungs-Strafzeiten usw.

Nimm einfach eine Addition als Standard.
Parent - By Peter Weise Date 2019-12-02 13:11
Ranglistenbetreiber müssen zwingend irgend einen Maßstab anlegen. Die neuere Situation mit dem Aufkommen der NN-Programme macht die ganze Angelegenheit bestimmt nicht einfacher. Ich möchte keine Rangliste betreiben wollen, bin aber all denen dankbar, die es trotzdem tun!
Parent - By Florian Wieting Date 2019-12-01 16:08
Ich habe nie behauptet, dass der LeelaRatio Quatsch ist!
Meine These ist: Seit Anbeginn waren Fortschritte im Computerschach immer auch auf verbesserte Hardware gestützt. Das kann man nicht künstlich bremsen.

Als Chrilly Donninger und Ulf Lorenz für Hydra 32 FPGA-Karten einsetzten, um eine schnelle Stellungsbewertung berechnen zu können, waren sowohl Software als auch Hardware am Erfolg beteiligt.
Da waren die anderen Programmierer im Wettkampf von vornherein im Hintertreffen. Die Kosten für Hydras Hardware hat Zorchamp übernommen. Schön, dass er es sich leisten konnte.

Diskussionen dazu gab es auch stets und ständig, aufhalten konnte man die Entwicklung dadurch nicht.
Parent - By Roland Riener Date 2019-12-01 11:16
Florian Wieting schrieb:

Zitat:
Fortschritt hat sich noch nie stoppen lassen, auch wenn man es sich bisweilen wünschen würde.

Das NN-Thema ist ein für viele faszinierendes Experimentierfeld, zweifellos. Der bisherige Fortschritt besteht darin, daß mit ungleich höherem Material- und Energieaufwand in Teilbereichen ungefähr Gleichstand zu den AB's erreicht wurde. Weiterer Fortschritt mag ja noch kommen.
Parent - - By Florian Wieting Date 2019-12-01 21:34
Florian Wieting schrieb:


Nebenbei bemerkt: Gab es jemals einen AutomobilRatio gegenüber Pferdekutschen?
Nein! Gab es nicht!



Da ist mir doch ein schwerer argumentativer Fehler unterlaufen, der zum Glück niemandem vor mir aufgefallen ist.
Noch heute gibt man die Leistung eines Automotors lieber mit 91 PS als mit 67 kW an. Wenn das kein AutomobilRatio ist, .....

James Watt führte die Pferdestärken für seine verbesserten Dampfmaschinen ein, weil er vor allen Dingen Grubenbesitzern seine gebauten Maschinen schmackhaft machen wollte.
"Pferdestärke" klingt auch heutzutage noch besser in den Ohren von Autokäufern (m/w/d), weil sie anschaulicher ist. Und die Verkäufer (m/w/d) mögen sie, weil der Wert größer ist als bei Kilowatt.
Parent - By Benno Hartwig Date 2019-12-02 05:54

> "Pferdestärke" klingt auch heutzutage noch besser in den Ohren von Autokäufern (m/w/d), weil sie anschaulicher ist. Und die Verkäufer (m/w/d) mögen sie, weil der Wert größer ist als bei Kilowatt.


Stellt sich denn wirklich jemand 100 Pferde vor, die ihre Leistung einbringen??? Anschaulich?
Ich glaube, PS ist einfach das etablierte Maß, und die ggw. Praxis ändert diese Etabliertheit auch nicht wirklich.
Es ist halt praktisch, wenn man EIN Maß nutzt, sobald man verschiede Autos vergleichen will, sobald mehrere Menschen miteinander sprechen. Und da ist PS einfach in den Köpfen.
"weiterhin Verbreitung weil PS einfach bereits verbreitet ist"

PS:
Bei vielen B-Promis habe ich auch den Eindruck, sie sind nur im TV, weil sie bekannt sind. Und bekannt sind sie, weil sie oft im TV sind.
Und sehen will sie eigentlich niemand wirklich.
Parent - - By Ernest Bonnem Date 2019-12-01 01:17 Upvotes 2
Michael Scheidl schrieb:

Also vergiß den Gedanken irgend einen realistischen Vergleich herstellen zu können.

Was hat dich gestochen, Michael ?

Leela-Ratio ist doch ein vernünftiger Versuch (einfach aber natürlich nicht perfekt) zum Vergleich A/B und NN.
Parent - By Eduard Nemeth Date 2019-12-01 11:47 Upvotes 1
Es geht auch nicht um perfekt. Dennoch ist es gut so.

Selbst ChessBase wird nicht müde, Fat Fritz mit AlphaZero zu vergleichen. Es wird sogar behauptet dass FF unter gleichen Bedingungen besser sei als AlphaZero.

Für mich ergibt es keinen Sinn, auf meinem Rechner Stockfish mit 15000 kns gegen 2 kns der GTX 1050 Ti antreten zu lassen. Da wäre Stockfish so stark, dass man nicht mal einen kleinen aber guten Fortschritt der NN erkennen könnte. Stockfish pustet nämlich alles gleichermaßen weg. Davon hat man nix.
Parent - - By dkappe Date 2019-12-01 00:40 Upvotes 1
Der Leela Ratio is eine Formel die einem sagt in welchem stärkeverhältnis CPU und GPU zueinander stehen. Wenn zwei computer einen leela Ratio von 3.5 haben, kann man Ergebnisse vernünftig vergleichen. Warum 875? Viele Leute hatten GPU die viel stärker waren als die CPU im Vergleich zu den a0 vs sf8 Match Bedingungen.  Also wurde 1.0 derselbe Durchschnitt wie bei a0. Ich habe den Leuten gesagt, „wenn ihr euch mit a0 vergleichen wollt, müssen eure Bedingungen bei einem leela Ratio von 1.0 liegen.“

Aber jetzt ist das vorbei. Nichts sagt das der leela Ratio bei 1.0 liegen muss, oder das die Formel genau so heißen muss. Ist nur eine Formel so das man CPU und GPU vergleichen kann.
Parent - - By Reinhold Stibi Date 2019-12-01 08:05 Edited 2019-12-01 08:25 Upvotes 1
Es ist doch ganz einfach. CPU und GPU sollen in einem vernünftigen Verhältnis bei einem Schachwettkampf  zu einander stehen.

Bei mir ist das eine RTX 2070 und als Gegenpart eine Workstation mit 2 Xeon X5690 mit insgesamt 12 CPUs bzw. 12 echten Kernen und 24 Threads.
24 Threads nutze ich wegen Überhitzung und Lärmbelästigung nicht. Es reicht wenn ich den Computer mit 12 CPUs laufen lasse; damit gibt es
keine Probleme.

Mein Zweitcomputer ist ein Ryzen 5 - mit dem ich übrigens auch sehr zufrieden bin - mit einer GTX 1050 Ti. Wenn ich da den Ryzen auf 2 CPUs einstelle (ist mit Fritz möglich)
ist das richtige Verhältnis gewahrt.
Die GTX 1050 Ti finde ich sehr gut. Könnte sogar sein dass man mit dieser Karte auch Lc0 mit großen Netzwerken erfolgreich und aussagekräftig testen kann.
Muss ich noch ausprobieren. Die großen Netzwerke sind erst in jüngster Zeit sehr stark geworden.

Bei einer RTX 1080 Ti bräuchte man wahrscheinlich einen Computer mit 24 Kernen .

Mit 2 RTX 1080 bräuchte man einen Computer mit 48 Kernen. Die Threads bräuchte man nicht zusätzlich, weil bei Dauerbetrieb der
Computer zu sehr belastet würde.

Ob man das jetzt Leela Ratio nennt oder nicht ist nicht von Bedeutung; wichtig ist die Ausgeglichenheit der Hardware.
Parent - By Tom Paul Date 2019-12-01 09:59
Reinhold Stibi schrieb:

Muss ich noch ausprobieren. Die großen Netzwerke sind erst in jüngster Zeit sehr stark geworden.


Das war doch klar!

Je mehr Zeit vergeht, desto stärker werden die großen Netze.
Und die großen Netze werden auch dann noch stärker, wenn die kleineren Netze ihr Limit erreicht haben.
Parent - By Wolfgang Battig Date 2019-12-01 14:20 Upvotes 3
Reinhold Stibi schrieb:

Es ist doch ganz einfach. CPU und GPU sollen in einem vernünftigen Verhältnis bei einem Schachwettkampf  zu einander stehen.

Du hast es auf den Punkt gebracht!
...
Zitat:
Die GTX 1050 Ti finde ich sehr gut. Könnte sogar sein dass man mit dieser Karte auch Lc0 mit großen Netzwerken erfolgreich und aussagekräftig testen kann.

Natürlich kann man das, wenn => siehe deinen ersten Satz oben.
Es macht natürlich keinen Sinn als Gegenpart für die 1050ti einen Supercomputer mit zig Kernen aufzufahren. Das wäre nämlich im umgekehrten Sinn derselbe Schwachsinn wie eine z.B. RTX2080ti gegen einen Standard-Quad in die Arena zu schicken.

Zitat:

Ob man das jetzt Leela Ratio nennt oder nicht ist nicht von Bedeutung; wichtig ist die Ausgeglichenheit der Hardware.


Exakt so ist es, zumindest wenn man - wie CCRL, SPCC, FastGM, wir (CEGT) usw. - eine RANGLISTE betreibt. Da geht an halbwegs (!!) ausgeglichenen Bedingungen kein Weg vorbei. Und da ist LR derzeit nunmal - es mag gefallen oder nicht - die einzige Möglichkeit CPU und GPU in etwa (!) zu vergleichen.

Ich habe mich mit Kritik an anderen Ranglisten immer zurückgehalten. Keine macht alles richtig, es gibt immer Kritikpunkte. Aber was CCRL da aktuell mit den NNs treibt ist völlig idiotisch und m.E. auch unprofessionell. Dass dann CB dankend (!) aufspringt ist im Business wohl normal. Kritikwürdig ist, dass sie die suboptimalen Bedingungen verschweigen, aber welchen "Normalverbraucher" interessiert das schon oder wer versteht das schon...? Das, was wir hier treiben ist eh eher ein Freakding.

Hat auch nichts mit "Spaß verderben" oder was auch immer zu tun. Jeder soll Spaß haben, so wie er/sie es will. Und NATÜRLICH interessiert Hardwareausgeglichenheit eben NICHT wenn ich bei Turnieren spiele, egal ob auf einem Server oder wie oder wo auch immer. Je schneller desto besser. Und wenn der Gegner im Nachteil ist, ist das eben so. Er muss ja nicht antreten. Aber vielleicht hat er einfach SPASS daran, auch mit unterlegener Hardware. So what, alles OK.

Verunglimpfungen oder Verballhornungen wie "nutzlos" oder "ratio-pharm" sind wenig hilfreich. Man muss halt schauen von wem es kommt, dann weiß man Bescheid
- - By Benno Hartwig Date 2019-12-03 20:00
Um verschiedene Begegnungen von AB- und NN-Engines in Beziehung setzen zu können, ist der Leela-Ratio sicher ein gutes Mittel.
Die Frage, welche auf AB getunte Hardware die "gerechte" Gegner-Hardware  für NN ist, wird dadurch wohl aber nicht beantwortet.
Hier müssen wohl persönliche Einstellungen eingehen.

Mir käme folgende Grundidee vernünftig vor.
Nimm einen Geldbetrag (vielleicht 1500 Euro) und kaufe dafür jeweils
- eine für AB-Engines getunte Maschine (toller Prozessor, großer schneller Speicher, schnelle SSD) und schlappe Grafik.
- eine für NN-Engines getunte Maschine (möglichst gute Grafikkarte! welcher Prozessor? Wie groß der Speicher? schnelle SSD nötig?).

Diese Hardware-Verteilung wäre irgendwie "gerecht", finde ich.
Wobei sich in 3 Jahren vielleicht die Preise und Leistungen schon wieder so verschoben haben, sodass "gerecht" dann wieder etwas anders wäre.

Benno
Parent - - By Peter Martan Date 2019-12-03 21:09 Edited 2019-12-03 21:47
Die Preise springen durch Angebot und Nachfrage bei jeder jeweils gerade aktuellen Neuigkeit. Der Strompreis und der Verbrauch spielen dabei zwar auch eine, hierzulande aber (noch) kaum eine wesentliche Rolle.
Der Stromverbrauch einer bestimmten Hardware beim Betrieb bestimmter Anwendungen bleibt hingegen ziemlich konstant. Und nicht umsonst spricht man in der Elektrotechnik vom Begriff der Leistung.
Übrigens ist das mit den PS und den kW beim Auto ja auch schon einmal in der Diskussion aufgetaucht, zum Vergleich zwischen Pferden und Autos durchaus auch immer noch nicht ungebräuchlich, die Einheit(en), wenngleich, wie auch schon erwähnt, das direkte Antreten in verschiedenen Disziplinen von echten Vierbeinern und Autos gemeinsam nur mehr selten vorkommt.
Mag ja sein, die CPUs spielen in absehbarer Zeit auch keine Rolle mehr im Schach, vorläufig halt schon noch. Und noch einmal, die echten Hybride, die CPU und GPU nutzen (werden), kommen erst noch. Wie wird man das bei denen mit der Leela- Ratio überhaupt berechnen wollen, was sie wie sehr auf welche Art leisten?
Parent - - By Stefan Pohl Date 2019-12-04 07:59
Peter Martan schrieb:

Die Preise springen durch Angebot und Nachfrage bei jeder jeweils gerade aktuellen Neuigkeit. Der Strompreis und der Verbrauch spielen dabei zwar auch eine, hierzulande aber (noch) kaum eine wesentliche Rolle.
Der Stromverbrauch einer bestimmten Hardware beim Betrieb bestimmter Anwendungen bleibt hingegen ziemlich konstant. Und nicht umsonst spricht man in der Elektrotechnik vom Begriff der Leistung.
Übrigens ist das mit den PS und den kW beim Auto ja auch schon einmal in der Diskussion aufgetaucht, zum Vergleich zwischen Pferden und Autos durchaus auch immer noch nicht ungebräuchlich, die Einheit(en), wenngleich, wie auch schon erwähnt, das direkte Antreten in verschiedenen Disziplinen von echten Vierbeinern und Autos gemeinsam nur mehr selten vorkommt.
Mag ja sein, die CPUs spielen in absehbarer Zeit auch keine Rolle mehr im Schach, vorläufig halt schon noch. Und noch einmal, die echten Hybride, die CPU und GPU nutzen (werden), kommen erst noch. Wie wird man das bei denen mit der Leela- Ratio überhaupt berechnen wollen, was sie wie sehr auf welche Art leisten?


Preise als Vergleich zu nehmen, ist natürlich völlig lächerlich. Wie du richtig sagst, ändern diese sich ständig im Bereich Computer und Elektronik. Würde man den Stromverbrauch als Vergleich heranziehen, wäre das auch nix. Denn die RTX Karten brauchen auch nicht nennenswert mehr Strom, als eine GTX Karte, lassen die NN Engines aber dank der fp-16 Option viel schneller laufen. Eine GTX 1080 hätte dann einen ähnlichen Ratiowert wie eine RTX 2070. UNSINN - Logisch. Denn in der NN- Verarbeitungsgeschwindigkeit liegen Welten zwischen beiden Karten.
Das haben wir doch alles schon hier durchgekaut.
Es ist und bleibt so, dass einzig die LeelaRatio einen Vergleich bzw. Benchmark zwischen AB und NN ermöglicht. Sicher ist es generell problematisch, AB und NN überhaupt zu vergleichen, weil diese Ansätze so konträr sind. Aber wenn, dann geht es nur so.
Parent - - By Guenter Stertenbrink Date 2019-12-04 08:12
man muss halt einen Referenzwert zugrunde legen und spaetere Rechner
darauf eichen. Sowie CCRL mit ihrem Athlon.
So wie A0 mit dem Leela Ratio (SF8,google TPUs).
Ich denke Stromverbrauch wird in Zukunft geringeren Schwankungen
unterliegen und damit besser geeignet sein als Hardware-Preise oder kn/s
Parent - - By Benno Hartwig Date 2019-12-04 12:26

> man muss halt einen Referenzwert zugrunde legen und spaetere Rechner darauf eichen


Wenn man einen Wert braucht, mit dem verschiedene Begegnungen vergleichbar werde, hast du sicher Recht.
Ob eine Begegnung "gerecht" ist, verrät er dir von sich aus aber gar nicht.
Hierfür braucht es weichere Kriterien.
Ein Überzeugenderes als der Kaufpreis ist mir noch nicht untergekommen, auch in den Diskussionen hier.

Würde man den Kaufpreis zugrunde legen, gäbe da halt eine Basis, um einen aktuell gerechten technischen Faktor zu definieren.
Eichungsgrundlage wäre in diesem Fall aber eben immer noch der aktuelle Beschaffungspreis.
Parent - - By Guenter Stertenbrink Date 2019-12-04 13:12 Upvotes 1
der Kaufpreis haengt von vielen Unwaegbarkeiten ab.

wo ? wann ? neu oder gebraucht ? Transportkosten ? Umrechnungskurse ?
Konkurrenzsituation, Steuern, Zoelle, Arbeitskosten, Streiks, Zinsen, Boersenklima,

kw dagegen ist eine physikalische Groesse
Parent - By Benno Hartwig Date 2019-12-04 22:49

> kw dagegen ist eine physikalische Groesse


Stimmt, aber eine, die mich bei der Betrachtung von Schachmaschinen doch nur sehr am Rande interessiert.
Es mag halt auch noch andere exakte Größen geben, die mich noch weniger interessieren.
Up Topic Hauptforen / CSS-Forum / Hinweg mit dem nutzlosen Leela Ratio!
1 2 Previous Next  

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill