Thomas Plaschke schrieb:
<code>Chancengleichheit </code>benutzte ich synonym zu <code>gleiche Hardware-Bedingungen</code> oder auch <code>vergleichbar ähnlich gleiche Hardware-Bedingungen</code>. Denn unterschiedliche Hardware ist nicht identisch.
Unterschiedliche Hardware ist nicht identisch, da hast du recht.
Inwieweit ihre Unterschiede für verschiedene Anwendungen größer oder kleiner sind, hängt von der Hardware und von den Anwendungen ab, nicht nur davon, ob es mehr die CPU oder mehr die GPU ist, die zum Einsatz kommt.
Thomas Plaschke schrieb:
Im Vergleich LC0 mit CPU-gestützten Programmen hat sich die Leela-Ratio als nützlich erwiesen, weil LC0 anders arbeitet (Rollouts/s und keine Knoten/s). Die (willkürliche) Festlegung eines Wertes zur Herstellung der Vergleichbarkeit von LC0 hat mit Spielstärke nur insoweit zu tun, als dadurch ermöglicht wird, Ergebnisse, die auf unterschiedlicher Hardware erzielt wurden, miteinander vergleichen zu können. - Und das funktioniert! Jedenfalls verstehe ich Stefan Pohls Ergebnisse genau so. Deine Ausführungen zu TC, verschiedenen Netzen und Spielstärke halte ich daher nicht für zielführend.
Ich schon.
Weil du nicht aus den qualitativen und quantitativen Unterschieden zwischen zwei bestimmten Engines, von denen eine eine NN-, die andere eine A-B-Engine ist, noch dazu die eine von Google ohne Veröffentlichung der Engine selbst auf einer völlig anderen Hardware lief, als die, die jetzt (auch völlig unterschiedlich im Einzelrechner) für LC0 verwendet wird, und die andere in einer viel früheren Version unter ebenfalls ganz anderen Bedingungen, als in Ranglistenmatches, wie sie im Computerschach üblich sind.
Aus diesem einen exotischen Match kannst du nicht so einfach auf die qualitativen und quantitativen Unterschiede zwischen LC0 und SF folgern, ohne das jeweilige Teilnehmerfeld in seiner Größe und Zusammensetzung und der unterschiedlichen Nutzung durch die verschiedenen A-B- und NN- Engines auch zu beachten, ebenso wie das Match zwischen A0 und SF8 mit fixen Zeiten und ohne Buch geführt wurde, was die Hardware- Zeit- Nutzung der beiden Programme auch wieder ganz anders zu werten macht, als das alles, wofür du deine Ratio jetzt verwendest.
Ich glaube eigentlich auch von meinen Ausführungen, nachdem ich's jetzt noch einmal redlich probiert habe, sie zu präzisieren, dass sie klar und verständlich sind, wenn man sie denn verstehen will und sich mit den Einwänden, die ich gegen die Leela- Ratio daher habe, überhaupt auseinandersetzen.
Thomas Plaschke schrieb:
Und was gegen den Stromverbrauch spricht? Hatte ich geschrieben. Es stellt schon die Verhältnisse im CPU-CPU-Vergleich auf den Kopf. Ob es sich gegen Knoten pro Sekunde durchsetzen wird? Oder soll man den Stromverbrauch etwa nur zum Vergleich CPU- gegen GPU-Engines heranziehen?
Was heißt, es stellt die Verhältnisse auf den Kopf?
Doch wohl höchstens relativ zu dem, was du für richtiger hältst und nur in Hinblick auf den einen und einzigen Vergleich, der dir wichtig erscheint, den zwischen LC0 mit einem einzelnen bestimmten Netz und Stockfish, oder?
Dass eine allgemeine Relation zwischen Hardware- Zeitleistungen von sowohl CPU- , als auch GPU- gestützten Programmen nicht durch diese eine einzelne Relation zwischen LC0 (eigentlich A0) und SF (8 unter den eher exotischen A0-SF- Turnierbedingungen von damals) ausreichend genau sein kann, wenn du damit z.B. auch nur verschiedene Netze auf verschiedenen GPUs mit unterschiedlicher TC, verschieden großem NN- Cache, verschiedenen Büchern und gegen ein verschieden buntes Gegnerfeld testen willst, würde dir dieselbe Kritikfähigkeit leicht sagen, die du uralten Feindbildern von "Stellungstests" gegenüber, schon aus Gewohnheit leicht aufbringst, wenn du da ähnlich kritikwillig wärest.
Dass ich das alles übrigens nicht allein so "kompliziert" sehe, kannst du im parallelen CCC- Thread und in anderen Threads, z.B. auch im LC0- Forum verfolgen.
Ein ganz gutes Posting von Einem, den man allgemein wohl nicht als unerfahren im Umgang mit NN- und A-B-Engines und den Vergleichen zwischen ihnen kennt, von Kai Laskos, hätte ich hier z.B.:
http://talkchess.com/forum3/viewtopic.php?p=821047#p821047Zitat:
Leela ratio on an RTX GPU at 60'' + 0.6'' is smaller than at 60' + 36''. There are "curves" of Leela ratios function of hardware, time control, cache size, etc.
Kürzer und bündiger kann man's kaum sagen, ich persönlich habe damit und mit all dem anderen, was ich hier übrigens ja auch absolut nicht zum ersten Mal elaboriere, erst mal wieder genug.
Das sind alles schon so alte Hüte, die Frage der Vergleichbarkeit von Hardware- Zeit- Leistungen verschiedener Programme haben wir ja wirklich nicht erst seit A0 und LC0, warum jetzt plötzlich, wenn halt die GPU auch mitspielt, alles andere, was bisher auch schon bekannt war, wieder vergessen werden soll, damit man LC0 und SF überhaupt noch irgendwie glaubhaft wenigstens direkt gegeneinander soll vergleichen können, ohne sich nicht dauernd selbst den Vorwurf machen zu müssen, das sei statistisch alles überhaupt nicht signifikant und bewiesen, und warum einen außer dieser einen Auseinandersetzung, weil die allein halt schon eine zur statistisch signifikant überhaupt noch absicherbaren Elo- Unterscheidbarkeit (gültig wenigstens für die Zeit, die es dauert, genug Partien dafür ausgespielt zu haben) mehr als knappe Sache darstellt, absolut nichts anderes mehr im Computerschach interessieren soll, sehe ich wirklich nicht ein.
Für diejenigen, denen diese eine Frage, ab welcher Hardware- TC- Grenze ein bestimmtes NN- Netz gegen SF von der einen Grenze der Errobar gegen die andere hin wechselt, so unter den Nägeln brennt, dass ihnen sonst nichts mehr Platz hat in ihrem Hobby außer dieser einen Frage, hätte ich schon auch eine einfache stromsparende Antwort: das wird zu einem guten Teil darauf ankommen, wie man die dritte Nachkommastelle der Leela- Ratio wählt, und ansonsten ist die Auseinandersetzung vielleicht einfach praktisch Remis, auch wenn nach 3000 Partien die 3001. den Schritt aus der Errorbar hinaus gebracht hätte. Hat man zwar vielleicht nur um eine Partie zu früh mit dem Match aufgehört, weil längst schon wieder ganz andere Netze und Engine- Versionen aktueller geworden sind, dafür konnte man sich dann denen auch noch widmen, bevor der letzte Fan des einen bestimmten Netzes oder der einen bestimmten SF- Version das Lager gewechselt hat oder eingeschlafen ist.
SCNR.
Mich interessiert halt bei dieser nervenzerfetzenden Auseinandersetzung um Millielo immer wieder mal mehr die Frage, was spielt die eine und was spielt die andere (und vielleicht gar noch eine dritte, oder ein anderes Setting oder ein anderes Netz) in dieser und jener bestimmten einzelnen Stellung.
Ganz gut verstehen kann ich in dem Zusammenhang übrigens Michael Scheidl schon auch immer wieder mal in solchen Fällen, wenn er sich mit derlei Sophismen weniger antut und dafür etwas markigere Ausdrücke wählt. Immerhin hat er die Frage, ob man nach der heiligen Kuh Elo jetzt wirklich unbedingt eine weitere ebenso heilige Leela- Ratio verehren muss, oder auch an der hin und wieder etwas zweifeln darf, zu beachtlichem Interesse verholfen.
Zum Zweifel an ihrer absoluten Übertragbarkeit z.B.
Stromverbrauch wäre jedenfalls weniger fragwürdig für mich.
Bisher musste man nur die GHz mit der Kernzahl multiplizieren, um mehr hat man sich ja meistens eh auch schon nicht mehr wirklich geschert, (z.B. um die TC, das Teilnehmerfeld und die Bücher) warum kann man dann jetzt nicht einfach schauen, welche Anwendung auf welcher Hardware wie viele Wattstunden zapft?
Hätte auch den großen Vorteil, dass einem einmal mehr vor Augen geführt würde, was man da allein an dieser hierzulande viel zu billigen Ressource so alles ziemlich peinlich vergeudet, wenn man's mit dem vergleicht, wozu Strom vielleicht doch auch sonst noch irgendwie nützlich sein kann oder könnte.
Und aus.