LCZero v0.20.0 rc2 32294

By Stefan Pohl Date 2018-12-28 19:15 Edited 2018-12-28 19:25

Ohne Angabe der Leela-Ratio bringen die Hardwareangaben leider nichts.

Aber ein starkes Ergebnis auf jeden Fall.
Ich lasse gerade Leela mit Net 32295 (also praktisch identisch) in meinem Long thinking-time Turnier per Gauntlet ca. 250 Partien gegen die Top5 Engines spielen. Das dauert aber noch eine Woche. Der Start war mittelprächtig - ziemlich gleichauf mit Net 11250.

https://www.sp-cc.de/long-thinkingtime.htm

By Andreas Strangmüller Date 2018-12-28 19:50

Hallo Stefan,

da bin ich etwas anderer Meinung. Die Hardwareangaben ohne Leela-Ratio sagen diesem Fall gleichwohl etwas aus, aber ich weiß was Du meinst. Ich hätte die Leela-Ratio mit angeben sollen, hole ich nach.
Die Spielstärke eines Stockfish 10 auf einem Intel Prozessor mit vier Kernen bei 3.1 GHz sollten jedem Computerschachinteressierten etwas sagen. Man braucht nur auf die aktuellen Ranglisten zu schauen. Welche andere Engine hat nur 30-40 Elo Rückstand zu Stockfish 10?
Grafikkartenpower hin oder her.

Viele Grüße,
Andreas

By Stefan Pohl Date 2018-12-28 20:01 Edited 2018-12-28 20:08

Andreas Strangmüller schrieb:

Welche andere Engine hat nur 30-40 Elo Rückstand zu Stockfish 10?
Grafikkartenpower hin oder her.

Darum geht es ja gerade. Eine GTX1070 ist ja gegen eine QuadCore-CPU eher “schmalbrüstig“, würde ich meinen (die neuen RTX Karten spielen ja wegen der Möglichkeit Leela auf floatingpoint=16 zu schalten in einer ganz anderen Liga!). Insofern tippe ich auf einen relativ niedrigen Leela-Ratio Wert in deinem Setup. Aber das würde ich eben gerne genau wissen.
Da deine GPU ca. 4x schneller ist, als meine GTX 950mobile und ich deswegen die Gegnerengines auch nur singlecore laufen lasse (was aber immerhin ponder on ohne Leistungsverlust für alle beteiligten Engines ermöglicht), vermute ich deine Leela-Ratio knapp über meiner (0.67).

By Andreas Strangmüller Date 2018-12-28 20:20

Leela Ratio = (875 * Leela Chess Zero nps) / SF10 nps (Grundstellung)

(875 x 5.965 nps) / 5.338.881 nps = 0,977

By Peter Martan Date 2018-12-28 20:35

Danke für die Info, Andreas!
Noch bevor ich mir die Partien anschaue (danke auch dafür), was hast du für Eröffnungsstellungen verwendet?

By Andreas Strangmüller Date 2018-12-28 20:51 Upvotes 1

Hallo Peter,

habe das 4 Züge Buch (ultra-short 4-moves openings) von Stefan's Seite benutzt.
https://www.sp-cc.de/downloads--links.htm

Die Partien wurden mit getauschten Farben wiederholt.

Grüße,
Andreas

By Benno Hartwig Date 2018-12-28 20:52 Edited 2018-12-28 21:05

> nur noch ca. 30-40 Elo stärker

Solch eine Aussage bei gerade mal 60 Partien?
Für eine +- 5 Elo bei 95% -Aussage braucht es doch sonst mehr als 10.000 Partien, oder?
Wie wäre dieses +-x hier, wenn man 95% zugrunde legt?
Benno

PS:
Sorry, ich hatte noch mein Posting erweitert und erst dann gesehen, dass du schon ganz fix geantwortet hattest.

By Andreas Strangmüller Date 2018-12-28 21:02

Ok, Du hast recht, das war nur eine grobe Schätzung von mir. Bei 60 Partien ist die Fehlertoleranz bei 95 % ca. 50 Elo.
Habe allerdings auch meine Erfahrung der vorherigen Resultate und die des aktuellen Netzes 32324 in die Schätzung mit einfließen lassen.

Hier die exkate Elostatistik nach 60 Partien.

Result     : 33.0/60 (+13,=40,-7)
Perf.      : 55.0 %
Margins    :
 68 %      : (+  3.7,-  3.6 %) -> [ 51.4, 58.7 %]
 95 %      : (+  7.2,-  7.2 %) -> [ 47.8, 62.2 %]
 99.7 %    : (+ 10.9,- 10.9 %) -> [ 44.1, 65.9 %]

Elo        : 3035
Margins    :
 68 %      : (+ 26,- 25) -> [3009,3061]
 95 %      : (+ 52,- 50) -> [2985,3087]
 99.7 %    : (+ 80,- 76) -> [2959,3115]

By Guenter Stertenbrink Date 2018-12-29 08:50

wenn ich da keinen Fehler hab in meinem Analyse+Konvertier Programm,
dann verbessert Lc0 im Durchschnitt ihre eval bis Zug 40
selbst nach Stockfish's Meinung.
Danach dreht sich das Blatt.

leicht-computer-lesbar : http://magictour.free.fr/lc0am1.eva

By Guenter Stertenbrink Date 2018-12-29 17:45

mit der Turnierdatei wuerde ich dann wieder versuchen
die eval-Durchschnitt-charts zu malen , um zu sehen
wie Lc0 in Mittel- und Endspiel abschneidet und ob sich das
aendert bei laengerer Bedenkzeit/besserer Hardware

http://magictour.free.fr/lc0am1.GIF

By Lothar Jung Date 2018-12-29 18:00

Ich habe auch Tunierdateinen von 4 und 6 Threadpartien von SF10 gegen Net32xxx.
Wie soll ich die übermitteln, E-Mail?

By Guenter Stertenbrink Date 2018-12-29 19:07

email sterten#posteo*de
oder zippishare oder app.box oder google-box? oder so , fuer jedermann ,
so seh ich das meist in den anderen Foren
oder auf irgendeine webseite uploaden mit ftp, so mach ich das immer

By Lothar Jung Date 2018-12-30 04:30

Dieses Tunier ist bestimmt interessant:

https://tcecbonus.club

By Stefan Pohl Date 2018-12-30 05:24 Edited 2018-12-30 05:33

Lothar Jung schrieb:

Dieses Tunier ist bestimmt interessant:

<a class='ura' href='https://tcecbonus.club'>https://tcecbonus.club</a>

Naja, ich hab mir mal die Knotenzahlen angesehen: ein sehr hoher Leela-Ratio Wert von ca. 1.9 bis 2.0. Das ist schon heftig, fast doppelt so hoch wie beim AlphaZero-Wettkampf von Google. Also ein sehr deutlicher Vorteil für Leela. Insofern könnte Leela evt. gegen Stockfish gewinnen. Zudem ist es die im Top-Bereich heutzutage übliche Remisorgie (trotz der flotten Bedenkzeit). Bisher 12 von 15 Partien Remis also gut 80% Remisquote. Das ist mir viel zu viel. Langweilig, darauf zu warten, daß mal eine Partie NICHT Remis wird. Mit meinen Drawkiller Openings wäre es spannend. So nicht wirklich. Finde ich zumindest. Zumal es statistisch höchst fragwürdig ist, nach Unmengen von Remisen und einigen, wenigen Gewinnpartien einen Sieger auszurufen.

By Lothar Jung Date 2018-12-30 13:20 Edited 2018-12-30 13:38

SF10 läuft mit 24 Threads, das ist doch ziemlich viel.
Und 40 Partien gibt doch schon einen Trend.
Die 32xxx Netze haben auch noch Luft nach oben und ein LR Drop steht noch aus.

Jedoch gibt es noch große Schwächen, insbesondere:

Fehler beim Search bei Mattpositionen https://groups.google.com/forum/m/#!topic/lczero/FHfnXXTCSo4
https://github.com/LeelaChessZero/lc0/issues/627
Memory Leak beim Hash https://groups.google.com/forum/m/#!topic/lczero/9-gMLCEkmnY

By Stefan Pohl Date 2018-12-30 15:01 Edited 2018-12-30 15:05

Lothar Jung schrieb:

SF10 läuft mit 24 Threads, das ist doch ziemlich viel.
Und 40 Partien gibt doch schon einen Trend.

Man muß sich immer vor Augen halten, daß nur die Gewinnpartien darüber entscheiden, welche Engine in so einem engen Zweikampf der Sieger ist. Die Remispartien bringen diesbzgl. (logischerweise) gar nichts. Wenn von den 40 Partien 30 Remis ausgehen (und das ist in diesem Wettkampf in etwa zu erwarten), entscheiden nur diese 10 nicht-Remisen über Sieg oder Niederlage. Und nicht 40 Partien.
Würden Drawkiller openings benutzt, würde es voraussichtlich ca. 25 nicht-Remispartien in so einem 40 Partienwettkampf geben. Das wäre dann statistisch viel aussagekräftiger. Daß die Partien zudem viel spektakulärer und spannender werden, wäre der angenehme und unterhaltsame Nebeneffekt.

By Guenter Stertenbrink Date 2018-12-30 07:59

sind die Partien verfuegbar ? nicht im archive afaics