Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Stockfish 11, Contempt=0 - Lc0 0.23.2 (Kiudee Settings) 20x256 S.Vieri T40-1541
1 2 Previous Next  
- - By Andreas Strangmüller Date 2020-01-29 21:58 Upvotes 1
GeForce RTX 2060, 10 Core Intel E5-2680v2 @ 2.80 GHz
Eröffnungen: Hert_250_lowdraws.pgn
TC: 60 Sek. + 0.6 Sek.
250 Partien

Lc0 0.23.2 256x20-T40-1541   +40  +51/=177/-22 55.80%  139.5/250
Stockfish 11                 -40  +22/=177/-51 44.20%  110.5/250


+40 Elo!
Parent - - By Tom Paul Date 2020-01-29 22:28
Ein negativer Contempt ist viel besser für Stockfish.

Z.B. -10 oder -20 oder -25

Da hätte LC0 wahrscheinlich nur mit +5 -2 gewonnen.
Parent - - By Michael Scheidl Date 2020-01-29 23:36 Upvotes 3
Mamma mia, hör doch auf, einmal ist ein negativer contempt "viel besser" (wofür zum geier, wer will denn das sehen?!), nächstes mal ist ein positiver contempt besser, dann wiederum gilt alles nix weil mit oder ohne pondern gespielt wurde oder weil der Mars nicht im quadrat des Jupiter war...

Ich würde nur mit defaults testen und wenn die suboptimal sind, haben halt die programmierer so entschieden. In der praxis, also fürs analysieren stelle ich stockfish auf contempt=12 als kompromiß, die hälfte denn ein bißchen optimistisch darf ein Stockfish bei mir immer sein
Parent - By Tom Paul Date 2020-01-30 12:24
Der negative Contempt führt zu einer viel höheren Remisquote.
Somit ist der ELO Unterschied geringer.
Es geht nicht darum ob es einem gefällt.
Parent - By Andreas Strangmüller Date 2020-01-29 23:48 Upvotes 1
Bin auf Deine Tests mit Contempt=0 im Vergleich zu einem negativen Contempt gespannt.
Behaupten ist leicht, Fakten zählen!
Parent - - By Heinz Hagenstein Date 2020-01-29 23:33
Da hat eine schwache CPU gegen eine starke GPU gespielt,kein Wunder das es so aus ging.

Gruß Heinz
Parent - By Andreas Strangmüller Date 2020-01-29 23:43 Upvotes 1
Hallo Heinz,

die Leela-Ratio liegt bei 1,28 auf diesem System.
Da ist von schwacher CPU, immerhin 10 Intel Kerne, oder von überaus starker GPU überhaupt nicht die Rede.

Grüße,
Andreas
Parent - By Benno Hartwig Date 2020-01-30 15:16
"eine Schwache CPU" bei 10 Kernen.

Da werden ich und mein kleines Notebook ganz still...
Parent - - By Andreas Strangmüller Date 2020-01-30 00:35
Mein Test bestätigt übrigens die ca. +40 Elo zu Stockfish 11, siehe Post von Stefan Pohl:
https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?tid=10910
Parent - - By Clemens Keck Date 2020-01-30 07:18 Upvotes 1
Andreas Strangmüller schrieb:

Mein Test bestätigt übrigens die ca. +40 Elo zu Stockfish 11, siehe Post von Stefan Pohl:
<a class='urs' href='https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?tid=10910'>https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?tid=10910</a>


Moin moin

danke für den Test ! Hattest Du das match auch mal mit contempt 24 gespielt? Fände ich interessant.
Kiudee setting schneidet echt stark ab im Bullet.

Ich mach mal 200 Spiele mit 10 +2 ponder on.
Beim letzten run, allerdings nur 100 Spiele , war sv 1541-kiudee etwas schwächer als default.
Code:
sv1541, Blitz 10m+2s  2020

                               
1   Stockfish 11 64 BMI2-12cpu  +14/-7/=79 53.50%   53.5/100
2   Lc0,v0.23.2+git.c8d9095     +7/-14/=79 46.50%   46.5/100


Code:
sv1541-kiudee, Blitz 10m+2s  2020

                               
1   Stockfish 11 64 BMI2-12cpu  +17/-8/=75 54.50%   54.5/100
2   Lc0,v0.23.2+git.c8d9095     +8/-17/=75 45.50%   45.5/100



hier noch das match mit 3+2
Code:
sv1541, Blitz 3m+2s  2020

                               
1   Lc0,v0.23.2+git.c8d9095     +15/-11/=74 52.00%   52.0/100
2   Stockfish 11 64 BMI2-12cpu  +11/-15/=74 48.00%   48.0/100



C.K.
Parent - By Peter Martan Date 2020-01-30 08:06
Clemens Keck schrieb:

Ich mach mal 200 Spiele mit 10 +2 ponder on.

Das wär' fein.
Was nimmst du für Eröffnungen?
Parent - By Eduard Nemeth Date 2020-01-30 08:38
Deine Tests finde ich sehr gut. Die Stufe von 10+2 ist klasse, ebenso dass du Ponder On verwendest. Damit kann man sich besser vorstellen was die Engine im richtigen Turnierspiel zu leisten vermag (auf Infinity wird ja mit 12+2 gespielt und auf Schach.de ist eine der Disziplinen 16+2). Wenn das Kiudee dafür nicht besser ist, ist es für die Katz.

Ich werde jetzt auch Ponder On verwenden wenn ich das austrainierte T59 gegen Stockfish testen werde. Ich habe die vage Befürchtung dass es für Lc0 ein Desaster werden könnte. Weil ich mir sicher bin dass Stockfish von Ponder On mehr profitiert. Allerdings lasse ich mit Tablebases spielen, und hier sogar mit vielen 7 Steinern, davon könnte Lc0 mehr profitieren. Sollte das T59 nur 100 Elo schwächer sein als Stockfish, es wäre ein spitze Ergebnis! Auf meiner GTX 1050 Ti schafft das T40
Netz in der Grundstellung etwa 1,8 Kns und Stockfish auf einem Thread 1800 kns. Damit ist die Hardware gleich.
Parent - - By Andreas Strangmüller Date 2020-01-30 09:36
Clemens Keck schrieb:


Moin moin

danke für den Test ! Hattest Du das match auch mal mit contempt 24 gespielt? Fände ich interessant.
Kiudee setting schneidet echt stark ab im Bullet.


Danke für Deine Ergebnisse, Clemens!

Es überrascht mich, dass auf Deinem System die Kiudee-Settings fast keinen Einfluss auf die Ergebnisse haben.
Es hat den Anschein, also ob ponder=on Stockfish mehr nützt als Lc0.
Die Bedenkzeit schließe ich eher aus, da Stefan Pohl ja auch mit 8 Min. + 5 Sek. getestet hat.

Werde mein Match zum Vergleich mit dem Standard Contempt=24 wiederholen.

Grüße
Andreas
Parent - - By Reinhold Stibi Date 2020-01-30 12:36
Match Lc0 v0.23.2 Sergio t40-1541 mit Kuidee Settings  RTX 2070   gegen  Stockfish 11   24 Threads X5690  Contempt 0

4-Züge Eröffnungsvorgabe von Stefan Pohl    1 Min. + 1 Sek. pro Zug  GUI Fritz 16

Bisher 20 Partien gespielt  +3  =16  -1  = 55,0 %   = + 35 Elo für Lc0. Match läuft bis 200 Partien.

Sehr guter Anfang für Lc0 Sergio 1541.

Hätte nicht gedacht dass sich das Sergio Net innerhalb so kurzer Zeit steigern könnte.

Bei der Installation habe ich sofort die Kuidee Settings bei Lc0 eingebunden um sicher zu gehen, dass sie auch vollständig
übernommen werden.

Bin gespannt auf den weiteren Fortgang. Sollte Lc0 Sorgio bis zum Schluss einen Vorsprung von 30 Elo halten können
würde ich Stefan Pohl rechtgeben mit seiner Behauptung dass nun Lc0 die Nr. 1 ist.
Parent - - By Eduard Nemeth Date 2020-01-30 12:41 Edited 2020-01-30 12:52
Im Bullet+Blitz. Und ohne Ponder. Wenn bei Clemens auf Stufe 10+2 und Ponder ON Stockish besser ist, dann ist das für mich das wichtigere Ergebnis. Und das bestätigt nur die Ergebnisse auf Schach.de wo auch mit Ponder ON gespielt wird, und Stockfish da einen Tick besser ist.
Parent - By Reinhold Stibi Date 2020-01-30 12:51
Kann ich verstehen.

Wie sind denn die Testbedingungen bei Clemens, Vollständigkeit wäre gut, damit man sich ein Bild machen kann.
Parent - - By Peter Martan Date 2020-01-30 12:56
Andreas Strangmüller schrieb:

Die Bedenkzeit schließe ich eher aus, da Stefan Pohl ja auch mit 8 Min. + 5 Sek. getestet hat.

Naja, das 10'+2" imit ponder on ist aber auf Clemens Hardware schon was anderes als 8'+'5" auf Stefans mit ponder off.
Parent - - By Eduard Nemeth Date 2020-01-30 13:07
Kann man wohl sagen!
Parent - By Reinhold Stibi Date 2020-01-30 15:10
Mein Match wie weiter oben angeführt,

Lc0 v0.23.2 Sergio t40-1541 mit Kuidee-Settings  gegen  Stockfish 11 Contempt 0   Xeon X 5690 24 Threads

nach nun 54 Partien ist Lc0 Sergio t40-1541 in den Ergebnissen abgesackt.

+8   = 37   -9  =49,1 %  = - 6 Elo.

abwarten bis die 200 Spiele zu ende sind.

Der übermäßige Elozuwachs  wie von Stefan Pohl und Andreas Strangmüller scheint nicht nachvollziehbar zu sein.
Parent - - By Clemens Keck Date 2020-01-30 16:04
Andreas Strangmüller schrieb:


Es überrascht mich, dass auf Deinem System die Kiudee-Settings fast keinen Einfluss auf die Ergebnisse haben.



geht mir genauso ! Ich würde mir wünschen in etwa gleich zu liegen mit den anderen Tests.
denn letzten endes will ich ( so nebenbei) das beste Lc0 setup finden für meine täglichen online engine Spiele.

100 Spiele sind schon sehr ungenau, deswegen bin ich zu 200 bzw. 300 übergegangen.
Trotzdem weicht es oft noch gravierend ab von den meisten Tests. Das verunsichert mich.
Dachte auch vielleicht ist SF 11 zu stark mit 12 cpu, aber so habe ich vor einem Jahr auch die T40 getestet. Möchte das beibehalten.
10+2 ist mir wichtig, das pondern auch, bietet sich ja quasi an wenn man genug cpu Kerne zur Verfügung hat.
Meine 200er Tests laufen auf zwei 16 core Maschinen, und selbst da habe ich noch 10 ELO Abweichungen. Beides zusammen sollte aber einen verlässlichen Mittelwert geben.

C.K.
Parent - - By Reinhold Stibi Date 2020-01-30 16:41
10+2 mit pondern ist schon prima.

Nehme an dass du eine RTX 2060 verwendest. Da sind 12 Kerne m.E. gerade richtig, aber bestimmt nicht zu viel.

Für eine RTX 2070 braucht man für Ausgeglichenheit 15 Kerne.

Leider ist  bei vielen Testern keine Ausgeglichenheit der Hardware gegeben. Die wenigsten haben 15 Kerne und mehr.
So werden dann auch Ergebnisse verfälscht.

Verlasse dich doch auf deine eigenen Tests, das tue ich übrigens auch.

200 Partien für ein Match finde ich richtig, darüber tut sich nicht  mehr viel.

Für online engine Spiele sind aber doch in erster Linie die Eröffnungsbücher ausschlaggebend und nicht ob eine Engine
10 oder 20 Elo mehr hat;  so ist meine Erfahrung von früher.

Ponder on würde mein Computersystem (von der CPU Erwärmung) bei voller Leistung auf Dauer überfordern und der
Lärmpegel für die Kühlung wäre mir zu laut.
Parent - - By Peter Weise Date 2020-01-30 17:21
Reinhold Stibi schrieb:

Leider ist  bei vielen Testern keine Ausgeglichenheit der Hardware gegeben. Die wenigsten haben 15 Kerne und mehr.
So werden dann auch Ergebnisse verfälscht.


Ausgeglichenkeit im Sinne des Leela-Ratio läßt sich auch für RTX-Karten leicht herstellen:
- als backend cudnn wählen, nicht cudnn-fp16 oder auto
- mittels Grafikkartentool die Geschwindigkeit reduzieren
- nur einen "worker-thread" für LC0 einstellen
Und schon ist LC0 auch auf einer RTX-Karte deutlich langsamer!
Parent - - By Reinhold Stibi Date 2020-01-30 17:42
Das wäre doch für Wolfgang Battig und sein CEGT Team eine Überlegung wert um die Leela Ratio bei Lc0 auf 1.0 zu bringen.
Parent - By Reinhold Stibi Date 2020-01-30 18:40
Nach nun 100 Partien mein Match wie etwas weiter oben

Lc0 Sergio 1451 Kiudee  RTX 2070   gegen  Stockfish 11  24 Threads Contempt 0

+14  =76  -10  = 52,0 %  = +14 Elo  für Lc0 

Ordentliches Zwischenergebnis
Parent - - By Peter Weise Date 2020-01-30 19:55
Welches Ratio hast du bei deiner Hardware ermittelt?
Ich persönlich denke das alles zwischen 0,7 - 1,3 als "unbedenklich" gelten darf.
Parent - - By Reinhold Stibi Date 2020-01-31 05:37 Edited 2020-01-31 05:47
Zwischen 0,7 und 1,3 besteht ein Unterschied von 0,6.

Das ist erheblich und hat sicher große Auswirkungen auf Testergebnisse.

Glaubst du wirklich dass über 50 % bessere Hardware unbedenklich sind ?, ich glaube das nicht.

Bei meinem Computer dürfte die Leela Ratio bei 1,0 liegen.
Parent - By Reinhold Stibi Date 2020-01-31 06:09
Nun ist mein Match nach 234 Partien beendet.

Lc0 v0.23.2  Sergio t40-1541 mit Kuidee  RTX 2070   gegen   Stockfish 11  Contempt 0  24 Threads
                                                                                          (entspricht ca.16 echten Kernen)

+ 30   = 183   -21   =51,9 %   = + 13 Elo für  Lc0.

Das knappe Ergebnis bedeutet praktisch Gleichstand; das ist nicht eindeutig besser.

Beim letzten Test  Lc0 23.1 Sergio gegen Stockfish 10.12.19  lag nach 250 Partien Stockfish noch mit + 8 Elo vorne.

Das Sergio Netz 1541 hat also nach kurzer Zeit 21 Elo dazugewonnen.
Parent - - By Peter Weise Date 2020-01-31 08:54
Reinhold Stibi schrieb:

Bei meinem Computer dürfte die Leela Ratio bei 1,0 liegen.


Hast du genaue Zahlen zur Hand, also kn/s von LC0 und Stockfish 8?
Parent - - By Peter Martan Date 2020-01-31 09:41
Peter Weise schrieb:

Hast du genaue Zahlen zur Hand, also kn/s von LC0 und Stockfish 8?

Und bei LC0 die Version 0.18 mit dem Netz 11248?

http://talkchess.com/forum3/viewtopic.php?p=827616#p827616
Zitat:

A much more useful question would be “how do I know if matches run on two different machines between gpu and cpu engines are comparable?” A primitive approach has been to determine the nps ratio from the start position for sf8 and 11248 running on lc0 v18.

Und das ist laut Dietrich Kappe, für mich einer der echten NN- Experten, auch nur "a primitive approach".
Parent - - By Peter Weise Date 2020-01-31 10:26
Peter Martan schrieb:

Und das ist laut Dietrich Kappe, für mich einer der echten NN- Experten, auch nur "a primitive approach".



Das stimmt, nur wer hat etwas besseres zu bieten?
Parent - - By Peter Martan Date 2020-01-31 13:43
Ich!
Parent - - By Peter Weise Date 2020-01-31 14:46
Und wie sieht das aus?
Parent - - By Peter Martan Date 2020-01-31 14:49
Sag' ich nicht, hab' gerade Schreibpause.
Parent - - By Peter Weise Date 2020-01-31 15:02
Und ich dachte schon da würde Substanz dahinter stecken, mein Fehler.
Es gibt eh keine bessere Lösung als das Ratio, auch solche Dinge wie die Kosten der Hardware zu berücksichtigen scheitern an sehr vielen Dingen.
Parent - - By Peter Martan Date 2020-01-31 16:45
Also gut, du gibst ja doch keine Ruhe.
Der Stromverbrauch wäre eine leicht zu messende Größe, physikalisch tatsächlich relevant, auch ökonomisch und ökologisch von Interesse, und schachlich mindestens so wenig irrelevant wie Knotenzahlen.

Ich kann mich noch gut an Zeiten erinnern, da hätten "Tester" schon beim aufkeimenden Versuch von "Nichttestern", verschiedene A-B-Engines untereinander anhand ihrer Knotenzahlen schachlich zu vergleichen, aufgejault.

Natürlich kann man einen Benchmark für eine einzelne Engine auf einer bestimmten Hardware aus Knoten/Zeit festmachen, aber diese Benchmarks jetzt zwischen verschiedenen Engines, verschiedenen Netzwerken und zwischen den Leistungen von GPUs und CPUs heranzuziehen, um die Hardware- Nutzung von grundverschiedenen Programmen schachlich zu vergleichen, das braucht schon wirklich ziemlich an den Haaren herbeigezogene völlig neue willkürliche Übereinkünfte, über die man beim Computerschach vor der Zeit der AI nur gelacht hätte.

Stell dir vor, du hättest seinerzeit behauptet, Rybka sei auf AMD- CPUs gegenüber Zappa im Nachteil, weil er auf denen weniger Knoten/s relativ zu denen auf Intel- CPUs angezeigt hätte. Ich hätte Ingo Bauer darauf reagieren sehen mögen.

Ich war aber aus dieser Diskussion schon ein paar Mal raus, diskutiere daher, wenn du's wieder mal diskutieren willst, gerne weiter mit dir selbst und anderen Jüngern der "Leela- Ratio" hier und in anderen Threads des Hauptforums weiter, ich bin in Schreibpause, bis ich ein eigenes Subforum mit dem Titel "Andere als LC0-SF-und deren Matches- Themen" bekomme.
Parent - - By Benno Hartwig Date 2020-01-31 17:44

> Ich kann mich noch gut an Zeiten erinnern, da hätten "Tester" schon beim aufkeimenden Versuch von "Nichttestern", verschiedene A-B-Engines untereinander anhand ihrer Knotenzahlen schachlich zu vergleichen, aufgejault.


Und mit Recht!
Wie absurd ein Vergleich von Rybka mit anderen wäre, wenn man ähnliche nps-Werte erzwingt, sagtest du ja schon.
Ich stelle mir gerade den alten Mephisto III vor und andere Rechner, die du ähnlich weit runterbremst. Grotesk.

Nein:
Der Entwickler bekommt die Hardware und soll damit was zaubern. Ob er nun die Knotenleistung tunt, oder ob er diese zugunsten irgendeiner stärkesteigernden Intelligenz runterkurbelt, ist seine Freiheit.

Und die NNs haben doch eine grundsätzlich andere Logik. Wie ich es verstand: Trotz rechenstärkerer Hardware kleinere nps-Werte.
Bei gleicher Hardeware (CPU-Version) viiieel kleinere nps-Werte.

Dann  den nackten nps-Wert als Ratio-Kriterium zu nehmen erschiene mir kaum vernünftiger als die Byte-Zahl der Anwendung oder die Farbe der Verpackung.
nps taugt als Ratio-Kriterium nur bei (annähernd) gleichen Engines auf dann naturgemäß gleichen Hardware-Linien. (Mutterns uralt Pentium <-> mein preisgünstiges i5-Notebook <-> das TCEC-System)

Ich denke "was ist gerecht" ist eine Frage , die sich so einfach nicht fachlich beantworten lässt.
"Welcher Vergleich interessiert am meisten?" kann man fragen und irgendwie darauf nach Übereinkunft eine ratio-Norm definieren.
Und ich finde: der vergleichbare Erstehungspreis des Gesamtsystems sollte Basis sein.
"Gerecht", wenn das eine System das dreifache des anderen kostet, erschiene mir beispielsweise sehr unpassend.

Benno
Parent - - By Peter Martan Date 2020-01-31 18:14
Benno Hartwig schrieb:

Und ich finde: der vergleichbare Erstehungspreis des Gesamtsystems sollte Basis sein.
"Gerecht", wenn das eine System das dreifache des anderen kostet, erschiene mir beispielsweise sehr unpassend.

Die Preise sind zu sehr von Marktschwankungen abhänig, Benno.

Die neueren GPUs und CPUs kosten immer zuerst mal mehr, weil sie neu sind, obwohl sie meistens mehr Leistung aus weniger Stromverbrauch bieten. Dann setzen sie sich am Markt durch, werden mehr gekauft und der Preis sinkt, obwohl ihre Leistung natürlich gleich bleibt.

Dann fängt dasselbe Spiel mit der nächsten Generation von vorn an.

Außerdem sind gerade bei den GPUs die Leistungen für die übrigen viel größeren Märkte der echten Gamer andere, die die Nachfrage bestimmen und damit den Preis.

Mit dem Stromverbrauch hast du ein viel einfacheres und konstantes Leistungsmerkmal, was die einzelne CPU und GPU angeht, und was dann welche Engine aus welchem Stromverbrauch macht, da treffen wir uns wieder in dem, was du auch sagst.
Parent - By Benno Hartwig Date 2020-01-31 23:34

> Mit dem Stromverbrauch hast du ein viel einfacheres und konstantes Leistungsmerkmal, was die einzelne CPU und GPU angeht...


Ja, nur finde ich das so schrecklich, schrecklich irrelevant!
Es würde mich ähnlich wenig interessieren wie andere Dinge (Farbschachtel), die wir wohl beide uninteressant finden.

Es stört aber doch überhaupt nicht, dass sich Preise ändern.
Wenn grundverschiedene Dinge verglichen werden sollen, dann passiert eben mal, dass heute etwas interessant erscheint, und morgen etwas ganz anderes. So what.
Viel besser erscheint mir das, als wenn man etwas ausgesprochen Willkürliches zum Maßstab nimmt, nur weil dies gerade mal so schön messbar ist.

Klar, andere mögen andere Vorstellungen haben, aber mir geht es so:
Zwei Dinge interessieren mich beim Vergleich unterschiedlicher Ansätze ganz besonders:
- das was preislich ungefähr in einer Liga spielt
- das was technisch überhaupt möglich ist

Aber Interessen sind halt verschieden.
Parent - By Peter Weise Date 2020-01-31 19:31
Ich bin kein Leela-Ratio-Jünger, ganz sicher nicht!
Nur, bisher konnte ich (und auch alle anderen, sogar Fachleute) nichts besseres finden.

Messung des Stromverbrauches kann und wird nicht funktionieren (ebenso wie die Bewertung der Hardwarekosten) weil:
- wie soll man messen was gerade die CPU und/oder die GPU verbraucht?
- verlässt man sich einfach "nur" auf die Herstellerangaben?
- wie viel braucht denn eine CPU, eine GPU, bei "nicht full load" oder bei "full load" oder bei "idle"?
- sehr oft braucht die GPU die CPU um Befehle zu empfangen und zu verarbeiten, wem rechnet man diesen Verbrauch zu?
- wie bewertet man den Verbrauch wenn es zusätzlich noch eine Onboard-GraKa gibt (fast immer bei Notebooks)?
- und wie verteilt man die übrigen Verbraucher des PCs auf NN und A/B?

Zudem braucht LC0 halt auch immer einen Teil der CPU für den/die worker-thread(s), wie messen?

Besser wäre dann doch zwei unterschiedliche PCs zu verwenden und zu vergleichen z.B.:
- einen optimiert auf GPU mit einer schwächeren CPU
- einen optimiert auf CPU mit einer schwächeren GPU

Nur wer macht/kann das?

Alles in allem bleibe ich erst einmal (mit nur einem Ryzen im Besitz) beim Leela-Ratio (dessen Fan ich trotzdem nicht bin).
Parent - - By Andreas Strangmüller Date 2020-01-31 08:07
Hier das Ergebnis mit Stockfish 11 default Contempt=24

1   Lc0 0.23.2 256x20-T40-1541   +52  +62/=163/-25 57.40%  143.5/250
2   Stockfish 11                 -52  +25/=163/-62 42.60%  106.5/250


+52 Elo
Parent - - By Tom Paul Date 2020-01-31 08:16
Andreas Strangmüller schrieb:

Hier das Ergebnis mit Stockfish 11 default Contempt=24

<code>1   Lc0 0.23.2 256x20-T40-1541   +52  +62/=163/-25 57.40%  143.5/250
2   Stockfish 11                 -52  +25/=163/-62 42.60%  106.5/250</code>

+52 Elo


Und wie wir anhand der vielen Tests sehen können: Je kleiner der Contempt, desto besser ist das Ergebnis für Stockfish.
Parent - - By Horst Sikorsky Date 2020-01-31 09:29
Kiudee, Blitz 2m+4s  2020                                
1   Lc0,v0.23.2+git.c8d9095    +5/=14/-5 50.00%   12.0/24  144.00
2   Stockfish 11 64 POPCNT   +5/=14/-5 50.00%   12.0/24  144.00

aber mit meinen 12 Eröffnungen unterschiedlicher Längen. LCO RTX 2060 Threads= 1 Backend cudnn also 2x geschwächt.
Stockfish 11 mit 5 Kerne 3,98 GHz ... und natürlich pondern an.
Größter Eröffnungsvorteil 1.e2 e5 2.Sf3 f6 Stockfish gewann in 29 LCO brauchte 58 Züge
Parent - By Horst Sikorsky Date 2020-01-31 09:53 Edited 2020-01-31 09:59
eine Auserwählte mit 2 Züge Vorgabe
Event:
Ort:
Datum:

Weiss:
Schwarz:

Ergebnis
Board
Parent - By Horst Sikorsky Date 2020-01-31 16:06
Horst Sikorsky schrieb:

Kiudee, Blitz 2m+4s  2020                                
1   Lc0,v0.23.2+git.c8d9095    +5/=14/-5 50.00%   12.0/24  144.00
2   Stockfish 11 64 POPCNT   +5/=14/-5 50.00%   12.0/24  144.00

aber mit meinen 12 Eröffnungen unterschiedlicher Längen. LCO RTX 2060 Threads= 1 Backend cudnn also 2x geschwächt.
Stockfish 11 mit 5 Kerne 3,98 GHz ... und natürlich pondern an.
Größter Eröffnungsvorteil 1.e2 e5 2.Sf3 f6 Stockfish gewann in 29 LCO brauchte 58 Züge

auf was man alles Achten muss. Es war das Netz 256x20.T40B.4-swa-200000
bestimmt fehlt noch einiges
Parent - - By Reinhold Stibi Date 2020-01-31 09:59 Edited 2020-01-31 10:02
Das hohe Ergebnis für Lc0 Sergio bei Andreas Strangmüller und Stefan Pohl kommt wahrscheinlich auch deshalb zustande:

1. weil Stockfish nicht mit Contempt 0 gespielt hat

2. weil Lc0 von der Hardware bevorzugt wurde  Leela Ratio 1.28  u. 1.30

3. aus der Eröffnungswahl

und zur Nachfrage von Peter Weise wegen der Leela Ratio

Mein Computer Xeon X5690:

2 Prozessoren X5690 mit je 6 echten Kernen und 6 in Hyperthreading    je Kern mit 3.46 GHz, je Proz. 12 MB Cache

Leistung in der Grundstellung mit Stockfish 11  bei 24 Threads ca. 20.000 kN/s, entspricht ca. 16 echten Kernen
da mein Comp. trotz der sehr guten Leistung schon älter ist, würde ich sagen dass die 24 Threads bei
neueren Prozessoren  ca. 14 echten Kernen entsprechen.

Die RTX 2070 bringt bei mir in der Grundstellung mit Sergio Net wie oben getestet ca. 25 bis 27 kn/s  Anzeige durch die Fritz 15 GUI

Das dürfte eine Leela Ratio von 1,0 bedeuten - im Vergleich hier im Schachforum.
Ich habe wirkliich keine Lust die Leela Ratio bis 0,01 hinter dem Komma  zu berechnen. Die Vergleichswerte genügen mir vollkommen
und da dürfte ich auch richtig liegen.
Parent - By Eduard Nemeth Date 2020-01-31 10:07 Edited 2020-01-31 10:22
27 kns gegen 20000 kns, ist da der Ratio nicht höher als 1? Ausserdem sollen die neuen 256x20 Netze etwas langsamer sein als früher. Aber ich will nicht meckern damit, wie du testest ist klasse! Ich finde übrigens man sollte auch mit anderen Vorgaben testen als Hert250. Nicht weil ich sie schlecht finde. Aber viele Züge werden gleich ausgespielt, egal welches Netz und fast egal welche Zeikontrolle. Und bei Stockfish ähnlich. Beispiel: Gleich in der ersten Variante unterbindet Lc0 mittels frühem a2-a4 einen Gegenstoss b5. Jede Lc0 Version spielt so. Und Stockfish spielt selten a4, wonach Lc0 mittels Rb8 dann b5 zieht.
Parent - By Peter Weise Date 2020-01-31 10:22
Reinhold Stibi schrieb:

Leistung in der Grundstellung mit Stockfish 11  bei 24 Threads ca. 20.000 kN/s, entspricht ca. 16 echten Kernen
da mein Comp. trotz der sehr guten Leistung schon älter ist, würde ich sagen dass die 24 Threads bei
neueren Prozessoren  ca. 14 echten Kernen entsprechen.

Die RTX 2070 bringt bei mir in der Grundstellung mit Sergio Net wie oben getestet ca. 25 bis 27 kn/s  Anzeige durch die Fritz 15 GUI

Das dürfte eine Leela Ratio von 1,0 bedeuten - im Vergleich hier im Schachforum.
Ich habe wirkliich keine Lust die Leela Ratio bis 0,01 hinter dem Komma  zu berechnen. Die Vergleichswerte genügen mir vollkommen
und da dürfte ich auch richtig liegen.


Danke für die Werte!
Da Stockfish 8 etwas schneller ist als Stockfish 11 bezüglich der kn/s, ergibt sich bei dir ein Ratio von ca. 1.08 [(875x26)/21000]. Das ist ein guter Wert! Kannst Du auch mal LC0 v1.8 mit Netz 11248 messen und wenn es geht auch Stockfish 8.0?
Parent - - By Andreas Strangmüller Date 2020-01-31 18:13
Reinhold Stibi schrieb:

Das hohe Ergebnis für Lc0 Sergio bei Andreas Strangmüller und Stefan Pohl kommt wahrscheinlich auch deshalb zustande:

1. weil Stockfish nicht mit Contempt 0 gespielt hat

2. weil Lc0 von der Hardware bevorzugt wurde  Leela Ratio 1.28  u. 1.30

3. aus der Eröffnungswahl

Hallo Reinhold,

1. Stockfish hat mit Contempt 0 gespielt, siehe Eingangsposting.

2. Lc0 wurde etwas bevorzugt, aber m. E. ist eine Leela-Ratio zwischen 0,7 und 1,3 völlig o.k.

3. Wieso? Die Eröffnungen wurden mit vertauschten Farben wiederholt. Jeder hatte somit die gleiche Ausgangsposition.

Andreas
Parent - - By Reinhold Stibi Date 2020-01-31 19:46
Hallo Andreas,

da unsere Testbedingungen sehr ähnlich sind, wundere ich mich doch über die relativ
große Abweichung der Ergebnisse.

Ich führe dies nun in erster Linie auf das Eröffnungsbuch zurück.

Mit Stefan Pohls 4-Züge-Eröffnungsvorgaben habe ich sehr gute Erfahrungen gemacht und die
Ergebnisse sind plausibel.
Auch ist die Anzahl der Remispartien damit nicht übermäßig hoch.

Du verwendest das Herth 250 Buch.  Dazu kann ich nicht viel sagen, weil ich mich damit noch nicht beschäftigt habe.
Eduard Nemeth, der auch Eröffnungsexperte ist und viel im Internet spielt, hält von den Herth 250 Eröffnungen
nicht so viel. S. seine Anmerkungen etwas weiter oben hier im Thread.

Interessant wäre, wenn du zum Vergleich auch mal die 4-Züge-Eröffnungsvorgaben von Stefan Pohl verwenden könntest.
Ob dann die Unterschiede der Ergebnisse dann auch noch so hoch wären, ist die Frage.
Wenn mir die Zeit es erlaubt probiere ich auch ein Match mit dem Herth 250 Buch.

Noch großes Lob an deine Webseite; sie ist so klar und übersichtlich wie die von Stefan Pohl.

Reinhold
Parent - By Andreas Strangmüller Date 2020-01-31 20:19
Hallo Reinhold,

danke, es freut mich das Dir meine Webseite gefällt.

Auch ich wundere mich über die großen Abweichungen der Ergebnisse bei Dir und Clemens. Die Kiudee-Settings zeigen praktisch keine Auswirkung.
Führst Du die Tests mit der Fritz-GUI durch? Clemens glaube ich auch.
Stefan und ich testen mit dem Tool Cutechess-Cli.

Neben dem Eröffnungsbuch ist das der einzige Unterschied der mir noch in den Sinn kommt. Werden hier die Lc0-Settings nicht richtig übernommen?
Vielleicht kann man über die Lc0 Option Logfile (option name LogFile type string default) eine Log-Datei erstellen und das mal überprüfen?
Ich werde den Test auf jeden Fall mit dem 4-Züge Buch von Stefan wiederholen. Glaube zwar nicht an einen großen Unterschied, aber wer weiß?

Grüße
Andreas
Up Topic Hauptforen / CSS-Forum / Stockfish 11, Contempt=0 - Lc0 0.23.2 (Kiudee Settings) 20x256 S.Vieri T40-1541
1 2 Previous Next  

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill