Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Die Sensation ist nun perfekt - Lc0 erringt Platz 1 im Computerschach !
1 2 Previous Next  
- - By Reinhold Stibi Date 2019-01-09 07:04
Wer hätte das gedacht, dass Lc0 in so kurzer Zeit den ersten Platz im Computerschach erreicht.

Das Net 32463  10.699 Net-Elo  46.862 Partien vom 08.01.19 ist ein richtiger Volltreffer !

Meine Testergebnisse: Zeit: 2 Min. + 6 Sek.je Zug  Eröffnungsvorgabe: 4 Züge  Stefan Pohl

Lc0 v0.20.1  GTX 960 Net 32463  gegen  Stockfish 10  1 CPU

58 Partien   + 10   = 38   -9    = 50,88 %   = + 6 Elo für Lc0



Mit Zweitcomputer: Lc0 v0.20.1  GTX  1050 Ti  sonst wie oben

Lc0 wie oben   gegen  Houdini 6.03   26 Partien  +17  =6   - 3   = + 209 !!

Houdini 6.03 wird regelrecht zermalmt.

Lc0 wie oben  gegen Komodo 12.3

26 Partien   + 10   = 12   - 4   = 61,54 %   = + 82  Elo
Parent - - By Reinhold Stibi Date 2019-01-09 08:29
Lc0 mit Net 32463 erreicht nun gegen Stockfish 10  Gleichstand.

Auffallend ist, dass Lc0 nun sicherer spielt und nicht mehr so viele Partien
vergeigt wie früher.

Den Anspruch auf Platz 1 sichert sich Lc0 durch das hervorragende Abschneiden
gegen Houdini 6.03 und Komodo 12.3.

Glaube nicht, dass Stockfish 10 gegen diese Spitzenengines so gut abschneidet,
Houdini 6.03 wurde regelrecht deklassiert.
Die geringe Spielzahl lässt noch einen gewissen Spielraum, aber die Tendenz
ist eindeutig.

Erstaunlich wie beim TCEC Turnier Lc0 mit dem alten und viel schlechterem Net
32194 nach 27 Partien ohne Niederlage und 7 Siegen auf Platz 2 steht mit 1,5 Punkten
Vorsprung vor Komodo und Houdini  trotz Hardwarenachteil.
Parent - - By Lothar Jung Date 2019-01-09 09:14 Edited 2019-01-09 09:37
Guten Morgen Reinhold,

Deine Ergebnisse sind sehr bemerkenswert!

Ich habe eben auf meinem Ryzen 1800X (3,6 GHz) ein 10er-Blitz-Tunier (5min/5sec) mit Net 32463 gestartet, 8 cores gegen 2xGTX 1080.

Unglaublich ist der aktuelle TCEC-Tunierstand, Leela auf Platz Zwei hat einen guten Vorsprung vor Komodo und Houdini.
Was mit den beiden Crash-Gewinnen von Komodo gegen seinen MC-Bruder passiert, ist noch offen.

Spannend finde ich auch die destilled Nets 11248 von Dietrich Kappe. Die werden auf schwächeren Hardware (CPU, Notebook-GPU) eine bessere Performance bringen.
https://groups.google.com/forum/m/#!topic/lczero/2f6Pata3AGY

Grüße

Lothar
Parent - - By Reinhold Stibi Date 2019-01-09 09:58
Hallo Lothar,

bin sehr gespannt auf deine Ergebnisse.

Prima finde ich auch, das Lc0 mit Net 32463 auch in Stellungstest
erheblich zugelegt hat.

Auf meinem  Zweitcomputer mit Lc0 GTX 1050 Ti  sonst wie oben, läuft der Test
gegen Houdini 6.03 weiter.
Nach wie vor wird Houdini 6.03 regelrecht zertrümmert, unglaublich über 200 Elo plus
für Lc0.

Grüße

Reinhold
Parent - - By Horst Sikorsky Date 2019-01-09 10:25
Hallo Reinhold,
der Zufall spielt auch eine Rolle. ein Zug der nach 4s gespielt wird kann besser sein, als einer nach 20s.
Alles richtig spielen auch die besten nicht
ich teste auch 32463 Lc0 GTX 1080 - St10 und 5cpu weil LcO auch ein wenig cpu braucht und keiner in
den Hyper-Threading muss. BZ= 3min/ 8s ... auch Stockfish spielt bei mir so stärker!
Grüße Horst
Parent - - By Reinhold Stibi Date 2019-01-09 11:36
Hallo Horst,

freut mich, dass du dich auch am Test von Net 32463 beteiligst.

Bin auf deine Ergebnisse auch sehr gespannt.

Grüße  Reinhold
Parent - - By Frank Brenner Date 2019-01-09 12:27
Nach jeweils 200 Partien Leela auf GTX970  vs Ryzen 1800 1 Core erhalte ich folgende Ergebnisse:
Eröffnung ist: HERT500.pgn
Bednekzeit: 1min + 1s/Zug

52,5  vs 147,5 LC31890 vs SF18121313
62,0  vs 138,0 LC32016 vs SF18121313
86,0  vs 114,0 LC32166 vs SF18121313 20 rc 1
89,0  vs 111,0 LC32236 vs SF18121313 20 rc 1
134  vs   66,0 LC32236 vs Komodo 9.02 20 rc 1
88,5  vs 111,5 LC32310 vs SF18121313 20 rc 1
90,5  vs 109,5 LC32438 vs vs SF18121313 20.1 rc 2
96,5  vs 103,5 LC32466 vs vs SF18121313 20.1

LC32466 mit 10720.31 Self-play-Elo ist also noch Haarscharf unter SF10, wobei SF18121313 etwa 4 elo stärker ist als SF10.

Aktuell läuft Komodo 9.02 vs LC32466 und heute abend spät dann nochmal das neuste 30er Netz.
Parent - - By Lothar Jung Date 2019-01-10 10:45
Hallo Frank,

im Google-Leela-Forum wird Netz 32367 als bestes Netz gegenüber SF hervorgehoben.

https://groups.google.com/forum/m/#!topic/lczero/eZ7utsR8vdk

Grüße Lothar
Parent - - By Frank Brenner Date 2019-01-10 12:43
Hallo Lothar,

Der Ingo Weidner testet plumperquatsch.

Aufgrund von 16 Partien je LC Version will er die beste Version ermitteln ?

Das ist der größte Unsinn den ich im Computerschach in den letzen 30 Jahren erlebt habe.

Ich möchte es gar nicht mathematisch tiefer begründen, da die Binominalverteilung hier im Forum und dort drüben im Forum wahrscheinlich fast keiner versteht. (Außer eine weitere Person)
Nur soviel: Es ist sehr wahrscheinlich, daß beim Test von sehr vielen LC Versionen, die von der Spielstärke nahe beisammen liegen, mit nur 16 Partien pro Version eine (A) dabei ist die deutlich mehr als 8 Punkte (also 50%)  gegen Stockfish punktet  und eine weitere (B)  dabei ist die deutlich weniger als 50% erzielt in 16 Partien.

Und die Wahrscheinlichkeit, daß letztlich B doch stärker ist als A ist in der Größenordnung um die 50%.

Grüße
Frank
Parent - - By Guenter Stertenbrink Date 2019-01-10 12:56 Edited 2019-01-10 12:59
stockfish  10 ist dort nur 13 Elo besser als der durchschnitt der 8 , 128 Partien , LR=0.64

allerdings hat er wohl aus etlichen LC0s die 8 besten Ergebnisse rausgepickt ?!?
Parent - By Frank Brenner Date 2019-01-10 13:17
Das ist die Ergebnistabelle die ich dort in dem anderen Forum gefunden hat.

9.5 von 16 entspricht ein Elo-Plus von +66 ELO
6.5 von 16 analog -66 ELO

So wie es aussieht hat er einige  LC Versionen jeweils  16 mal gegen SF10 spielen lassen.

   Engine                                   Score           St                                 %             Elo          
1:   Lc0 v0.20.1rc3_ID32367      9.5/16     =====1======11==       59.4   +63 = 3525
2:   Lc0 v0.20.1rc3_ID32396      8.5/16     ===1=0=====101==       53.1   +21 = 3483
3:   Stockfish_10_x64_bmi2     66.5/128    ················                    52.0             3462 
3:   Lc0 v0.20.1rc3_ID32316      8.0/16     =1==01=10===0===       50.0     ±0 = 3462
3 :  Lc0 v0.20.1rc3_ID32450      8.0/16     ==00====1====1==       50.0     ±0 = 3462
6:   Lc0 v0.20.1rc3_ID32428      7.0/16     =1====01==0=0==0       43.8    -42 = 3420
6 :  Lc0 v0.20.1rc3_ID32380      7.0/16     ====001==1====0=       43.8    -42 = 3420 
6:   Lc0 v0.19.1.1_ID11248        7.0/16     ==========00====       43.8    -42 = 3420
9:   Lc0 v0.20.1rc3_ID32406      6.5/16     =1=0=1=1=00=00=0       40.6    -63 = 3400[fen][/fen]
Parent - - By Benno Hartwig Date 2019-01-10 16:00

> Aufgrund von 16 Partien je LC Version will er die beste Version ermitteln ?
> Das ist der größte Unsinn den ich im Computerschach in den letzen 30 Jahren erlebt habe.


Ich stimme dir da voll zu.
Dies aufgrund von je 50 Partien tun zu wollen, ist aber ein auch nur etwas kleinerer Unsinn.
Und über solche Testumfänge wir schon manchmal diskutiert, bisweilen mit Quotenangaben in Prozent auf 2 Stellen hinter dem Komma.

Benno
Parent - - By Lothar Jung Date 2019-01-10 16:13
Meine beiden GTX 1080 verbraten je 200 Watt.
Daüberlegt man sich schon, wie hoch die Zahl der Partien sein sollen und welcher Time Controll.
Parent - By Benno Hartwig Date 2019-01-10 16:44
Dass du kurze Zeiten nimmst, finde ich vollkommen OK.
Erfahrungsgemäß sind Spielstärke-Reihenfolgen bei kurzen Zeiten sehr gut übertragbar auf lange Zeiten.

Wenige Partien liefern aber Ergebnisse, verleiten zu Aussagen, die mit doch recht großer Wahrscheinlichkeit einigermaßen falsch sind.
Ob man dann eine Aussage machen möchte, von der man weiß, dass sie beispielsweise mit 20% Wahrscheinlichkeit schlicht falsch ist, muss man für sich selbst entscheiden. Das hieße, im Schnitt jede 5. Aussage ist falsch

Selbst die Testläufe mit den vielfach üblichen 95%-Intervallen liefern ja im Durchschnitt bei jeder 20ten Aussage einen Elo-Wert, der weiter vom tatsächliche Elo-Wert (d.h. dem, der sich aus einer astonomisch großen Partienzahl ergeben würde) entfernt liegt, als es die (+-)-Angabe nahe legt.

Benno
Parent - - By Frank Brenner Date 2019-01-10 16:48
Zitat:
Dies aufgrund von je 50 Partien tun zu wollen, ist aber ein auch nur etwas kleinerer Unsinn.


Wo hast du etwas von 50 Partien gelesen ? Ich sehe nur 16 pro LC-Version in dem anderen Forum

50 reichen sicher auch nicht aus: Um eng aneinanderliegende Versionen wie zb 32367,  32380 und 32396 zu Unterscheiden müssten dann schon sehr viele Partien her, was aber eher uninteressant ist, denn wahrscheinlich gilt: Je höher der Self-elo umso stärker.

Was das selfelo überhaupt genau ist, weiß wahrscheinlich nur der Programmierer höchstpersönlich. Es wäre einmal interessant zu erfahren ob wenigstens ein höherer Selfelo Wert auch stets mit einer höheren Spielstärke einhergeht.
Parent - By Benno Hartwig Date 2019-01-10 18:34

> Wo hast du etwas von 50 Partien gelesen


In manchen Thread und auch in diesem hier werden gern mal Testläufe mit etwas mehr oder auch etwas weniger als 50 Partien genannt, diskutiert und verglichen. Das finde ich dann jedes Mal ziemlich daneben. Aber das sehen andere eben anders.

Benno
Parent - By Wolfram Bernhardt Date 2019-01-16 16:38
Frank Brenner schrieb:

Ich möchte es gar nicht mathematisch tiefer begründen, da die Binominalverteilung hier im Forum und dort drüben im Forum wahrscheinlich fast keiner versteht. (Außer eine weitere Person)


Hey, Frank,

das ist Mobbing

Ansonsten - frohes, neues Jahr erstmal.

Liebe Grüße,
     Wolfram
Parent - By Jens Hartmann Date 2019-01-16 21:26
Frank Brenner schrieb:

... da die Binominalverteilung hier im Forum und dort drüben im Forum wahrscheinlich fast keiner versteht. (Außer eine weitere Person)...
Grüße
Frank


Mit diesem arroganten Beitrag hat Du geschafft, was hier im Forum und dort drüben bisher keiner schaffte. Willkommen auf meiner Ignore-Liste!
Jens
Parent - - By Horst Sikorsky Date 2019-01-09 19:16
Horst Sikorsky schrieb:

Hallo Reinhold,
der Zufall spielt auch eine Rolle. ein Zug der nach 4s gespielt wird kann besser sein, als einer nach 20s.
Alles richtig spielen auch die besten nicht
ich teste auch 32463 Lc0 GTX 1080 - St10 und 5cpu weil LcO auch ein wenig cpu braucht und keiner in
den Hyper-Threading muss. BZ= 3min/ 8s ... auch Stockfish spielt bei mir so stärker!
Grüße Horst

Endtäuschend 36,11% nach 18 Partien, lohnt sich nicht
auch (nur) Stockfish spielt bei mir so stärker! stimmt also
Parent - By Horst Sikorsky Date 2019-01-09 22:13
Horst Sikorsky schrieb:

Horst Sikorsky schrieb:

Hallo Reinhold,
der Zufall spielt auch eine Rolle. ein Zug der nach 4s gespielt wird kann besser sein, als einer nach 20s.
Alles richtig spielen auch die besten nicht
ich teste auch 32463 Lc0 GTX 1080 - St10 und 5cpu weil LcO auch ein wenig cpu braucht und keiner in
den Hyper-Threading muss. BZ= 3min/ 8s ... auch Stockfish spielt bei mir so stärker!
Grüße Horst

Endtäuschend 36,11% nach 18 Partien, lohnt sich nicht
auch (nur) Stockfish spielt bei mir so stärker! stimmt also


das sehr schwache 32463 habe ich durch das viel bessere 32491 ausgetauscht.
Parent - By Lothar Jung Date 2019-01-09 13:00
Meine Ergebnisse:
Ausgeglichen 3:3:4
Relativ wenig Remis.
Beide spielten mit 5-Steine TB, was SF begünstigt.
Leela übersah drohendes Matt in der letzten Partie.
Parent - - By Lothar Jung Date 2019-01-09 16:22
Ich lasse jetzt ein Tunier mit Netz 32473 laufen. Dies wird im TCEC-Bonus-Tunier gegen SF verwendet (Stand: 20:20).
Parent - By Lothar Jung Date 2019-01-09 21:01
LC0 32473 gewann mit 3:2:5. Auch nicht schlecht.
Parent - - By Lothar Jung Date 2019-01-11 18:47
Mein erstes Tunier mit meinem Lenovo-Notebook (i7 4Kerne HT, 2,6 GHz, GTX 960m) gegen SF10 und Net 32513, 5Min/5sec, ohne TB und Eröffnungsbibliothek, je 1 Kern, beide PonderON: 1:0:9 für Leela.
Passt!
Parent - - By Lothar Jung Date 2019-01-12 15:29
Mein zweites Notebook-Tunier, gleiche Bedingungen, jedoch mit jeweils 2 Threads bzw. Kernen gewann Leela auch knapp mit 2:1:7.
Ich hätte nie gedacht, dass eine GTX 960m gegen zwei i7 Kernen, mit einem aktuelleren Test30-Net, so gut abschneidet.
Jetzt steht für mich fest, dass Leela auf jeweilig gut ausgestatteten Desktop- und Notebookcomputer absolut wettbewerbsfähig ist.
Besser und teurer auf CPU- und GPU-Seite geht immer. Aber das schaukelt sich hoch.
Parent - - By Lothar Jung Date 2019-01-17 15:06
Mein drittes Netbook-Tunier, wieder gleiche Bedingungen, jedoch mit jeweils 4 Threads sowie TB 5 Steine und Net 32666, gewann SF10 relativ deutlich mit 3:0:7.
Unter diesen Bedingungen bricht sich die Rechentiefe von SF10 verbunden mit TB, besonders im Endspiel Bahn.
GTX 960m kann hier, mit seinen geringen Nps, nicht mithalten.
Parent - - By Lothar Jung Date 2019-01-19 20:31
Mein viertes Notebooktunier, jetzt mit 10min/10sec und 32700 gegen SF10,  jeweils 4 Threads und TB5.
Ergebnis jetzt ausgeglichen: 3:3:4.
Leela deutlich stärker im Endspiel.
TCEC SuFi wird knapp!
Parent - - By Lothar Jung Date 2019-01-20 19:09
Neues Tunier, gleiche Bedingungen wie beim 4. nur Net 32742, Ergebnis SF10 gewinnt 2:1:7.
Parent - - By Lothar Jung Date 2019-01-23 09:48
Ein weiteres Notebooktunier 10 Partien 10min/10 sec,  jetzt Net 32771, 4 Cores und PonderOn und 5
Steine TB jeweils auf beiden Seiten.
Lc0 gewann gegen SF10 relativ deutlich mit 3:1:6.
Bisher das Netz mit dem besten Ergebnis. Gerade im Endspiel gegen SF mit TB sehr gutes Spiel von Lc0.
Parent - By Guenter Stertenbrink Date 2019-01-23 10:29
LR-drop ab 32717
Parent - By Guenter Stertenbrink Date 2019-01-23 10:32 Edited 2019-01-23 10:48
LR-drop ab 32717

mittlerweile sind wir bei 32842
http://lczero.org/matches/

32742 war ca. 20Elo besser (+-9) als 32585 in den 3 Tests dort vom 19.1.
Parent - - By Stefan Pohl Date 2019-01-09 11:53 Edited 2019-01-09 12:29
Naja, also deinen Enthusiasmus in allen Ehren, aber nach nur 58 Partien eine neue Nummer 1 der Computerschachwelt auszurufen, ist doch sehr gewagt, um es vorsichtig auszudrücken.
Und dein Zweitcomputer hat eine bessere GPU, wenn Houdini da auch mit 1CPU lief, dann dürfte die Leela-Ratio deutlich über 1.0 gelegen haben, was nicht gerade fair für Houdini ist. Bedenke, daß die Leela-Ratio aus dem Google-Wettkampf stammt. Dort hatte Google eine Leela-Ratio von 1.0 (daran wurde die Formel ja geeicht) - und man darf wohl davon ausgehen, daß die Hardware von Google so gewählt wurde, daß es für AlphaZero schon sehr günstig war, man wollte ja schließlich ein tolles Ergebnis zu Promo-Zwecken. Insofern sollte die Leela-Ratio für Tests gegen AB-Engines niemals über 1.0 liegen, das kann einfach nicht fair für die AB-Engines sein.

Dennoch sind die Ergebnisse ein interessanter Fingerzeig, der weitere Tests rechtfertigt. Ich werde also mein long thinking-time Turnier jetzt mit Net 32463 (die Ergebnisse von 32404 waren nach 150 Partien enttäuschend, ca. 25 Elo schlechter als Net 11250, insbesondere der Score gegen Stockfish war unterirdisch (30%)) restarten und auf meinem zweiten Notebook ein flottes (3'+3'') RoundRobin mit 32463, dem alten 11250 (was bei mir immer noch am stärksten scored) und Stockfish 10 aufsetzen und das auch mal ein paar Tage laufen lassen. Auf beiden habe ich eine Leela-Ratio von 0.67. Alles mit Drawkiller Eröffnungen, welche schneller zu validen Ergebnissen führen, als andere Vorgaben.
Parent - - By Reinhold Stibi Date 2019-01-09 14:41
Das sehr schlechte Ergebnis von Houdini 6.03 könnte unter Umständen daher stammen,
dass Houdini 6.03 nicht aktiviert war.
Habe wahrscheinlich Houdini 6.03 von meinem Hauptcomputer kopiert und dann auf den
Zweitcomputer übertragen.

Kannst du mir auf die Sprünge helfen wie die die Leela-Ratio berechnet wird.

Bei der Grundstellung rechnet Houdini 6.03 bei 1 CPU 1917 Kn/s. auf meinem Zweitcomputer.

Stockfish 10  1 CPU      1570 Kn/s

Werde nun Houdini 6.03 auf meinem Erstcomputer  mit 1 CPU gegen Lc0 GTX 960 testen.

Der Unterschied von GTX 960 zu GTX 1050 Ti scheint mir gering zu sein.
Parent - By Stefan Pohl Date 2019-01-09 14:45
Reinhold Stibi schrieb:


Kannst du mir auf die Sprünge helfen wie die die Leela-Ratio berechnet wird.



Hab ich gerade hier weiter unten gemacht.

Ich kopiere noch mal den Link zum Blog-Eintrag zu diesem Thema hier rein.

http://archive.is/o2qMP
Parent - By Wolfgang Battig Date 2019-01-09 15:19
Hallo,

wenn du nur “rüberkopiert“ hast von Rechner 1 bach Rechner 2 geht die Registrierung auf jeden Fall verloren. Houdini muss auf jedem Rechner mittels der Setup.exe installiert werden. Die Registrierung erfolgt im Rahmen der Installation
Parent - - By Stefan Pohl Date 2019-01-10 12:46
Stefan Pohl schrieb:

Dennoch sind die Ergebnisse ein interessanter Fingerzeig, der weitere Tests rechtfertigt. Ich werde also mein long thinking-time Turnier jetzt mit Net 32463 (die Ergebnisse von 32404 waren nach 150 Partien enttäuschend, ca. 25 Elo schlechter als Net 11250, insbesondere der Score gegen Stockfish war unterirdisch (30%)) restarten und auf meinem zweiten Notebook ein flottes (3'+3'') RoundRobin mit 32463, dem alten 11250 (was bei mir immer noch am stärksten scored) und Stockfish 10 aufsetzen und das auch mal ein paar Tage laufen lassen. Auf beiden habe ich eine Leela-Ratio von 0.67. Alles mit Drawkiller Eröffnungen, welche schneller zu validen Ergebnissen führen, als andere Vorgaben.


Der Start von Net 32463 im long thinkingtime-Turnier war recht gut. Könnte eine Steigerung zu 11250 sein. Nummer 1 zu werden, also Stockfish zu überholen, wird aber nix...

Ich habe mich aber nun auch mal dazu durchgerungen, Lc0 v0.20.1 Net 32463 für meine 3'+1'' mini-Rangliste zu testen, wo ich immer die ganzen Stockfishe durchjage. Da Leela aber die GPU ganz braucht, kann ich natürlich nicht mehrere Partien parallel laufen lassen. Daher ist kein kompletter 5000 Partien Testrun möglich, das würde einen knappen Monat dauern. Also lasse ich 1200 Partien spielen (200 Partien gegen die Top-6 Engines). Das dauert eine knappe Woche. Mal gucken, wie es mit nur 3'+1'' und HERT-openings (welche ja voll ausgespielte, klassische Eröffnungslinien sind) laufen wird. Und ob es überhaupt absturz- und hängerfrei durchläuft. In der LittleBlitzerGUI hab ich Leela bisher noch nicht probiert.
Sollte alles klappen, wissen wir definitiv, wo Net 32463 wirklich steht. Die ersten 13 Partien liefen korrekt durch. Rechentiefe, Zeitverbrauch und Knotenzahl sehen auch gut aus.
Parent - - By Stefan Pohl Date 2019-01-11 13:26 Edited 2019-01-11 13:30
Stefan Pohl schrieb:


Der Start von Net 32463 im long thinkingtime-Turnier war recht gut. Könnte eine Steigerung zu 11250 sein. Nummer 1 zu werden, also Stockfish zu überholen, wird aber nix...

Ich habe mich aber nun auch mal dazu durchgerungen, Lc0 v0.20.1 Net 32463 für meine 3'+1'' mini-Rangliste zu testen, wo ich immer die ganzen Stockfishe durchjage. Da Leela aber die GPU ganz braucht, kann ich natürlich nicht mehrere Partien parallel laufen lassen. Daher ist kein kompletter 5000 Partien Testrun möglich, das würde einen knappen Monat dauern. Also lasse ich 1200 Partien spielen (200 Partien gegen die Top-6 Engines). Das dauert eine knappe Woche. Mal gucken, wie es mit nur 3'+1'' und HERT-openings (welche ja voll ausgespielte, klassische Eröffnungslinien sind) laufen wird. Und ob es überhaupt absturz- und hängerfrei durchläuft. In der LittleBlitzerGUI hab ich Leela bisher noch nicht probiert.
Sollte alles klappen, wissen wir definitiv, wo Net 32463 wirklich steht. Die ersten 13 Partien liefen korrekt durch. Rechentiefe, Zeitverbrauch und Knotenzahl sehen auch gut aus.


So, hier der interessante Zwischenstand von lc0 N:32463:

In long thinking-time Turnier (15'+5'', ponder on, Drawkiller-Book) läuft es sehr gut: 66% Erfolgsscore nach 70 Partien (das ist natürlich noch sehr wenig Partienmaterial, daher mit Vorsicht zu geniessen). Sollte das so bleiben (und das "sollte" betone ich ausdrücklich), würde lc0 N:32463 Houdini 6 als Nr.2 knapp überholen. Stockfish ist aber dann immer noch weit weg (90 Elo). Wobei natürlich die Drawkiller-Eröffnungen die Elo-Ergebnisse spreizen, mit klassischen Vorgaben wären der Abstand zu Stockfish sicher geringer. Aber von Nummer 1 kann für lc0 (noch) keine Rede sein.

In meinem 3'+1'' Testrun (3'+1'', no ponder, HERT-Eröffnungsset) läuft es sehr bescheiden: nach 223 von 1200 Partien: 36.5% - das entspricht einer Elo-Performance etwa auf dem Level von Ethereal 11.

Das bestätigt, daß lc0 sehr profitiert, wenn es in unentwickelte Stellungen (bei Drawkiller stehen ja alle nicht-Bauern-Figuren komplett noch auf den Grundreihen 1 bzw. 8(!)) entlassen wird (und genug Bedenkzeit bekommt). Die HERT-Eröffnungen sind eben voll ausgespielte Eröffnungen aus Mensch- und Engine-Schach, das "schmeckt" lc0 weit weniger. Und knappe Bedenkzeit ist (besonders auf meiner langsamen mobile-GPU) auch nicht das Wahre.

Endergebnisse beider Testruns in 5-6 Tagen. Auf jeden Fall ist lc0 weit "empfindlicher" was die Elo-performance angeht, bzgl. günstiger oder nicht so günstiger Test-Bedingungen(Umgebungen) als eine AB-Engine. Was aber irgendwo auch logisch ist.
Parent - By Stefan Pohl Date 2019-01-16 14:33
Ergebnisse von Net 32463 sind nun online.

https://www.sp-cc.de

https://www.sp-cc.de/long-thinkingtime.htm
Parent - - By Guenter Stertenbrink Date 2019-01-09 12:22 Edited 2019-01-09 12:57
noch ist die Sensation imperfekt. Perfekt wuerde sie erst werden, wenn in Zukunft andere
das bestaetigt gehabt haben haetten wuerden.

  Next update:  Lc0 ID 32500

32473 spielt auch zur Zeit hier : https://bonus.tcecbeta.club/
(im Moment 8.5-7.5 fuer StockFish)
Parent - - By Stefan Pohl Date 2019-01-09 12:47 Edited 2019-01-09 12:59
Stimmt.

Zumal ja die 3XXXX Nets sowieso keine Zukunft haben. Die Lern-Runs dieser Nets laufen ja nur wegen des TCEC-Superfinals noch weiter. Zukunft sind die 40XXX SE-Nets. Und wie schnell diese wie gut werden, ist ja völlig unklar, zumal es ja eben neuartige SE-Nets sind.

Insofern sollten wie alle mal die Kirche im Dorf lassen. Daß die Entwicklung von Leela atemberaubend ist, steht außer Zweifel. Daß das NN-Konzept eine Revolution für das Computerschach ist, ebenso. Aber, was die Entwicklungszeit angeht, so steckt Leela immer noch in den Kinderschuhen. Und Google hielt (und hält) sich ja auch bzgl. AlphaZero sehr bedeckt, insofern muß bei Leela vieles neu erarbeitet und ausprobiert werden. Daher ja auch die vielen Neustarts bei den NeuralNetz-LernRuns. Und die vielen neuen Versionen der eigentlichen LC0.exe. Insofern rate ich generell zu etwas Geduld und Gelassenheit. Das wird schon! Und daß Leela überhaupt schon im Top-Bereich des Computerschach angekommen ist, ist ja an sich schon ein Riesenerfolg, der nach so kurzer Zeit alles andere als absehbar oder selbsverständlich war. Im März 2018 war Leela noch so schwach, daß ich alte Schröder-Brettcomputerengines über winboard als Gegner nutzen mußte, weil selbst schwache PC-UCI-Engines noch viel zu stark waren.
Und im April 2018 habe ich im Schachomputer-Forum das gepostet: "Auf dem Twitchkanal läuft gerade ein Bulletturnier gegen eine größere Anzahl schwächerer Engines. Nach ca. 130 Partien hat sich LC0 hier eine Performance von ca. 2150 Elo erspielt, wie ich gerade mal auf die Schnelle mit Taschenrechner und Elotabelle ausgerechnet habe"... Das ist gerade mal 9 Monate her (!!!) und die NeuralNetz-Entwicklung wurde in diesem Zeitraum mehrere Male bei Null Elo neu begonnen!
Parent - - By Guenter Stertenbrink Date 2019-01-09 13:14 Edited 2019-01-09 13:23
Bis Zug 35 ist Lc0 bereits staerker als StockFish. (LR=1)
Ich denke, das ist mittlerweile mehrfach belegt.
Und es scheint durchaus moeglich
-sag ich mal -  50% subjektive Wahrscheiblichkeit fuer mich ,
dass sie noch in diesem Winter StockFish ueberholt.
Ob's schon 32363 ist ? Das schaetz ich mal auf 25%

wer macht die poll

------edit------------------------------
vielleicht nehm ich lieber Zug 33 statt 35, nachdem ich
die aktuelle Partie auf TCEC gesehen hab ...
Parent - - By Ingo Althöfer Date 2019-01-09 14:18
Hallo Günter,

Guenter Stertenbrink schrieb:

Bis Zug 35 ist Lc0 bereits staerker als StockFish. (LR=1)
------edit------------------------------
vielleicht nehm ich lieber Zug 33 statt 35 ...

das wäre doch eine interessante einfache 3-Hirn-Konstruktion:
Von Zug 1 bis 35 (oder 33) läßt man Leela machen und wechselt
dann zu Stockfish.

Ingo.
Parent - - By Guenter Stertenbrink Date 2019-01-09 14:26
hab ich auch gedacht,
aber die Spezies meinen, dass Lc0 eh bald auch ab
Zug 35 besser als SF sein wird
Parent - By Ingo Althöfer Date 2019-01-09 14:30
Guenter Stertenbrink schrieb:
hab ich auch gedacht,
aber die Spezies meinen, dass Lc0 eh bald auch ab
Zug 35 besser als SF sein wird


Dann halt dynamisch: Jeden Morgen zwischen 06:00 und 08:00
dürfen die "Spezies" wählen, ob der Wechselwert so bleiben soll
oder (um 1) erhöht oder erniedrigt wird.
Ergänzen könnte man das durch ein Eröffnungsbuch, wo
am Ende jeder Variante die Zug-Nr. angegeben ist, an der
von Lc0 zu SF zu wechseln ist.
Parent - By Stefan Pohl Date 2019-01-09 13:13
Guenter Stertenbrink schrieb:


32473 spielt auch zur Zeit hier : <a class='ura' href='https://bonus.tcecbeta.club/'>https://bonus.tcecbeta.club/</a>
(im Moment 8.5-7.5 fuer StockFish)


Nach 16 Partien nur 3 nicht-Remisen, also 81% Remisqoute. Und Partie 17 sieht auch stark remislich aus. Oh weh. Bei solchen Remisqouten wird man kaum je einen Sieger (außerhalb der Errorbars) ausrufen können, es sein denn, man spielt hunderte oder tausende von Partien. Andernfalls kann man nur sagen: etwa gleichstark. Was natürlich gegen den aktuellen Stockfish auch nicht wirklich schlecht ist. Allerdings ist die Leela-Ratio hier auch deutlich über 1.0 (1.5 ungefähr), also sehr vorteilhafte Bedingungen für Leela.
Parent - - By Wolfgang Battig Date 2019-01-09 13:06 Edited 2019-01-09 13:19
Reinhold Stibi schrieb:

...

Mit Zweitcomputer: Lc0 v0.20.1  GTX  1050 Ti  sonst wie oben

Lc0 wie oben   gegen  Houdini 6.03   26 Partien  +17  =6   - 3   = + 209 !!

Houdini 6.03 wird regelrecht zermalmt.

Lc0 wie oben  gegen Komodo 12.3

26 Partien   + 10   = 12   - 4   = 61,54 %   = + 82  Elo


Hallo Reinhold,

danke für die Ergebnisse! Ob nun LC0 schon Nr.1 ist wird sich zeigen, scheint - bei aller Vorsicht - aber zumindest halbwegs "nah dran" zu sein.

Sollte LC0 wirklich so nah an SF sein, macht auch das Ergebnis gegen Komodo mit ca. +80 Sinn.

Mir macht allerdings das Ergebnis gegen Houdini - unabhängig von der Partienzahl - etwas Bauchschmerzen. Nicht weil ich ein Houdini-Fan (eher das Gegenteil ist der Fall!) oder ein LC0-Antifan wäre (bin ich nicht, auch wenn mich der Hype nervt), sondern aus den Erfahrungen mit Houdini heraus.

Daher die Frage (ist nicht als Vorwurf gemeint, hatte ich auch schon!): Ist Houdini auf deinem "Zweitrechner" korrekt aktiviert/registriert? Damit meine ich nicht, ob Du Houdini legal erworben hast, davon gehe ich aus!. Nicht, dass das falsch rüberkommt.

Ich hatte schonmal den Fall, dass bei mir eine Registrierung plötzlich nicht mehr gültig war ("no valid licence found"). Woran es gelegen hat kann ich nicht sagen, vielleicht eine Hardwareänderung?! Ich weiß es nicht (mehr). Houdini scheint da recht empfindlich zu sein.

Houdini spielt dann mit stark gebremster Spielstärke und ich staunte über die grottigen Ergebnisse, als ich am nächsten Tag wieder am Rechner war...

Lässt sich einfach überprüfen: Einfach die vewendete Houdini.exe doppelklicken und schauen was im kleinen schwarzen Fenster steht. Sollte "licensed to ...." lauten. Falls "no valid licence found" kommt muss Houdini neu installiert werden.

Vielleicht auch alles Zufall angesichts der wenigen Partien, aber das wäre schon ein heftiger Ausreißer

Grüße
Wolfgang

PS: Welche CPUs stecken in deinen Rechnern? Wie ist diese ominöse "Leela-Ratio?
Da mein Sohn sich einen neuen Rechner gekauft hat, fällt für mich evtl. eine GTX970 ab.
Weiß nur noch nicht, in welchen Rechner ich die einbauen soll, spricht welche CPU ungefähr gleichwertig wäre.
Ist momentan in einem älteren i5 eingebaut, aber ich denke, das ist für die AB-Engines eher ein Nachteil
Parent - By Stefan Pohl Date 2019-01-09 13:19
Wolfgang Battig schrieb:

Mir macht allerdings das Ergebnis gegen Houdini - unabhängig von der Partienzahl - etwas Bauchschmerzen. Nicht weil ich ein Houdini-Fan (eher das Gegenteil ist der Fall!) oder ein LC0-Antifan wäre (bin ich nicht, auch wenn mich der Hype nervt), sondern aus den Erfahrungen mit Houdini heraus.
Daher die Frage (ist nicht als Vorwurf gemeint, hatte ich auch schon!): Ist Houdini auf deinem "Zweitrechner" korrekt aktiviert/registriert? Damit meine ich nicht, ob Du Houdini legal erworben hast, davon gehe ich aus!. Nicht, dass das falsch rüberkommt.
Ich hatte schonmal den Fall, dass bei mir eine Registrierung plötzlich nicht mehr gültig war ("no valid licence found"). Woran es gelegen hat kann ich nicht sagen, vielleicht eine Hardwareänderung?! Ich weiß es nicht (mehr). Houdini scheint da recht empfindlich zu sein.
Houdini spielt dann mit stark gebremster Spielstärke und ich staunte über die grottigen Ergebnisse, als ich am nächsten Tag wieder am Rechner war...


Das stimmt! Das sollte man unbedingt ab und an mal prüfen, ob Houdini sich selbst noch als legal erkennt. Sonst spielt Houdini viel schlechter.
Parent - - By Stefan Pohl Date 2019-01-09 13:27 Edited 2019-01-09 13:33
Wolfgang Battig schrieb:


PS: Welche CPUs stecken in deinen Rechnern? Wie ist diese ominöse "Leela-Ratio?
Da mein Sohn sich einen neuen Rechner gekauft hat, fällt für mich evtl. eine GTX970 ab.
Weiß nur noch nicht, in welchen Rechner ich die einbauen soll, spricht welche CPU ungefähr gleichwertig wäre.
Ist momentan in einem älteren i5 eingebaut, aber ich denke, das ist für die AB-Engines eher ein Nachteil


De Leela-Ratio ist nicht ominös, sonder schlicht der Vergleich der Leistung von Leela gegenüber Stockfish, geeicht (=1) am Wettkampf AlphaZero gegen SF bei Google:

Leela Ratio: LeR = 875 * leela nps/sf9 nps

Eine GTX 970 ist laut CUDA-Benchmark (https://browser.geekbench.com/cuda-benchmarks) ungefähr 2.5 mal schneller als meine GTX950m Mobil-GPU, also sollte Leela ca. 2500 rollouts/s darauf schaffen (aber das ist nur ein Schätzwert anhand dieser Benchmarkseite, also unbedingt selber nachmessen!). Das wäre für die Leela-Ratio Formel also 875*2500= 2187500 (wenn SF 9 also soviele n/s rechnet, wäre die Leela-Ratio auf deinem System =1), das sollte bei der Wahl der Hardware helfen. Höher als 1 sollte die Leela-Ratio m.E. nicht sein (andernfalls eben die AB-Gegnerengines mit mehr Cores laufen lassen), sonst sind die Verhältnisse für Leela besser, als sie es für AlphaZero im Wettkampf gegen Stockfish 8 waren. Leela-Ratios zwischen 0.5 und 1 sind m.E. die besten. Aber das ist nur meine Privatmeinung. Generell ist es schwierig, GPU und CPU zu vergleichen.
Parent - - By Wolfgang Battig Date 2019-01-09 13:33 Edited 2019-01-09 13:43
Danke Stefan!
Das "ominös" war eher spaßig gemeint, ein entsprechender Smiley in meinem Posting wäre hilfreich gewesen...

Die Stockfish-Knoten werden über den "bench"-Befehl in der Konsole ermittelt? Vermute ich das richtig?
Parent - - By Stefan Pohl Date 2019-01-09 14:37 Edited 2019-01-09 14:40
Wolfgang Battig schrieb:

Danke Stefan!
Das "ominös" war eher spaßig gemeint, ein entsprechender Smiley in meinem Posting wäre hilfreich gewesen...

Die Stockfish-Knoten werden über den "bench"-Befehl in der Konsole ermittelt? Vermute ich das richtig?


Nein, ich benutze das “go infinite“ Kommando. So wird es auf der alten Blog-Seite zum Thema empfohlen, ich kopiere den Wortlaut hier rein:

How does one get the nps for Leela and Stockfish 9 (most people have 9 instead of 8)?
Leela NPS :Run go infinite from start position and abort after depth 26 and report NPS output.”
SF9 NPS:'Fire up the sf9 engine, “go infinite” from the start position, and around depth 26-28, abort and note the nps.
If you want to give SF more threads before “go infinite”:
“setoption name Threads value 4“ (oder eben eine andere Zahl, jenachdem wieviele Threads gewünscht sind, das ist ja klar)
Up Topic Hauptforen / CSS-Forum / Die Sensation ist nun perfekt - Lc0 erringt Platz 1 im Computerschach !
1 2 Previous Next  

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill