Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / LcO inzwischen wieder auf Augenhöhe mit Stockfish NNUE und Abkömmlinge
- - By Reinhold Stibi Date 2020-10-13 07:16 Edited 2020-10-13 07:35
LcO v0.26.3 J92-260 hat die bekannten Schwächen von taktischen Löchern und Endspielfehlern inzwischen überwunden.

Ich spielte mit 2 RTX 2070 auf Schach.de wie oben über 70 Partien im Autoplaymodus; keine Einzige ging verloren und Eine wurde gewonnen.

Lothar dürfte, wenn er die RTX 3070 erhält, dann mit seinen 3 Grafikkarten auf dem Niveau von meinem Computer mit Ryzen 3970X mit 32 Kernen/64 Threads
stehen; dies aber deutlich billiger. Da dürfte die Gewinnquote auch etwas höher liegen.

Cfish NNUE verliert inzwischen auf meinem Computer auf Schach.de nach zig Partien Keine; Stockfish ohne NNUE aber schon. Eman 6.40 mit NNUE verlor leider durch
sofortige Aufgabe grundlos nach der Eröffnung 2 Partien. Da muss sich ein Fehler eingeschlichen haben.

Es stehen also rosige Zeiten für Lc0 an, wenn die RTX 30er Serie erwerbbar ist.

Der jetzige Stand auf Schach.de ist 2646. Lc0 konnte sich gegen die stärksten Gegner behaupten.

 
Parent - - By Horst Sikorsky Date 2020-10-13 08:36
nicht schlecht Reinhold, aber 2535 habe ich mit 3 cpu 
ob das meine RTX 2060 Schaft?
   
Parent - - By Reinhold Stibi Date 2020-10-13 08:50
Horst, es wäre aber schön wenn es nicht 2535 sondern 2635 wären.

Denke schon dass Du mit deiner RTX 2060 die 2535 übertriffst.
Du musst aber Lc0 v0.26.3 cuda J92-260 nehmen.
Parent - By Horst Sikorsky Date 2020-10-13 10:24 Edited 2020-10-13 10:31
Reinhold Stibi schrieb:

Horst, es wäre aber schön wenn es nicht 2535 sondern 2635 wären.

Denke schon dass Du mit deiner RTX 2060 die 2535 übertriffst.
Du musst aber Lc0 v0.26.3 cuda J92-260 nehmen.


oh doppelt verschieben 2636 und nach 2remisen gegen schnellere nur noch 2635 und das mit geringen Energieverbrauch.
keine Angst ich werde schon noch Haue Kriegen.
Parent - By Lothar Jung Date 2020-10-13 09:10 Edited 2020-10-13 09:54
Danke Reinhold für Deine Testspiele und Deine Einschätzung.

Trotz des großen NNUE-Sprung der Fische konnte Lc0 wegen der guten JHortos-Netze und der backend-Steigerung durch cuda wieder aufholen. Auch sind die taktischen Löcher weitaus weniger und die Endspielstärke konnte gesteigert werden.
Chimera ist nicht mehr nützlich und geschlossene Eröffnungsvarianten nicht mehr notwendig. Die werden übrigens von NNUE auch gut gemeistert.

NNUE stellt aber für schwache und mittelstarke CPU-Performance eine erhebliche Spielstärkensteigerung dar.

Die neuen RTX 30XX GPUs sind nicht lieferbar oder bei eBay völlig überteuert. NVIDIA macht hier wirklich eine schlechte Figur.
Ich erwarte eine Verfügbarkeit zu Nvidia-Preisen erst im nächsten Jahr.

Dann wird auch zusätzlicher Schwung in die Computerschach-NN kommen.

Lothar
Parent - - By Kurt Utzinger Date 2020-10-13 11:34 Upvotes 1
Reinhold Stibi schrieb:

LcO v0.26.3 J92-260 hat die bekannten Schwächen von taktischen Löchern und Endspielfehlern inzwischen überwunden.

Ich spielte mit 2 RTX 2070 auf Schach.de wie oben über 70 Partien im Autoplaymodus; keine Einzige ging verloren und Eine wurde gewonnen.

 


Hallo Reinhold
Das ist gleich langweilig geworden wie Fernschach.
Gruss
Kurt
Parent - - By Wolfgang Battig Date 2020-10-13 12:09
Remisen müssen ja nicht zwingend langweilig sein, Kurt.
Letztlich sind aber Siege das "Salz in der Suppe" und 98,6% Remisquote ist schon echt ätzend 
Parent - By Detlef Uter Date 2020-10-13 12:23
Wem sagst du das Wolfgang.

Meine laengste Remis-Serie beim Blitzen auf Schach.de ging ueber
12,5 Stunden - und dann folgte als erstes gleich mal eine Niederlage.
Parent - By Benno Hartwig Date 2020-10-14 05:52

> Remisen müssen ja nicht zwingend langweilig sein, Kurt.


Wenn man einen Kampf erlebt, der zwischen Sieg und Remis schwankt, und am Ende wird es eben Remis, dann hast du sicher Recht, Wolfgang.

Oft ist die Stellung aber sehr schnell so, dass beide Engines etwas in der Nähe von 0,00 anzeigen und (zumindest aus meiner Laiensicht) keine mehr  Initiative entwickelt.
Da lässt mein Interesse dann schon nach und ich warte auf die nächste Begegnung.
Parent - By Clemens Keck Date 2020-10-13 15:02
Hier ein paar Tests, 10min + 5sec, ponder ON
lc0 auf RTX 2080 super
Cfish auf 16 echten cores
Code:
10 Minutes/Game + 5 Seconds/Move  2020

Cfish 200920 64 BMI2 NUMA [ne   - Lc0 v0.26.2+J92-190               50.0 - 44.0    +14/-8/=72    53.19%
Cfish 200920 64 BMI2 NUMA [ne   - Lc0 v0.26.2+J92-220               49.0 - 45.0    +11/-7/=76    52.13%
Cfish 200920 64 BMI2 NUMA [ne   - Lc0 v0.26.3-rc2+J92-240           52.5 - 41.5    +16/-5/=73    55.85%
Cfish 200920 64 BMI2 NUMA [ne   - Lc0 v0.26.3-rc2+J92-260           51.0 - 43.0    +14/-6/=74    54.26%


J92-220 ist in diesen Tests am stärksten, gefolgt von J92-190.

C.K.

Reinhold Stibi schrieb:

LcO v0.26.3 J92-260 hat die bekannten Schwächen von taktischen Löchern und Endspielfehlern inzwischen überwunden.

Ich spielte mit 2 RTX 2070 auf Schach.de wie oben über 70 Partien im Autoplaymodus; keine Einzige ging verloren und Eine wurde gewonnen.

Lothar dürfte, wenn er die RTX 3070 erhält, dann mit seinen 3 Grafikkarten auf dem Niveau von meinem Computer mit Ryzen 3970X mit 32 Kernen/64 Threads
stehen; dies aber deutlich billiger. Da dürfte die Gewinnquote auch etwas höher liegen.

Cfish NNUE verliert inzwischen auf meinem Computer auf Schach.de nach zig Partien Keine; Stockfish ohne NNUE aber schon. Eman 6.40 mit NNUE verlor leider durch
sofortige Aufgabe grundlos nach der Eröffnung 2 Partien. Da muss sich ein Fehler eingeschlichen haben.

Es stehen also rosige Zeiten für Lc0 an, wenn die RTX 30er Serie erwerbbar ist.

Der jetzige Stand auf Schach.de ist 2646. Lc0 konnte sich gegen die stärksten Gegner behaupten.

 
Parent - - By Robert Bauer Date 2020-10-14 13:25
Ich sehe eher eine Stagnation.
Es ist wie früher: man wartet auf eine neue Hardware oder neue Grafik-Treiber, die die Hardware besser ausnutzen können oder an Updates des Lc0-Compiles.
Wo ist die Revolution und der eigentliche Fortschritt geblieben?
Der eigentliche Fortschritt war im neuronalen Netz selbst - und da tut sich nur mikroskopisch was. Von Leelenstein hat man beispielsweise seit langem nichts gehört.
Der Fortschritt der 6xxxx Netze hat sich bei genauem Hinsehen als minimal herausgestellt.

Mit Lc0 kann man nach wie vor weder Festungen noch Endspielstellungen korrekt abschätzen.
Eduard unterstreicht dies indem er Chimera so einstellt, dass im Endspiel die klassische Bewertung greift.
Aber auch ich kann dies ausgiebig in der Fernschach-Praxis feststellen.
Beispielsweise bei Turmendspielen mit beiderseitigen Bauern auf dem Königsflügel und einem zusätzlichen a-Randbauern.
Freilich kann man dazu lange philosophieren.
Im Endspiel würde ich mir aber schon wünschen, dass die Bewertung eindeutig aussagt, ob eine Stellung Remis ist oder gewonnen.
Lc0 hat bis zum Schluss eine Bewertung ungleich 0 und vielleicht sogar von +1 wogegen die klassische Bewertung seit vielen Zügen schon bei 0.00 ist.
Und gerade das ist bei Lc0 irreführend, obwohl ich das aufgrund des Erfahrungsschatzes eines NN nicht erwartet hätte.
Natürlich läuft dies im Prinzip darauf hinaus, dass es eigentlich zwei Bewertungen geben müsste: eine Stellung ist objektiv Remis oder gewonnen (bei beiderseitig bestem Spiel) und die Wahrscheinlichkeit für einen Gewinn (bei gegnerischen wahrscheinlichem Spiel).
Parent - By Lothar Jung Date 2020-10-14 14:06 Edited 2020-10-14 14:21
Hier sieht man die Lc0-Entwicklung seid SF8 sehr deutlich:

**Match:** lc0.26.J92-190 vs Stockfish 8 4CPU - 100 rapid games
**LC0-version:** v26.0 cuda
**LC0-options:** --backend=multiplexing --cpuct=2.147 --cpuct-factor=2.815 --cpuct-base=18368 --fpu-value=0.443 --policy-softmax-temp=1.607  --moves-left-max-effect=0.1 --moves-left-threshold=0.5 --moves-left-slope=0.007 --moves-left-quadratic-factor=0 --moves-left-scaled-factor=1 --moves-left-constant-factor=0
**Time control:** 15min + 5s (CCRL 40/15)
**Hardware:** CPU i7-8700 4cores vs 1070Ti GPU
**Book:** Custom short lines played from both sides (!sheet4 for opening list)
**Tablebase:** 6 piece syzygy (DTZ + WDL) for both engines
**Software:** Arena
**Speed:** Leela ratio ~0.85; Lc0 npm~200K, SF npm~200M  (based on 24x256 nets, SV nets much slower)
**Context:**  Just for fun  !sheet4 for test history
```# PLAYER                  :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
1 lc0.26.J92-190               :  3567.2   51.6    73.0     100    73     100   48   50    2    50
2 Stockfish_8_x64_bmi2    :  3379.0   ----    27.0     100    27     ---    2   50   48    50```
```lc0.26.J92-190 - Stockfish_8_x64_bmi2 : 73.0/100 48-2-50 (1==110==11111=11==1==11=1=111=1=11==1=1=1=111===11=01===11==111=1=1=1=1=1=11==11==1=1===11====1=====)  73% ```
Comparison to SF12 match result:
```lc0.26.J92-190 - Stockfish_12_x64-bmi2 : 48.5/100 1-4-95 (=========0=========================================0=================0===0======================1===)  49% ```

Auch bei der Engine hat sich sich Entscheidendes getan:

Qualität: MHL, Zeitmangement, TB-Behandlung

Performance: backend „cuda“, +30%.

Letztlich wird auch Leela von den neuen RTX-Grafikkarten 30XX profitieren, über 50%, bei vergleichbarem Preis.

Übrigens ist NN und KI für sich genommen eine Revolution, auch für Schach, wie man schön an NNUE sieht.

Chimera ist seid von JHortos-Netzen entbehrlich. Die Endspielbehandlung ist belastbar sicher.

Da sich Lc0 und NNUE im positionellen Bereich angenähert haben, sind Eröffnungsbücher, die geschlossene Stellung bevorzugen entbehrlich. Nicht zuletzt deshalb, da die aktuellen Netze taktisch nicht mehr (so) anfällig sind.

Zu bemerken ist auch, dass die Hardwareinvestition in GPUs im Vergleich zu Highend-CPU-Sytemen deutlich geringer ist.
Im unteren und mittleren Leistungsbereich sind CPU-Systeme mit SF/CF NNUE wesentlich günstiger.

Lothar
- - By Reinhold Stibi Date 2020-10-13 12:14
Hallo Kurt,

es gibt auch interessante Remispartien.

Klar ist inzwischen, dass die Remisquote im Computerschach recht hoch ist und die Hardware besonders durch NNUE nicht mehr die große Rolle spielt.

Trotzdem braucht der Turniersieger auf Schach.de zwei bis 3 Siege.

Ich habe auch vor, wenn die Turniere weiterbestehen, auch mit schwächeren Engines wie Komodo 14, Houdini 6.3, Ethereal und Sonstige zu spielen.

Mir macht es dabei nichts aus, wenn ich etliche Partien dabei verliere aber es ist sicher abwechslungsreicher als wenn alle mit Cfish,
Stockfish und Eman spielen und es kommen dadurch sichere sehr schöne Siege zustande.

Gruß
Reinhold
Parent - - By Volker Göbel Date 2020-10-13 12:45 Edited 2020-10-13 12:48
Hallo Reinhold,
Wenn du beabsichtigst auch mal mit Ethereal, Houdini und Komodo zu spielen, wirst du dich vor Herausforderungen nicht mehr retten können.
Dann bist du praktisch Kanonenfutter, und die Elogeier sind dann hinter dir her, wie der Teufel hinter der armen Seele.

Gruß
Volker
Parent - - By Reinhold Stibi Date 2020-10-13 13:11 Edited 2020-10-13 13:32
Hallo Volker,

ich werde Turnierleiter Damir bitten bei seinem Turnier was zu reformieren. Dazu schreibe ich heute Nachmittag einen eigenen Thread.

Ich stehe Dir und Anderen als Kononenfutter mit Komodo 14 dann im Turnier auf Schach.de gerne zur Verfügung.

Wäre spannend; mach doch bitte mit.

Gruß

Reinhold
Parent - - By Reinhold Stibi Date 2020-10-13 19:44 Edited 2020-10-13 20:01
Zur  Zeit spiele ich auf Schach.de mit Komodo 14.

Bin sehr überrascht, wie gut sich Komodo 14 hält. 2 Partien bis jetzt verloren und 1 Partie gewonnen, sowie etliche Remispartien.

Von wegen Kanonenfutter.

Muss nur noch da EB umstellen, dass mehr offene, statt geschlossene Stellungen gespielt werden. Also mehr e4-Partien.
Parent - - By Horst Sikorsky Date 2020-10-13 20:08
ich erhöhe ab jetzt das Risiko!
Reinhold gegen Komodo 14 habe ich Heute Gespielt.
Parent - - By Detlef Uter Date 2020-10-13 23:44
Ich auch - leider nur remis.

Aber auf dem ChessBase-Server spielt auch einer mit nur
4 Kernen und traut sich dann Komodo 14 einzusetzen.

Da ist dann ein Sieg sogut wie vorprogrammiert.
Bei Rainholds 32-Kerner ist das schon wesentlich
schwieriger.

Und Womean spielt gar nur mit Fritz 15.
Reiner Selbstmord! 
Parent - - By Florian Wieting Date 2020-10-14 00:58
Detlef Uter schrieb:

[...]
Reiner Selbstmord! 


Die arme Engine, sie ruhe in Frieden! Welch tragisches Schicksal!

Merkst du etwas?
- Nein?
Macht auch nichts!
Parent - - By Reinhold Stibi Date 2020-10-14 05:36 Edited 2020-10-14 05:54
Ging lange gut, nun wurde ich zu oft als Opfer ausgesucht, zu viele Partien verloren, wieder umgestiegen
auf den sicheren Cfish.
Die Software spielt die größere Rolle als die Hardware.

Cfish rechnet viel tiefer als Komodo 14, der erst etliche Züge später merkte wie es um ihn steht.

Lothar mit seinem Notebook hat gegen mich auch gewonnen und hat damit nun stattliche 2630 Elo.
Parent - - By Volker Göbel Date 2020-10-14 05:53 Edited 2020-10-14 05:56
Also doch Kanonenfutter wie ich es dir prophezeit hatte. .Für Elogeier bist du ein sehr interessanter Gegner mit solchen Enginen.
Das hätte mich auch sehr gewundert, wenn das mittlerweile nicht mehr so wäre.
Parent - - By Reinhold Stibi Date 2020-10-14 05:56
Zwischendurch kann man das ja kurz machen.
Parent - - By Volker Göbel Date 2020-10-14 06:00 Edited 2020-10-14 06:18
ja natürlich Reinhold.
Die meisten laden ja nur noch den Fisch, was anderes kommt ja gar nicht mehr in die Tüte.
Dabei sind andere Programme auch sehr interessant.
Parent - - By Kurt Utzinger Date 2020-10-15 11:37
Volker Göbel schrieb:

ja natürlich Reinhold.
Die meisten laden ja nur noch den Fisch, was anderes kommt ja gar nicht mehr in die Tüte.
Dabei sind andere Programme auch sehr interessant.


Hallo Volker
Keine Frage: Nur scheint es leider so zu sein, dass (fast) alle nur noch mit dem Fish
spielen, um möglichst keine Niederlagen einzufangen. Irgendwie schon etwas
langweilig, oder?
Mfg
Kurt
Parent - - By Volker Göbel Date 2020-10-15 17:36
Hallo Kurt,
Ja, es ist etwas langweilig geworden, es gibt fast nur noch Remis-Partien.
Und seit nnue da ist, hat sich das noch verstärkt, würde ich sagen.
Schnelle Rechnenmaschinen mit 32, 64 oder noch mehr Kernen, die einige auf dem Server betreiben, sind für das was sie kosten, kaum noch besser als ein 8 oder 12 Kerner.
Wenn man ein einigermaßen gutes Eröffnungsbuch hat, braucht man vor solchen Monsterrechnern, keine Bange mehr zu haben, auch ein 8 Kerner hält dann mühelos die Partie remis.

Gruß
Volker
Parent - By Detlef Uter Date 2020-10-15 21:17
Oft reicht schon ein 6- oder auch nur ein 4-Kerner um
meistens remis zu halten.
Ich habe auch schon mindestens 2x gegen einen 4-Kerner
verloren.
Aber, was weis ich schon - ich habe ja nur einen popeligen
18-Kerner.

Wenn aber so ein 6- oder 4-Kerner mit einem schwaecheren
Programm als die Fische oder Lc0  spielt, ist ein Verlust
meistens vorprogrammiert.
Parent - By Lothar Jung Date 2020-10-14 09:51 Edited 2020-10-14 09:59
Hallo Reinhold,

es sind sogar 2635.
Ich lasse automatisches Spiel mit 2580 - 2680 tagsüber laufen.
Sehr viele Remispartien und sehr wenige verlorene Partie.
Notebook 4/8 Cores/Threads mit 2.600 MHz.
CFish 5.10.20 mit Hybrid.

Wenn man andere Engines spielen lassen will, sollten SF und Leela ein Handikap bekommen.
Man könnte auch einen Vintage-Tunierraum bei CB einrichten.

Grüße Lothar
Parent - - By Heinz Hagenstein Date 2020-10-14 23:31
Ich habe Heute bei dem Tournier teilgenommen.
Deibei spielte ich gegen 4 Gegner die nur einen Quad Core hatten.
Das ist mir Heute unbegreiflich wie die gegen mich bestehen konnten.
Aber alle hatten Stockfish ,und der spielt ja mit den NN Netzen,da spielt die Hardware keine Rolle mehr.
Ich nehme an die Hardware ist zur Zeit ganz unwichtig.
Das möchte ich hier mal zur Disskustion stellen.

Gruß Heinz
Parent - By Martin Steinwandter Date 2020-10-15 08:36
Heinz Hagenstein schrieb:

Ich habe Heute bei dem Tournier teilgenommen.
Deibei spielte ich gegen 4 Gegner die nur einen Quad Core hatten.
Das ist mir Heute unbegreiflich wie die gegen mich bestehen konnten.
Aber alle hatten Stockfish ,und der spielt ja mit den NN Netzen,da spielt die Hardware keine Rolle mehr.
Ich nehme an die Hardware ist zur Zeit ganz unwichtig.
Das möchte ich hier mal zur Disskustion stellen.

Gruß Heinz

Parent - - By Geri Schmidt Date 2020-10-17 03:17
Heinz Hagenstein schrieb:

Aber alle hatten Stockfish ,und der spielt ja mit den NN Netzen,da spielt die Hardware keine Rolle mehr.
Ich nehme an die Hardware ist zur Zeit ganz unwichtig.
Das möchte ich hier mal zur Disskustion stellen.


Einfach Stockfish mit 5 min gegen Stockfish mit 15 min antreten lassen (Ponder off). Dann sind bis auf die Zeit die Bedingungen gleich und man kann nach ausreichend vielen Partien die Auswirkungen einer deutlich schnelleren Hardware approximieren.

Bei Turnieren mit nur wenigen Spielen, unterschiedlichen Eröffnungsbüchern, unterschiedlicher Hardware und unterschiedlichen Engines sind zu viele Faktoren gleichzeitig im Spiel als dass man die Auswirkungen eines bestimmten Faktors bestimmen könnte.

Gruß
Parent - By Eduard Nemeth Date 2020-10-17 05:03
Mich interessiert nur was unter Turnierbedingungen wie läuft. Was nützte es einem Schachspieler wenn er 80% der Eröffnungen besser weiss als sein Gegner, wenn der andere aber die Kunst versteht, die übrigen 20% ständig auf das Brett zu zaubern? Ich bin immer gut damit gefahren, das wenige was ich wusste, gut zu können.

Beim TCEC muss jede Engine möglichst alles gleich gut können und aktuell kann Stockfish da deutlich mehr als Lc0. Wenn aber einige Leute ganz genau wissen wo die Stärken von Lc0 liegen und wie man die am besten einsetzt, dann kann man mit Lc0 auch Computerturniere gewinnen. Der Clemens K. ist so ein Spezialist. Er gewinnt mit Lc0 die wichtigen preisgekrönten Turniere wie das Infinity Masters! Sowas finde ich tausendmal wichtiger und interessanter als Seriensiege beim TCEC.
Parent - By Heinz Hagenstein Date 2020-10-17 11:09
Hallo Gen,
den Vergleich 5 min gegen 15 m finde ich sehrgut.

Gruß Heinz
Up Topic Hauptforen / CSS-Forum / LcO inzwischen wieder auf Augenhöhe mit Stockfish NNUE und Abkömmlinge

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill