Lc0: Remislastigkeit bei Schwächeren und Stärkeren

By Lothar Jung Date 2022-03-21 09:47

Hallo Olaf!

Die Remislastigkeit hat meiner Einschätzung nach zwei Gründe:

1. Die Suche ist zu flach bzw. vorsichtig. Ceres ist da merklich mutiger, selektiver und deshalb auch tiefer.
Das sieht man gut beim Lösungsverhalten von Suites.
Hier sollten die Entwickler alternativ die Ceressuche einbauen und dem Anwender eine Auswahlmöglichkeit bieten.

2. Das Netztraining kann bei 800 Nodes Partien keine taktische Tiefe erreichen.
Hier sollten die Entwickler ausgesuchte taktische Ausgangsstellungen in das Training einpflegen.
Auch könnte man Eröffnungsvarianten wählen, die zu taktischen Abläufen führen.

3. Auch könnte Lc0 ein taktisch geprägtes NNUE zur Seite gestellt werden. Diesen interessanten Ansatz verfolgt der A/B-Helper von
Hans Eckbrandt. Das NNUE könnte mit Lc0-Partien trainiert werden und mit einer A/B-Suche angesprochen werden.

Zwischenstand: Ansätze werden auf Discord diskutiert, aber man verharrt zu sehr auf den Zero-Ansatz.
Komodo ist einen anderen Weg gegangen und derzeit, mit viel weniger Resourcen, erfolgreicher.

Just my two Cents

Lothar

By Olaf Jenkner Date 2022-03-21 21:21 Upvotes 1

Lothar Jung schrieb:

Ansätze werden auf Discord diskutiert, aber man verharrt zu sehr auf den Zero-Ansatz.

Dazu habe ich noch einen Pfennig:
Der Zero-Ansatz ist der wissenschaftlichste überhaupt. Es ist die reine Informatik, zu sagen:
Wir geben der Software die Schachregeln und alles andere macht sie selber.
Wenn man davon abrückt, wird man stärkere Programme erzeugen, weil menschliches
Wissen, in welcher Form auch immer, zusätzlich einfließt. Das hat dann eher was von
Handwerk, aber gutes Handwerk war Schachprogrammierung schon immer.

By Benno Hartwig Date 2022-03-21 23:57 Edited 2022-03-21 23:59

> Der Zero-Ansatz ist der wissenschaftlichste überhaupt. Es ist die reine Informatik, zu sagen:
> Wir geben der Software die Schachregeln und alles andere macht sie selber.

Aber es gibt doch seit langem immer wieder neue, bessere Netze.
Entstehen die wirklich nur dadurch, dass die Software immerzu und immer noch mehr "alles selber macht"?
Oder greift der Mensch mit seiner ständig weiterentwickelten Programmierung und ggf. auch zusätzlichen (z.B. Partienmaterial, Positionen als Ausgangspunkt der Wissensgenerierung...) nicht doch auch permanent ein, damit die Netze denn auch tatsächlich zu einem stärkeren Spiel führen?

Ja, ich weiß um die Bedeutung des "Zero".
Aber ein Name muss ja nicht unbedingt auf Dauer tatsächlich des Pudels Kern beschreiben.

By Olaf Jenkner Date 2022-03-22 00:08

Benno Hartwig schrieb:

Ja, ich weiß um die Bedeutung des "Zero".
Aber ein Name muss ja nicht unbedingt auf Dauer tatsächlich des Pudels Kern beschreiben.

Ich denke schon, daß Zero genau das heißt. Sonst wäre es ja Etikettenschwindel.
Falls aber irgendein Marketingfutzi da dranrum geschraubt haben sollte, ist alles möglich.

By Benno Hartwig Date 2022-03-21 23:50

> Auch könnte Lc0 ein taktisch geprägtes NNUE zur Seite gestellt werden.

Oh, gibt es sowas, mehr taktisch geprägtere Netze?
Was wäre darunter eigentlich zu verstehen? Vielleicht solche, welche grundsätzlich Positionen leicht bevorzugen, welche zu besonders vielen und schwierigen taktische Verwicklungen führen.
Vielleicht könnten dafür ja auch die ganz normalen NNUE-Netze genutzt werden, deren Bewertungen dann dank gesonderter Einschätzungen einen kleinen Bonus/Malus bekommen.
Gegen Top-Gegner würde das wohl einen kleinen Nachteil bedeuten, aber gegen schwächere würden vielleicht häufiger Verwicklungen erspielt werden, in welchen unsere Top-Engines dann einfach besser ist.
Ich befürchte, so generell würde solch eine Engine nicht unbedingt Begeisterung ernten.
Erst, wenn dies durch einen Geringschätzungsfaktor konfigurierbar wäre, könnte das wohl wirklich Freunde finden.
Aber wie sich solch ein Feature automatisch zuschalten lassen könnte, sehe ich nicht.

By dkappe Date 2022-03-22 03:45

Benno Hartwig schrieb:

Ich habe vor einiger Zeit die “Bad Gyal” Netze trainiert. Das war lichess gemischt mit SF10, also keine leela Daten. Taktisch waren sie auf WAC stärker als leela Netze ähnlicher Größe. Aber Spielstärke war 100 bis 150 elo schwächer. Also, es ist kompliziert.

By Jörg Oster Date 2022-03-22 09:19

dkappe schrieb:

Benno Hartwig schrieb:

Das waren aber Lc0-Netze, und keine NNUEs, oder irre ich mich?

By Jörg Oster Date 2022-03-22 09:17

Hier noch meine 2 cents dazu.

Eigentlich ist es gemeinhin so, je selektiver die Suche,
desto schlechter die Ergebnisse in Stellungstests.
Woran machst du das bei Ceres denn fest?

Es gibt kein taktisch geprägtes NNUE.
Beim Training für Stockfish-Netze werden m. W. sogar solche Stellungen
möglichst vor dem Training rausgefiltert.

Gruß, Jörg.

By Peter Martan Date 2022-03-22 09:29 Edited 2022-03-22 09:34

Jörg Oster schrieb:

Es gibt kein taktisch geprägtes NNUE.

Doch doch. Probier mal eines wie Dark Horse und Night Nurse von Dietrich. Er wird vielleicht auch noch ein bisschen etwas dazu schreiben, du hast ihn ja auch direkt gefragt.
Vincent Lejeune hatte in seiner HTC- Stellungstest- Liste auch immer wieder solche Netze extra drin.
Werde mal einen Link dazu auf CCC suchen, muss jetzt nur gerade für eine Weile vom PC weg, findet man aber mit der CCC- Suche ohnehin nicht sehr schwer mit den richtigen Suchbegriffen.
Hier Links zu sites von Dietrich in der Sache:

https://github.com/dkappe/leela-chess-weights/wiki/A-Leela-NNUE%3F-Night-Nurse-and-Others

Und auf dieser Bad Gyal- site hast du auch eine bunte Sammlung an NNsUE

https://www.patreon.com/badgyal

By Lothar Jung Date 2022-03-22 10:05

Hallo Jörg,

zu Deinen zwei Fragen:

1. Ceres schneidet bei dem ERET111 und dem HTC114 Test besser als Lc0 0.29 dev ab. Zusammengefaßt zeigt es die Tabelle von Peter Martan. Auch ich hatte regelmäßig über die Suiteergebnisse von Lc0 und Ceres im Forum berichtet.

2. Es gibt aber NNUEs die mit A/B Engines generiert werden und diese Weisen eine höhere Tiefe auf.
Über das Herausfiltern von taktischen Stellungen bei NNUE-Training ist mir nichts bekannt.

Viele Grüße

Lothar

By Peter Martan Date 2022-03-22 10:49 Edited 2022-03-22 11:17

Lothar Jung schrieb:

Über das Herausfiltern von taktischen Stellungen bei NNUE-Training ist mir nichts bekannt.

https://forum.computerschach.de/mwf/epx.png

Insgeheim hoffe ich ja, dass Dietrich eines seiner taktischen NsNUE auch wieder für die neueste SF- Architektur anpassen wird, für die erste der 40Mb- Generation gab's noch das Dark Horse xl, (siehe mein Link im verlinkten Posting zur Bad Gyal- Site, da kann man's runterladen) mit dem müsste eine der SF-dev. Version der vorletzen Architektur- Generationen (vor Feb.) noch funktionieren, glaubt
...

Edit: leider doch nicht, SF Ende Jänner läuft nicht mehr mit dh-0.3bxl.nnue
, da hat sich seit Dark Horse xl an der SF- Architektur doch noch zumindest einmal was geändert, bedauert

By Jörg Oster Date 2022-03-22 12:53

Lothar Jung schrieb:

Hallo Lothar,

von wegen höherer Suchtiefe bei AB-Engines.

Schau dir doch mal die selektiven Suchtiefen beim gerade laufenden TCEC für Lc0 im Vergleich zu denen der Gegner an.
Dann erkennst du leicht, dass Lc0 in der Regel, also im Allgemeinen, das bedeutet nicht unbedingt immer, aber doch meistens,
eine höhere selektive Suchtiefe erreicht!

Z. B. in der gerade laufenden Partie KomodoDragon - Lc0
Zugnummer 28: 41/41 zu 36/74
Zugnummer 30: 45/45 zu 34/72
Zugnummer 34: 48/48 zu 33/74
usw.

Gruß, Jörg.

By Lothar Jung Date 2022-03-22 13:16

Hallo Jörg,

für die Hardwarekonfigurationen bei TCEC ist das offensichtlich der Fall.

Aber lass mal eine RTX 2070ti gegen einen aktuellen Ryzen mit 16 Kernen spielen (ungefähr gleiches Stärkeverhältnis),
dann rechnet Stockfish deutlich tiefer und greift auch viel eher und tiefer auf die TBs zu.

Jedenfalls ist die A/B-Suche nicht so selektiv wie MCTS und deshalb besser für taktische Stellungen geeignet.

Grüße, Lothar

By Peter Martan Date 2022-03-22 10:34 Edited 2022-03-22 10:43

P.S. Wie in der anderen Antwort versprochen:

Peter Martan schrieb:

Vincent Lejeune hatte in seiner HTC- Stellungstest- Liste auch immer wieder solche Netze extra drin.
Werde mal einen Link dazu auf CCC suchen

http://talkchess.com/forum3/viewtopic.php?p=899331#p899331

http://talkchess.com/forum3/viewtopic.php?p=885003#p885003

Im Thread über die Hard Talkchess Suite gibt's auch immer wieder Erwähnungen, die sind aber schwerer aus den vielen Postings, die der (Thread) hat, herauszufinden, sucht noch ein bisschen weiter (nach einem zu einer alten Besten- Liste von Vincent, in der noch Kappe- Netze drinnen waren, leider sind sie für die jetzige SF- Architektur ja nicht mehr verwendbar).
Hier gab's den letzten Download- Link, zu Vincents Testergebnissen, leider funktioniert er nicht mehr, aber in diesem Posting

http://talkchess.com/forum3/viewtopic.php?f=2&t=72902&p=915515&hilit=hard+talkchess+list#p915515

ist er drin

By Jörg Oster Date 2022-03-22 10:49

Danke Peter.
Das war mir tatsächlich nicht mehr im Kopf.

Da kommt dann die Frage auf, was versteht man unter einem taktisch geprägten Netz?

Natürlich kann man auch ein NNUE mit unterschiedlichen Daten trainieren.
Das macht das Netz selbst, bzw. dessen Aufbau, trotzdem noch nicht zu einem,
das sowas wie Taktik, oder eine SEE-Funktion, nachbilden kann.
Dafür ist ein NNUE einfach zu flach.
Lc0-Netze sind in der Beziehung anders.

By Peter Martan Date 2022-03-22 10:56 Edited 2022-03-22 10:59

Zu diesen Fragen kann dir nur Dietrich genaue Antwort geben, dass es mit vielen taktischen Stellungen bessere time to solution- Ergebnisse erbringt, kannst du eben schon auch an Ergebnissen automatisch ablaufender Suiten sehen, aber wenn du nur deiner eigenen Definition von "taktischen Stellungen" traust (da hat natürlich auch jeder seine eigene Definition und seine eigenen Beispiele) lad' dir eines von Dietrichs Netzen runter und probier' am besten selbst ein bisschen rum, nur so bekommt man einen eigenen Eindruck für die eigenen Interessen, empfiehlt

By Peter Martan Date 2022-03-22 13:03 Edited 2022-03-22 13:25

Jörg Oster schrieb:

Da kommt dann die Frage auf, was versteht man unter einem taktisch geprägten Netz?

Hat mich jetzt selbst interessiert, wie Night Nurse genau im direkten Vergleich zum default- Netz abschneidet mit derselben SF- Version in meiner jetzigen Liste.
Leider gibt's ja kein Kappe- NNUE (meines Wissens) mehr, das mit der jüngsten SF- Netzarchitektur kompatibel ist, auch die vorletzte SF.dev-Generation (hab's gerade auch noch probiert mit einer vom Jänner) läuft nicht mehr mit der xl- Version (45Mb) vom Dark Horse.

ninu-0.3.bin hatte ich noch zum MOJO vom Mai 21 passend gespeichert, und damit habe ich jetzt neue 2 Vergleichs- Runs gemacht, den zweiten davon mit seinem damaligen default- Netz:
nn-62ef826d1a6d.nnue
Das ist die Ergebnistabelle im Vergleich zu den jüngsten anderen Engines, Versionen und Netzen.


    Program                                    Elo   +/-  Matches  Score   Av.Op.   S.Pos.   MST1    MST2   RIndex

  1 ShashChess20.2-MCTS1-Tal                 : 3567    4   4846    60.2 %   3494   197/222    2.2s    3.7s   0.83
  2 ShashChess21-GoldDigger                  : 3558    4   4730    59.0 %   3495   191/222    2.4s    4.2s   0.81
  3 Crystal251221                            : 3551    4   4504    57.8 %   3496   175/220    1.7s    4.4s   0.80
  4 CorChess3190222                          : 3546    4   4547    57.2 %   3496   179/222    2.3s    4.7s   0.80
  5 CorChess3-020322                         : 3540    4   4496    56.3 %   3496   176/222    2.5s    5.1s   0.78
  6 Stockfish200222                          : 3528    4   4404    54.4 %   3497   167/222    2.6s    5.7s   0.76
  7 Stockfish-MOJO-ninu-0.3.bin              : 3527    4   4398    54.1 %   3498   166/222    2.5s    5.7s   0.73
  8 Ceres0.96-782034                         : 3526    4   4361    54.0 %   3498   166/222    2.6s    5.7s   0.70
  9 Stockfish080322                          : 3523    4   4302    53.6 %   3498   164/222    2.7s    5.9s   0.75
 10  Ceres0.96-781445                         : 3522    4   4329    53.4 %   3498   162/222    2.5s    5.8s   0.70
 11  Ceres0.96-781561                         : 3522    4   4313    53.4 %   3498   161/222    2.3s    5.8s   0.68
 12  Stockfish190322                          : 3521    4   4314    53.3 %   3498   162/222    2.6s    6.0s   0.72
 13  Lc0v0.29.0-dev-781561                    : 3514    4   4240    52.2 %   3499   155/222    2.3s    6.1s   0.68
 14  Lc0v0.29.0-dev-781445                    : 3511    4   4205    51.6 %   3499   152/222    2.2s    6.2s   0.68
 15  Lc0v0.29.0-dev-782034                    : 3511    4   4206    51.6 %   3499   151/222    2.1s    6.2s   0.68
 16  Dragon2.6byKomodoChess64-bit             : 3508    4   4213    51.1 %   3500   152/220    2.9s    6.6s   0.69
 17  Stockfish-MOJO-62ef826d1a6d              : 3502    4   4158    50.2 %   3501   148/222    2.5s    6.7s   0.66
 18  Koivisto8.0                              : 3477    5   3966    46.1 %   3504   127/222    2.4s    7.8s   0.62
 19  RubiChess2021NN-fb50f(avx2)              : 3469    5   3930    44.9 %   3504   124/220    2.6s    8.0s   0.58
 20  Ethereal13.50                            : 3461    5   3873    43.7 %   3505   119/222    2.3s    8.2s   0.57
 21  Wasp5.30                                 : 3426    5   3801    38.4 %   3508   101/222    2.9s    9.5s   0.43
 22  TogaIV1.1                                : 3419    5   3773    37.5 %   3508    96/222    2.8s    9.7s   0.45
 23  DeepHIARCS15.0                           : 3411    5   3817    36.4 %   3508    97/222    3.5s   10.0s   0.34
 24  Fritz15                                  : 3397    5   3796    34.4 %   3509    87/222    3.4s   10.5s   0.32
 25  DarkToga1.1                              : 3376    5   3728    31.6 %   3510    73/222    2.8s   11.0s   0.29

MST1  : Mean solution time (solved positions only)
MST2  : Mean solution time (solved and unsolved positions)
RIndex: Score according to solution time ranking for each position

Dieser "Taktik-Elo"- Unterschied (der so natürlich auch nur für genau diesen einen Test und dieses Teilnehmerfeld gilt) ist immerhin das 6-fache der error bar, und 18 gelöste Stellungen mehr, das ist schon auch eine ziemliche Hausnummer.
Wie immer waren es 30 Threads der 16x3.5GHz CPU, 2G Hash und 15"/Stellung, 2 Extra Halbzüge.

Bei MOJO waren alle Einstellungen default, allerdings EvalType NNUE, weil das auch und gerade damals bei allen getesteten Fischen in diesen Suiten bessere Ergebnisse brachte als Hybrid, ist übrigens jetzt auch noch bei den meisten so, bei denen man das überhaupt wählen kann.

By Chess Player Date 2022-03-22 10:40

Olaf Jenkner schrieb:

Ich habe die Vermutung, daß die Netze, und besonders die besten, so stark sind, weil sie auf höchstem Niveau trainiert wurden.
Das heißt aber auch, daß in den Netzen viel zuwenig Information über unbalancierte Stellungen enthalten ist.

Zitat:

Vermutlich stimmt das wohl.

Vielleicht sollte man versuchen, ein Programm mit drei verschiedenen Netzen auszustatten: Standardnetz, Bessernetz, Schlechternetz.
Ob es einfach ist, das Trainung so zu gestalten, daß ein "Bessernetz" herauskommt, weiß ich nicht.
Eine weitere Herausforderung ist, im Programm die Netze so gekonnt einzusetzen, daß ein meßbarer Fortschritt entsteht.