CCC Turnier 3 Min/1 sec.

By Reinhold Stibi Date 2023-08-21 19:02 Upvotes 1

Da bist du ganz falsch gewickelt.

Die Hardware spielt nicht mehr die große Rolle.

Selbst ausprobiert ,ein PC der 60 x schneller ist auf Schach.de braucht viele
Anläufe um 1 Partie zu gewinnen.

Ist ja auch natürlich, wenn der beste Zug gefunden wird dann nützt auch ein 1000fach
schnellerer Computer nichts.

In der Software, siehe Stockfish, sind jährliche Steigerungen von ca. 15 Elo machbar.

By Andreas Mader Date 2023-08-22 09:13 Upvotes 1

Reinhold Stibi schrieb:

Wenn das tatsächlich so wäre, dann wäre damit der Beweis erbracht, dass Stellungstests der reine Schwachsinn sind.

Eine 60x schnellere Hardware wird bei Stellungstests 60fach schnellere Ergebnisse liefern, in Partien ist davon angeblich nichts bemerkbar.

By Reinhold Stibi Date 2023-08-22 09:30 Edited 2023-08-22 10:14

Du widersprichst dir ja selber.
Stellungstest mit schwierigen taktischen Stellungen sind hoch interessant.
Die kommen zwar im praktischen Spiel selten vor zeigen aber doch den
Fortschritt in der Engine-Entwicklung.
Inzwischen ist es tatsächlich so dass ein schneller 8 Kerner PC mit gutem
Eröffnungsbuch auch von einem 64 Kerner PC oder noch höher kaum besiegt
werden kann; was ja auf Schach.de jeden Tag bewiesen wird.
Darum wird ja auch bei TCEC mit Vorgabeeröffnungen gespielt.

Übrigens ist ein PC der 60 x schneller bei den kN/s ist nicht 60 x schneller bei den
Ergebnissen weil durch die vielen Threads das Zusammenspiel in der Suche immer schwieriger
wird; da bleiben dann im Ergebnis vielleicht 25 bis 35 %.

Beispiel: Ein Computer der 100 x schneller bei den kN/s. ist findet eine schwierige Stellung
bei einem Stellungstest nicht 100 x schneller sondern nur zu einem viertel oder drittel.
Das Gleiche gilt bei der Mattsuche.

By Andreas Mader Date 2023-08-22 10:16

Reinhold Stibi schrieb:

Übrigens ist ein PC der 60 x schneller bei den kN/s ist nicht 60 x schneller bei den
Ergebnissen weil durch die vielen Threads das Zusammenspiel in der Suche immer schwieriger
wird; da bleiben dann im Ergebnis vielleicht 25 bis 35 %,

Die Aussage "60x schnellerer" PC kam nicht von mir, die kam von dir. Ich bin davon ausgegangen, dass ich einen validen Input bekomme.

By Andreas Matthies Date 2023-08-22 10:31

Andreas Mader schrieb:

Reinhold Stibi schrieb:

Die Aussage "60x schnellerer" PC kam nicht von mir, die kam von dir. Ich bin davon ausgegangen, dass ich einen validen Input bekomme.

"60x schnellerer PC" ist gar keine Aussage.
Die Originalaussage von RS war "ein PC der 60 x schneller ist auf Schach.de braucht viele Anläufe um 1 Partie zu gewinnen".
Du stellst die von dieser Aussage völlig unabhängige These "Eine 60x schnellere Hardware wird bei Stellungstests 60fach schnellere Ergebnisse liefern" auf und wirfst jetzt RS vor, keinen "validen Input" zu bekommen.

Ich muss mich wohl doch dringend von diesem Forum fernhalten. Macht irgendwie nur schlechte Laune.

By Andreas Mader Date 2023-08-22 10:37 Upvotes 1

Stimmt. Ein PC, der 60x schneller im Schach ist muss in Wirklichkeit noch viel schneller als um den Faktor 60 sein und dementsprechend noch viel bessere Ergebnisse bei Stellungstests liefern.

Wenn Gegenargumente schlechte Laune machen sollte man sich tatsächlich von diesem Forum fernhalten.

By Andreas Matthies Date 2023-08-22 10:49

Andreas Mader schrieb:

Damit bestätigst du jetzt also das Gegenargument von RS und verkaufst es als dein eigenes?
Wahrscheinlich spreche ich eure Sprache nicht gut genug, um den Sinn der Argumente vollständig zu durchdringen.

Der These, "dass Stellungstests der reine Schwachsinn sind", würde ich übrigens mit Abstrichen zustimmen.

By Andreas Mader Date 2023-08-22 11:38

Andreas Matthies schrieb:

Wahrscheinlich spreche ich eure Sprache nicht gut genug, um den Sinn der Argumente vollständig zu durchdringen.

Ich habe beruflich Jahrzehnte lang Dokumentationen zu allen möglichen Software-Produkten geschrieben und selbst wenn ich der Meinung war, diesmal wirklich alles so formuliert zu haben, dass es wirklich jeder verstehen muss, gab es mit Sicherheit einen Nutzer, der das falsch verstanden hat. Selbst wenn man eine Sprache gut spricht, ist das noch lange keine Garantie dafür, dass man sich immer für alle verständlich ausdrücken kann.

By Benno Hartwig Date 2023-08-22 09:37 Edited 2023-08-22 09:41

> Denke dass bei Torch ziemlich viel Stockfish stecken wird.

Sind nicht gerade die Torch-Entwickler Leute, die sehr spielstarke Engines (Ethereal, Koivisto, Berserk, Dragon) selbst entwickelt hatten, Engines, die auch so schon mehr oder weniger dicht an SF herangerückt sind?
Ich bin schon überzeugt, dass diese Leute ihre Ideen auf Basis ihrer eigenen Software weiterentwickeln werden. Stockfish-Code erwarte ich da überhaupt nicht.
Stockfish-Ideen vielleicht schon. Dieser Ideentransfer ist ja auch ein Sinn von offener Software und wird seit Jahren so praktiziert. Ist sicher auch sehr ok so.

Ob sie es schaffen, an SF heranzukommen, sich vor SF zu setzen? Weiß ich auch nicht.
Kann auch gut sein, dass sie daran scheitern.

"Built from the ground up by top engine developers and supported by https://t.co/EufIHvcIFK, our goal is to be #1 and push further into the depths..."
https://twitter.com/chesscom/status/1680260887620247553
hieß es ja.
Und ich denke, es ist alles möglich: Ein Scheitern, oder eben doch auch der große Wurf.
Ich drücke den Jungs fest die Daumen.
Ganz bestimmt nicht, weil ich Stockfish irgendetwas Schlechtes wünsche, auch nicht, weil dann noch stärkeres Computerschach da wäre, nein, sondern weil damit doch einfach ein große Portion mehr Leben in die Computerschach-Szene käme.

By Reinhold Stibi Date 2023-08-22 09:51

Du bist ein Träumer, das ist ja auch nicht schlecht.
Tatsache ist aber doch dass nach Stockfish und Lc0 ein großer Abstand besteht.
Torch wird das Rad nicht neu erfinden sondern an den jetzigen Erkenntnissen aufbauen
und das heißt nur kleine Fortschritte.
Die Zeiten von damals mit Rybka wo ein großer Fortschritt verzeichnet werden konnte sind
vorbei.
Jetzt kommen kleine Verbesserungen durch sehr mühsames Testen.
Stockfish und auch andere Engines sind halt schon sehr ausgereizt; Wunder kann man
da nicht erwarten.

By Benno Hartwig Date 2023-08-22 10:32

> Tatsache ist aber doch dass nach Stockfish und Lc0 ein großer Abstand besteht.

CEGT und CCRL beschreiben 20 bis 35 Elo als Abstand zwischen SF und Dragon.
So richtig viel ist das nicht, finde ich.

Aber ansonsten gebe ich dir Recht: Es ist ein sehr mühsames Ringen, den Engines noch mehr Spielstärke abzuringen.
Wenn Torch sein Ziel erreicht, dann sicher erst nach langer und sehr geduldiger Arbeit.

Manchmal gibt es ja auch echte Durchbrüche, Spielstärkesprünge. So geschah es ja beispielsweise bei der Einführung der KI-Netze in SF.
Und ggf. gab es auch in den Jahrzehnten vorher einzelne "Erfindungen", die den Engines einen auffallenden Spielstärkesprung ermöglichten.
Aber sowas ist sicher sehr selten. Und ich habe nichts davon gehört, dass die Torch-Leute so etwas konkret in petto haben.

By Jörg Oster Date 2023-08-22 11:08

Andererseits weiß aber auch niemand wirklich, ob die derzeitige Netzwerkarchitektur in Stockfish schon optimal ist.
Dasselbe trifft auf den Trainer (also die Software) und das Training desselbigen zu.
Ich verstehe z. B. bis heute nicht, warum man nicht auschließlich auf das Partieergebnis hin, also auf WDL, trainiert.
(Aber was verstehe ich schon ...

)

By Frank Brenner Date 2023-08-23 17:03

Zitat:

Ich verstehe z. B. bis heute nicht, warum man nicht auschließlich auf das Partieergebnis hin, also auf WDL, trainiert.

Auf welches Optimalitätskriterium wird denn aktuell trainiert ?

By Jörg Oster Date 2023-08-23 17:49

Soweit ich weiß, hauptsächlich auf die Bewertung und nur zu einem geringen Teil auf das Ergebnis der Partie.
Siehe z. B. die Beschreibung hier: https://github.com/official-stockfish/Stockfish/commit/915532181f11812c80ef0b57bc018de4ea2155ec

Der Wert von lambda gibt an, auf was trainiert wird. (lambda = 0 nur auf das Ergebnis, lambda = 1 nur auf die Bewertung)
Also zuerst nur auf die Bewertung, später fließt dann auch das Ergebnis anteilsmäßig ein.

Wenn du mehr darüber wissen willst, musst du auf Discord nachfragen.
Aber meines Wissens liefert das angeblich die besten Resultate.

Eine mögliche Erklärung könnte aber sein, dass das Trainieren nur vom Ergebnis wesentlich länger dauert,
und erstmal nicht die gewünschten Ergebnisse zeigte und deshalb verworfen wurde.
Ob eine etwaige Anpassung der learning rate ausprobiert wurde, entzieht sich meiner Kenntnis.

By dkappe Date 2023-08-23 18:04

Jörg Oster schrieb:

Soweit ich weiß, hauptsächlich auf die Bewertung und nur zu einem geringen Teil auf das Ergebnis der Partie.
Siehe z. B. die Beschreibung hier: <a class='ura' href='https://github.com/official-stockfish/Stockfish/commit/915532181f11812c80ef0b57bc018de4ea2155ec'>https://github.com/official-stockfish/Stockfish/commit/915532181f11812c80ef0b57bc018de4ea2155ec</a>

Der Wert von lambda gibt an, auf was trainiert wird. (lambda = 0 nur auf das Ergebnis, lambda = 1 nur auf die Bewertung)
Also zuerst nur auf die Bewertung, später fließt dann auch das Ergebnis anteilsmäßig ein.

Nicht jede Engine trainiert so wie Stockfish. Wenn man RL anwendet, muss man das Ergebnis stark in Betracht ziehen.

By dkappe Date 2023-08-22 16:59 Upvotes 1

Reinhold Stibi schrieb:

Was die Benutzer von Schach Engines sich so alles vorstellen. Das Rad wurde nicht von SF erfunden sondern viel früher. Stockfish hatte nur eine große Idee: mit fishtest lauter kleine Ideen oder Optimierungen die 1-2 elo ergeben schrittweise hinzuzufügen. Bei Torch machen wir gerade das selbe mit openbench. Unsere 1-2 elo Schritte sehen etwas anders aus als SF, aber das ist eben zu erwarten.

By Reinhold Stibi Date 2023-08-22 17:07

Wünsche Torch viel Erfolg; aber es wird schwer werden das Niveau von Stockfish
zu erreichen.

By Max Siegfried Date 2023-08-26 09:33

Stockfish hat ungefähr ein Drittel mehr Punkte als LC0.
Das sind 50 Punkte Unterschied.
Stockfish spielt nicht nur in einer anderen Liga. Das sind schon 3-5 Ligen dazwischen.

1
Stockfish (3862)
172.5/295

2
Lc0 (3822)
122.5/295

Welche Hardware bräuchte LC0 beim CCC um mit Stockfish gleichzuziehen?

By Benno Hartwig Date 2023-08-26 18:33 Edited 2023-08-26 19:00

172,5 Punkte aus 295 Partien entspricht einer 58,5%-Quote.

1.
Ja, dies deutet auf eine sehr deutliche SF-Überlegenheit hin!
Aber:

2.
Wir verlässlich ist solch eine Quote, die auf nur 295 Partien beruht?
Hier sollte man ggf. sehr vorsichtig sein und den konkreten Wert nicht auf die Goldwaage legen

> Stockfish spielt nicht nur in einer anderen Liga. Das sind schon 3-5 Ligen dazwischen.

3.
58,5% entspricht einer Differenz von gut 60 Elo-Punkten (siehe hier)
Wie groß ist der Durchschnittliche Elo-Unterschied zweier benachbarter Ligen? Könnte 60 nicht ggf doch passen? Dass dieser um den Faktor 3 bis 5 kleiner ist, kann ich mir nicht wirklich vorstellen.

By Lothar Jung Date 2023-08-26 19:56

Auf Discord werden 2 Aspekte angesprochen:

1. Kurze Bedenkzeit

2. Unausgeglichenheit der Hardware zugunsten NNUE

Dies würde den großen Abstand erklären.

By Peter Martan Date 2023-08-26 21:04 Edited 2023-08-26 21:37

Benno Hartwig schrieb:

Wir verlässlich ist solch eine Quote, die auf nur 295 Partien beruht?
Hier sollte man ggf. sehr vorsichtig sein und den konkreten Wert nicht auf die Goldwaage legen

Das gute alte EloStat nach 349 von 500:

    Program                            Score     %    Av.Op.  Elo    +   -    Draws

  1 Stockfish                      : 202.5/349  58.0   3472   3528   22  22   63.3 %
  2 Lc0                            : 146.5/349  42.0   3528   3472   22  22   63.3 %

Ich finde auch irgendwie bemerkenswert, dass sich LC0 (bisher) eigentlich besser gegen SF hält als das bei Torch gegen SF (zum Schluss) der Fall war, aber das head to head Match Torch- LC0 für Torch ausgegangen ist, wenn auch viel knapper.