Das Ende von Torch?

By Frank Sanders Date 2024-06-21 12:04 Edited 2024-06-21 12:07 Upvotes 1

Hier eine automatische Übersetzung einer Post von Andrew Grant auf chessengines:

Andrew Grant:
"Vor fast genau einem Jahr haben wir die Veröffentlichung von Torch angekündigt. Damals waren wir etwas ehrgeizig und kündigten es als die Nummer 2 an, nachdem wir Leela im letzten Bullet-Event im CCC geschlagen hatten. Heute klingt diese Behauptung viel wahrer, obwohl es immer noch einige kleine Streitpunkte gibt. Torch hat Leela in mehreren Bullet- und Blitz-Veranstaltungen hintereinander geschlagen; hat es nie geschafft, eine der Rapid-Veranstaltungen zu gewinnen; hat aber Leela in einer klassischen h2h-Veranstaltung geschlagen.
Chesscom kam in den Raum aus der Notwendigkeit heraus, einen Ersatz für Komodo zu entwickeln. Sie brauchten eine starke Schachengine, die für die Integration ihrer anderen Produkte verwendet werden konnte. Viele Funktionen auf Chesscom, von der Partiebesprechung über die Rätselgenerierung bis hin zu den Bots (natürlich!) werden von hochwertigen Engines angetrieben. Das war immer das Ziel. Obwohl ich der einzige Vollzeitmitarbeiter bin, der an Torch arbeitet, habe ich einen Großteil meiner Zeit mit Dingen verbracht, die nichts mit den Stärken von Torch zu tun haben.
Es ist ein bisschen selbstherrlich, aber das Torch-Team hat eine Menge erreicht. Es gelang ihm, Dragon sehr schnell mit großem Vorsprung zu schlagen, sich mit einigem Selbstvertrauen als Rang-2-Engine zu etablieren und dem König eine ganze Reihe von Spielen abzunehmen. Ich persönlich hatte gehofft, mehr zu erreichen, aber in Anbetracht der spärlichen Besetzung des Teams liegen wir auf jeden Fall vor dem Zeitplan und unter dem Budget. Ab sofort sind die Entwicklungsanstrengungen, die ausschließlich der Stärke dienen, abgeschlossen. Leider bedeutet das auch, dass ich keine Rechtfertigung habe, während der Firmenzeit weiter an OpenBench zu arbeiten, also entwickeln
Die Arbeit in Torch wird darin bestehen, einige noch offene Fragen zu klären (Numa, einige Syzygy-Sachen), den Code generell zu bereinigen, wo es möglich ist, und Torch dann für die Nutzung von Werkzeugen zu nutzen. Ein solches Beispiel: Torch hat eine stark modifizierte Alpha-Beta-Suche, die eine Art Multi-Multi-Multi-...-pv ermöglicht. Wir sind in der Lage, eine große Anzahl von Zeilen aus der Suche in einer einzigen Suche zu extrahieren, und wir werden das nutzen, um den Menschen eine bessere Erfahrung zu bieten, wenn sie ihre Partien überprüfen - um zu vermeiden, dass sie der Engine verwirrende Zeilen geben, die nur geringfügig besser sind als das, was ein starker Spieler getan hätte. Hoffentlich kann Torch eines Tages auch die neue Heimat aller Chesscom-Bots sein.
Mit der Zeit könnte das Interesse, in die Stärke von Torch zu investieren, wieder aufkommen. Aber bis dahin möchte ich dem Kernteam danken, Finn Eggers, Kim Kahre, Michael Whiteley und Jay Honnold, sowie denjenigen, die zur Stärke von Torch beigetragen haben, Dietrich Kappe, Kenneth Wilber und Morgan Houppin. Dieses bunt zusammengewürfelte Team von Jungs wird für immer einen Platz in meinem Herzen haben. Ein großes Dankeschön an all die Fans, Tester, Zuschauer, Inhaltsersteller und allgemein Enthusiasten, die unseren Fortschritt verfolgt haben."

Übersetzt mit www.DeepL.com/Translator (kostenlose Version)

https://chessengines.blogspot.com/2024/06/end-of-torch-experiement.html

By Peter Martan Date 2024-06-21 12:17

Ja, siehe auch

https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=169715#pid169715

By Lothar Jung Date 2024-06-21 14:46 Edited 2024-06-21 14:57

Ich sehe nicht wirklich, dass Torch Lc0 überholt hatte.
Die Tests fanden auf der eigenen Chess.com Plattform statt.
Bei ipmanchess steht Torch bei den kurzen Bedenkzeiten auf Platz 2.
Bei längeren TC und Lc0 0.31.0 mit BT4 dürfte der 2. Platz für Torch fraglich sein.
Auch die eingesetzte Hardware für Lc0 bzw. die Ausgeglichenheit zu der CPU-Hardware ist m.E. zu hinterfragen.
Auf TCEC wurde Torch nicht eingesetzt oder habe ich etwas verpasst?
Gleichwohl finde ich es gut, wenn Torch weiterentwickelt wird/würde.
Dann hätten wird - wie früher mit Komodo - drei fast gleichwertige Engines.
Auf Discord ist bei Lc0 eine gewisse Müdigkeit festzustellen.

By Martin Steinwandter Date 2024-06-21 22:14 Upvotes 1

Ich bin der gleichen Meinung. Für Blitz und Bullett mag die Aussage von A. Grant richtig sein, für Rapid trifft sie meiner Meinung nach nicht zu. Ich muss mir nur die verwendete Hardware anschauen und schon bekommt seine Aussage einen gewissen Beigeschmack. Man braucht schon 256 Kerne um mit LC0 mithalten zu können.

By Andreas Mader Date 2024-06-23 09:23 Upvotes 2

Mir war nie ganz klar, warum Torch eigentlich entwickelt wurde.

Möchte man eine Engine, die bärenstark ist und Stellungen analysieren kann, hätte man auch Stockfish nehmen können.
Möchte man eine Engine, mit der man Geld einnehmen kann, müsste man sie auch zum Kauf anbieten.
Möchte man eine Engine, die um den Platz an der Spitze kämpfen kann, dürfte man nicht restriktiv mit den Ressourcen sein.

By Kurt Utzinger Date 2024-06-23 11:11 Upvotes 2

Andreas Mader schrieb:

Hallo Andreas
Du sprichst mir aus dem Herzen.
Viele Grüsse
Kurt

By Stefan Pohl Date 2024-06-27 07:42 Edited 2024-06-27 07:44 Upvotes 2

Ein wesentlicher Grund dürfte die Rechtslage sein, denke ich.
A.Grant hat es ja selbst gesagt, er will neue Analysefunktionen und neue Bots aus Torch heraus für chesscom erstellen. Für beides muß man natürlich in den Sourcecode der Engine eingreifen. Würde chesscom das nun mit Stockfish machen (statt Torch), dann müßten sie die Codeänderungen ja publizieren, andernfalls droht ihnen eine Klage durch das Stockfish-Team, wie einst gegen ChessBase. Wegen der OpenSource Richtlinien. Und dann könnten LiChess oder andere, diese neuen Funktionen auch anbieten und das gratis, in dem sie die Codeänderungen einfach übernehmen...
Insofern ist es wichtig, daß chesscom eine eigene, starke Engine hat, mit der solche neuen Funktionen/Bots für chesscom realisiert werden. Natürlich hätten sie auch Komodo nutzen können, nachdem sie die Engine aufgekauft hatten, aber der Uralt-Code von Komodo war wohl so schlecht leserlich, daß das nicht möglich war. Ergo blieb nur die Erstellung einer eigenen, starken Engine.

By Rainer Neuhäusler Date 2024-06-24 22:14

Andreas Mader schrieb:

Mir war nie ganz klar, warum Torch eigentlich entwickelt wurde.

Das "Warum" gibt mir keine Rätsel auf, aber mit dem "Wie" habe ich so meine Schwierigkeiten. ChessCom ist der größte kommerzielle Schachserver, das verpflichtet, da muss was eigenes her, eine Non-Profit-Engine passt da nicht so recht ins Konzept. Prestige oblige, und die Promotion fordert ihren Tribut. Vergleichbar mit Mercedes und BMW , die in der Formel 1 auch mit eigenen Engines mitmischen woll(t)en. BTW, wie leicht das ins Auge gehen kann und wie schnell das eine Nummer zu groß wird, hat sich ja dann bei BMW und auch bei Toyota gezeigt.

Andreas Mader schrieb:

Möchte man eine Engine, die bärenstark ist und Stellungen analysieren kann, hätte man auch Stockfish nehmen können.

Stockfish 16 steht doch auf Chess.com jedem Nutzer als Analyse-Engine zur Verfügung bzw. ist sogar in die einzelnen Tasks integriert. Aber dass ChessCom quasi die Weiterentwicklung von Stockfish finanziert, wäre dann doch zu paradox und auch kaum im Sinne der Computerschachgemeinde. Nichts braucht die Computerschachszene dringender, als eine möglichst originäre Stockfishkonkurrenz, die ihre Sourcen für sich behalten darf. Aber da kann ich mir den Mund fransig reden, wer hört schon den Rufer in der Wüste bzw. in diesem Forum. Und dann hätten sie mit Stockfish immer die Open Source-Verpflichtung im Nacken. Ändern, bitte gerne, aber dann für alle, bitte danke. Und das passt nun überhaupt nicht in ein kommerzielles Unternehmen, siehe ChessBase und Fritz.

Und da dachten sich die maßgeblichen Damen und Herren im kalifornischen Palo Alto, machen wir mit dem spielerisch starken und finanziell schwächelnden Komodo ein Schnäppchen und setzen ein kompetentes Entwicklungsteam darauf an. Etwas blauäugig wurde da aber scheinbar die Katze im Sack gekauft, die Source erwies sich als Entwicklungsbasis unbrauchbar, wie Torch-Mitarbeiter Kappe hier verlauten ließ. https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=169740 Ein Schelm der da vermutet, dass das jetzt für die Programmautoren Larry Kaufmann und Mark Lefler vielleicht nicht die ganz große Überraschung war, dass ein Methusalem-Code nicht so leicht zu modernisieren ist. Aber bitte, niemand von uns war dabei, alles nur Rumors, was denn sonst

Andreas Mader schrieb:

Möchte man eine Engine, mit der man Geld einnehmen kann, müsste man sie auch zum Kauf anbieten.

Ein Verkauf stand meines Wissens nie zur Debatte, bzw. man sah da keine größere Klientel und Einnahmequelle. Das Geld soll über Nutzungsgebühren bzw. Mitgliedsbeiträge fließen.

Andreas Mader schrieb:

Möchte man eine Engine, die um den Platz an der Spitze kämpfen kann, dürfte man nicht restriktiv mit den Ressourcen sein.

Das dachten und hofften anfangs einige in der Gemeinde, einschließlich meiner Wenigkeit und wurden dann aber über die Pohl/Grant-Connection eines besseren belehrt, leider. Es rechnet sich nicht.
Der aufklärende Thread zu diesem Thema wurde schon zitiert: https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=169715#pid169715. Siehe auch https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=169721;hl=torch Siehe auch https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=169721;hl=torch

Ich zitiere Stefan Pohl: „Laut A.Grant würde es chesscom ca. 250.000$ pro Jahr kosten, 5000 Cores bei einem Cloudanbieter zu mieten. Und 5000 Cores wären das absolute Minimum, wenn man bedenkt, daß es bei Fishtest eben 2000-4000 sind, wenn man Stockfish wirklich ernsthaft angreifen wollte.
.… die Torch Entwicklung dürfte chesscom jetzt so 150.000$ bis 200.000$ pro Jahr kosten. Und das ist sehr konservativ geschätzt. Zahlungen an D.Kappe für seine Arbeit an den nnue-Netzen etc. sind da z.B. noch gar nicht berücksichtigt. Mit 5x mehr Kernen und 5x mehr Mitarbeitern wären sie dann bei 750.000$ bis 1 Million pro Jahr…. Man darf nicht vergessen, daß es noch nicht so lange her ist, daß chesscom die PlayMagnus Group (die Firma von Magnus Carlsen) für über 80 Millionen Dollar aufgekauft hat“

Fazit:
'Warum Torch?'... ist von ChessCom her gesehen nachvollziehbar, aber bei der Entwicklung scheint eine gehörige Portion planloser Aktionismus mit von der Partie zu sein. Kein roter Faden, kein durchgehendes Konzept, keine klaren Zielvorstellungen, Paradigmenwechsel von Verwendung und Einsatzbereich, so nach dem Motto, 'schau ma mal, was draus wird', in einem Wort "unprofessionell".

Schau ma mal...

.

By Peter Martan Date 2024-06-22 08:50 Edited 2024-06-22 09:19

Ich werde mit der Engine nicht warm, so lange ich sie nicht in einer Installation ausprobieren kann, die wenigstens annähernd das bietet, was sie im multithreading in den Matches zu leisten imstande zu sein scheint.
Was online als Analyse- Engine zur Verfügung steht, ist immer noch (Dietrich Kappe schrieb schon hin und wieder, dass die online- Installation weit hinterher sei, zuletzt hier

https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=169539#pid169539

), und wenn ich einzelne Stellungen online anschaue, finde ich immer wieder mal Beispiele für echte Schwächen. Hier

https://talkchess.com/viewtopic.php?p=965652#p965652

hat jemand eine Endspielstellung ins Talkchess gebracht, der erste Zug 46...h5 ist noch ziemlich leicht zu finden, dass das dann für Schwarz zu halten ist, hab' ich ein bisschen interaktiv untersucht und mit eng-eng-games ausspielen lassen, hier 3 Partien in einer .pgn

https://talkchess.com/viewtopic.php?p=965658#p965658

Lc0 neigt dazu, nach 46...h5 47.Tg3 ...La5? zu spielen, das dürfte danach schon verloren sein, mit 47...Ta7 nicht oder jedenfalls nicht so schnell. In den 3 Partien hat SF im selfplay mit 40'+5" und 30 threads Remis gehalten, gegen Lc0 mit 25'+5" auch. Siehe auch seinen Output an der Stellung nach 46...h5 im Talkchess- Posting.

am 47...La5?

SF nach etwas Forward- Backward in Tiefe 41:

8/6p1/1b6/1P1k1P1p/5P2/6RP/r2NK3/8 b - - 0 1

Analysis by Stockfish dev-20240612-025da6a0:

1. +/- (0.72): 47...Ta7 48.Td3+ Kc5 49.Tb3 Ta4 50.Kf3 Td4 51.Se4+ Kc4 52.Ta3 Kb4 53.Ta8 Td3+ 54.Kg2 Kxb5 55.Th8 Kc6 56.Txh5 Lc7 57.f6 gxf6 58.Tf5 Ld8 59.h4 Td5 60.Sg3 Td7 61.Kf3 Kd6 62.Tb5 Ke7 63.Kg4 Kf7 64.Tb8 Kg7 65.Sf5+ Kg6 66.Tb5 Kh7 67.Tc5 Td1 68.Tc4 Tg1+ 69.Kh5 Td1 70.Ta4 Td7 71.Kg4 Lb6 72.Ta2 Ld8 73.Ta8 Kg6 74.Ta6 Kh7 75.h5 Le7 76.Te6 Ld8 77.Tc6 Le7 78.Ta6 Ld8 79.Te6 Ta7 80.Te8 La5
2. +- (2.31): 47...La5 48.Td3+ Kc5 49.Ke3 Kxb5 50.Sf3 Lb6+ 51.Ke4 Ta4+ 52.Sd4+ Ka6 53.f6 gxf6 54.Kd5 Tb4 55.Se6 Kb5 56.Tf3 Tb2 57.Sg7 h4 58.Sf5 Td2+ 59.Ke6 Kc4 60.Sxh4 Te2+ 61.Kf5 Tb2 62.Sg6 Kd4 63.Se7 Tb5+ 64.Kg4 Ke4 65.Ta3 Lc5 66.Ta6 Tb2 67.Te6+ Kd3 68.h4 Tg2+ 69.Kf3 Th2 70.Kg3 Th1 71.Kg4 Tg1+ 72.Kf5

Torch online lässt sich selbt mit einigem Forward- Backward nicht vom am 47...La5? abbringen.