Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / chess.com entwickelt eigene Engine Torch, um Stockfish anzugreifen
- - By Stefan Pohl Date 2023-07-14 06:36 Edited 2023-07-14 06:43 Upvotes 3
https://www.chess.com/news/view/torch-chess-engine

Zitat:
"Torch is a brand-new chess engine built from the ground up by top chess engine developers. The team is composed of: Andrew Grant (Ethereal), Finn Eggers & Kim Kåhre (Koivisto), Jay Honnold (Berserk), and Michael Whiteley & Dietrich Kappe (Dragon). Mark Lefler and Larry Kaufman have been advisors to the project.
Many on the team have long discussed joining forces to produce an engine capable of contending with the best out there. Through the support and funding of Chess.com, we have done exactly that. A single unified effort by our developers has allowed us to rapidly produce the new number-two engine according to Torch’s performance in the Chess.com Computer Chess Championship. Our goal is to be number one.
Torch is not yet publicly available but will be made available to certain relevant third parties for ratings. It will also be available through Chess.com’s analysis in the future. The team hopes to bring new ideas to the engine to allow greater insights to be delivered to the chess community"

Torch war bisher als "Mystery" Engine bei den Computerschach-Wettkämpfen auf chess.com aktiv:
https://www.chess.com/computer-chess-championship

Sehr spannend, daß jetzt chess.com und etliche sehr begabte Engine-Entwickler, ihre Kräfte bündeln, um Stockfish als Nummer 1 der Welt anzugreifen. Sobald möglich, mache ich natürlich entsprechende Testruns von Torch für meine SPCC-Rangliste und meine UHO-Top10 Rangliste.
Kehrseite der Medaille ist natürlich, daß Ethereal, Berserk und Koivisto damit wohl ebenso tot sind, wie es KomodoDragon schon ist. Will sagen, diese Engines werden wohl keine Updates mehr erhalten, ist zu befürchten.
Parent - By Stefan Pohl Date 2023-07-14 07:10 Edited 2023-07-14 07:19
Update: Ich habe mit Andrew Grant auf discord gesprochen bzgl. eines möglichen Releases von Torch und einer möglichen Vorabversion für Tester wie mich. Das war die Antwort:
"No plans right now to release it in terms of offering binaries. We are talking about what we want to do regarding rating lists, however."
"Not sure what the future holds. Its likely you will be able to play against Torch on chesscom at some point."

Auf die Frage, ob es Binaries für Ranglisten geben wird, war die Antwort:
"We plan that, don't worry. Its important to have Torch near the top of all these lists that people might find when they are introduced to the engine space"

Es scheint also kein Release im herkömmlichen Sinne geplant zu sein. Torch wird wohl ausschließlich auf chess.com als Gegner und Analyseengine kommen. Und für ein paar Ranglisten-Tester (hoffentlich auch meine Wenigkeit)
Parent - By dkappe Date 2023-07-14 07:53 Upvotes 1
Stefan Pohl schrieb:

Kehrseite der Medaille ist natürlich, daß Ethereal, Berserk und Koivisto damit wohl ebenso tot sind, wie es KomodoDragon schon ist. Will sagen, diese Engines werden wohl keine Updates mehr erhalten, ist zu befürchten.


Der Andrew bastelt noch immer an ethereal, obwohl vielleicht nicht soviel als zuvor.

SF macht ständig Fortschritte. Lc0 auch, aber in unregelmäßigen Abständen. Ich hoffe das Torch die lc0 Entwickler motiviert neue Sachen zu probieren.
Parent - - By Benno Hartwig Date 2023-07-14 08:02
Danke für die Info Stefan.

Ja da ist dann ja eine sehr große Menge Computerschach-Kompetenz zusammengekommen.
Mal schauen, ob das dann auch ein Team ergibt, welches gut zusammenarbeiten kann.
Es sind halt Leute, die sich bislang einen besonderen Namen gemacht haben, weil sie mit Elan ihren ganz eigenen Ideen gefolgt sind.

Falls es den Jungs gelingt, soviel Spielstärke zu erreichen, dass sie SF "gefährden" können, wird es wohl auch (meine Vermutung) ein veröffentlichtes Release geben, vielleicht ja eines, welches es dann zu kaufen gibt. Wäre ja auch sehr ok so!

Ich war früher sehr skeptisch, ob die Idee der Stockfish-Entwicklung mit den "1000 breikochenden Köchen" wirklich Erfolg haben würde.
Und es wurde dann ja beeindruckend bewiesen, dass das klappt.
Und vielleicht erreicht der neugegründete Klub der Torch-Entwickler ja doch ähnliche Wunder.
Parent - - By dkappe Date 2023-07-14 08:18 Upvotes 3
Wir arbeiten recht gut zusammen. 
Parent - By Benno Hartwig Date 2023-07-14 12:44
Ich drücke euch (und damit der ganzen interessierten Gemeinde) die Daumen!
Parent - By Stefan Pohl Date 2023-07-14 08:59 Upvotes 1
Benno Hartwig schrieb:

Falls es den Jungs gelingt, soviel Spielstärke zu erreichen, dass sie SF "gefährden" können, wird es wohl auch (meine Vermutung) ein veröffentlichtes Release geben, vielleicht ja eines, welches es dann zu kaufen gibt. Wäre ja auch sehr ok so!


Wäre schön, glaube ich aber nicht. Denn chess.com hat doch kein Interesse an einem Release. Aus deren Perspektive ist es doch so: Für diese große Firma, die gerade erst die PlayMagnus Group für zig Millionen Dollar geschluckt hat, sind die paar Kreuzer, die ein kommerzieller Release einer Engine einbringt, kaum der Rede wert. Für chess.com als Plattform ist es viel sinnvoller, Torch nur dort als Bot und Analyseengine anzubieten, und so Leute auf die chess.com Plattform zu locken. Und gute Ranglistenergebnisse sind dann die gratis Werbung für sie. Für jede Internetplattform ist es primär wichtig, Leute auf die Plattform zu locken und möglichst dort zu halten. Denn je größer die Plattform auf diese Weise wird, desto mehr Leute zieht sie dann zusätzlich aufgrund ihrer Nutzerzahlen an.
Parent - By Jörg Oster Date 2023-07-14 11:39
Danke für die Info.

Wow, geballtes Engine- und NNUE-Know-how unter einem Hut!
Da ist es wahrscheinlich nur eine Frage der Zeit, bis Stockfish eingeholt bzw. sogar überholt wird.
Parent - By Stefan Pohl Date 2023-07-18 10:24 Upvotes 1
Ich habe The Big Greek, Deutschlands Schach-Youtuber Nummer 1, per mail auf die Torch Engine aufmerksam gemacht. Daraufhin hat er ein Video zum Thema gemacht und analysiert zudem darin eine Partie von Torch vs. Ethereal.

https://youtu.be/A3BJeaKF5lU
- - By Peter Martan Date 2023-07-14 09:10 Edited 2023-07-14 09:33
Einerseits tolle Neuigkeiten, dass die Autoren von Ethereal, Berserk und Koivisto mit Dietrich Kappe zusammenarbeiten an einer Engine, Larry Kaufman und Mark Lefler als Berater, mir stellt sich da aber halt die Frage nach der Weiterentwicklung von komodo- Dragon.

Hab's auch schon im Talkchess im (ersten der beiden) Threads über Mystery gefragt, was wohl aus Dragon werden mag, da gibt's ja auch noch laufende Abos (meines z.B.) für das sich Leute noch Updates erhoffen. Mag nichts damit zu tun haben, aber seit vorgestern kann ich mich in meinen komodochess.com- Account nicht mehr einloggen.

Edit: in der Zwischenzeit nochmals den alten Thread gelesen, in dem Larry Kaufman die Übernahme der (restlichen Anteile an) Dragon durch chess.com bekannt gegeben hat, da gab's zum Schluss noch ein Posting damals:

https://talkchess.com/forum3/viewtopic.php?p=947932&sid=c25b72914c20e5632e6d111ceb154006#p947932

Andererseits klang das, was Kaufman damals selbst so schrieb, nicht nach endgültigem Aus für komodo- Dragon, mal sehen, ob da noch was kommt, um die Engine wär's mir leid, hatte ja doch auch schon einige Geschichte und einige Meriten mittlerweile.
Parent - - By Ingo Althöfer Date 2023-07-15 21:58
Komodo gehört schon seit Mai 2018 zu chess.com.

Siehe
https://en.wikipedia.org/wiki/Chess.com
Parent - By Peter Martan Date 2023-07-15 22:05 Edited 2023-07-15 22:53
Danke, weiß ich. Und als die restlichen Anteile auch noch an chess.com gingen, schrieb Larry Kaufman darüber im Talkchess, auf diesen Thread von damals hatte ich im Posting, auf das sie geantwortet haben, auch bereits einen Link gesetzt.
- By Peter Martan Date 2023-07-15 08:22
Eine Antwort von Larry Kaufman auf meine Anfrage im Talkchess zu Dragon:

https://talkchess.com/forum3/viewtopic.php?p=950153&sid=b34d41d6944bf0ef9c63b22fe306a877#p950153
- - By Ingo Althöfer Date 2023-07-15 09:32 Upvotes 1
chess.com ist eine Seuche.
Sie wollen die gesamte Schachszene unter ihre Kontrolle bekommen.

Hauptleidende sind bisher die anderen Schachserver,
inclusive chessbase.
Jetzt wird Stockfish angegriffen.
Die FIDE wird auch irgendwann dran glauben müssen.
Ich gehe davon aus, dass irgendwann auch die ICGA angegriffen
werden wird, ebenso TCEC (wenn es nicht schon unter chess-com-
Kontrolle ist).
Und wenn es ganz schlimm läuft, auch das CSS-Forum. Vielleicht
ist das aber doch zu klein.

Brave new world!?

Vielleicht sollten wir uns alle hinter Robin Czub im
Chesstree Forest sammeln.

Ingo Althöfer.
Parent - - By Benno Hartwig Date 2023-07-15 09:41 Upvotes 1

> Jetzt wird Stockfish angegriffen.


Ich kann absolut nichts Schlechtes daran finden, wenn chess.com versucht eine Engine zu entwickeln, die Stockfish das Wasser reicht oder sogar überflügelt.
Das ist genau die Konkurrenz, die das Geschäft belebt, die die Szene interessant macht.
Anspruchsvoll genug ist dieses Vorhaben sowieso.
Ich drücke Torch die Daumen.
Parent - By Max Siegfried Date 2023-07-15 19:15
Benno Hartwig schrieb:

Ich kann absolut nichts Schlechtes daran finden, wenn chess.com versucht eine Engine zu entwickeln, die Stockfish das Wasser reicht oder sogar überflügelt.
Das ist genau die Konkurrenz, die das Geschäft belebt, die die Szene interessant macht.
Anspruchsvoll genug ist dieses Vorhaben sowieso.
Ich drücke Torch die Daumen.


CB versucht doch auch ihre (Eigenentwicklung) Engine zu verkaufen und diese besser als Stockfish zu machen.
Parent - By Ingo Althöfer Date 2023-07-15 21:53
Hallo Herr Hartwig,

Benno Hartwig schrieb:
Ich kann absolut nichts Schlechtes daran finden,
wenn chess.com versucht eine Engine zu entwickeln,
die Stockfish das Wasser reicht oder sogar überflügelt.


was mich nervt, ist der Versuch von chess.com, in der Schachwelt
insgesamt eine Monopolstellung zu erreichen. Zum Beispiel hat
chess.com in der zweiten Jahreshälfte 2022 für etwa 80 Millionen
Euro den Konkurrenten PlayMagnus aufgekauft, siehe etwa hier:

https://azertag.az/de/xeber/Nachster_Mega_Deal_fur_Magnus_Carlsen_ist_schon_im_Anflug-2363636

In einer Selbstdarstellung von chess.com von Weihnachten 2022 steht,
was alleine zur PlayMagnus-Gruppe gehörte:
https://www.chess.com/de/news/view/chess-com-ubernimmt-die-play-magnus-gruppe

Im  Vergleich mit chess.com ist ChessBase
ein kleiner Fisch.

Interessieren würde mich, wieviel Geld die Mitstreiter im
Storch-Projekt bekommen und was für Verpflichtungs-Erklärungen
sie dafür unterschrieben haben.

Ingo Althöfer.
Parent - - By Thorsten Czub Date 2023-07-15 18:57 Edited 2023-07-15 19:00
Also ich habe ja immer cb deswegen bekämpft.
Wegen des Monopols. Wenn ein Monopol Konkurrenz bekommt ist das gut für uns alle.

Was ist aus nicbase und chess Assistent geworden ?
Ich erinnere mich das complete chess system nach positionen in Datenbanken suchen konnte, da konnte das chessbase nicht.
Parent - - By Max Siegfried Date 2023-07-15 19:13
Thorsten Czub schrieb:

Also ich habe ja immer cb deswegen bekämpft.
Wegen des Monopols. Wenn ein Monopol Konkurrenz bekommt ist das gut für uns alle.

Was ist aus nicbase und chess Assistent geworden ?
Ich erinnere mich das complete chess system nach positionen in Datenbanken suchen konnte, da konnte das chessbase nicht.


Entweder war die Konkurrenz zu schlecht oder CB zu gut.
Schließlich entscheiden die Menschen selbst was sie kaufen und bei wem sie es kaufen.
Zurzeit sehe ich kein Problem für ChessBase oder Chess.com oder Chess24 oder Lichess oder...
Parent - By Andreas Mader Date 2023-07-16 09:05
Der Markt ist für so ein Spezialthema wie Schach einfach zu klein, um da Platz für mehr als einen großen Anbieter zu lassen.
Parent - - By Benno Hartwig Date 2023-07-15 21:23 Upvotes 1

> lso ich habe ja immer cb deswegen bekämpft.
> Wegen des Monopols.


Chessbase bot eine Weile etwas, was insgesamt besser war als das Angebot der Konkurrenz.
Da hatten die natürlich Gewicht in der Szene.
Seit langem gibt es aber gibt es
- bessere Engines als die von Chessbase
- ähnlich gute oder sogar bessere Server zum Spielen
- zumindest ähnlich gute GUIs

Und auf einmal kämpft der, der eben noch als Monopolist beschimpft wurde, um einen ernstzunehmenden Stand.
Monopole, sofern das Wort hier denn überhaupt passt, haben nur kurze Standzeiten, scheint mir.
Parent - - By Thorsten Czub Date 2023-07-15 23:04
Kurze standzeiten ? Du beliebst zu scherzen.
1986 auf der WM in Köln hat Matthias Wüllenweber die Züge mit Atari STs eingeben lassen. In einem Programm für den Atari ST das er der Schach Community eigentlich schenken wollte. Die Idee war das alle Schachspieler als „Gegenwert“ dafür in einem Club ihre Partien dann allen zur Verfügung stellen.

Die Idee war ein Club und das Programm sollte eine einheitliche Eingabe und Verwaltung darstellen. Die Schachspieler füttern es.

Bis Friedel und die Geldgier kam.
Ich denke nicht das Wüllenweber wirklich vorhatte dieses Monopol aufzubauen mit all diesen schlechten Tricks und Methoden.

So wurde aus der Club Idee ein Geschäft.

Jetzt sagst du das sei ein kurzes Intermezzo gewesen.

2023-1986 sind 37 Jahre.

Klar chessbase war in dieser Zeit nicht immer gleichmäßig dominant. Erst wenig. Dann mit einem Peak. Und auch heutzutage weniger. Und dennoch ein Intervall um diesen Peak, das sicherlich kein kleines Intermezzo war.
Parent - - By Benno Hartwig Date 2023-07-16 07:40 Edited 2023-07-16 07:46 Upvotes 1

> 2023-1986 sind 37 Jahre.


Ich sehe das Monopol nicht.
Gerade Chessbase ist doch in so einiger Hinsicht (Engine, Server...) seit geraumer Zeit deutlich  ins Hintertreffen geraten, und dies wurde doch auch hier immer wieder bedauernd, freudestrahlend oder auch zynisch so beschrieben.
Parent - By Thorsten Czub Date 2023-07-16 12:38
Sage ich ja. Anfangs als kostenloser Club gedacht, am Ende wankt das Monopol. Und dann der Peak der besten Jahre.

Das du dann dennoch nichts siehst ist etwas merkwürdig.
Parent - By Thorsten Czub Date 2023-07-15 23:29 Edited 2023-07-15 23:32 Upvotes 1
Nochmals: über eine geraume Zeit war Chessbase nicht in der Lage in Schachpartien nach Stellungen zu suchen.
D.h. man konnte nur nach Zugfolgen suchen. Und du weisst ja was passiert wenn es dabei dann zugumstellungen gibt. Und es gibt zugumstellungen.

Andere Produkte hingegen konnten in ihren Datenbanken nach Stellungen suchen.

Zu nennen wäre da Chess Assistant.
Aber auch das sehr günstige Complete Chess System von Chris Whittington, das auch schon sehr früh mit einer grossen Partien-Datenbank kam, die grösser war als das was Chessbase zu dem Kurs anbot. Ist alles schon etwas her aber ich meine es waren 15.000 Partien dabei.

Ich weiss das alles deswegen weil ich ja die Entwicklung mitgemacht habe.
Parent - - By Max Siegfried Date 2023-07-15 19:37
Ingo Althöfer schrieb:

chess.com ist eine Seuche.
Sie wollen die gesamte Schachszene unter ihre Kontrolle bekommen.

Hauptleidende sind bisher die anderen Schachserver,
inclusive chessbase.
Jetzt wird Stockfish angegriffen.
Die FIDE wird auch irgendwann dran glauben müssen.
Ich gehe davon aus, dass irgendwann auch die ICGA angegriffen
werden wird, ebenso TCEC (wenn es nicht schon unter chess-com-
Kontrolle ist).
Und wenn es ganz schlimm läuft, auch das CSS-Forum. Vielleicht
ist das aber doch zu klein.

Brave new world!?

Vielleicht sollten wir uns alle hinter Robin Czub im
Chesstree Forest sammeln.

Ingo Althöfer.


Schön das chess.com eine eigene Engine "Torch" entwickelt um Stockfish in der Spielstärke zu übertreffen.
Stockfish hat 4000 Elo. http://ccrl.chessdom.com/ccrl/404FRC/
Stockfish beim ersten Versuch zu übertreffen wird schwierig, es sei denn Torch wird erst nach jahrelanger Entwicklung in den Kampf um die Weltmeisterschaft geschickt.
Man sieht die Größe des Teams hinter Torch im Vergleich zu den Hunderten Entwicklern, die hinter Stockfish stehen.
Die Größe des Erfahrungsschatzes ist auch eine ganz andere, sowohl in der Theorie als auch in der Praxis.
Chess.com dürfte deutlich mehr Ressourcen zur Verfügung stellen können, als es beim Stockfish der Fall ist. Andererseits stiftet jeder bei Stockfish indirekt sein Geld, freiwillig und gratis in den Entwicklungsprozess, während Chess.com ein Unternehmen ist, welches und auf das eigene Geld achten muss.
Bei Stockfish wurde die klassische Bewertung entfernt. https://abrok.eu/stockfish/
Somit bleibt der (reine) Stockfish mit NNUE übrig https://tests.stockfishchess.org/tests und jetzt wird ganz kräftig alles mögliche getunt:
vltc_search_tune_L2048_  diff 
41341/300000 iterations
82682/600000 games played
600000 @ 120+1.2 th 1
cores: 174 (9)
VLTC Search tune with pure NNUE
Die Torch Engine muss sich von Stockfish unterscheiden.
Die Torch Engine muss man kaufen und downloaden und in diversen SchachGUIs verwenden können.
Die Torch Engine muss Stockfish von der Spielstärke her übertreffen und das nicht nur um 1 oder 5 Elo, sondern eher so in einem Spielstärkebereich wie sich Stockfish 16 von Stockfish 15 unterscheidet.
Parent - By Benno Hartwig Date 2023-07-17 06:31

> Die Torch Engine muss Stockfish von der Spielstärke her übertreffen und das nicht nur um 1 oder 5 Elo


Wenn es gelingt, eine wirklich andersartige Engines zu schaffen, die immerhin wirklich SF-Niveau erreicht, dann wäre das doch auch eine gewisse Sensation.
Es wäre aus meiner Sicht superinteressant, dann zu beobachten, wie es sich weiterentwickelt!
Und sofern Ranglistenbetreiber und Tester die Chance dazu bekommen, sich mit der neue Engine zu beschäftigen, werden wir sicher auch viel dazu lesen können, und die Berichte werden Interesse finden.
Parent - By Volker Pittlik Date 2023-07-16 10:54
Ingo Althöfer schrieb:

...
Jetzt wird Stockfish angegriffen.
Die FIDE wird auch irgendwann dran glauben müssen.
Ich gehe davon aus, dass irgendwann auch die ICGA angegriffen
werden wird, ebenso TCEC (wenn es nicht schon unter chess-com-
Kontrolle ist).
Und wenn es ganz schlimm läuft, auch das CSS-Forum. Vielleicht
ist das aber doch zu klein.
...


Bei den Foren würde ich als Übernahmekandidat zuerst Talkchess sehen. Da sind immer noch viele Nutzer und mit der Neuorgansation scheint es nicht recht voran zu gehen.

Auch viele  Blogger /Vlogger sind Kooperationen mit chess.com eingegangen. In deutschsprachigen Raum beispielsweise TBG. Ich sehe Parallelen zu Google. Die Produkte sind von guter Qualität, andererseits wird der Einfluss immer grösser und unkontrollierbarer. Ein Angriff auf die FIDE könnte ich mir in Form einer Veranstaltung mit Carlsen und Proklammierung eines "chess.com Champs" oder ähnliches vorstellen. Ein Turnier mit hohem Anteil von Rapid/Blitzpartien. Das liesse sich gut vermarkten.

Volker
- - By Stefan Pohl Date 2023-07-15 18:28
Hier ein offizielles Ankündigungsvideo der Engine Torch durch chess.com:

https://youtu.be/FuQlsQyqX70
Parent - By Max Siegfried Date 2023-07-15 19:10
Stefan Pohl schrieb:

Hier ein offizielles Ankündigungsvideo der Engine Torch durch chess.com:

<a class='ura' href='https://youtu.be/FuQlsQyqX70'>https://youtu.be/FuQlsQyqX70</a>


Zusammenfassung:
Verständlich das etwas Werbung für die Torch Engine gemacht wird.
Zwei Engines haben eine Partie gegeneinander gespielt.
Eine Engine hat gewonnen.
Es war die Torch Engine und nicht LC0.
Wer hätte das gedacht???
Infos zu den wichtigen Sachen gibt es nicht, außer dass es eine Vorgabestellung war.
Parent - - By Andreas Mader Date 2023-07-16 09:12
Das heißt, es gibt in Zukunft eine neue sehr starke Engine, dafür gibt es mindestens 4 sehr starke Engines (Dragon, Ethereal, Koivisto, Berserk) nicht mehr?
Parent - - By Stefan Pohl Date 2023-07-16 09:56 Edited 2023-07-16 10:06
Andreas Mader schrieb:

Das heißt, es gibt in Zukunft eine neue sehr starke Engine, dafür gibt es mindestens 4 sehr starke Engines (Dragon, Ethereal, Koivisto, Berserk) nicht mehr?


Darauf wird es wohl hinauslaufen. Aber dafür wäre es vorstellbar, daß Torch vielleicht wirklich Stockfish ernsthaft als Nummer 1 angreifen könnte. Das wäre nach ca. 10 Jahren der Dominanz von Stockfish nicht das Schlechteste, finde ich.

Darüberhinaus ist das geplante, neuartige Konzept, Torch nicht im herkömmlichen Sinne zu releasen (Binaries nur für renommierte Ranglisten-Tester, sonstige Nutzung der Engine nur auf der chess.com Online-Plattform), interessant. Immerhin hat sich das Schach ja durch den Online-Boom der letzten Jahre und durch das rasante Wachstum von chess.com, grundlegend verändert:

https://youtu.be/XXuBH7JM5aA

Und ich finde es interessant, daß diese neuartige Situation sich nun auch im Engineschach niederschlägt. Ob das nun eine gute oder schlechte Neuerung ist, das lasse ich mal offen. Das muß man auch erst in der Praxis sehen. Aber prinzipiell finde ich Neuerungen im Computerschach immer spannend. Auch eine solche veränderte Form der Nutzung/Verbreitung einer Schachengine.
Parent - - By Volker Pittlik Date 2023-07-16 11:09
Stefan Pohl schrieb:

...
Darüberhinaus ist das geplante, neuartige Konzept, Torch nicht im herkömmlichen Sinne zu releasen (Binaries nur für renommierte Ranglisten-Tester, sonstige Nutzung der Engine nur auf der chess.com Online-Plattform), interessant...



Wobei das Testen nur durch ausgewählte Leute auch Möglichkeiten der Manipulation eröffnete. Ich will niemand (schon gar nicht Dir) etwas derartigens unterstellen. Aber: Money make the world go round. Und ich meine mich schach zu erinnern, dass in der Vergangenheit gegen einige Tester Verdächtigungen in diese Richtung erhoben wurden.

Volker
Parent - - By Stefan Pohl Date 2023-07-16 13:50 Edited 2023-07-16 14:05
Volker Pittlik schrieb:

Stefan Pohl schrieb:

...
Darüberhinaus ist das geplante, neuartige Konzept, Torch nicht im herkömmlichen Sinne zu releasen (Binaries nur für renommierte Ranglisten-Tester, sonstige Nutzung der Engine nur auf der chess.com Online-Plattform), interessant...



Wobei das Testen nur durch ausgewählte Leute auch Möglichkeiten der Manipulation eröffnete. Ich will niemand (schon gar nicht Dir) etwas derartigens unterstellen. Aber: Money make the world go round. Und ich meine mich schach zu erinnern, dass in der Vergangenheit gegen einige Tester Verdächtigungen in diese Richtung erhoben wurden.

Volker


Diese Bedenken sind nachvollziehbar. Ich denke aber, man kann Ranglisten-Testergebnissen vertrauen, wenn 3 Kriterien erfüllt sind.

1) Alle gespielten Partien stehen als Download bereit, jeder kann sie sich herunterladen und ansehen. Ist das nicht der Fall, könnte sich der Ranglistenbetreiber die Ergebnisse genausogut ausdenken (weswegen ich immer ein scharfer Kritiker der IPON-Liste war (rätselhafterweise war ich damals aber so ziemlich der einzige, der sich daran gestört hat, daß man bei der IPON die Partien nicht herunterladen konnte)). Bei mir (SPCC) sind alle Partien immer herunterzuladen.

2) Es werden immer dieselben Eröffnungen als Vorgabe genutzt, d.h. die zu testende Engine spielt immer die exakt gleichen Eröffnungen (und exakt gleich viele!) gegen jeden der Gegner. Ist das nicht der Fall, könnte der Ranglistenbetreiber z.B. 10000 Partien mit zufälligen Eröffnungen spielen lassen und sich dann 2000 Partien davon so herauspicken, daß ihm die Ergebnisse genehm sind - bei zufälligen Eröffnungsvorgaben gibt es keine Möglichkeit, einen solchen Betrug zu erkennen. Bei mir spielen die Engines in der SPCC-Rangliste immer die gleichen 500 HERT-Eröffnungsvorgaben ab (die zu testende Engine spielt immer diese 1000 Partien gegen jede Gegnerengine) und in meiner UHO-Top10 Rangliste die ersten 500 Linien meiner UHO_2022_6mvs_+120_+129.pgn Datei. So könnte ich gar keine Partien weglassen oder dazunehmen, selbst wenn ich das wollte.

3) Die gespielten Partien enthalten für alle Züge die Enginezugzeit und die Suchtiefe. Andernfalls könnte der Ranglistenbetreiber einer Engine einfach deutlich mehr Zeit geben als anderen Engines und den TAG in der pgn-Notation mit der Bedenkzeit einfach fälschen. Sieht man jedoch nach jedem Ply die Suchzeit und Suchtiefe, dann ist so eine Fälschung zwar nicht ganz ausgeschlossen, aber es wäre mit extrem viel Aufwand verbunden, hier alle Werte nach jedem gespielten Ply zu ändern. In meinen aktuellen Ranglisten-pgn-Datenbanken sind natürlich für jeden gespielten Ply Suchzeit, Tiefe und Eval enthalten. Nur in meiner Full Ratinglist, die alle Partien seit 2020 enthält, habe ich diese Daten entfernt, weil die Datenbank sonst inzwischen so große wäre, daß man sie nicht mehr vernünftig bearbeiten könnte. Aber diese Full Ratinglist Datenbank Partien sind zusätzlich in meinen Archiv-pgn-Datenbanken enthalten, die man sich ebenfalls herunterladen kann. Und in diesen Archiv-Datenbanken sind Suchtiefe, Suchzeit und die Eval natürlich noch enthalten. Dafür sind diese Archiv-Datenbanken aber eben auch in mehrere Datenbanken aufgeteilt.
Parent - By Volker Pittlik Date 2023-07-17 09:26
Stefan Pohl schrieb:

...Diese Bedenken sind nachvollziehbar. Ich denke aber, man kann Ranglisten-Testergebnissen vertrauen, wenn 3 Kriterien erfüllt sind.

1) Alle gespielten Partien stehen als Download bereit, jeder kann sie sich herunterladen und ansehen. Ist das nicht der Fall, könnte sich der Ranglistenbetreiber die Ergebnisse genausogut ausdenken...


100% Zustimmung meinerseits. Irgendetwas zu behaupten ohne nachprüfbare dafür Belege vorzulegen ist schlicht unseriös.

Stefan Pohl schrieb:

2) Es werden immer dieselben Eröffnungen als Vorgabe genutzt, d.h. die zu testende Engine spielt immer die exakt gleichen Eröffnungen (und exakt gleich viele!) gegen jeden der Gegner. Ist das nicht der Fall, könnte der Ranglistenbetreiber z.B. 10000 Partien mit zufälligen Eröffnungen spielen lassen und sich dann 2000 Partien davon so herauspicken, daß ihm die Ergebnisse genehm sind...


So etwas ist vorstellbar. Ob sich für ein solches Vorgehen aber genügend Vorgabestellungen finden lassen, scheint mir unwahrscheinlich. Zumindest dann, wenn als Vorgaben seriös erarbeitete Stellungen benutzt werden, wie zum Beispiel Deine oder andere andere "faire" (für beide Seiten gleiche) Stellungen. Ob es überhaupt gelingen kann, aus den damit gespielten Partien dann genügend solche herauszusuchen, die eine relevante Verschiebung in den Ranglisten erzeugen, halte ich für nicht zwingend gegeben.

Stefan Pohl schrieb:


3) Die gespielten Partien enthalten für alle Züge die Enginezugzeit und die Suchtiefe. Andernfalls könnte der Ranglistenbetreiber einer Engine einfach deutlich mehr Zeit geben als anderen Engines und den TAG in der pgn-Notation mit der Bedenkzeit einfach fälschen. Sieht man jedoch nach jedem Ply die Suchzeit und Suchtiefe, dann ist so eine Fälschung zwar nicht ganz ausgeschlossen, aber es wäre mit extrem viel Aufwand verbunden, hier alle Werte nach jedem gespielten Ply zu ändern...


Ein entsprechendes Script oder Programm zu schreiben wäre recht trivial. Es wären nur die beiden Werte in einem gewissen Zufallsintervall zu ändern. Ich traue mir und einigen anderen Leuten hier im Forum das ohne weiteres zu.

Am schwersten wiegt für mich, die Binaries nicht allgemein zugänglich zu machen (kommerziell oder nicht ist egal). Dann kann letztlich jeder der über sie verfügt (legal oder als Kopie unter Freunden), irgendetwas über die Partien behaupten, was dann schlicht nicht nachprüfbar wäre. Im Grunde eine noch schlechtere Situation als die PGN nicht zugänglich zu machen.

Volker
Parent - By Christian Paluch Date 2023-07-16 10:47
Viele Besucher auf Chesscom benutzen gleichzeitig Stockfish für die Analyse. Die Tiefe der Analyse ist somit bescheiden und kann nicht mit der Analyse auf eigenem Rechner konkurrieren. Wenn Torch nur auf Chesscom angeboten wird, stellt sich die Frage, wie man dieses Problem lösen will.
- - By Lothar Jung Date 2023-07-18 09:54 Upvotes 1
Wenn man sich das derzeitige Turnier zwischen Torch und Stockfish auf CCC ansieht, bestehen erhebliche Zweifel das Torch zu Stockfish aufschließen kann.
Parent - By Hauke Lutz Date 2023-07-18 12:30 Upvotes 1
Ich denke 37% = -93 Elo zu Stockfish ist für eine komplett neue Engine ziemlich vielversprechend.
Up Topic Hauptforen / CSS-Forum / chess.com entwickelt eigene Engine Torch, um Stockfish anzugreifen

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill