Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Projekt 2035 ?
- - By Ingo Althöfer Date 2023-05-16 20:06
Liebe Leute,

durch die Diskussion um die von Stefan Pohl vorgestellte
besondere Partie zwischen Lc0 und Dragon ist mir in den
letzten Tagen klar geworden, wie groß die Remisbreite im
Top-Engine-Schach inzwischen ist.

Schon 2008 hatte Jaap van den Herik in einer Umfrage (zur Schach-
Olympiade 2008 in Dresden) vermutet, dass das Schachspiel im Jahr
2035 schwach gelöst sein könnte in dem Sinn, dass man weiß, ob
bei beidseitig bestem Spiel ein Remis herauskommt, oder Weiß
gewinnt oder Schwarz gewinnt.

Damals habe ich ihn für einen hoffnungslosen Optimisten gehalten,
inzwischen bin ich mir nicht mehr sicher.

Etwas schwächer als "Schach schwach lösen" wäre z.B. ein Eröffnungs-
buch für Schwarz (bis Zug x), was ihm in allen Varianten ein Remis
"garantiert".
Noch eine Nummer kleiner wäre ein Eröffnungsbuch für Schwarz zu
einem Standard-Startzug für Weiß (1.e4 oder 1.d4 oder 1.Sf3
oder 1.c4), welches Schwarz ein Remis garantiert.

Für welchen der vier genannten Züge könnte man einen Versuch wagen?
Und was wäre dabei eine realistische Größe für x?

Vernünftigerweise sollte so etwas nicht ein Projekt nur deutscher Computer-
schächer sein. Wäre es etwas für die Weltcommunity?

Ingo Althöfer.
Parent - - By Thomas Zipproth Date 2023-05-16 21:01 Edited 2023-05-16 21:08 Upvotes 6
Hallo Herr Althöfer,

Ziemlich genau das (ein Eröffnungsbuch für Schwarz (bis Zug x), was ihm in allen Varianten ein Remis"garantiert". ) war ja das Projekt, das ich 2007 mit Brainfish und Cerebellum begonnen hatte.
Ich hatte es  vor einiger Zeit aufgegeben aus 3 Gründen:

- Der heutige Stockfish spielt ohne so ein Eröffnungsbuch nur minimal schlechter als mit einem noch so großen oder tiefen Buch.
- Es gibt mit https://www.chessdb.cn/queryc_en/ eigentlich schon ein Buch, das diese Anforderungen erfüllen sollte (11,534,126,593 Positionen)
- Die letzten ca. 500 Partien mit Cerebellum gingen Remis aus, es war also langweilig geworden.

Bei Cerebellum lagen die kritischen Werte bei:
- ca. 1.5 Millionen Position (praktisch nicht mehr zu schlagen, 9 Monate Berechnungszeit) und
- ca. 10 Millionen Positionen (keine Verbesserungen mehr ersichtlich, nie eine Partie verloren).

Ich würde mich schon heute unter bestimmten Umständen trauen, eine ziemlich große Wette darauf einzugehen,
dass ein heutiges Stockfish + Cerebellum oder Chess DB + Tabeblases aus der Ausgangsposition heraus nicht mehr geschlagen werden kann.
(Edit: ab einer bestimmten Bedenkzeit, z.B. 15 Minuten + 30 Sekunden auf 12 Cores)

Das einzige Problem bei dieser Wette ist:
Auch ein heutiges Stockfish kann noch Implementationsfehler haben und theoretisch sehr selten, z.B. wegen einem Hash Fehler oder
wegen einem fehlerhaft implementierten Suchbaum Cut oder einem Problem bei der Nullmove Heuristik, eine Partie verlieren.

Das würde dann zwar nichts über die eigentliche Frage aussagen, aber die Wette hätte man trotzdem verloren.

Grüße,
Thomas Zipproth
Parent - - By Ingo Althöfer Date 2023-05-16 21:50
Lieber Herr Zipproth,

zuerst möchte ich mich entschuldigen, dass ich von
diesem Cerebellum-Projekt - inzwischen ja schon 15+
Jahre alt - bisher nur den Namen kenne.

Thomas Zipproth schrieb:
Ich hatte es  vor einiger Zeit aufgegeben aus 3 Gründen:...

Oh.
Weiss Jaap van den Herik von Ihrem Projekt?

Zitat:
... - Es gibt mit
https://www.chessdb.cn/queryc_en/
eigentlich schon ein Buch, das diese Anforderungen erfüllen
sollte (11,534,126,593 Positionen)

Wer hat dieses Buch erschaffen?
Wer verwaltet es?

Zitat:
- Die letzten ca. 500 Partien mit Cerebellum gingen Remis
aus, es war also langweilig geworden.

War denn Weiß in diesen 500 Partien mehrheitlich
am Drücker?

Auf welcher Hardware, mit welchen Bedenkzeiten und
sonstigem Drumherum wurden die gespielt?

Zitat:
Bei Cerebellum lagen die kritischen Werte bei:
- ca. 1.5 Millionen Position (praktisch nicht mehr zu schlagen, 9 Monate Berechnungszeit) und
- ca. 10 Millionen Positionen (keine Verbesserungen mehr ersichtlich, nie eine Partie verloren).

Wenn Sie jemanden benennen müssten, dem sie die größte
Chance zutrauen, gegen dieses Cerebellum durch "Probieren"
innerhalb von 30 Tagen einen Sieg zu erzielen, wer wäre das?

Zitat:
Ich würde mich schon heute unter bestimmten Umständen
trauen, eine ziemlich große Wette darauf einzugehen,
dass ein heutiges Stockfish + Cerebellum oder Chess DB + Tabeblases
aus der Ausgangsposition heraus nicht mehr geschlagen werden kann.
(Edit: ab einer bestimmten Bedenkzeit, z.B. 15 Minuten + 30 Sekunden auf 12 Cores)

An welche Quoten und welche Beträge denken Sie?

Zitat:
Das einzige Problem bei dieser Wette ist:
Auch ein heutiges Stockfish kann noch Implementationsfehler
haben und theoretisch sehr selten, z.B. wegen einem Hash Fehler
oder wegen einem fehlerhaft implementierten Suchbaum Cut oder
einem Problem bei der Nullmove Heuristik, eine Partie verlieren.

Vielleicht würde man Ihnen gestatten, sich durch eine Art 3-Hirn-Modus
abzusichern (z.B: mit mir als Auswähler - dafür würde ich mich an
Ihrem Wetteinsatz beteiligen...).

Zitat:
Das würde dann zwar nichts über die eigentliche Frage aussagen,
aber die Wette hätte man trotzdem verloren.

Man würde durch solche verlorenen Wetten aber "viel" lernen.

Gibt es denn hier in der CSS-Community Leute mit Mumm,
die versuchen würden, z.B. bei 500 vs 5.000 Euro anzutreten?

Ich bin im Moment ein bisschen elektrisiert.
Ingo Althöfer.
Parent - - By Thomas Zipproth Date 2023-05-16 23:05 Upvotes 2
Hallo Herr Althöfer,

Cerebellum war hauptsächlich bei Engine Turnier Spielern bekannt, ich glaube nicht, das Jaap van den Herik davon etwas weiss.
Es wurde aber immerhin im AlphaZero Chess preprint Paper erwähnt, wenn auch nur in einer Randnotiz.

Das Buch https://www.chessdb.cn/queryc_en wurde von Bojun Guo (alias noobpwnftw) erschaffen, und er verwaltet es.
https://www.chessprogramming.org/Bojun_Guo
Soweit ich mich korrekt erinnere, habe ich mal erlebt, wie er auf die Schnelle 12.500$ investierte,
um einen Überhang bei Fishtest abzuarbeiten. Dann fuhren über 3000 Cores in der Amazon Cloud hoch,
und in ein paar Stunden war alles erledigt. Das sagt glaube ich alles.

In den 500 Partien wurde die Remisbreite nie überschritten, insofern war auch Weiss auch nie richtig am Drücker.
Es wurde mehrheitlich auf Infinity Chess, bei Bedenkzeiten von 15m+2s gespielt, mit 4-32 Cores, ich hatte anfangs 4, dann 12 Cores.

Cerebellum litt/leidet stark an einem Problem das sich quasi automatisch bei fortschreitender Berechnung ergibt:
Alle Scores nähern sich immer mehr 0, und die Züge werden immer schlechter unterscheidbar.
Das muss auch so sein, den bei "Fertigstellung" der Berechnung, d.h. einem 32 Steiner,
sind z.B. sowohl 1.a3 als auch 1.e4 remis, und haben daher beide den Score 0.
Damit gibt es keine Unterscheidungsmöglichkeit mehr zwischen den beiden Zügen.
Dies kann man auch sehr gut bei https://www.chessdb.cn/queryc_en erkennen (3. Spalte Score).

Die Leute, die am ehesten gegen Cerebellum gewinnen würden, sind sicherlich die besten Spieler von Infinity Chess und Playchess,
sowie ehemalige Teilnehmer aus dieser Turnierart Mensch+Engine, ich habe den Namen der Turniere vergessen, Freechess, Advanced Chess?
Allgemein wird es auch als Centaur Chess bezeichnet.

Cerebellum ist inzwischen allerdings etwas angestaubt und 2 Jahre alt, ich weiß nicht mal mehr genau wo ich den letzten oder besten Stand habe.
Ich müßte es neu oder weiter berechnen, was wieder ein Jahr dauern würde, wenn ich es alleine machen.

Die Beträge hängen natürlich sehr von den persönlichen Verhältnissen ab,
und man könnte sehr schnell über das eigentlich Ziel der Erkenntnis Vermehrung hinaus schießen.
Aber so etwas wie 500 vs 5.000 Euro ist natürlich problemlos machbar.
Es ist mir aber nicht ganz klar wie das gemeint ist, wer setzt die 5000 Euro ein, wer die 500?
Man könnte auch mühelos 500 - 0 machen, d.h. wenn jemand gewinnt kriegt er einfach 500 Euro und die Sache ist beendet.
Dann müßten aber Verbindungsprobleme, Abstürze usw. klar ausgeschlossen sein.
Aber es sollte klar sein, das diese Summe nur als Anreiz dient teilzunehmen, und sich niemand damit profilieren will.

Grüße,
Thomas Zipproth
Parent - - By Ingo Althöfer Date 2023-05-17 09:06
Lieber Herr Zipproth,
nur kurz, bevor ich auf eine Dienstreise gehe.
Mehr am Wochenende.

Die Geschichte mit der schlechteren Unterscheidbarkeit ist bekannt
von der Lösung des Mühle-Spiels durch Programme von Ralph Gasser
in den frühen 1990er Jahren. Ergebnis war, dass das Mühle-Spiel bei
perfekten Zügen remis endet - und dass die Remisbreite sehr groß ist.

Es gab dann einen 10-Partien-Kampf gegen den Schweizer Mühle-
Großmeister Nüscheler. Nüscheler gewann zwei Partien, die anderen
endeten remis. Das Programm schaffte es nicht, in irgendeiner Partie
Druck aufzubauen. Und in den zwei Partien mit Programm-Verlust
hatte das Programm "Aussetzer" beim Übergang von einer Teilspiel-
Datenbank zu einer anderen. Gasser war entsprechend frustriert.

Thomas Zipproth schrieb:
Es ist mir aber nicht ganz klar wie das gemeint
ist, wer setzt die 5000 Euro ein, wer die 500?

In jeder Einzel-Partie geht es um Geld.
Cerebellum oder ChessDB (+ 3-Hirn-Aufsicht) hat immer Schwarz.
Hält Schwarz remis oder gewinnt gar, bekommt das Team vom
Gegner 500 Euro.
Schafft dagegen Weiß einen Sieg, bekommt er vom Team 5.000 Euro.

Große Frage ist, ob sich unter den Bedingungen Freiwillige für
Weiß finden würden.

Ingo Althöfer.
Parent - - By Frank Brenner Date 2023-05-17 21:52 Edited 2023-05-17 21:57 Upvotes 1
Hallo Herr Althöfer,

als Alternative würde ich folgendes vorschlagen:

Um Thomas Zipproths These zu überprüfen kann jeder einzelne der gerne möchte bei sich Zuhause versuchen eine Partie zu produzieren mit einem 1-0 oder 0-1 Ergebnis

Voraussetzungen:

Sf 15.1 vs SF 15.1 + Cerebellum Buch mit mindestens 12 Cores und mindestens 3200MHZ und mindestens 4096 MB Hash, kein PB.

Die Partie muß im Anschluß trotz Nichtdeterminismus bei 12 Cores   "einigermaßen" reproduzierbar sein, d.h.
Stockfisch 15.1 muß jeden Zug aus der Partienotation nach Ablauf von mindestens 60 Sekunden Rechenzeit  mit mindestens der o.g. Hardware einmal als Favorit in der Hauptvariante anzeigen.

Wenn in der Partie dagegen ein Zug auftritt der nicht allgemein reproduzierbar ist, (zb wegen Hashkollision, Programmierfehler, PC Fehler, egal warum) so gilt die Partie nicht . Bei der Prüfung der Reproduzierbarkeit ist es erlaubt auch eine andere Anzahl von Cores zu verwenden, bei nur einem Core muß der Zug nach Ablauf von 12*60 = 720 Sekunden angezeigt werden

Die Reproduzierbarkeit soll  für alle Züge und insbesondere für den Verlustzug gelten.

Die ersten 10 Gewinnpartien könnten mit jeweils 10 EUR honoriert werden.

Die These die wir empirisch beweisen möchten lautet:  Das Schachspiel ist mit dem Cerebellum Buch von Thomas Zipproth und mit SF15.1 und einer starken Hardware schwach gelöst.

Hinweis. Es ist durchaus gestattet mit  120Min+30s/Partie   vs   24h/Zug zu spielen. Schwach gelöst bedeutet ja unabhängig der Bedenkzeit, jedoch mindestens 1 Minute/Zug  für die o.g Hardware

Beste Grüße
Frank Brenner
Parent - - By Frank Brenner Date 2023-05-18 00:44 Upvotes 1
Nachtrag: Mir fällt gerade ein, daß natürlich nur einer der beiden Kontrahenten Stockfisch 15.1 mit Cerebellum Buch sein muß mit mindestens 1 Min/Zug und 3600mhz und 12 cores ...

Der Gegner kann eine beliebige schachspielende Entität sein mit beliebig viel Bedenkzeit und beliebig vielen Hilfsmitteln

Ziel ist es Stockfisch zu besiegen und wenn das gelingt, ist die These widerlegt

Falls es jemand schafft Stockfisch zu besiegen könnte das nächste Ziel darin bestehen Stockfisch auch mit den schwarzen Figuren zu besiegen...
Parent - By Thomas Zipproth Date 2023-05-18 09:06 Edited 2023-05-18 09:09
Danke für das Feedback, das klingt alles recht vernünftig würde ich sagen.

Einziges Problem ist wie ich oben sagte, das ich momentan keinen richtigen Überblick mehr über das Cerebellum Buch habe,
und evtl. Teile neuberechnen müßte, ich schaue mir das an.
Deswegen hatte ich auch das andere Buch erwähnt, es ist per API über das Internet verfügbar.

Aber ich werde mir mal einen Überblick verschaffen und einige Partien mit den genannten Zeiten (Schwarz mit Cerebellum) spielen, dabei Weiß mit doppelter Zeit.
Ich berichte dann über das Ergebnis.
Ich bin mir zwar recht sicher, aber vielleicht wiederlege ich mich ja gleich selbst. 

Thomas Zipproth
Parent - By Benno Hartwig Date 2023-05-18 11:24

> ...könnte das nächste Ziel darin bestehen Stockfisch auch mit den schwarzen Figuren zu besiegen...


Wenn das jemand schafft, dann wäre die heutige Realisierung vermutlich schon noch ein gutes Stück von "perfekt" entfernt.
Aber es mag sein, dass diese Chance unter den beschriebenen Bedingungen auch heute schon nicht mehr wirklich besteht.
Parent - By Benno Hartwig Date 2023-05-17 07:33

> ...dass ein heutiges Stockfish + Cerebellum oder Chess DB + Tabeblases aus der Ausgangsposition heraus nicht mehr geschlagen werden kann.


Spannend.
Vielleicht leben manche von uns noch lang genug und haben dann (noch) das Equipment, um in vielleicht 30 Jahren zu überprüfen, wie solch ein von dir beschriebenes heutiges System ankommt gegen die Top-Computerschach-Entwicklung der 2050er-Jahre.
Parent - - By Andreas Mader Date 2023-05-18 15:01 Upvotes 1
Mir ist nicht ganz klar, wie bewiesen werden soll, dass Schach schwach gelöst ist. Es können noch so viele Remis-Partien gespielt werden, ohne dass man beweisen kann, dass dieses Resultat zwangsläufig zustande kommen muss.
Parent - - By Thomas Zipproth Date 2023-05-18 16:53 Edited 2023-05-18 17:06
Das stimmt, es bleibt eine Wahrscheinlichkeitsaussage, aber evtl. eine mit sehr hoher Wahrschscheinlichkeit.

Nehmen wir an, dass Stockfish+Cerebellum+Tablebases auf 12 Cores mit einer Bedenkzeit zwischen 15m+30s und 30m + 60s spielt.
Wenn es nur Remis Partien gibt, bedeutet das ja, dass man gegen diese Zusammenstellung mit beliebiger eigener Bedenkzeit,
gleichzeitigem Einsatz mehrerer Engines und eigener Eröffnungsbücher trotzdem keine einzige Partie gewinnen konnte.

Bei z.B. > 100 gespielten Partien ist das dann schon eine ziemlich gute Aussage.

Was man noch anführen könnte wäre, dass es vielleicht in 5 oder 10 Jahren eine überragende Engine geben könnte,
die unfassbare Züge und Strategien spielt, an die nie ein Mensch gedacht hat - und die Stockfish einfach an die Wand spielt.

Ich denke aber, dass so etwas unwahrscheinlich ist, denn was sollen das für Züge und Strategien sein?
Vor allem dürften sie ja in den vielen gespielten Engine Turnieren und Eröffnungsvariationen nicht enthalten sein, sonst hätte man das ja bemerkt.
Bei Go wäre so etwas vorstellbar, aber Schach wird nicht mehr so viel hergeben, dazu ist es sehr wahrscheinlich nicht komplex genug.

Man hätte solche Strategien in Ansätzen schon in den Siebensteinern sehen müssen,
aber außer einigen sehr langen Matts in sehr speziellen Stellungen gab es da glaube ich keine grundlegend neuen Erkenntnisse.

Auch gibt es soweit ich weiß ein interessantes Zwischenergebnis:
Die Komplexität scheint bei den 8-Steinern nicht mehr wesentlich zuzunehmen,
d.h. das längste Matt bei den 8-Steinern (momentan 584) ist nur unwesentlich länger als das bei den Siebensteinern (549).

Thomas Zipproth
Parent - - By Andreas Mader Date 2023-05-18 21:30
Ich halte es für einen Fehler, aus der heutigen Situation Schlussfolgerungen für die Zukunft ziehen zu wollen. Niemand kann wissen, was für neue Strategien und Techniken in der Schachprogrammierung noch entdeckt / erfunden werden, an die mit heutigem Stand des Wissens und der Technik niemand denkt oder auch nur denken kann, weil vielleicht die für vollkommen neue Ansätze erforderliche Hardware noch gar nicht existiert. Ich muss bei solchen Aussagen immer an den Bill Gates zugeordneten (und von ihm immer abgestrittenen) Spruch "640K ought to be enough for anybody" aus dem Jahr 1981 denken. Wahrscheinlich werden die Schachcomputer-Fans in 40 Jahren genauso über unsere heutigen Weisheiten lächeln, wie wir heute über diesen Satz. Man weiß außerdem nie, ob nicht eine Engine nicht nur um gerade den einen Halbzug zu wenig tief rechnet, um einen Gewinnzug zu finden.
Parent - - By Frank Brenner Date 2023-05-18 21:55
Für Stockfischs Gegner (also für uns) ist es übrigens erlaubt auch 50+ Stunden an einem Zug mit verschiedenen Engines zu rechnen und es ist erlaubt beliebig viele Züge so oft wie lustig zurückzunehmen, in der Hoffnung dass der Stockfisch (mit der Mindestbedenkzeit) einen Zug macht der für uns vorteilhaft ist, zb weil er einen Bewertungssprung für SF nach unten zur Folge hat oder die Komplexität der Stellung erhöht um im weitern Verlauft SF zu Fehlern zu verleiten
Uns (also SFs Gegner) ist es gestattet fehlerhaft wirkende oder suboptimale Züge wieder zurückzunehmen...
Wenn wir mehrere Züge zur Wahl haben können wir alle Züge ausprobieren und uns am Ende für denjenigen entscheiden bei dem SF nach unserer Meinung am schlechtesten fortsetzt.

Ziel ist es also nicht eine faire Turnierpartie  zu spielen sondern eine Gewinnpartie mit allen Mitteln  zu konstruieren.
Parent - By Thomas Zipproth Date 2023-05-18 22:36
So ist es.
Es soll ja auch dem Erkenntnisgewinn dienen, ich bin gespannt eine solche Partie zu sehen, in der Stockfish aus der Grundstellung heraus überspielt wird.

Ich gehe zwar davon aus das Stockfish aus der Grundstellung heraus nicht mehr zu knacken ist,
aber es würde mir jetzt auch nicht so viel ausmachen nicht recht zu behalten, der Erkenntnisgewinn wiegt das auf.
Vorrausgesetzt, besagte Fehlersituationen könne erkannt und ausgeschlossen werden,
z.B. in der Art wie du es beschrieben hast, mit Reproduzierbarkeit.

Natürlich kann man auch das Buch jederzeit vollkommen ausschalten in dem man einfach irgendwelche Züge macht die nicht im Buch sind,
um den Preis einer fast vollkommen ausgeglichenen Stellung.
Parent - By Thomas Zipproth Date 2023-05-19 00:03
Ich verstehe die Argumentation, für nicht ausgeglichene Stellungen trifft dies wahrscheinlich auch zu.
Aber meine Einschätzung kommt auch von der praktischen Erfahrung mit Cerebellum im Engine Schach und warum ich damit aufgehört habe.
Die Anzahl der in Frage kommenden Züge und Varianten ist zwar groß, aber durchaus auch wieder begrenzt.

Ich habe mal bei einer interessanten Variante im Sizilianer automatisiert 10.000 Varianten und 200.000 Züge mit den besten Bewertungen hinzugefügt.
Es hat absolut nichts geändert, keine einzige dieser Varianten war irgendwie besser als das, was Stockfish sowieso gespielt hätte.
Demnach müsste diese Zukunftsengine also etwas spielen was da immer noch nicht dabei war, bleiben fast nur noch Züge mit negativer Bewertung.
Aber ich nehme nicht an, dass ein Zug, der heute z.B. mit -0.5 bewertet wird, irgendwann in der Zukunft der gesuchte Gewinnzug sein wird.

Sollte so ein Turnier zustande kommen, werden wir wenigstens etwas mehr Wissen, hoffe ich.
Up Topic Hauptforen / CSS-Forum / Projekt 2035 ?

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill