TCEC Saison 18 Supefinale

By Peter Martan Date 2020-07-02 09:08 Edited 2020-07-02 09:22

Tobias Lagemann schrieb:

Stockfish hat gewonnen.

Ja, die 7 Punkte sind nicht mehr aufzuholen und die Hinpartie im Cochrane ist wieder Remis gewesen, die Rückpartie schaut auch danach aus.
Bin neugierig, wie's nach den letzen Partien sein wird, und ob es sich innerhalb einer Errorbar ausgeht, wenn man sie als 95% Konfidenz ausrechnet mit den Performance- Unterschieden bei so vielen 1:1-Paaren. Eine höhere Remisrate wäre signifikanter gewesen statistisch (natürlich nur bei gleichem Punkteabstand), aber auf die quantitativen Aussagen kommt's ja bei so einem Match sowieso nicht an. Unterhaltsam war's allemal wieder.

By Martin Steinwandter Date 2020-07-02 09:47

Interessant, und das, obwohl Stockfish ja so dumm ist!

By Wolfgang Battig Date 2020-07-02 10:18 Upvotes 2

Nicht nur das, er wird sogar immer dümmer.
Dies wurde anhand einer (!!) Serverpartie eindeutig bewiesen

By Tobias Lagemann Date 2020-07-02 11:34

Hallo Wolfgang,

in dem Fall wäre die Dummheit dann ja 100% bewiesen worden. Eindeutiger geht es ja nun wirklich. Wir dürfen aber nicht vergessen, dass diese eine Partie ja nur ein Beispiel war (Zitat: "Hier ein aktuelles Beispiel, es gab heute auch noch weitere:"), wir wissen also nicht, wie viele weitere Dummheiten SF in wie vielen weiteren Partien begangen hat. Aber auch dann dürfte anhand der Beispiele 100% das "immer dümmer" bewiesen sein. Okay, SF ist immer dümmer.

Dass diese immer dümmer seiende/werdende Engine nun aber doch - wenn auch nur in einem 100 Partien Match ohne eigenem Eröffnungsbuch - LC0 schlägt, legt dann Schluss nahe, dass LC0 noch schneller dümmer zu werden scheint. Mhm, wahrscheinlich das falsche Netz oder die falschen Grafikkarte oder irgendeine Einstellung ist Gurke oder so.

Okay, mal Spaß beiseite. Manche vermenscheln den Engine-Output der Dramatik wegen. Immerhin wird in der Serverpartie die Dummheit anhand eines Stellungsbeispiels belegt. Das ist mir allemal lieber, als die bejubelten Elo-Höhenflüge (soooooo viele Partien gewonnen, obwohl ich nur ein Damenfahrrad ohne Gangschaltung habe und das nicht mal fahre, sondern in der Garage stehen lasse) in anderen Beiträgen. Denn was Eduard an Beispielen bringt, das hat ja etwas mit dem Geschehen auf den 64 Feldern zu tun. Und das sind oftmals eben die Stellungen, an denen SF verbessert werden kann. Und das SF verbessert werden kann bzw. permanent verbessert wird, das zeigt - trotz vorhandener Schwächen - das Superfinale. Dass Verbesserungen natürlich auch wieder Schwächungen nach sich ziehen, werden die SF-Tüftler schon zu behandeln wissen.

In den Partien 97/98 wird Königsindisch gespielt. Da kommt es ja zu Strukturen, die LC0 ganz gut drauf hat.

Viele Grüße
Tobias

Viele Grüße
Tobias

By Wolfgang Battig Date 2020-07-02 11:53 Upvotes 2

Hallo Tobias,

ich stimme Dir zu. Eduards Posting sind in aller Regel schachbezogen und das ist gut so.
Ich wünschte mir nur, dass es - und das ist nicht nur auf Eduard bezogen - manchmal etwas "kleiner" ginge.
Reisserisch-dramatische Überschriften wie diese oder (sinngemäß) "alle haben Angst vor Leelenstein"

usw.
sind überflüssig. Computerschach ist zwar spannend (egal in welcher Form es gelebt wird) aber doch eine eher
trockene Angelegenheit. Da muss man nicht mehr oder weniger krampfhaft versuchen mit Bildzeitungstiteln ein
Drama hineinzubringen, frei nach dem Motto "Drama, Baby, Drama" (Bruce Darnell, Supertalent)...

Viele Grüße

By Kurt Utzinger Date 2020-07-03 09:32

Tobias Lagemann schrieb:

In den Partien 97/98 wird Königsindisch gespielt. Da kommt es ja zu Strukturen, die LC0 ganz gut drauf hat.

Viele Grüße
Tobias

Viele Grüße
Tobias

Hallo Tobias
Hier hat denn Lc0 auch 1,5 aus 2 Partien geholt.
Gruss
Kurt

By Kurt Utzinger Date 2020-07-03 11:53

Wolfgang Battig schrieb:

Nicht nur das, er wird sogar immer dümmer.
Dies wurde anhand einer (!!) Serverpartie eindeutig bewiesen

Hallo Wolfgang
Dass Stockfish deutlich zugelegt hat, wird wohl kaum jemand noch bestreiten wollen.
Ich seh das Ganze etwas pragmatisch: Wenn Änderungen an einem Schachprogramm
insgesamt zu besseren Resultaten führen, wäre es mir als Programmierer völlig wurst, dass
es Stellungen gibt, welche die vorhergehende Version gelöst oder besser behandelt hat, bzw.
dass es gewisse Stellungen gibt, die (noch) nicht gelöst werden.
Gruss
Kurt

By Eduard Nemeth Date 2020-07-03 12:23 Edited 2020-07-03 12:27

Stockfish wird nur nach Resultat getrimmt, und das auch nur für immer schnellere Hardware. Wer keine schnelle Hardware hat, muss nun damit leben dass Stockfish so manches übersieht. Er wird dümmer! Auf dem Server profitieren vom neuen Stockfish deshalb nur die ganz schnellen. Die anderen werden nun immer mehr gegen die schnelleren verlieren wenn sie die gleiche Engine nutzen. Ich teste übrigens ganze Serien von Spielen, bevor ich mir ein Urteil erlaube. So habe ich sowohl mit Chimera als auch mit Brainfish allein viele Partien mit der Version vom 30.06.20 gespielt. Und davor natürlich dasselbe immer wieder. Die letzte für mich (für Chimera) halbwegs brauchbare Version vom Brainfish ist für mich die vom 28.05.20. Bei allem danach spielt Brainfish unter Chimera auf meiner Hardware schlechter.

By Tobias Lagemann Date 2020-07-02 10:12

Hallo Peter,

die Hinpartie im Cochrane wurde von SF (mit Schwarz) gewonnen. In der Rückpartie sind gerade (35. Zug von Weiß) beide Engines bei 0.00. Mich als Cochrane Liebhaber freut es natürlich, dass eine so starke Engine wie LC0 mit Schwarz keinen vollen Punkt holen kann.

Mit SFNNUE geht man ja inzwischen auch bei SF zumindest teilweise den Weg NN. Mal abwarten, was da herauskommt.

Viele Grüße
Tobias

By Peter Martan Date 2020-07-02 10:28 Edited 2020-07-02 10:44

Tobias Lagemann schrieb:

die Hinpartie im Cochrane wurde von SF (mit Schwarz) gewonnen.

Uups, verschaut, sind ja schon 8 Punkte Unterschied, danke.

By Benno Hartwig Date 2020-07-03 06:22

Und der SF-Vorsprung in dieser Begegnung ist deutlich.
Nach dem mir SF und Lc0 vor einiger Zeit gleich auf zu sein schienen, Lc0 mir sogar "auf dem Vorbeimarsch" zu sein schien.

Hat nun in den letzten Monaten
- Lc0 stagniert (an Rückschritte will ich nicht gleich denken)
- SF noch so deutlich zugelegt
- oder war es auch "sportliche Glück", welches SF im Finale diesen so deutlichen Vorsprung "schenkte"?
- Oder war auch schlicht mein Eindruck vor ein paar Monaten falsch???

By Peter Martan Date 2020-07-03 07:32 Edited 2020-07-03 07:36

Um einer dieser deiner Fragen beantworten zu können (anhand dieses einen Matches) müsste man den Performance- Unterschied von 7% bei einer Remiquote von 59% (wenn ich mich nicht verzählt habe, mag nicht noch einmal nachzählen, es kommt immer abwechselnd 59 und 60 raus

) in Hinblick auf das 95% Konfidenzintervall (wenn man solche Maßstäbe an eine Errobar anlegen will) ausrechnen.

Bevor ich das mache und mich auch da irre, warte ich auf das Urteil der Fachleute. Um es in Elo auszudrücken, müsste man welche als Ausgangspunkt einsetzen, von denen ich auch nicht wüsste, was ich für welche nehmen sollte, in Elo müsste man's ja aber nicht umrechnen, mich würde nur interessieren, ob die 7 Punkte Unterschied an und für sich statistisch signifikant wären (und wie signifikant) relativ zur Irrtumswahrscheinlichkeit. Wenn's 59 Remis sind und nur 7 Punkte Unterschied bei den restlichen 41 Partien herausgekommen sind, müssten ja wohl 17 1:1 Paare vorgekommen sein, oder?

Gehörst du statistisch nicht auch zu den Fachleuten, Benno?
Ich tippe mal auf innerhalb der Errorbar, damit ist nicht gesagt, dass ein Ergebnis mit LC0 als Sieger ebenso wahrscheinlich zufällig hätte passieren können, aber völlig unwahrscheinlich wär's wohl auch nicht, dass es durch puren Zufall bei denselben Engines auf derselben Hardware mit derselben TC und denselben Eröffnungen hätte passieren können.
Was meinst du?

By Peter Weise Date 2020-07-03 09:34


Wins   = 23
Draws  = 61
Losses = 16
Av.Op. Elo = 2900

Result     : 53.5/100 (+23,=61,-16)
Perf.      : 53.5 %
Margins    :
 68 %      : (+  3.1,-  3.1 %) -> [ 50.4, 56.6 %]
 95 %      : (+  6.1,-  6.1 %) -> [ 47.4, 59.6 %]
 99.7 %    : (+  9.2,-  9.3 %) -> [ 44.2, 62.7 %]

Elo        : 2924
Margins    :
 68 %      : (+ 22,- 22) -> [2903,2946]
 95 %      : (+ 43,- 42) -> [2882,2967]
 99.7 %    : (+ 66,- 65) -> [2860,2990]

by ELO-Stat 1.3

By Peter Martan Date 2020-07-03 09:50 Edited 2020-07-03 09:55

Danke!

Elo 2924??
Av.Op.2900??

Aber davon abgesehen lag ich mit meiner Vermutung, dass 7 Punkte Unterschied an der Grenze zur Errorbar bei 95%- Wahrscheinlichkeit liegen würden, gar nicht soo falsch, wenn ich das richtig interpretiere, dass +-6.1% genau stimmen, oder?

Dass LC0 das zufällig auch hätte gewinnen können, wenn man sich mit den allgemein üblichen 95% zufrieden gibt, ist also nur ganz wenig unwahrscheinlich, richtig?

Ich meine, ein halber Punkt mehr für LC0 als für SF wäre noch innerhalb der eigentlich 12,2% Streuung eines 95%- Intervalls fast noch im Mittel, nein?

By Peter Weise Date 2020-07-03 10:05 Edited 2020-07-03 10:08

Welche "Av.Op. Elo" man vorgibt ist vollkommen egal. Es geht um die Abstände und um die Margins.


Wins   = 23
Draws  = 61
Losses = 16
Av.Op. Elo = 0

Result     : 53.5/100 (+23,=61,-16)
Perf.      : 53.5 %
Margins    :
 68 %      : (+  3.1,-  3.1 %) -> [ 50.4, 56.6 %]
 95 %      : (+  6.1,-  6.1 %) -> [ 47.4, 59.6 %]
 99.7 %    : (+  9.2,-  9.3 %) -> [ 44.2, 62.7 %]

Elo        :   24
Margins    :
 68 %      : (+ 22,- 22) -> [   3,  46]
 95 %      : (+ 43,- 42) -> [ -18,  67]
 99.7 %    : (+ 66,- 65) -> [ -40,  90]

Ja, das Ergebnis ist viel zu knapp und die Anzahl der Partien viel zu gering um von besser oder schlechter zu reden!

By Peter Weise Date 2020-07-03 10:16 Upvotes 1

Selbst wenn der Wettkampf über 200 Partien mit identischem Ausgang gespielt worden wäre, läge man noch immer außerhalb der Errorbar (95%):


Wins   = 46
Draws  = 122
Losses = 32
Av.Op. Elo = 0

Result     : 107.0/200 (+46,=122,-32)
Perf.      : 53.5 %
Margins    :
 68 %      : (+  2.2,-  2.2 %) -> [ 51.3, 55.7 %]
 95 %      : (+  4.3,-  4.3 %) -> [ 49.2, 57.8 %]
 99.7 %    : (+  6.5,-  6.5 %) -> [ 47.0, 60.0 %]

Elo        :   24
Margins    :
 68 %      : (+ 15,- 15) -> [   9,  40]
 95 %      : (+ 30,- 30) -> [  -6,  55]
 99.7 %    : (+ 46,- 45) -> [ -21,  70]

Man sieht mal wieder: nur die Menge "machts"!

By Kurt Utzinger Date 2020-07-03 09:28 Upvotes 2

Benno Hartwig schrieb:

Und der SF-Vorsprung in dieser Begegnung ist deutlich.
Nach dem mir SF und Lc0 vor einiger Zeit gleich auf zu sein schienen, Lc0 mir sogar "auf dem Vorbeimarsch" zu sein schien.

Hat nun in den letzten Monaten
- Lc0 stagniert (an Rückschritte will ich nicht gleich denken)
- SF noch so deutlich zugelegt
- oder war es auch "sportliche Glück", welches SF im Finale diesen so deutlichen Vorsprung "schenkte"?
- Oder war auch schlicht mein Eindruck vor ein paar Monaten falsch???

Hallo Benno
Nach meiner Einschätzung hat SF in der Tat deutlich zugelegt. Dass merke ich auch, wenn ich die hoch gelobten
Partien zwischen Stockfish und AlphaZero nachspiele. Viele der unglaublichen Züge von Alpha Zero werden
jetzt auch gefunden ... da habe ich echt gestaunt. Die neuen Versionen von SF stehen den Lc0-Versionen in
nichts nach, wenn man die Gesamtübersicht aller Partiephasen obektiv betrachtet.
Gruss
Kurt

By Ingo Althöfer Date 2020-07-03 10:40

Lieber Herr Utzinger,

Kurt Utzinger schrieb:

Nach meiner Einschätzung hat SF in der Tat deutlich zugelegt. Dass merke ich auch, wenn ich die hoch gelobten
Partien zwischen Stockfish und AlphaZero nachspiele. Viele der unglaublichen Züge von Alpha Zero werden
jetzt auch gefunden ...

jetzt müsste man es irgendwie schaffen, die Jungs von DeepMind so zu
provozieren, dass sie AlphaZero zu einem Wettkampf gegen den besten
Stockfish antreten lassen. Sollte es zu so einem Supermatch kommen,
wäre mir nicht klar, auf wen ich (vorher) als Sieger wetten würde.

Ingo Althöfer.

By Peter Martan Date 2020-07-03 07:34

Danke für die schöne Schlusstabelle und ja, ich fand das Match auch ausgesprochen kurzweilig.