Elo-Gewinn bei Bedenkzeitverdoppelung

By Markus Pillen Date 2014-04-22 20:33

Hallo Andreas,

vielen Dank für den interessanten Test und die tolle Präsentation.

viele Grüße
Markus

By Michael Scheidl Date 2014-04-22 21:16

Was zeigt die Grafik mit der (fast) glockenförmigen Kurve an? Ich vermisse hier ein Minimum an erklärendem Text für Normalbürger sozusagen.

Für mich wertlos.

By Thomas Müller Date 2014-04-22 21:29 Edited 2014-04-22 21:36

die untere zeile ist die TC=time control
also 5-10 ist zu finden in der obersten grafik links
15-30 der zweite bereich von links usw.
und dann eben die erreichte elo.
der höchste wert wird bei der verdopplung von 45 zu 90 sek erreicht

so deute ich das jedenfalls

gruß
thomas

By Michael Scheidl Date 2014-04-22 21:39

Mein Interpretationsvermögen stößt an seine Grenzen.

Da war's ja leichter in dem Film "Contact", wo Jodie Foster plötzlich versteht daß die scheinbar zweidimensionale Skizze ein dreidimensionales Objekt beschreibt.

Legendär!

By Thomas Müller Date 2014-04-22 21:57 Edited 2014-04-22 22:01

Einer meiner lieblingsfilme

deutlich wird es aus der kleinen tabelle direkt oberhalb der "glockengrafik"
Das ist die basistabelle für die grafiken
5 auf 10 sek verdopplung erreicht 3064 elo ausgehend von 3000
15 auf 30 sek verdopplung erreicht 3074 usw.

gruß
thomas

PS: aber jodie wurde von s.r.hadden darauf hingeweisen

By Stefan Pohl Date 2014-04-23 04:32

Michael Scheidl schrieb:

Mein Interpretationsvermögen stößt an seine Grenzen.

Da war's ja leichter in dem Film "Contact", wo Jodie Foster plötzlich versteht daß die scheinbar zweidimensionale Skizze ein dreidimensionales Objekt beschreibt.

Legendär!

Das hat Jodie Foster gar nicht verstanden. Sondern ihr Sponsor Mr.Hadden. Der hat es ihr dann in seinem fliegenden Wohnzimmer erklärt...

Außerdem heißt das nicht "Legendär", sondern "Legen...warte, gleich kommt es...där". Soviel Zeit muß sein, Herr Stinson -ähm sorry- Herr Scheidl...

Stefan

By Robert Richter (Mod.) Date 2014-04-22 21:30

Das wollte ich gerade auch sagen...ein kleiner "Fazit-Text" wäre schön.

By Andreas Strangmüller Date 2014-04-22 23:29 Edited 2014-04-22 23:33

Hallo Michael,

Du hast recht, da hätte ich schon ein wenig mehr dazu erklären müssen.
Bin nur von meiner Warte ausgegangen und habe gedacht die Werte wären verständlich.

Getestet habe ich fünf Bedenkzeiten, jeweils verdreifacht zur Ersten. TC = Time Control = Bedenkzeit. Stockfish gegen sich selbst jeweils mit doppelter Bedenkzeit.
5 gegen 10 Sekunden, 15 gegen 30 Sekunden, 45 gegen 90 Sekunden, 135 gegen 270 Sekunden und 405 gegen 810 Sekunden mit jeweils 0,15 Sekunden Inkrement. Jeweils 3000 Partien, die höchste Bedenkzeit aus Zeitgründen "nur" mit 1500 Partien.
SF DD 90 bedeutet also Stockfish DD bei 90 Sekunden Bedenkzeit pro Partie + 0,15 Sekunden Inkrement, usw.
Damit wollte ich testen was die Verdoppelung der Bedenkzeit bei unterschiedlichen Zeitkontrollen an Elo ausmacht.

Die Grafiken illustrieren einmal den Verlauf der Elowerte pro Bedenkzeit und zum anderen den Verlauf der Remisqoute zur Bedenkzeit.

Unter den im Eingangsposting genannten Testkonditionen beträgt der Zuwachs durchschnittlich 70 Elo. Die Spitze liegt bei 45 gegen 90 Sekunden und nimmt dann ab.
Bei noch höheren Bedenkzeiten nimmt der Zuwachs an Elo sicherlich noch weiter ab als die 55 Punkte bei 405 gegen 810 Sekunden.
Zudem wird die Remisquote je höherer Bedenkzeit noch weiter steigen. Das sollen die Kurven verdeutlichen.

Viele Grüße,
Andreas

By Mythbuster Date 2014-04-22 22:01

Die Aussage, daß SF von einer Verdoppelung mit 70 Punkten profitiert, ist so nicht allgemein gültig. Die Diskussion gab es übrigens schon in den 1980ern ...

Je schneller die Hardware wird, desto weniger Stärkezuwachs bringt die Geschwindigkeit ... und es gibt sogar den Punkt, an dem ein weiterer Zuwachs an Geschwindigkeit gar nichts mehr bringt.

Einfaches Beispiel: Wenn SF einen falschen Zug aus tiefer Überzeugung spielt, dann wird er ihn immer spielen, egal, wie lange man ihn rechnen lässt ... folglich bringt das Plus an Speed nur solange etwas, wie sich etwas aufgrund der Programmstruktur auch errechnen lässt ...

Nette Anekdote: Anno 1985 ließen Henne & Nitsche das Mephisto III Programm auf sauteurer Hardware laufen ... 20x schneller als der Mephi III ... trotzdem ging das Programm unter ... ein frustrierter Elmar Henne: Er macht die gleichen Fehler, nur viel schneller.

By Olaf Jenkner Date 2014-04-22 23:37

Mythbuster schrieb:

Wenn SF einen falschen Zug aus tiefer Überzeugung spielt, dann wird er ihn immer spielen, egal, wie lange man ihn rechnen lässt

Das glaube ich nicht, denn irgendwann wird er seine Überzeugung ändern müssen. So funktioniert die Baumsuche, und mag die Bewertungsfunktion auch noch so falsch sein...

By Mythbuster Date 2014-04-22 23:45

Es gibt genügend Beispiele, die das belegen. Wenn ein Programm das "Falsche Läufer Spiel" nicht kennt, wird es sich ggf. immer auf ein Bauernopfer einlassen ... und damit den Sieg verspielen ... aus "Überzeugung".

Ein gutes Beispiel ist auch die Behting Studie. Ein Programm, das die Stellung nicht versteht, kann beliebig beschleunigt werden ... und sie nicht lösen.

By Andreas Strangmüller Date 2014-04-22 23:50

Unter den im Eingangsposting genannten Testkonditionen beträgt der Zuwachs der Engine Stockfish DD 64 SSE4.2 durchschnittlich 70 Elo, hätte ich wohl genauer geschrieben.
Aber dafür habe ich ja auch die exakten Testkonditionen mit angegeben.

Je schneller die Hardware und/oder je höher die Bedenkzeit desto geringer ist der Spielstärkezuwachs , diese Behauptung ist glaube ich unumstritten.

By Mythbuster Date 2014-04-22 23:58

Hallo,
das ist der Punkt: Der Test gilt ausschließlich für Deine Hardware und Deine Zeitvorgaben. Denn letztendlich ist ein doppelt so schneller PC mit einer Verdopplung der Bedenkzeit vergleichbar. Wenn man also einen PC nimmt, der 20x schneller ist, hätten wir ein komplett anderes Testergebnis.

Das war ja auch schon bei den alten Schachcomputern der Fall. Wenn man sich zum Beispiel den Mephisto Vancouver anschaut und die Kurve vom 12 MHz 16 Bitter bis zur Turniermaschine, dann sieht man, daß das Programm immer weniger profitiert.

Interessant ist, daß es schon damals so war, daß manche Programme schon mit dem "Optimum" auf den Markt kamen (hier bringt mehr Speed nur wenig), andere Programme deutlich Luft nach oben hatten.

Es wäre interessant, wenn man eine Formel finden würde, um zu ermitteln, wo das theoretische Ende eines Programmes und damit die maximale Elo liegt ...

By Benno Hartwig Date 2014-04-23 11:22

> Es wäre interessant, wenn man eine Formel finden würde, um zu ermitteln, wo das theoretische Ende eines Programmes und damit die maximale Elo liegt

Ein wahrlich enorm starkes Spiel hätten Engines, die den 32-Steiner implementiert hätten.
Welche Spielstärke wäre denn das gegen heutige Menschen? gegen heutige Engines?
Wenn dann vermutlich nichts mehr verloren wird, wenn dann ggf. auch kein halber Punkte tatsächlich mehr abgegeben wird. Ich habe da keine Vorstellung.

Wichtig wäre da aber, dass die Engine in Verlust- und in Remisstellungen auch versucht 'kompliziert' zu sein und dem Gegner Chancen auf Fehler zu geben, dass sie ggf. auch versucht, Fallen zu stellen. Der Gegner ist ja vielleicht nicht so gut.

Und wenn wir jetzt nacheinander 8-Steiner, 9-Steiner, ... 32-Steiner entwickeln, jedes Jahr einer mehr!
Welche ELO-Werte mögen sich dann einstellen bei der ersten 32-Steiner-Engine (mit 'komplizierter' Spielweise)?

Aus der Entwicklung der letzten Jahre lässt sich ggf. wohl abschätzen, wie es die nächsten Jahre ungefähr weitergehen wird.
Wie es aber mit Blick auf die Unendlichkeit ist, wäre dann wohl zu mutig prophezeit.

Benno

By Hauke Lutz Date 2014-04-23 11:34

ein 32-Steiner mit allen Gewinnkombination aus jeder Stellung... ich kann mir nichtmal vorstellen, wie viel Speicherplatz dafür erforderlich wäre
Aber zur Elo.... 999.999.999.999.999 aus 1.000.000.000.000.000 sind laut "http://www.3dkingdoms.com/chess/elo.htm" +5982 Elo

By Benno Hartwig Date 2014-04-23 14:15

ein wie großer Prozentsatz der Großmeister-remis-Partien mag so sein, dass sie nie(!) irgendetwas anderes als echte Remisstellungen durchlaufen haben?
Ich denke, dieser Prozentsatz ist gar nicht mal soo klein.

Und es gelang den Spielern jeweils durch diese Remis-Stellungen zu laufen, obwohl der Gegner versuchte zu quälen. Dieses Quälen, wenn doch sowieso mit allem in jeder Stellung ein Remis erzwingbar ist, soll die Engine erst mal hinbekommen.
Womöglich gibt die freiwillig Material und Kontrolle her, weil sie korrekt urteilt "Ist ja eh alles nur remis". Marvin lässt grüßen! Und in den Engineendspielen haben wir sowas ja schon manchmal gesehen.

Von daher erwarte ich eindeutig nicht, dass der hypothetischen Egine ein 999.999.999.999.999 aus 1.000.000.000.000.000 sondern nur deutlich weniger gelingt. Es sei denn, man gibt sich ordentlich Mühe, auch unter den Remisstellungen eine Differenzierung nach "Verleitet den Gegner zu Fehlern!" hinzubekommen. Dann aber werden die Engines wirklich stark!

Ich kann mir sehr gut vorstellen, dass Folgendes stimmt:
Wenn ein Schachspieler heute z.B. SF deutlich unterlegen ist (Großmeister(?) etc...), dann wird er gegen die 32-Steiner-Engine, die aber aus remis-Zügen nur zufällig einen auswählt, eher besser abschneiden können!
Der 32-Steiner reicht noch nicht für eine wirklich gute Engine!

Benno

By Benno Hartwig Date 2014-04-23 09:04

Thanx, sehr schöne Betrachtung.
Die alte Fausregel "Zeitverdopplung bringt ungefähr 70 ELO!" ist also gar nicht schlecht.
Mit einer Tendenz, dass es weniger werden mit länger werdenden Zeiten. Finde ich irgendwie auch plausibel.

Den Berg bei 45-90, der ja auch wunderbar passend gestützt wird durch die Werte 15-30 und 135-270 finde ich aber überraschend.
Für dieses Phänomen fehlt mir jede Erklärung. (Oder eben dafür, dass die Werte für 15-30 und 5-10 nicht wenigstens das Niveau von 45-90 halten, oder besser noch darüber hinaus steigen)

Benno