Peter Martan schrieb:
Hallo Stefan!
Dass Elo relativ sind, lese ich immer wieder gerne.
Man könnte aber natürlich auch der Meinung sein, die Relationen und die Remishäufigkeit bei höheren Hardwarezeiten seien die "realeren" und die bei kürzeren stellten relativ dazu eine künstliche Spreizung dar, seien sozusagen aufgeplustert.
Es geht weniger darum, welche Elospreizung realistisch ist und welche nicht, das läßt sich eigentlich nicht wirklich seriös sagen. Interessant ist doch primär immer die Frage, ob eine Engine A besser ist als eine Engine B. Interessant ist also doch die Reihenfolge in einem Turnier/einer Rangliste. Und das wird zunehmend zum Problem, denn das eigentliche Problem ist, daß mit den immer weiter steigenden Remisquoten und den damit zusammenrückenden Elowerten in Ranglisten und Turnieren, die Ergebnissicherheit und somit auch die Ergebnisqualität leidet. Denn: Die Errorbars in Turnieren und Ranglisten bleiben immer etwa gleich, da sie primär von der Zahl der gespielten Partien abhängen. Je weiter nun aber die Erfolgsscores und damit die Elozahlen von Engines in Ranglisten und Turnieren aufgrund steigender Remisqouten zusammengestaucht werden, desto mehr Partien müßten logischerweise gespielt werden, um die Platzierungen von Engines in diesen Ranglisten/Turnieren aus den Errorbar-Intervallen herauszubekommen, weil man nur so die Errorbars verschmälern kann.
Deshalb ist es so wichtig, den steigenden Remisqouten irgendwie beizukommen. Sonst sind in Zukunft keine Ranglisten und Turniere mehr möglich, da man dann selbst mit kürzeren Bedenkzeiten nicht mehr genug Partien (in halbwegs vertretbaren Zeiträumen) spielen lassen kann, um Ergebnisse zu bekommen, die wirklich noch außerhalb der Errorbars liegen. Mit sich verbessernden Engines und sich immer weiter beschleunigender Hardware ist diese Entwicklung zwangsläufig und unaufhaltsam. Noch kann man mit vertretbarem Aufwand statistisch brauchbare Ergebnisse produzieren. Aber nur, weil die Hardware des normalen Testers (noch) nicht so monströs ist, wie im TCEC. Wollte man mit dem TCEC-Rechner eine Rangliste von Engines erstellen (und die Engines könnten immer alle Cores für eine Partie nutzen) und dies mit einer mittleren Bedenkzeit von vielleicht 5'+3'', dann wäre es m.E. schon heute mit Standard-Eröffnungsvorgaben (Stockfish Framework 8 moves oder FEOBOS oder das HERT-Set etc.) gar nicht mehr möglich in realem Zeitrahmen eine solche Rangliste zu erstellen, bei der die Elozahlen und Eloabstände der Engines außerhalb der Errorbar lägen.
Da diese - fürs Computerschach desaströse - Entwicklung - wie schon erwähnt - logischerweise unaufhaltsam Richtung "normale" Hardware und "kürzere" Bedenkzeit nach unten fortschreiten wird, bin ich so bemüht, jetzt schon Eröffnungsvorgaben zu entwickeln, die die Remisqouten so weit wie möglich absenken, ohne dabei die Ergebnisspreizung Richtung 50%-Marke zusammenzudrücken. (Es wäre ja simpel, einfach einer Farbe immer einen Turm vorzugeben. Dann hat man sicher so gut wie 0% Remisen, aber eben auch immer 50%-Ergebnisse in allen Engine-Zweikämpfen, da sich dieser extreme Vorteil für eine Farbe bei zufälliger Eröffnungs- und Seitenwahl logischerweise dann auf beide Engines gleichverteilt. - Die Kunst besteht also darin, mit Eröffnungsvorgaben die Remisqouten zu senken, ohne einer Farbe extremen Vorteil einzuräumen und das ist gar nicht so einfach!). Glücklicherweise habe ich ja nach meinen SALC-Stellungen, welche ja diesbzgl. schon ein großer Erfolg waren, nun ein neues Projekt in Arbeit, welches eine weitere sehr, sehr deutliche Reduzierung der Remisqouten bringen wird. Damit sollte die Zukunft des Computerschachs für die halbwegs absehbare Zukunft gesichert sein und auch in 20 Jahren kann man noch Ranglisten und Turniere mit statistisch brauchbaren Ergebnissen erstellen. Die Arbeit schreitet gut voran und erste Testergebnisse waren geradezu unglaublich vielversprechend. Ich hoffe, noch dieses Jahr den Release zu schaffen. Aber Qualität geht hier natürlich vor Geschwindigkeit, da dieses Projekt ja erst für zukünftige Hardware- und Enginegenerationen überlebenswichtig sein wird, noch nicht aber im Hier und Jetzt.
Natürlich zahlt man für so stark gesenkte Remisqouten eine Preis, dergestalt, daß diese Eröffnungsvorgaben ziemlich gewöhnungsbedürftig aussehen werden. Schach-Puristen und ECO-Fetischisten werden sicher aufjaulen. Aber das ist mir egal, denn entweder senken wir die Remisqouten - und zwar drastisch - oder das Comptuerschach fährt voll vor die Wand namens Remistod. Es gibt nur diese beiden Optionen, ob uns das nun gefällt oder nicht. Und ich bevorzuge erstere. Und wenn ich dafür drastische Maßnahmen ergreifen muß, dann ist es eben so. Die Zukunft wird mir Recht geben, davon bin 100% überzeugt. Jede Ranglistenseite mit Listen in verschiedenen Bedenkzeitstufen zeigt den von mir eben skizzierten Trend ganz klar und zweifelsfrei. Von Andreas Strangmüllers exzellenten Experimenten mit verschiedenen Bedenkzeitstufen im Selfplay ganz zu schweigen. Und diesen Trend in die Zukunft zu extrapolieren und daraus den kommenden Remistod des Computerschachs abzuleiten, ist nun wirklich nicht soooo schwierig.
Hoffentlich läßt sich das vor Matchbeginn noch aufklären.
Forum
CSS-Shop