Hallo Benno,
Du hast es nicht anders gewollt

1. Warum sagen wir, ein Spieler habe eine bestimmte Spielstärke?
Wir sehen seine Resultate aus der Vergangenheit.

2. Und was sagen wir mit (implizieren wir), wenn wir sagen, ein Spieler habe eine bestimmte Spielstärke?
Wir denken nicht nur an die Vergangenheit, sondern auch an die Zukunft und dass beide doch irgendwie zusammenhängen und sagen mit, das Abschneiden dieses Spieler z.B. in seinem nächsten Turnier (bei bekannter Gegnerschaft, mit ebenfalls 'bekannter' Spielstärke) 'ungefähr' voraussagen zu können.

Zur Beschreibung dieses zunächst mal schwammig ausgedrückten Sachverhalts stellt die Theorie nach Prof. Elo ein mehr oder weniger adäquates mathematisches Modell zur Verfügung.

Im Folgenden ist mir vor allem der Punkt 2 wichtig:

Es ist klar, ob es sich um eine Engine oder einen Menschen handelt: die Leistung (Performance) in einem zukünftigen Turnier kann nicht exakt vorhergesagt werden.
Tagesform, Eröffnungswahl, Gegner, das zum Tragen kommen von bestimmten taktischen oder strategischen Stärken oder Schächen in bestimmten Stellungen, überhaupt das auf das Brett kommen von subjektiv angenehmen oder unangenehmen Stellungen, Zeiteinteilung, Bugs, ..., oder einfach nur Glück, Pech und der Stand der Gestirne . Alles mehr oder weniger zufällig auftretende Parameter (und alle außer vielleicht Tagesform oder Bugs sowohl bei Menschen als auch bei Engines anzutreffen).

Und wenn ein Sache von vielen Parametern, deren Existenz man möglicherweise noch nicht mal kennt, in komplexer Weise abhängig ist, greift man zum Strohhalm der Statistik, welcher sich zum Glück oft als kräftiges Seil erweist (mein Beispiel mit dem sicherheitsrelevanten Flugzeugteil) - oder sozusagen andersherum und wie in unserem Fall, man nimmt ein (aus derartigen Statistiken gewonnenes) Modell an (d.h. setzt es voraus) und hofft, dass bei der praktischen Anwendung nicht allzuviel Unsinn dabei herauskommt.

Um es kurz zu machen: das Elosche Modell zur Spielstärke und damit eben auch zur Vorhersage einer Performance ist eine Normalverteilung mit einer Standardabweichung von 200 ELO, wobei der Maximalwert dieser sog. Gaußschen Glocke 'über' der aktuellen Elo-Zahl liegt.
Mit Hilfe dieses Modells werden aus dem schwammigen das_Abschneiden_ungefähr_voraussagen_können konkrete Wahrscheinlichkeitsangaben zur vorherzusagenden Performance innerhalb eines bestimmten Intervalls (z.B. kann man angeben, mit welcher Wahrscheinlichkeit ein Spieler mit einer Elo-Zahl von 1800 im nächsten Turnier eine Performance zwischen 1720 u. 1730, zwischen 1900 u. 1950 oder von mir aus auch zwischen 2000 u. 2300 zeigen wird).

Nach Beendigung eines tatsächlich gespielten Turniers wird für jeden Spieler eine neue Elo-Zahl berechnet und das Ganze beginnt sozusagen wieder von vorne.
Insbesondere sind diese neuen Elo-Zahlen nicht irgendwie 'schärfer' oder aussagekräftiger und schon gar nicht gibt es irgendwelche Error-Bars, die Standardabweichung (und damit die Form der Gaußschen Glocke) bleibt weiterhin bei 200 ELO (warum auch sollte man plötzlich die Performance eines Spielers im nächsten Turnier genauer vorhersagen können).

Soweit die Elosche Theorie, nun zur 'Elo'-Berechnung der Ranglisten-Ersteller.

Im Grunde ihrer Seele ist ihnen diese Standardabweichung von 200 ELO ein Dorn im Auge, geradezu ein Pfahl im Fleisch. Denn wer lässt schon gern 10.000 Partien pro Engine spielen und hat dann nichts in der Hand?
Und sie können tatsächlich 10.000 Partien pro Engine spielen lassen, sie können sich auf den Kopf stellen und können doch die Performance ihrer Engines in einem anstehenden konkreten Turnier (das sie auch gerne selbst und unter ihren Bedingungen veranstalten dürften) nicht besser vorhersagen als das Elosche Modell.
Diese Tatsache ist offensichtlich und deshalb auch nicht strittig - hier ist dann immer die Stelle für 'viel zu wenig Partien, statistisch völlig irrelevant' - als wenn das Elosche Modell, welches diese (fast schon naturgesetzliche) Schranke einer Standardabweichung von 200 ELO setzt, nicht eben gerade ein statistisches Modell wäre!?!

Und nun zum statistischen Indianertrick der Ranglisten-Ersteller:

Die 'Philosophie' zur Spielstärke (Punkt 1 und 2) wird ersetzt durch: es gibt eine 'wahre', in einer nackten Zahl ausdrückbare Spielstärke. Punkt. Es gibt keine Vergangenheit und keine Zukunft (die Spiele der Engines finden ja sozusagen zeitgleich (genauer: außerhalb der Zeit) statt. Das Ziel ist die Jagd und eine Einsortierung nach dieser nackten Zahl.

Und was wird aus der Standardabweichung der Eloschen Theorie? Diese prinzipielle Schranke wird uminterpretiert als zufälliger Messfehler. Die Tatsache, dass die in einer überschaubaren Anzahl von Partien gezeigte Performance einer Engine högschtwahrscheinlich nicht gleich ihrer Elo-Zahl (und auch nicht ihrer 'wahren' 'Elo'-Zahl) sein wird, gilt nicht mehr als prinzipieller Natur sondern als zufälliger Messfehler.
Diese Uminterpretation ist alles andere als unproblematisch. In meinem Beispiel vom Flugzeugteil war es fatal und führte zum Flugzeugabsturz, bei menschlichen Spielern ist es bestenfalls sinnfrei, bei Engines immerhin und zugegebenermaßen nicht völlig von der Hand zu weisen.
Das Weitere ganz kurz: zufälligen Messfehlern rückt man mit Mittelwertsstatistiken zu Leibe, mit Error-Bars - und vor allem mit in der Tat VIELEN Messungen.

Jedenfalls ergibt sich als Konsequenz dieser Uminterpretation und dem Umstieg weg vom Eloschen auf ein anderes statistisches Modell, dass derart berechnete 'wahre' 'Elo'-Zahlen keine Elo-Zahlen im Sinne der Eloschen Theorie sind. Und auch, dass Aussagen zur statistischen Relevanz einer Partienanzahl ausschließlich auf dieses Modell der zufälligen Messfehler zu beziehen sind.

Und warum schreibe ich das alles, warum interessiert mich das überhaupt? Weil die Leier von den statistisch völlig irrelevanten wenigen Partien - so, als wäre die ganze Schachgeschichte eine Aneinanderreihung von Zufällen - einfach immer wieder nervt.