Guenter Stertenbrink schrieb:
Stefan Pohl schrieb:
r zigtausende von Partien spielen müßte, um ein solches Ergebnis zu bekommen
nun uebertreibst du aber. Doppelt soviele, also 400 ergeben etwa die gleiche
Zahl von nicht-Remisen. Das muesste doch genauso gut sein, oder ?
Nein! Es wäre schön, wenn das so wäre.
Aber es geht auch um die Spreizung der Elo-Ergebnisse und die Errorbars, aus denen man so eben früher herauskommt (mir Drawkiller), oder eben nicht (ohne Drawkiller), nicht um die Remisquote allein. Errorbars zum Beispiel halbieren sich eben nicht mit doppelt so vielen Partien.
Siehe meine Mini-Rangliste auf meiner Hauptseite:
Lc0 hat dort gerade 1200 Partien gespielt: Errorbar +/-14
Der direkte Tabellennachbar Komodo 12.3 hat eine halb so breite Errorbar (+/-7). Dafür waren 6200 Partien nötig. Also mehr als das 5fache an Partien!!!
Wenn man also mit Drawkiller ein Ergebnis erhält, daß nur 8 Elo weiter gespreizt ist, als mit einem klassischen Eröffnungsset, muß man weniger als ein Fünftel (!) der Partienmenge spielen, um aus der Errorbar herauszukommen - in diesem konkreten Beispiel. Und im allgemeinen spreizt Drawkiller die Ergebnisse weit stärker, als nur um 8 Elo. In Horsts Testruns mit Drawkiller und Hert waren es z.B. 26 Elo (31 Elo Abstand statt 5). Und um eine Errorbar von +/-31 auf +/-5 zu drücken, sind Unmengen von Partien nötig. In meiner Rangliste hat Komodo 12 12000 Partien spielen müssen, um +/-5 Errorbar zu bekommen. Für +/-31 reichen ein paar Hundert Partien (in meinem Long thinking-time Turnier sind es 235 Partien, die eine lc0-Version gespielt hat). Ergo wären es 12000/235
= gut 50 mal mehr Partien, die man in diesem konkreten Beispiel spielen müßte, um mit dem HERT-Set wenigstens an den Rand der Errorbar zu kommen im Vergleich zu Drawkiller. Und nicht doppelt so viele.
Ergo habe ich eben nicht übertrieben. Auch nicht, als ich in der Dokumentation zu Drawkiller schrieb, daß Drawkiller der Durchbruch in eine neue Dimension des Computerschachs ist. Das sollten diese Zahlen verdeutlichen.