Reinhold Stibi schrieb:
Habe durchaus in Erinnerung dass du damals eine Testserie von 36 Partien pro Engines hattest
die ein paar Monate dauerte.
Werde dies nachprüfen; habe die Partien wahrscheinlich gespeichert - dauert halt eine Weile.
Wie war denn das damals mit den Schachcomputern als man nicht die Möglichkeit des automatischen
Spiels hatte, oder doch nur sehr eingeschränkt. Da konnte man keine hunderte Partien mit Hand spielen
und trotzdem kam man auf brauchbare Vergleiche.
Ich hatte zu Unterhaltungszwecken mal Turniere mit wirklich langer Bednkzeit gespielt, wo ich dann auch mal live zuschauen konnte. Aber das war ein Turnier. Zu Unterhaltungszwecken. Wie das TCEC. Da waren es logischerweise wenig Partien. Aber auch dort habe ich immer die Auswertung mit der Errorbar gepostet, im Gegensatz zu deinen Tests. Und sicher habe ich nie behauptet, daß das ein Test wäre oder das die Ergebnisse mehr aussagen würden, als es die Errorbar zuläßt.
Generell kann man auch Tests mit nur 10 Partien machen. Letzlich ist nur wichtig, daß man sich und anderen klar macht, daß die Ergebnisse nur eindeutig sind, wenn sie eben außerhalb der Errorbars liegen und sonst eben nicht. Und je mehr Partien es sind, desto kleiner ist die Errorbar.
Ergo: um festzustellen, daß Stockfish besser als Rybka ist, reichen sehr viel weniger Partien aus (weil eben der Abstand zwischen beiden groß ist), als wenn man messen will, ob ein lc0 Netz 10 oder 15 Elo besser ist, als Stockfish oder schlechter.
Und damit bin ich aus dem Thema auch raus. Ich bin es leid. Engine Tests und Wettkämpfe sind so aussagekräftig, wie die Errorbar breit ist. Und nicht mehr. Und irgendwelche Teil-Blöcke zu bilden und rauszurechnen oder andere Tricks helfen da nicht. Man kann Statistik nicht austricksen.
Und um zu sagen Engine A ist besser als B bildet man die Vergleichserrorbar also sqrt((Errorbar A * Errorbar A)+(Errorbar B *Errorbar B)). Ist der Abstand der Engines A und B größergleich dieser Zahl, dann hat der Test gezeigt, daß A besser ist als B. Andernfalls nicht.
Ende meinerseits.