Hallo Stefan,

...aber was wirst Du da (in der Zukunft) für 95% Error-bar bekommen ?

wegen langsamerer Hardware wuerd ich doch eher die Bedenkzeit herabsetzen,
da du ja nicht mit Strangmeller,TCEC,CCCC,... konkurrieren kannst.
Und ich denke ja, man sollte immer auch noch weitere niedrigere Bedenkzeiten testen.
Und auch ein paar Partien mit normalen Buechern, nur zum Vergleich

Einen ordentlichen Mischmasch aus cutechess-cli batch-datei

Ich find das genau richtig, weil Tests mit ~100kn/Zug Mangelware sind. Toll fände ich wenn Du ein aktuelles T60 Netz testest, denn es gibt eine gewisse Unsicherheit darüber, ob T60 im Plan ist.
Es macht gar nix, wenn das Netz zum Zeitpunkt des Ergebnisses eine Woche alt ist.

Ja, bei den großen Netzen. Das 384x30-t40-1705 hat im longtime gegen (einen neueren!) Stockfish 49% geholt. Der direkte Vorgänger 384x30-t40-1573 gegen einen älteren Stockfish knapp 42%.
Bei der (noch) Standardnetzgröße 20x256 macht lange Bedenkzeit wahrscheinlich wenig aus, aber je größer die Netze werden, desto stärker der Zuwachs mit mehr Rechenpower. Was auch logisch ist, weil die Knotenzahlen bei gleicher Rechenzeit- und Leistung mit größeren Netzen immer weiter runtergehen. Und das ist ja auch ein universelles Gesetz des Computerschachs, daß mehr Rechenpower umso weniger bringt, je höher das Ausgangsniveau schon war. Deswegen konnte Mephisto 2 damals, als das Brikett mit doppelter MHZ-Zahl gebaut wurde, in der SSDF fast 200 Elo zulegen, während Stockfish auf einem modernen PC bei Bedenkzeit (oder Rechenzeit) Verdoppelung vielleicht noch 20-30 Elo zulegt. Insofern ist es klar, daß ein sowieso ca. 900 mal langsameres Programm (LC0) als Stockfish weit stärker von mehr Bedenkzeit profitiert, als Stockfish selbst. Und es ist klar, daß größere Netze (da langsamer in der Abarbeitung) zusätzlich noch mehr von mehr Rechenpower oder Bedenkzeit profitieren, als kleinere Netze.

http://www.fastgm.de/time-control4.html

Kurz gesagt: Mehr Bedenkzeit oder Rechenpower ist gut für Lc0, noch besser für größere Netze und schlecht für Stockfish. Der Knackpunkt ist dabei weniger die Relation zu Stockfish, die ja sowieso hochproblematisch ist (Stichwort Leela-Ratio und die unseligen und unsinnigen Debatten darüber), sondern vielmehr eben die Elo-Leistungsverschiebungen, die die großen Netze gegenüber den kleinen Netzen erfahren, wenn man mehr oder eben weniger Bedenkzeit gibt.
Daher gilt eben für Lc0 nicht mehr das, was für AB-Engines Ranglisten gilt, nämlich, daß die Reihenfoge in diesen Listen gleich bleibt, egal, wieviel Bedenkzeit man gibt - nur die Abstände zwischen den Engines werden immer geringer, je länger die Bedenkzeit ist. Und das ist natürlich ein großes Problem. Zusätzlich kommt erschwerend hinzu, daß man mit Lc0 nicht mehrere Partien simultan spielen kann, sodaß eine Rangliste mit Lc0 und diversen Netzen überhaupt nur mit kurzen Bedenkzeiten möglich ist, wenn man sich keinen Rechner-Park zuhause hinstellen will. Daher sind meine longtime-Testruns auch nur gegen Stockfish machbar. Und somit auch keine Rangliste, sondern nur ein Performance-Vergleich. Aber mehr geht einfach nicht. Ansonsten geht nur Bullet-Bedenkeit, wie ich es früher gemacht habe, und es jetzt Andreas macht.