Hallo Ingo,

sei doch nicht so ungeduldig

Das folgt natürlich noch, ebenso rein S5 oder der bald erscheinende S6.

Aber meines Erachtens gehört der Selbsttest bei einer Testreihe unbedingt dazu.

Viele Grüße,
Andreas

Ich habe zur Zeit der LS-Ranglistemal eine damals aktuelle Stockfishversion einen LS-Testrun mit 5er Syzygy (geparkt auf einem USB-Stock) und einmal ohne machen lassen. Da kam +11 Elo (mit den TBs) raus, wenn ich mich recht entsinne.
In Selftests kommt m.E. nicht unbedingt ein zu hohes Egebnis raus, verglichen mit Ranglistentests. Das liegt, denke ich, eher daran, daß die Selftests meist mit viel kürzeren Bedenkzeiten stattgefunden haben, als die Ranglistenpartien. Und kurze Bedenkzeiten strecken eine Rangliste auseinander bzw. ein positives Ergebnis immer etwas nach oben.
Daher wird man im Framework immer höhere Elozugewinne in den Regressiontests haben, als z.B. in der IPON. Aber das liegt daran, daß die Bedenkzeit in der IPON eben viel länger ist (Framework testet ja nur mit 60"+50ms, ohne Pondern). So etwa Faktor 10 würde ich daher mal über den Daumen peilen. Das macht viel aus und drückt generell alle Resultate näher an die 50%-Marke und damit Zugewinn-Messungen bzw. starke Engines gegen schwächere Gegner im Ergebnis zwangsläufig nach unten.

Was sehr schön wäre, wenn du mal einen Selftest mit 2 Stockfishen unter IPON-Bedingungen machen würdest, die bei dir beide in der IPON gelistet sind. Ob da nach 3000-4000 Partien wirklich nennenswert mehr Elodifferenz als in der IPON-Liste rauskäme?!? Bezweifle ich. Aber vielleicht irre ich mich auch. Wäre auf jeden Fall sehr interessant.

Stefan