Es ist nicht gesagt, daß Stockfish wirklich abbaut. Wenn man die 2-3 Elo von Stockfish 140222 abzieht, die durch die 1000 Partien gegen Houdini 4 Contempt=2 dazukamen (und den anderen Stockfishen fehlen), dann liegen alle Ergebnisse weit innerhalb der Errorbars.
Nur vorwärts geht es seit dem 22.2. mit Sicherheit nicht.
Und denkbar sind leichte Rückschritte durch die simplification Patches durchaus. Aber ein Nachweis sind die LS-Tests dafür nicht, denn die Ergebnisse nach nur jeweils 10000 Partien sind nicht genau genug.

Stefan

Naja, also klar schlechter ist das Ergebnis im Framework eigentlich nicht. 49.2%, wenn ich richtig rechne. Also -5 oder -6 Elo.  und das bei 5641 Partien, was eine Errorbar von +/-7 bedeutet. Ergo liegt das Ergebnis noch innerhalb der zu erwartenden Schwankungsbreite und ist somit gar nicht sicher schlechter. Und deine Ergebnisse ergeben 50.3% aus 25784 Partien. Das wäre eine Errorbar von knapp +/-4 Elo. Also hat man eine Gesamtvergleichserrorbar der beiden Ergebnisse von knapp +/-11 Elo und die Ergebnisse liegen 1.1% auseinander, also knapp 8 Elo.
Also ist statistisch gesehen eigentlich alles im grünen Bereich (der Errorbars)...
Das ist eben die Crux bei solchen Messungen: Wenn es um so geringe Schwankungen (im Ein-Prozent-Bereich) geht, müßten eigentlich noch sehr viel mehr Partien absolviert werden, als ein paar Tausend oder 25000. Hier wären Größenordnungen von jeweils ca. 100000 Partien anzuraten. Ob das mit den heutigen technischen Mitteln in einem halbwegs vernünftigen Zeitrahmen realisierbar ist, ist eine andere Frage. Aber dann hätte man bei zwei zu vergleichenden Engineversionen eine Errorbar von jeweils nur noch knapp +/-2 Elo und somit eine Vergleichserrorbar von nur noch knapp +/-4 Elo. Das wäre dann so etwa ein gutes halbes Prozent, was man statistisch noch gesichert auseinanderhalten könnte.
Und wenn man nur Stockfish alt gegen Stockfish neu im Direktvergleich gegeneinander spielen lassen will, wie im Framework, dann sollten es eben 200000-250000 Partien sein, wenn man so geringe Zuwächse (oder leichte Regressionen) messen wollte.
Wahrscheinlich ist das Problem des Frameworks genau das: viel zu wenige Partien, um so minimale Änderungen, wie sie einzelne Patches bedeuten, statistisch gesichert messen zu können. Das führt dann dazu, daß Zufallsschwankungen die eigentlichen Veränderungen, die man ausmessen will, überlagern (können). Und dann meint man, merkwürdige Effekte im Framework zu sehen, obwohl es nur zufällige statistische Schwankungen im Errorbarbereich sind. Wir könnten dieses Phänomen passenderweise den Frank-Quisinski-Effekt nennen...

Gruß  - Stefan

Eigentlich zählt ja nur das H3 überholt wurde und somit ist Stockfish die Nr. 1.
H4 besteht ja zum Teil aus dem Stockfish Code und ist somit vor Stockfish, wenn wir von Fair Play reden, dann müsste man dem Stockfish Team auch die Möglichkeit geben sich den Houdini Code anzusehen und somit wäre Stockfish wieder vor H4.

Wir arbeiten dran ... 

Habe mich aufgrund der diversen neuen Patches, die recht vielversprechend aussehen, entschlossen den Testrun neu zu starten mit der letzten Version von heute (140405). Das Ergebnis gibts daher erst kommenden Samstag.

Stefan