Der 1 Core Test von Thomas ist viel aussagekräftiger, da dort für alle Engines die Bedingungen gleich sind.
Das ist im Maschinenraum bei Schach.de überhaupt nicht der Fall. Die Gegner haben alle unterschiedliche Hardware, Threads, Einstellungen und Eröffnungsbücher.
Ein Test oder Spielergebnisse unter solch ungleichen Bedingungen ist/sind statistisch und empirisch wertlos.

>Das stimmt doch überhaupt nicht.

Doch.

>Das habe ich doch bewiesen.

Was hast Du wodurch bewiesen? Durch Partien auf Schach.de unter den SF-clones, die gerade der dernier-cris sind, lässt sich nur die Spielstärke einer Engine-Version mit einer konkreten Hardware und bestimmten Parametern (Threads, Hashtabellen etc.) erzielen, aber nicht beweisen. Schon gar nicht mit wechselnden Eröffnungsbibliotheken und wer-weiß-nicht-was. Wie viel Partien hast Du mit Sun gegen Sun gespielt? Kannst Du nicht wissen, weil der Enginename leicht zu ändern ist - und es sollen sich ja nicht nur Ehrenmänner im Spielbetrieb auf Schach.de aufhalten.
Du differenzierst nicht zwischen praktisch erreichbarer Spielstärke (dann Schach.de und gib' ihm Saures!) und Tests (penibel auf identische Spielbedingungen achten, am besten automatisierter Ablauf und verfälschende Einflüsse vermeidend, weil das Ergebnis sonst nichts wert oder zumindest anfechtbar ist), die statistisch möglichst präzise sein wollen. Sie müssen sogar wiederholbar sein, wenn die Nicht-Wiederholbarkeit nicht intrinsisch ist. Deswegen teste ich, wie Stefan Pohl, grundsätzlich nur mit 1 Thread.

>Der ganz geringe Vorsprung von Bullet-Partien von 17 Elo hat doch überhaupt nichts zu sagen.

Was habe ich zur Spielstärke gesagt? Bei der hohen Errorbar würde ich nur von einer Tendenz sprechen. Aber die hatte ich in der Tat erwartet. Mitnichten sind die Sun-Versionen stärker. Hat das wer behauptet?

>Meine über 800 Partien auf Schach.de Blitz mit Mehrkernprozessor und Sun 1.0 sind bestimmt viel aussagekräftiger als deine Bullet-Partien mit nur 1 Kern, weil viel praxisgerechter.

Aussagekräftiger? Tatsächlich? In welcher Hinsicht? Wie oben schon gesagt, treffen Tests wie meiner nur eine Aussage über die Spielstärke der teilnehmenden Engines untereinander (bei streng definierten Bedingungen). Dadurch lassen sich auf statistischem Weg auch valide Vergleiche mit anderen Engines ziehen. Selbstverständlich sind Tests wie diese aussagekräftiger als 800 Partien auf Schach.de, von denen Du ohne im Nachhinein nachzuzählen nicht wüsstest, gegen wie viele unterschiedliche Engines und Versionen, mit welch unterschiedlicher Hardware, mit was für Eröffnungsbibliotheken, Killervarianten, welchen Parametern, Lerndateien und Lernfunktion usw. Dieser "Test auf Schach.de" ist kein Test. Punkt. Das ist praktisches Spiel. Ein Wettbewerb, in dem sich die Bedingungen ständig ändern. Versteh mich nicht falsch: Das ist auch gut so und vordergründig der Sinn und Zweck von Schach-Engines. Vor allem dafür programmieren die Entwickler, glaube ich jedenfalls. Aber unter den Bedingungen von Schach.de ist es kein Vergleichstest. Dafür sind objektive und nachvollziehbare Ergebnisse, die unter kontrollierten Bedingungen erzielt wurden, nötig. Für Enthusiasten, die das anstreben, ist die Vergleichbarkeit und Reproduzierbarkeit der Testergebnisse bedeutender und die "Testbedingungen" von Schach.de schlicht inakzeptabel. Also warum oder in welcher Hinsicht sind Deine 800 Partien zur Spielstärke der Sun-Engines aussagekräftiger als meine 3000?

Viele Grüße
Th. Plaschke