Das ist das einzige bei einer Statistik, was dir der Statistiker nicht sagen kann, Joe: welche Frage du beantworten willst, und nur davon hängt das Design der Statistik ab, über die für deine jeweilige Fragestellung notwendige Datenmenge, damit du entsprechende Signifikanz erreichst, darüber kann er dir hingegen dann Auskunft geben, was du wissen willst, musst du schon selbst wissen.

Es ist wieder einmal der alte Streit um Kaisers Bart, den einen interessiert das, den anderen das.
Ob du wissen willst, wie die besten engines ausschließlich gegeneinander abschneiden, ohne dass sie ihre Elo auch von inferioren Gegnern beziehen dürfen können müssen sollen wollen oder nicht, oder ob du wissen willst, wie sie abschneiden, wenn du eine Elobreite von 100, 200, 300, 400 oder 500 (könnte mich ja auch interessieren, wer sagt denn, dass das irrelevanter ist als ausgerechnet 350? ) im Teilnehmerfeld hast, ist reine Interessensfrage.
Und dann musst du aber noch, wenn du dich nicht einfach auf die Spitzen allein beschränkst, vollkommen willkürlich diejenigen aussuchen, die dir in genau deinen Kram passen, warum das "allgemein gültiger" sein sollte, weiß wieder keine redensartliche Sau außer der einen oder anderen, die sich das aus den Fingern saugt (sofern Säue Finger haben um daran zu saugen) und uns anderen armen Säuen aufs Aug drückt, weil sie's als cmest (commonly meant engine strength test) verkauft.

Hallo Joe

Du schreibst:

Ansonsten finde ich Stefan Pohls Test bislang immer zuverlässig und aussagekräftig.

Als Computerschächer hauptrichtung Maschinenschach würde ich aus Erfahrung sagen,Stefan liegt  mit seiner Meinung in Bezug zu ELOs schon richtig.

Gruß Ludwig

Obiges lesend muß ich leider schreiben das du es nicht begriffen hast, und ich fürchte auch nicht verstehen willst!

1. Es geht nicht um "Realismus" sondern darum, dass es egal ist wenn gegen schwache Engines gespielt wird und somit keine Realitätsverzerrung stattfindet. Das SF vielleicht irgendwann zu früh Remis macht (*1) ist statistisch nicht beweisbar und irrelevant, weil nirgendwo zu sehen. Dein Eindruck ist falsch und ich habe dich aufgefordert mir das Gegenteil anhand einer Engine/Liste zu zeigen.
2. Unstrittig ist hingegen, das dein Ansatz mit vielen ähnlichen Engines schon zu einer Verzerrung führen (dein Stichwort: Angstgegener mehrfach ...) kann. Wenn du sagst du möchtest aber ein möglichst starkes Feld, nimm halt mehrmls die selbe Engine mit leichten Änderungen und dein Ergebniss ist noch besser! Das willst du aber auch nicht aus offensichtlichen Gründen. Also nimmst du ein zweifelhaftes Feld weil "besser" als immer die selbe Engine und erkennst damit an das VERSCHIEDENE Engines besser wären gehst aber nicht den konsequenten Schritt und nimmst wirklich verschiedene Engines. (Was, bei genug Engines, die Littos nicht ausschließt!).

Nebenbeigesagt, und ich kann das nicht beweisen, bin ich 100% sicher, dass deutlich mehr Personen meine (und der CEGT und aller anderen seriösen Listen) "unteren" Engines wie Hiarcs oder Senpai benutzen als irgendeinen der vielen "Mars" (ausser in obskuren russischen Foren und ein paar seltsamen Listchen kennt und interessiert sich kein Mensch für dieses Massenlittozeug). Insofern solltest, sofern du es weiter benutzen willst, du dir das "Realismus"-Argument noch mal durch den Kopf gehen lassen. Ich fürchte aber, du hängst da in Opposition und vermeintlichem Realitätsbezug fest. Unverständlich bleibt mir, warum du dich ohne Not da selber so einschränkst und fürchte du hängst in einer Schleife von immer wieder geäußerten falschen Argumenten (statistische Relevanz von *1, historischer Bezug zu den Littos ...) die du so häufig verteidigt hast fest, dass du nicht mehr zurück kannst (oder ich bin das , allerdings ist obiges ja mein Befürchtung, und diese ist wahr)!

Ich gebe dir insofern Recht, als dass auch ich natürlich lieber 20 verschiede Top Engines im oberen 50 Elo Range hätte. Nicht weil ich dann ein besseres Ergebniss hätte (ist statistisch egal, siehe oben) sondern weil es spannender wäre. Da das nicht so ist habe ich Pech gehabt lebe aber glücklich mit dem was da ist.

Ingo

+1

> Aber wie gesagt, was im Computerschach Realismus ist (wenn es den bei einer so abseitigen Tätigkeit überhaupt gibt...), muß jeder für sich selber entscheiden.

"Realismus" ? Ich hätte es profan "Interesse"  genannt: Was einen interessiert, darf man selbst entscheiden.
Mich interessieren vor allem die Relationen zwischen den sehr starken Engines, besonders in der absoluten Spitze.
Andere mögen ein Interesse daran haben, welche Top-Engine gegen die sehr viel schwächeren am sichersten punktet. OK. Wir sind doch ein recht freies Land. Jedem sein Interesse.

Benno

Laß Dich doch nicht aus dem Gleichgewicht bringen, Stefan.

Hier im Forum ist es ja gute Übung die Arbeit von anderen zu kritisieren oder schlicht abzuwerten. Ganz besonders von jenen, die selber nichts produktives beitragen. Die machen dann eben anderweitig auf sich aufmerksam.

Ich freue mich über Deine zuverlässigen Tests! Und dass Stocki sehr remisfreudig ist kann ich absolut bestätigen. Das passiert so oft, dass es ein Ärgerniß bei dieser ansonsten fantastischen Engine ist. Die Entwickler sollte man was erfinden, womit man das dezidiert einstellen kann.

Nun, es kommt vor im ..... SCHACH und es ist von Interesse !!!
Man muss lediglich einen Blick auf die internationalen Open (gerade aktuell) und/oder
auf die einzelnen Ligen diverser Länder, z.B. die Deutsche Bundesliga im Schach werfen !