Krank ist höchstens, in allen engines nur den "sportlichen" Wert zu sehen, andere engines damit schlagen zu können, ohne Ansicht desssen, worauf das beruht.
Das liegt aber nicht an den Testern und den Methoden sondern daran, dass das die Nachfrage der user ist, Elo und irgendwas, was man einander außer Gigahertz noch um die Ohren hauen kann.
Dass das Schach, das Menschen untereinander spielen, immer mehr etwas anderes wird, als das, was engines gegen engines spielen, liegt weder an den menschlichen Schachspielern, noch an den Programmierern, noch an den Testmethoden, die die Nachfrage der user befriedigen, das liegt einfach nur an der Nachfrage der user.
Du kannst natürlich auch einfach der Meinung sein, Ranglisten, wie wir sie lange wichtig fanden, sind überholt und es gibt keine Allgemeingültigkeit mehr an Vergleichsmaßstäben zwischen den Programmen, dann hör aber auf, von der einen und einzigen besten engine zu schwärmen zur Analyse und zu sonstwas. Diejenige, die du meinst, ist einfach die beste im Hinblick auf ein paar einzelne Elo unter ganz bestimmten, genau definierten Bedingungen und sonst hat sie genau dieselben Schwächen und Stärken wie alle anderen auch praktisch gleich guten, quantifizierbar halt in den Belangen, die für Elo aus eng-eng zählen, gerade noch nachweisbar besser.
Du huldigst damit genau dem Ranglistenkult, gegen den du wetterst.
Jetzt mit der Unabhängigkeit zu kommen, die noch nie so leicht so groß sein konnte, seit der kommerzielle Wert der Programme noch nie so klein war, ist Unsinn.
Das Dilemma, das wir alle nicht mehr wissen, was sich an Investitionen noch lohnt, weil die hardware noch nie so billig war im Vergleich zur Leistung und die Klone der besten Programme gratis und so gut sind wie ihre Originale, wird nicht dadurch gelöst, dass man es wieder jedem selber überlässt, was er gut findet, das konnte man immer schon.
Es mag ja sein, dass sich bald keine Leute mehr finden werden, die aus Spaß an der Sache noch und noch Zeit und Geld darein investieren, irgendwie objektivierbare Vergleiche anzustellen und zu veröffentlichen, das muss man aber nicht noch dadurch beschleunigen, dass man die, die das schon lange und gut machen, diskreditiert.
Natürlich glaube ich immer noch, dass die Eröffnungstheorie der Sinn und das Maß der engine- Entwicklung sein muss. Bessere Testmethoden dahingehend, aus den matches mehr Selektivität und vielleicht auch noch Eröffnugsstatistik außer Elo zu gewinnen, betrachte ich für mich persönlich aber vorläufig einfach für gescheitert.
Es läßt sich nicht unter einen Hut bringen, Schach, das Menschen gefällt und das Menschen verstehen, mit der statistischen Bewertung von Schachprogrammweiterentwicklungen zu verquicken, hab ich eine Zeit lang noch für möglich gehalten, ich glaube mittlerweile aber, man kann es vergessen.
Du kannst für deine persönlichen schachlichen Bedürfnisse deine eignene Teststellungen haben, Stellungstests wie der von Swami was positionielle Kriterien angeht, auch irgendwie objektivieren, der Schachtheorie als solcher wirst du nicht gerecht.
Es bleibt dem Einzelnen überlassen, was er an einer engine gut findet, Profischachspieler werden sich vielleicht irgendwann einen Nebenverdienst daraus machen können, bestimmte Bücher für bestimmte engines zu schreiben und Programme in Hinblick auf ihrer Verwendbarkeit für bestimmte Eröffnungssysteme zu bewerten.
So lange sich aber daneben und davon völlig unabhängig Leute ein Hobby daraus machen, die immer schwieriger werdenden Vergleiche zwischen engines im reinen Spiel gegeneinander aussagekräftig zu veröffentlichen, sollte man sie darin unterstützen und ihnen das nicht auch noch vermiesen, in dem man ihnen andere Motive unterstellt, als das allgemeine Interesse der breiten user- Menge.
Mein Vorschlag von Doppelblindstudien, um jede Möglichkeit der Beeinflussung dessen, was hinten herauskommt, zu unterbinden, war genauso unausgegoren wie die Idee, einfach einen bunteren Teststellungsmix zu nehmen, damit würde man der Willkür erst recht Tür und Tor öffnen.
Das wirkliche Problem ist ja, dass bisher genau das Alle am meisten interessiert hat, wer gewinnt, wenn man alle engines, die irgendwie vergleichbar stark sind, gegeneinander spielen lässt, unter Bedingungen, die für alle gleiche Chancen bieten und reproduzierbar sind, also für den einzelnen user zu Hause auch nachvollziehbar.
Dass das immer aufwendiger wird, je mehr engines fast gleich gut und sogar überhaupt fast gleich spielen, wem wollen wir das vorwerfen?
Dass das für den einzelnen user trotz immer größerer Arbeit immer weniger Entscheidungshilfe ist, ist dasselbe Problem.
Für mich bleibt nur übrig, weiterhin dankeschön zu sagen, für die Arbeit, die sich andere für mich machen.
Und weiter das, was ich daneben anders werte, subjektiv wichtiger finde und womit ich gegen andere (Computer)-Schachspieler gewinnen will, als meine eigene Privatsache und letzendlich ja sogar auch als mein perönliches schachliches Geheimnis zu betrachten.
Jetzt bin ich dann aber eh wieder eine Weile still, versprochen.