Ingo B. schrieb:
Die Größe des Stellungstest spielt dabei keine Rolle. Man passt zu Anfang das Ergebniss des Stellungstest immer den Gegebenheiten an (Ranglistenorientiert) und mit fortschreitender Enginespielstärke läuft er irgendwann aus dem Ruder.
Da hast du irgend was falsch verstanden: Die Grösse eines Stellungstests spielt eine
grosse Rolle - mehr allerdings noch die
Qualität seiner Aufgaben. Und beides verhindert,
dass der Test eben nicht "aus dem Ruder" läuft, sondern recht präzise Prognosen bezüglich Engine-Stärke erlaubt.
Will sagen: Wenn 20 Engines ein Test-Set von mind. 300 eindeutigen, mittelschwierigen und thematisch weitgestreuten Stellungen mit je 30 Sekunden abarbeiten,
bilden ihre Lösungs-Bilanzen ziemlich genau jene Ranglisten ab, wie sie nach 1000 Partien/Engine so +/- auch bei CEGT & Co. entstehen. Nur einfach um ein Vielfaches
schneller -
da hat Michael Scheidl oben sehr gut den Point getroffen.
Denn Engine-Spielstärke in Schachpartien ist grundsätzlich nix anderes als die Fähigkeit, die stärksten Züge zu finden - je mehr, desto besser.
Und nichts anderes misst ein gut konzipierter Stellungstest.
Daran rütteln auch die angeblich so gewaltigen MP-"Zufälligkeiten" der modernen Programme bei der Züge-Auswahl nix.
Wie das Design eines solchen Stellungstests aussähen könnte, habe ich übrigens vor knapp acht Jahren hier mal zu skizzieren versucht:
http://glarean-magazin.ch/2008/05/14/neues-test-verfahren-fuer-schach-programme-b-e-t/In Details würde ich heute da und dort aktualisieren, aber der Kern des Artikels trifft nach wie vor zu.
Also, nach deinem Post hätte ich nicht übel Lust, diesen B-E-T ("Barometer-Engine-Test") wieder aus der Mottenkiste hervorzukramen, seinen Schwierigkeitsgrad
durch Auswechseln eines Teils seiner Stellungen den heutigen Gegebenheiten anzupassen bzw. anzuheben - und hier jeweils ein paar Stunden nach
Erscheinen irgend einer neuen Engine deren Platz in der Hierarchie der Programme mit einer Präzision von +/- 5 % zu benennen -
also ca. zwei Wochen
bevor CEGT & Co. ihre abertausend ungesehenen Partien durchgenudelt haben
Ingo B. schrieb:
Ich habe damals mit Lars Bremer ausgiebig auch im privaten Mail-Verkehr über die Thematik (und dieses sein Fazit) diskutiert. Es ging ja um die Frage, ob es gelingen könnte,
einen Stellungstest quasi auf eine statistisch einwandfreie "Basis" zu stellen, bzw. die Auswahl seiner Stellungen so zu gestalten, dass die Lösungs-Ergebnisse der Engines
ein exaktes Spiegelbild der allgemein anerkannten Rankings spiegeln, um anschliessend Engine-Neuerscheinungen zuverlässig einordnen zu können.
Und um dies praktikabel zu machen, schrieb Lars extra ein entspr. kleines Selektions-Progrämmchen. Seinerzeit habe ich dieses Verfahren (aus beruflichen Gründen)
nicht mehr weiter verfolgen bzw. verfeinern können - seinen Ansatz finde ich aber heute noch sehr vielversprechend.
Ingo B. schrieb:
Nach diesem Artikel verschwanden die ganzen damaligen Stellungstester von der Bildfläche.
Nö - hättest du wohl gerne
Zumindest einen gibt es noch, der da sagt: Stellungstests sind die
schachliche Antwort auf CEGT & Co. ...
Womit ich rein nix gegen die statistisch orientierten Tester der Community sage. Im Gegenteil: ich schaue immer wieder direkt in die CEGT-/CCRL-Partien rein,
geniesse dort teils schlicht phantastische Computer-Schachzüge, nutze das Partienmaterial für eigene Experimente - und bedanke mich bei dieser Gelegenheit
einfach auch hier mal explizit für die nun bald zehnjährige (!) Unermüdlichkeit, mit der die beteiligten Tester alle ihre Ergebnisse permanent und unentgeltlich
für die Community aufbereiten. Ein wirklich unverzichtbarer Dienst an unserem Hobby, den wir hier alle mehr oder weniger als selbstverständlich entgegennehmen...
Ingo B. schrieb:
Die Computerschachgemeinschaft vergisst...
Das ist natürlich Unsinn, Ingo: gerade ein Internet-Forum vergisst nie...
Und wenn doch: höchste Zeit, dass Stellungstester W.E. hier mal wieder Präsenz markiert
Im Ernst: Es wäre doof, die eine Computerschach-Disziplin gegen die andere auspielen zu wollen,
das wäre Schach-Ignoranz pur (und ausserdem grund- und sinnlose Hobby-Desavouierung...)
Compi-Schach-
Stellungstests und Compi-Schach-
Turniere sind zwei Seiten
einer Medaille.
Gruss: Walter
.