Danke, Herr Hartwig,
[quote="Benno Hartwig"]
... Sie bieten aber einen Schätzwert zur Spielstärke bei anderen Zeiten,
der sich ggf. nur mit sehr viel Aufwand durch einen verlässlicheren
Schätzwert ersetzen lässt.
[/quote]
Ihre Bemerkung bringt das Dilemma von Testern gut auf den Punkt:
Man will wissen, wie A und B bei langen Zeiten gegeneinander abschneiden.
* Wenn man bei kürzeren Zeiten mit viel Partien testet,
hat man einen kleinen Streufehler, aber auch einen systematischen Fehler unbekannter Grösse.
* Wenn man bei den langen Zeiten mit wenigen Partien test,
hat man einen grösseren Streufehler, aber null systematischen Fehler.
Es ist überhaupt nicht klar, welche der beiden Optionen - oder gar welche Mischoption -
die beste ist.
Ich gebe ein real gerechnetes Beispiel für ein asymmetrisches 2-Personen-Spiel X.
Man möchte wissen, welche Ergebnisbilanz sich bei Rechenzeit T für beide "Agenten" ergibt.
Testserie 1: 10.000 Partien bei Rechenzeit T/10
Ergebnis: 5871-4129
Testserie 2: 1.000 Partien bei Rechenzeit T
Ergebnis: 592 - 408
Welchem der beiden Ergebnisse soll man wieviel Bedeutung beimessen, und warum?
Ingo Althöfer.
PS. Ich habe auch 10.000 Partien bei Rechenzeit T rechnen lassen.
Das Ergebnis will ich aber erst später verraten.
Hallo Herr Pohl,
[quote="Stefan Pohl"]
[quote="Ingo Althöfer"]
Ihre Bemerkung bringt das Dilemma von Testern gut auf den Punkt:
Man will wissen, wie A und B bei langen Zeiten gegeneinander abschneiden.
Will man das als Tester wirklich wissen? Also ich bin ein Tester
und will das nicht wissen. Warum auch?
Leute testen aus verschiedenen Gründen. Ich hatte hier in
erster Linie die Entwickler von Programmen im Auge: die wollen
ihre neuen Versionen so tunen, dass sie bei den nächsten Titel-
kämpfen möglichst gut abschneiden.
Wenn diese Titelkämpfe mit einer Bedenkzeit T ausgetragen werden,
steht man vor dem Dilemma, ob man bei T relativ wenige Testpartien
generiert oder bei T/10 (oder T/148) viel mehr.
Zitat:
Ist es nicht eher so, daß die Turnierbedenkzeit im Computerschach
heutzutage ein reiner Anachronismus ist?
Es geht nicht nur um Computerschach, sondern um Schach allgemein.
Und Ihre Aussage werden Sie kaum Anand, Kramnik und Aronian klar machen können...
Zitat:
Niemand spielt doch wirklich mit Turnierbedenkzeit oder auch nur
annähernder Turnierbedenkzeit ...
In Tilburg bei der ICGA-WM waren vier Stunden pro Runde angesetzt.
Das ist eine eher lange Bedenkzeit. Und es gibt Stimmen im Lager
der Programmierer, die gerne noch längere Partien hätten.
Zitat:
... bei Analysen von menschlichen Partien läßt man Engines mitlaufen,
während man sich durch die Notation klickt.
Da ist dann schon die Frage, wieviel Zeit sich ein GM beim
"Durchklicken" nimmt: im Schnitt 1 Sekunde pro Zug
oder 0,1 Sek oder doch eher 10 Sek?
Ich weiss die Antwort auch nicht, sehe nur das Problem,
dass eine Engine, die für 1 Sek pro Zug optimiert ist,
bei 10 Sek pro Zug nicht mehr optimal tickt.
Zitat:
... darüberhinaus ist bei der fortlaufenden Hardwareentwicklung das
Bullet von heute das Blitzen von gestern und die Turnierbedenkzeit
von vorgestern...
Das ändert aber nichts an dem prinzipiellen (T vs T/10)
oder (T vs T/148)-Problem.
Zitat:
Und sollte es wirklich eine Engine geben, die mit Turnierbedenkzeit
wirklich signifikant besser spielt als im Blitz (...) dann ist sie eben nicht gut
und praxisfern programmiert (s.o.).
Mit dem Satz hängen Sie sich aber weit aus dem Fenster.
Ingo Althöfer.