[quote="Benno Hartwig"]
Wenn ich eine Engine z.B. bei 10min/Partie recht oft gegen z.B. Houdini 2.0 spielen lasse, erhalte ich einen Schätzwert für die ELO-Differenz zwischen der Engine und Houdini.

Ist nichts als normal

Es würde ja schneller gehen, und ggf. wäre der Schätzwert sogar noch zuverlässiger, wenn die GUI Folgendes leisten würde:
je nach bisherigem Ergebnis reduziert sie in der nächsten Partie die Zeit für Houdini so, dass ungefähr gleiche Spielstärken entstehen können.

Was für ein witziger Vorhaben. Wenn Houdini dadurch stärkemässig so gedrosselt wird, dass die schwächer Engine ebenbürtig ist, kann es ja keine Elo-Differenz mehr geben.

Ich denke, bei großen Spielstärkeunterschieden wäre das sinnvoll. Wenn das zu erwartende Ergebnis ansonsten sowas wie 3:97 wäre, dann hat die Zufälligkeit für die einzelne Partie halt so einen besonders großen Einfluss auf die ELO-Zahl. Da erscheinen mir vermehrt Begegnungen mit ungefähr gleichen Chancen aussagefähiger.

Diese Denkweise kann ich nicht nachvollziehen. Wenn mit dieser Methode schliesslich alle immer auf dem selben Level spielen, dann kann man sich die Partien ebenso gut sparen, bzw. auf das Spielen lassen überhaupt verzichten.

Allerdings braucht es dann eine gute Abschätzung, wie die Spielstärke von der Zeit abhängt. "Verdopplung bringt durchschnittlich 65 ELO!" oder sowas, gern auch was komplizierteres.

Benno
[/quote]

Den Wunsch hatte ich auch mal, das eine GUI die Zeiteinteilung so regelt, das sich die Engines ebenbürtig sind.
Aber aus anderem Grund: es wäre nämlich interessant zu wissen welche Zeiteinsparung eine stärkere Engine gegenüber eine schwäche Engine bringt und ob sich die Vermutung Zeitverdoppelung=ca. +60 Elo allgemein bestätigen würde.

Gruß
Patrick

Tatsächlich mache ich das anstelle des GUIs ständig so, Benno.
Ich gebe z.B. Stockfish schon ruhig mal das dreifache an Zeit wie Houdini, einfach um interessantere Varianten dadurch zu bekommen.
Das mit dem Umrechnungsfaktor sehe ich ebenso problematisch wie die Elo- Berechnung selbst, das hängt so sehr von der Stellung ab, dass du mit einem fixen Faktor meiner Meinung nach keine Chance hast.
Das trifft natürlich auch für jedes manuell wählbare Verhältnis zu, mir geht's ja allerdings eben nicht um die Ergebnisse, sondern um die Züge, die sind variabler als mit einer engine allein und auch variabler als mit zwei ebenbürtigen, insbesondere, wenn sie ähnlich ticken, wenn die Zeiten der einen und der anderen differenter sind.
Ich lasse das dann oft gar nicht bis zum Ende ausspielen oder schaue jedenfalls nur die ersten paar Züge von der Startstellung aus an, der Rest ist in der Regel klarer Weise sowieso uninteressant.
Von manchen Stellungen aus lasse ich (das geht dann halt nicht mehr im Fritz, im Shredder schon für einzelne Partien) die eine engine, z.B. auch eine mit abgedrehtem Nullzug oder überaggressiven Parametern mit einem Zeitvorteil von 5 Minuten pro Zug gegen Houdini mit 10 Sek. spielen, das meistens dazu, typische engine- Fehler bei kurzen Bedenkzeiten aufzudecken, besser gesagt, aufdecken zu lassen, der langsameren engine Gelegenheit zu geben, "Strategien" dagegen zu entwickeln. Oft sagt es ja mehr in einer Stellung, was für Fehler wie zu bestrafen sind, als welches der einzige absolut beste Zug ist. Eine Art einseitiges Monte Carlo sozusagen oder auch eine eigene Dreihirn- Spielart, wenn man so will. Die länger rechnende engine bekommt mehr Gelegenheit, gute Züge in den hash zu sammeln und die schnellere darf das dann im backward solving nachbeurteilen, das dritte Hirn ist also sozusagen der gemeinsame hash.
Wechselt man auf diese Art die Seiten ab, können Lerndateien auch durchaus mehr helfen, scheint mir.

Ein großes Körnchen einer guten Idee ist darin enthalten.

Leider kann keine GUI die Zeiteinteilung so exakt justieren dass die Engines alle gleich stark spielen. Aber die exakte Justage ist auch überhaupt icht erforderlich, ebenfalls ist es überhaupt nicht erforderlich
den "Elowert" für die Verdopplung der Bedenkzeit zu ermitteln (Dieser ist sowieso Engine- und Zeitabhängig und ist keine universale Konstante)

Wir können uns folgendes Szenarium vorstellen:

Es gibt einige Engines (A-Engines) zb Houdini, Critter, Kommodi, Stockfish, Rybka und wenige mehr,  deren exaktes Rating von Interesse ist. Diese Top Engines spielen mit 1-facher Bedenkzeit.

Dann gibt es noch eine Reihe von Engines (B-Engines) die deutlich schwächer spielen: Junior, Shredder, Crafty, Fritz, Fruit, usw...  Diese Engines bekommen dann die 1.5 fache, 2, 3, ... oder n fache Bedenkzeit und dienen lediglich dafür um die Spielstärke der A-Engines möglichst genau zu ermitteln. Die Spielstärke der B-Engines werden dabei nur inklusive dem Multiplikator berechnet. Die "netto" Spielstärke - also Multkiplikatorbereinigt-  bleibt nur grob Schätzbar.

Der Vorteil:  Insgesamt ist die Streuung der Spieltsärke dann nicht so groß und die Elo-Zahl der A-Engines konvergiert schneller. Eine Engine die bei 1-facher Bedenkzeit sagen wir nur 8% gegen Houdini erreichen würde, würde dann mit n-facher Bedenkzeit  vielleicht 35% erreichen. 

Wir brauchen die B-Engines um eine breite, unterschiedliche Gegnerschaft zu haben.

Problem ist nur Permanentbrain - das müsste abgeschaltet werden.