Wie du schreibst, basiert das ganze nur auf Erfahrung, nur auf den Vergleich mit langen Bedenkzeiten. Ein ausschließliches Testen kurzer Bedenkzeiten wäre keine Option, weil man immer verifizieren muss, ob das Ergebnis auch auf Standardbedenkzeiten zutrifft. Wenn man aber ohnehin beide Bedenkzeiten testen muss, ist es doch schlichtweg Zeitverschwendung auch kurze Bedenkzeiten zu testen. 

Hallo Ingo,
es gibt ja nicht DIE Reihenfolge zwischen Engines, sondern sie ist immer auf eine konkrete Bedenkzeit bezogen. Typischerweise verändert sie sich ab einer bestimmten Bedenkzeit nicht mehr stark, wie wir durch Versuche ermittelt haben. Allerdings ist das nur eine praktische Beobachtung und keine theoretische Tatsache. Theoretisch ist es sehr wohl möglich, dass sich die Spielstärke bei unterschiedlichen Bedenkzeiten verändert (Houdini galt bspw. seinerzeit als Blitzmonster, Komodo als Langzeitspezialist...).
Du schaust vermutlich deine Kurzzeitranglisten an und vergleichst sie mit Langzeitranglisten und stellst fest: Die kurze Bedenkzeit genügt, um Ergebnisse zu erzielen, die der Langzeitrangliste ähneln. Allerdings benötigst du für diesen Vergleich immer eine Langzeitrangliste. Sobald alle nur noch Kurzzeit testen, kann niemand mehr nachprüfen, ob diese Ergebnisse immer noch auch für Langzeit zutreffen. Insofern benötigt man immer eine Langzeitrangliste. Wenn man diese aber ohnehin braucht, ist es doch überflüssig, Kurzzeit zu testen, oder? Wo ist mein logischer Fehler? 

Hallo Ingo,

bei der Remisquote gibt es denke ich keine Zweifel.
Das ist klar!
Denke das sind wir uns alle auch ziemlich einig!

Aber es ist wie es ist, die Engines haben nicht alle gleiche Stärken und Schwächen. Im Übergang zum Endspiel sind die Unterschiede zwischen den besten und schwächeren Engines deutlich deutlicher. Es gibt Engines mit taktischen Löchern und es gibt Engines die im Endspiel dann mehr glänzen. Was Shredder teilweise für taktische Löcher hat ist haarsträubend. Shredder kann von Platz 40 in den Listen regelrecht zershreddert werden und dass dann in aller Regelmäßigkeit. Ich mag selbst einfach mehr die Engines die bei vielen Figuren auf dem Feld packend und dramatisch spielen. Schaue ja während den Partien zu und das ist mir sehr viel lieber als diese Hin- und her Manöver wenn es in Richtung Endspiel geht, die eh kein Mensch wirklich noch versteht.

Es ist zwar richtig, dass bei der Berechnung in Elo entscheidend ist was hinten raus kommt aber richtiger ist zu wissen wie sich die Spielstärke die hinten raus kommt zusammensetzt. Nur so können wir Engines gezielter einsetzen und ich warte ja auch immer noch darauf, dass wir Engines mixen können. Sagen können, in der ersten Partiephase lasse ich mal Hakkapeliitta spielen in der zweiten Partiephase dann Komodo und in der dritten Partiephase von mir aus Stockfish. Wir könnten die Spielstärke durch interessante Kombinationen höher treiben ... wie Du so schön sagt, es ist interessant was hinten dabei raus kommt. Hinten würde deutlich mehr rauskommen. Nach meinem Wissen hat auch Stefan ein Interesse daran solche Funktionen mal umzusetzen. Wir hätten auch beim Testen viel spannendere Möglichkeiten und können wild mixen und kombinieren. Das ist für User auch interessanter als den Sourcenklau zu beobachten bei Engines die dann unter einem neuen Namen veröffentlicht werden und wir feststellen ... na ja, zumidnest der Name ist ja neu.

Das wir bei den Zeiten die wir einsetzen oft die Unterscheide nicht so deutlich erkennen, liegt eher daran das die Bedenkzeiten zu nah in den Listen zusammenliegen. Wenn ich z. B. Analysen mache und dann vier engines auf Quad gleichzeitig laufen ... die Unterschiede werden immer deutlicher bei einer längeren Analyse einer "besonderen" Stellung. Warum soll das im Spiel anders sein wenn denn plötzlich 2-3 spielentscheidende Züge mit mehr Zeit mehr gefunden werden ... wir können nicht pauschal sagen das jede Engines alles findet ... sie benötigt nur mehr Zeit dafür. Das wäre die logische Konsequenz aus der These von Dir, dem ist aber nicht so. So einfach ist das nicht, auch wenn wir es gerne ... ziehe mich dabei ein ... gerne einfacher hätten.

Schön das Du die Mühe erkennst, aber seit ich versuche mit gleichen Mitteln und vielen von den Stats mehr herauszufinden werde ich ja auch mit immer gleichen Stats immer wieder belohnt. Es lüften sich ein paar Rätsel mehr die unklar waren. Nur in wenigen Fällen bringen dann auch die Stats weniger weil hieraus einfach nichts wesentliches an neuen Erkenntnissen zu erkennen ist.

Aber Frühwarnsystem funktioniert.
Neue Engine wie Hakkapeliitta und meine Stats melden Alarm ... das Teil ist etwas besonders und fällt ziemlich krass ins Auge.
Erkennen wir die Stärken und Schwächen haben wir mehr Möglichkeiten diese zu nutzen.

Viele Grüße
Frank

Ach so ...
Werden die Partien länger, die Remisquote höher, werden die Programme die eh im Übergang zum Endspiel glänzen sich von vorhandener Konkurrenz weiter absetzen. Die Frage ist dann ab welcher Zeit es "messbarer" wird. Denke mit dem was wir haben können wir das nicht sagen.

Ach ja ...
Denke das sich so bei aktueller Hardware die Ergebnisse verstärkt annähern ... sehen wir ja bei IPON, CEGT und CCRL ... die Zeitunterschiede sind zu gering um die geringen Veränderungen gut zu erkennen. Da stimme ich ja zu. Bei den Analysen sehe ich oft das im Verhältnis zu meinen 40 Zügen in 10 Minuten ca. 3-4 plys hinzukommen müssen ... meine bis Engines bei Analysen der Partien dann "regelmäßiger" spielentscheidendere Züge ausfindig machen ... ist aber auch nur so mein Eindruck ... muss nicht richtig sein.

Gruß
Frank

Hallo Benno,

entscheidend ist eher der Spiesltil der Engines:

Das geht doch so wunderschön aus den vielen Stats hervor die ich seit einiger Zeit anfertige.

20 - ca. Zug Nummer 50:
TOP-21 liegen ca. 250 Elo auseinander.

60 - ca. Zug Nummer 100:
TOP-21 liegen ca. 450 Elo auseinander.

100 - ca. Zug Nummer 300:
TOP-21 liegen ca. 200 Elo auseinander.

Der Zügedurchschnitt einer Partie liegt bei ca. 88 Züge ohne Aufgabefaktor.

Bis hier ...
Das kannst Du alles in CEGT und CCRL nicht sehen weil ...
1. Die Stats fertigt dort niemand an.
2. Die spielen mit Aufgabefaktor.

Insofern können diese Listen bis hier auch gar nicht mitreden bzw. wenn wir solche Listen betrachten fehlen uns jegliche Ansatzpunkte weil wir keine bilden können und wir beginnen zu raten.

Weiter ...

Schauen wir jetzt mal auf Rykba ...
Rybka gewinnt kaum Partien schnell, holt den Vorteil im späten Mittespiel heraus, wie im Grunde alle reinen IPP Engines. Das z. B. Houdini durch den extremen Contemp dann z. B. im Mittelspiel aber immerhin ein paar Partien entscheiden kann führt schon dazu das sich Houdini von allen IPPs absetzt die kaum in der Phase Partien entscheiden. Im Grunde klar zu sehen ... Houdini ist IPP mit extremen Contemp und verbesserten Endspiel. Wir sehen das Rybka bis Zug Nummer 50 im unteren Mittelfeld liegt ...dort werden aber die wenigsten Partien entschieden. Im Endspiel ist Rybka normal stark, aber dort werden auch nicht geringfügig mehr Partien als im Mittelspiel. Und da Rybka im Übergang zum Mittelspiel (die Engines liegen bis zu 450 auseinander) aber die extreme Stärke hat ... die Engine ist unter den TOP-8.

Jetzt kommt der Zeitfaktor in die Betrachtung ...
Mit mehr Zeit werden ja nicht im Mittelspiel oder im Endspiel bessere Ergebnisse erzielt. Rybka wird nach wie vor überragen im Übergang zum Endspiel. Daher sehen wir bei Rybka z. b. keine große Veränderung mit mehr Zeit weil Rybka einfach 0815 heute ist, weil diese Stärke von Rybka haben auch die IPPs und in den Listen wimmelt es nur so von IPPs die alle die gleichen Stärken und Schwächen haben.

...

Nun kommt eine Engine daher die im Übergang zum Endspiel starke Probleme hat.
Gutes Beispiel z. B. Junior. Da hier die Partien entschieden werden fällt Junior deutlicher ab. Mit mehr Zeit allerdings findet Junior gerade in dieser Partiephase aber bessere Züge, weil die Engine Zeit benötigt. Und plötzlich haben wir bei Junior den Umstand das die Zeitkomponente entscheidend ist für eine höhere Spielstärke im Verhältnis zu den anderen.

Und so müssen wir jede Engine mit einen eigenen Stil betrachten.
Erst wenn wir das tun, die Stärken und Schwächen der Engines kennen, wissen was das für Auswirkungen auf eine Ratingliste hat werden wir jede Ratingliste richtig deuten können wenn ausreichend Gegner vorhanden sind die unterschiedliche Spielstile haben. Würde Junior nur gegen IPPs spielen wäre das krass ...

Spielen z. b. in einer Ratingliste nur die IPPs gegeneinander ist eine Elo einfacher zu messen, weil die Auswirkungen alle gleich sind. Dann spielen die Bedenkzeiten kaum ein Rolle weil alle mit gleichen Stärken und Schwächen daher kommen.

Das Thema Spielstil / Stärken und Schwächen ist neben Anzahl der Gegner für die Berechnung einer Elo die maßgeblichen Beeinflussungsfaktoren. Thema Remisquote oder viele Partien ... sind zweitrangig. In Diskussionen halten wir uns meist an zweitrangigen Thesen auf weil nur darüber diskutieren können was wir kennen und sehen und das sehen wir in den Ratinglisten. Die viel wichtigeren Dinge sehen wir in CEGT und CEGT nicht ... wir sehen nur eine Zahl die hinten raus kommt ... wir sehen nicht "Weg zum Ziel" ... wir sehen nur das Ziel.

Das Geheimnis ist immer ...
Der Weg zum Ziel und das trifft auch auf eine Schachpartie zu.
Knallharte Statistiker sehen das leider oft nicht und diskutieren mehr um den heißen Brei und rennen oft am Thema vorbei.

Also, CEGT und CCRL bestätigen begrenzt.
Liefern nur "was kommt hinten heraus" ... daraus lässt sich aber nichts im Detail ableiten und wenn wir nicht wissen beginnen wir zu pauschalisieren.

Es ist nicht korrekt zu sagen das durch mehr Zeit generell nichts ändert an den Reihenfolgen in den Listen oder der Leistung in Elo.
Mehr Zeit ist ein ganz entscheidender Beeinflussungsfaktor. Durch mehr Zeit wird Einfluss auf Stärken und Schwächen einer Engines ausgeübt.
Insofern werden sich Resultate verändern.

Wissen wir das alles stellt sich dann die Frage wie hoch ist der Einfluss und wann wirkt sich das sichtbar aus.
Das ist schwierig zu sagen weil die Stärken und Schwächen nicht nur den Zeitfaktor aus Beeinflussungsfaktor haben sondern auch noch andere Faktoren wie ... wurden für die Ermittlung von Elo unterschiedliche Gegner eingesetzt oder meist Gegner die absolut gleiche Charaktereigenschaften, sprich Spielstil haben.

Klar, können es uns verdammt einfach machen und sagen ...
Alles das interessiert mich nicht und da es mich nicht interessiert kann ich auch pauschalisieren.
Dann werden viele Jubeln weil diese Arbeit im Detail mehr festzustellen macht sich kaum jemand.

Alles Engines spielen gleich ...
Wenn das so wäre ... dann könnten wir mit 1+1 das gleiche feststellen wie mit 40 Züge in 120 Minuten.

Dem ist aber leider nicht so bzw. wie schön das es so ist bzw. so ist wie es ist.

Gruß
Frank