Ponder on oder off

By Werner Schüle Date 2009-11-16 09:23

Hallo Ingo,
danke für die Tests. Ich bin mir trotz dieses Ergebnisses unsicher, ob man daraus überhaupt eine Aussage machen kann. Wir wissen ja gar nicht, welchen Einfluss pondern bei den gegnerischen engines hat.
Wahrscheinlich wird es so sein: je mehr Spiele gemacht werden, umsomehr gleichen sich die Ergebnisse an und der Unterschied wird kleiner.

Gruß
Werner

By Thomas Mayer (Quark) Date 2009-11-16 09:59

[quote="Werner Schüle"]
Hallo Ingo,
danke für die Tests. Ich bin mir trotz dieses Ergebnisses unsicher, ob man daraus überhaupt eine Aussage machen kann. Wir wissen ja gar nicht, welchen Einfluss pondern bei den gegnerischen engines hat.
Wahrscheinlich wird es so sein: je mehr Spiele gemacht werden, umsomehr gleichen sich die Ergebnisse an und der Unterschied wird kleiner.

Gruß
Werner
[/quote]

Hallo Werner,

ja, ein Nachweis zu führen, daß eine Engine relativ gesehen besser pondert als andere dürfte extrem schwierig sein. Prinzipiell stellt sich ja die Frage, was pondern überhaupt bringt. Lassen wir mal ein paar dynamische Vorteile außen vor bringt es bei einer durchschnittlichen Trefferquote von ca. 60% eben ca. 60% mehr Bedenkzeit (wiederum lassen wir mal etwas außer Acht - nämlich dass die gefüllten Hashtabellen auch bei einem falschen Ponderzug trotzdem Vorteile bringen). Allgemein anerkannt ist ein ELO-Zuwachs von ca. 70 bei Verdoppelung der Bedenkzeit. Der Elo-Zuwachs bei mehr Bedenkzeit dürfte eine logarithmische Funktion sein, dies beachten wir aber auch mal nicht so genau, jedenfalls bei 60% mehr Bedenkzeit ist ein Zuwachs von 35-45 Elo zu erwarten. Ich kann mir kaum vorstellen, daß der Unterschied zwischen den einzelnen Ponder-Implementationen größer als 10 Elo ist. Um dies nachzuweisen braucht es wieder zig-tausend Partien. Wenn man nun noch im Hinterkopf hat, daß die meisten davon ausgehen, daß Shredder relativ gesehen sowieso stärker von mehr Bedenkzeit profitiert als andere Programme dann wird es schwierig überhaupt irgendwas aus dem Ergebnis zu lesen. Nichtsdestotrotz sind Ingos Ergebnisse interessant - die Frage ist nur, was sie beweisen bzw. nicht beweisen...

An Ingo: falls Du grad in Testlaune bist: Mich würde was ganz anderes interessieren, nämlich welchen Einfluß die Art der Zeitkontrolle an sich auf die Spielstärke hat, ich glaube nämlich der ist mitunter deutlich größer als man denkt. Man müßte ungefähr vergleichbare Zeitkontrollen wählen, also z.B. 5 Minuten für die ganze Partie im Vergleich zu 4 Minuten + 2 sec increment im Vergleich zu 3 Minuten 30 Sekunden für 40 Züge. Das sollte im Schnitt ca. die gleiche Partielänge ergeben. (Ich geh jetzt da mal von ca. 60 Zügen / Partie aus) Ehrlich gesagt würde ich bei einem solchen Experiment deutlich signifikantere Unterschiede erwarten.

Gruß, Thomas

By Frank Quisinsky Date 2009-11-16 11:09

Hi,

pondern ist streng genommen auch nur eine "Zeitverlängerung für die Engine". Wie z. B. auch mehr Cores. Wie Thomas es beschrieben hat, allerdings glaube ich das eine Verdoppelung der Geschwindigkeit Linear immer etwas weniger bringt (bei heutiger Hardware ... sage mal Dual Core 3GHz) wären das sicherlich nicht mehr als 50 ELO. Denn die Spielstärke nimmt nicht immer um Faktor 50% bei Verdoppelung der Bedenkzeit zu, weil wahrscheinlich die Grenze der maximalen Spielstärke geringer wird. Auch so ein Streitthema ... ja ich weiß ... glaube der Thomas sieht es anders.

Haben wir die durchschnittliche Partie von 70 Zügen, rechnen 15 Eröffnungszüge, 15 Endspielzüge grob ab, verbleiben durchschnittlich 40 zu berechnende Züge. Von diesen Zügen dann 10 logische Züge ... ponder Hit Zuwachs wird um 50% kleiner.

Haben wir 30 (+10:2 = 5) 35 Zeitkomponenten !!
Hier gibt es es dann nach einem Experiment was ich mal durchführte ca. durchschnittlich 45% Pondertreffer.

Sagen wir also maximal 35% Pondertreffer in der durchschnittlichen Partie bei 50 ELO durch Verdoppelung der Geschwindigkeit = 20 ELO mehr durch Ponder = on !!
Wenn überhaupt ... wäre schon der Maximalwert.

Maßgebend ist aber vielmehr die Beeinflussung vom Zeitmanagemenet. Das ist höher zu werten als die 20 ELO Zuwachs. Einige Programme rechnen fest mit Pondertreffern und teilen sich daher die Zeit entsprechend ein. Kommen keinen Pondertreffer kann eine Engine in Zeitnot kommen oder hat im anderen Extremfall zu viel Zeit vor der Zeitkontrolle übrig.

So nach dem Motto ...
OK, ich nehme mir mehr Zeit weil es kommen ja noch Ponder-Treffer und ich kann dann schneller ziehen.
Oder ...
Hatte schon sehr viele Ponder-Treffer, kann mir dann jetzt mehr Zeit nehmen ...

Von daher schwierig zu vergleichen.

Fest steht aber, dass der Spielverlauf ein völlig anderer bei Ponder = On Partien ist.
Hinsichtlich Vergleich: Ponder = On / Off kann auch nur gesagt werden ...

z. B.
Engine die im Blitzen abfallen aber bei mittleren Bedenkzeiten besser spielen ... z. B. Smarthink ... werden dann logisch mit jedem Zeitverlängerunsfaktor (Ponder = On, mehrere Cores unter Umständen x64) auch an Stärke zunehmen.

Ein Smarthink würde bei Extremblitz mit Ponder also wesentlich besser abschneiden ... dafür muss ich das aber nicht testen weil es logisch ist !!

Dennoch immer wieder interessant solche Vergleiche wie hier von Ingo zu sehen, nur eine Aussage was das nun bringt kann auch nur aufgrund dieser hier oder denen von Thomas abgeschätzt werden.

Gruß
Frank

Interessanter also festzustellen ... welche Engines profitieren im Verhältnis zu anderen von mehr Zeit !!

By Gerhard Sonnabend Date 2009-11-16 11:14

[quote="Frank Quisinsky"]
[...snip...]
Interessanter also festzustellen ... welche Engines profitieren im Verhältnis zu anderen von mehr Zeit !!
[/quote]

Hi Frank !

Diese Frage wird doch jede Woche mit jedem CEGT-Update (z.T.) beantwortet.

Viele Grüsse,
G.S.

By Thomas Mayer (Quark) Date 2009-11-16 11:49

Hallo Frank,

[quote="Frank Quisinsky"]pondern ist streng genommen auch nur eine "Zeitverlängerung für die Engine". Wie z. B. auch mehr Cores. Wie Thomas es beschrieben hat, allerdings glaube ich das eine Verdoppelung der Geschwindigkeit Linear immer etwas weniger bringt (bei heutiger Hardware ... sage mal Dual Core 3GHz) wären das sicherlich nicht mehr als 50 ELO. Denn die Spielstärke nimmt nicht immer um Faktor 50% bei Verdoppelung der Bedenkzeit zu, weil wahrscheinlich die Grenze der maximalen Spielstärke geringer wird. Auch so ein Streitthema ... ja ich weiß ... glaube der Thomas sieht es anders.[/quote]

nur kurz dazu: Ich habe in meinem Posting ganz klar angegeben, daß der Spielstärkezuwachs im Verhältnis zur Zeit ziemlich sicher eine logarithmische Funktion ist - was ja ganz Deinen Aussagen entspricht, daß die Zunahme nicht linear wächst. 70 Elo scheint jedenfalls heutzutage eine gute Näherung zu sein, von mir aus kann man die gleiche Rechnung auch mit 50 Elo ausführen, ändert an meiner Aussage nichts. Was Deine sonstigen Aussagen betrifft: Ja, hier habe ich eine andere Meinung, auch triviale Züge (Rückschläge usw.) sind natürlich ein Ponder-Hit, weil dank der Suche während der gegnerischen Bedenkzeit tritt ja trotzdem ein Erkenntnisgewinn ein, der ohne Pondern nicht da wäre. Hätte man nur 35% Ponder-Treffer dann wäre es übrigens wahrscheinlich sinnvoller auf mehr als einen Zug zu pondern, da die Trefferrate üblicherweise (ähnlich starke Gegner vorausgesetzt) jedoch im Bereich von 60% liegt hat sich das Pondern auf einen Zug durchgesetzt.

Gruß, Thomas

By Gerhard Sonnabend Date 2009-11-16 11:57

[quote="Thomas Mayer (Quark)"]
[...snip...]
Was Deine sonstigen Aussagen betrifft: Ja, hier habe ich eine andere Meinung,
auch triviale Züge (Rückschläge usw.) sind natürlich ein Ponder-Hit, weil dank
der Suche während der gegnerischen Bedenkzeit tritt ja trotzdem ein Erkenntnis-
gewinn ein, der ohne Pondern nicht da wäre.
[...snip...]
[/quote]

Hi Thomas !

Es gibt zwischenzeitlich Engines, welche selbst bei PB=off, triviale Züge
unverzüglich ausspielen. Vor allem Zappa und auch Rybka zum grossen Teil.

Viele Grüsse,
G.S.

By Frank Quisinsky Date 2009-11-16 12:42

Hi,

da sagten einige früher immer zu "kleines Pondern"

Was aber eher negativ als positiv ist, aber auch nur in ca. 2% aller Fälle.
Berüht wird auch wieder das Time-Mangement ... Engine zieht sofort weil "Ponder = off" eigentlich kein Zustand ist.
Engine denkt, dass ist ein Ponder Treffer und zieht sofort.

Und das dumme ist, dass passiert nicht nur bei logischen Schlagzügen und mithin kann so ganz schnell eine Partie vergurkt werden.
Erst Recht unter ChessBase GUI, weil die GUI offenbar genau an dieser Stelle einen Einfluss nimmt aber keinesfalls darf.

Gruß
Frank

By Gerhard Sonnabend Date 2009-11-16 13:00

[quote="Frank Quisinsky"]
da sagten einige früher immer zu "kleines Pondern"

Was aber eher negativ als positiv ist, aber auch nur in ca. 2% aller Fälle.
Berüht wird auch wieder das Time-Mangement ... Engine zieht sofort weil "Ponder = off" eigentlich kein Zustand ist.
Engine denkt, dass ist ein Ponder Treffer und zieht sofort.
Und das dumme ist, dass passiert nicht nur bei logischen Schlagzügen und mithin kann so ganz schnell eine Partie vergurkt werden.
Erst Recht unter ChessBase GUI, weil die GUI offenbar genau an dieser Stelle einen Einfluss nimmt aber keinesfalls darf.
[/quote]

Da meinte ich nicht Frank.
Vor allem Zappa macht das Beschriebene mit "Absicht" bei PB=off.

Viele Grüsse,
G.S.

By Frank Quisinsky Date 2009-11-16 12:38

Hi Thomas,

bei den Rückschlägen rechne ich nur mit 50% mehr Zeit, weil es logische Züge sind ... die mit 99% Sicherheit auch bei Ponder = off gespielt werden.

Die Frage die sich stellt ist ja eigentlich ... durch wie viele Ponder Treffer wird der Partieverlauf beeinflusst. Eigentlich schon bei einem ... aber wie viele andere Züge kommen dabei heraus. Ich hatte das Experiment 1996 gemacht. Seinerzeit mit 10 Crafty Partien und das Ergebnis in CCC gepostet. Bei den 10 Partien kam es durchschnittlich zu 3-4 anderen Zügen in einer Partie (Vergleich Ponder on / off). Die zweite Frage ist wie sehr das Time Management beeinflusst wird (meines Erachtens sehr stark).

Insofern bzw. nach meinen ganzen Testreihen kam ich zu dem Ergebnis, dass wir bei Ponder = On / Off völlig andere Partien sehen. Das sehr wahrscheinlich der ELO-Zuwachs bei maximal 20 Punkten liegt das aber sehr schwer zu messen ist. Das es wahrscheinlicher ist das das Zeitmanagement mehr beeiflusst als der Ponder Faktor.

Letztendlich werden wir das bei den ELO-Statistiken kaum bemerken, weil die Unterschiede liegen in der Partie und weniger in der Statistik. Auffällig ist heit nur, dass Engines vom Ponder mehr profitieren, die auch durch andere Zeitverlängerungsfaktoren profitieren. Als Beispiel hatte ich ja Smarthink genannt.

Also ich erkenne jetzt nicht das wir grob unterschiedliche Meinungen haben, zumindest nicht zu den von Dir angesprochenen Punkten. Gehe nur etwas darüber hinaus (Zeitmanagement).

Ob jetzt 50 tief gegriffen oder 70 hochgegriffen ... das wäre ja wie Du es schreibst egal.

Gruß
Frank

By Benno Hartwig Date 2009-11-16 13:38

[quote="Thomas Mayer (Quark)"]Hätte man nur 35% Ponder-Treffer dann wäre es übrigens wahrscheinlich sinnvoller auf mehr als einen Zug zu pondern, da die Trefferrate üblicherweise (ähnlich starke Gegner vorausgesetzt) jedoch im Bereich von 60% liegt hat sich das Pondern auf einen Zug durchgesetzt.[/quote]Das bezweifele ich.
Angenommen, ich habe Trefferrate 35%, dann würde "einen Zug Pondern" eine Quote von eben 35% bringen ("35% der Ponderzeit wurde für letztlich genutzte Analyse verwandt")
Angenommen ich pondere jeweils die halbe Zeit auf Zug_1, der zu 35% richtig wsein wird und auf Zug_2, der vielleicht zu 30% richtig ist (eigentlich schon eine sehr optimistische Verlässlichkeit für die 2. Wahl). Dann habe habe ich doch nur eine Quote von 35%/2+30%/2=32.5%. Da verliere ich doch Effizienz. Auch bei noch kleineren Trefferquoten.
--> Die Entscheidung, ob 1-Zug-Pondern das Beste ist, hängt nicht von Trefferquote ab.

Ich denke aber:
Wenn die Engine feststellt, dass der Gegner beginnt deutlichlich länger über seinen Zug nachzudenken, als es ihrer eigenen Planung entspricht, dann könnte sie nach einiger Zeit sagen "3 Minuten pro Zug ungefähr habe ich, nun habe ich an dem Zug schon 10 Minuten herumgerechtnet, meine Antwort kommt mir nicht besonders kritisch vor, da sollte ich noch mal Anworten auf andere Gegnerzüge suchen."
oder einfacher "Ich sollte lieber erstmal eine Antwort auf einen anderen Zug vorbereiten als die aktuelle Antwort noch mal eine z.B. 3 weitere Minuten zu vertiefen."
Damit steigt halt echt die Wahrscheinlichkeit, dass gleich eine Denkzeit eingespart wird, und der Verlust an Qualität der geponderten Antwort wiegt meiner Meinung nach doch leichter.
Falsch? Richtig?

Benno

By Ingo Bauer Date 2009-11-22 17:32

Hallo Thomas,

Sorry für die späte Antwort, bin erst am Nachlesen.

[quote="Thomas Mayer (Quark)"]
...
Ich kann mir kaum vorstellen, daß der Unterschied zwischen den einzelnen Ponder-Implementationen größer als 10 Elo ist. Um dies nachzuweisen braucht es wieder zig-tausend Partien.

1500 Partien -> 16 Elo und genau das ist mein Punkt, ich glaube es gibt Engines die mehr als 10 Elo haben!

Zitat:

Wenn man nun noch im Hinterkopf hat, daß die meisten davon ausgehen, daß Shredder relativ gesehen sowieso stärker von mehr Bedenkzeit profitiert als andere Programme dann wird es schwierig überhaupt irgendwas aus dem Ergebnis zu lesen. Nichtsdestotrotz sind Ingos Ergebnisse interessant - die Frage ist nur, was sie beweisen bzw. nicht beweisen...

Was sie beweisen ist, dass bei gleicher Bedenkzeit und gleichem Teilnehmerfeld Shredder mit Ponder ON besser scored! Warum, soll jeder selbst beantworten, auch wenn ich eine "educated guess" als Arbeitshypothese habe. (Andere Engines performen dafür relativ besser bei Ponder OFF)

Zitat:

Uff, so viel Testlaune habe ich nicht. Persöhnlich glaube ich eher das der Unterschied kleiner ist als man denkt - mit der Einschränkung das es nicht zu kurz werden darf. Allerdings weiß ich nicht mehr wie kurz. Habe ein bischen mit 1+1 experimentiert, und so viel Unterschied habe ich zu 6+3 nicht gefunden. Grob die selbe Reihenfolge (für eine Rangliste), nur alle Engines dichter zusammen - irgendwie (Über die Partien brauchen wir nicht reden!)

Gruß
Ingo

PS: War da nicht noch was mit einem UCI-Käse?

By Gerhard Sonnabend Date 2009-11-20 21:50 Edited 2009-11-20 21:55

[quote="Ingo Bauer"]
[...snip..]
Ich habe also 16 Elo statt 19 - diesmal errechnet mit der Classic GUI!

Nachwievor ausserhalb eines 95% Intervalls bei 1500 Spielen (natürlich knapper nur 1, 2 Elo) und ich wiederhole, ich habe 2 S12 x64 und einen S12x32 mit je denselben 1500 Spielen gestestet und da war die maximale Abweichung 6 Elo (und das war auch noch von 64 auf 32 bit, die beiden 64 bit Versionene lagen nur 4 Elo auseinander).
Im Prinzip bin ich nach diesen identischen Tests überzeugt von meiner Testmethode. Ein Nachspielen (ab und zu) zur Kontrolle auf identische Ergebnisse scheint mir eine gute Möglichkeit zur Überprüfung!
[/quote]

Hi Ingo !

+-14 oder 15 ist nicht ausserhalb des Intervalls,
da für beide Engines be(ge)rechnet werden muss !

ELO 2700 +15 -15
ELO 2670 +15 -15

wäre z.B. "gerade noch" innerhalb.

Natürlich wäre dies genau an den Rändern und von daher
recht unwahrscheinlich, jedoch trotz allem innerhalb.

Viele Grüsse,
G.S.

By Ingo Bauer Date 2009-11-20 22:03

Moin

[quote="Gerhard Sonnabend"]

Hi Ingo !

+-14 oder 15 ist nicht ausserhalb des Intervalls,
da für beide Engines be(ge)rechnet werden muss !

ELO 2700 +15 -15
ELO 2670 +15 -15

wäre z.B. "genau" innerhalb.

Viele Grüsse,
G.S.
[/quote]

Ich schrieb im Originalposting und in meiner Verbesserung "ausserhalb EINES" Intervalls. Natürlich überschneiden sich die Intervalle beider Engines. Dies tritt aber nur in einer von 4 Möglichkeiten auf.
De Fakto glaubst weder du noch ich das nach 1500 Spielen sich noch viel tut (zumindest interpretiere ich einige deiner Beiträge hier so). Ich glaube das bei einigen Engines Unterschiede zw. Ponder on und off bestehen. Weiterhin ist die Realität auf Servern oder Turnieren nun mal Ponder on. Sollte also ein Unterschied bestehen bilden Ponder off Listen nicht die Realität nach!

Ich teste weiter - weil ich P-off für nicht mehr Zeitgemäß halte und wissend das ich gegen alle Ranglistenersteller (ausser SSDF) anschreibe.

Montag kommt die nächste Enigne - Naum 4 oder Deep Sjeng.

Gruß
Ingo

By Timo Haupt Date 2009-11-20 22:54

Hallo Ingo,

ohne mich jetzt in die Diskussion einklinken zu wollen, möchte ich zum Ausdruck bringen, dass auch ich Tests mit Ponder=on bevorzuge. Das hat mehrere Gründe: Zum einen finde ich das dadurch entstehende Partiematerial "hochwertiger", da einfach mehr Bedenkzeit eingeflossen ist. Zum anderen teile ich deine Meinung, dass in der Praxis (Turniere, Serverpartien) nun einmal Ponder=on vorherrscht, somit sind für mich Tests mit Permanent Brain näher an der Realität. Als letzten Grund möchte ich meine persönliche Vorliebe dafür aufführen, dass man die gegnerische Bedenkzeit dazu nutzt, selbst über seinen (möglichen) nächsten Zug nachzudenken. Jeder Mensch tut das, warum also nicht auch die Engine in einem Test? Nebenbei bemerkt finde ich es interessanter, wenn man mal zusieht, dass ich die Rechenvorgänge beider Engines gleichzeitig beobachten kann. Ich bin hingegen überzeugt davon, dass Pondering kaum Unterschiede in der Hackordnung der Engines verursachen. Eine Rangliste wird sich also kaum ändern, höchstens in Einzelfällen, da die Unterschiede, wie effektiv Engines pondern, wohl eher gering ausfallen. Just my 50 cents...

Viele Grüße
Timo

P.S.: Schaffen wir vor Weihnachten noch einen Stammtisch oder ist das terminlich ausgeschlossen? Konnte jetzt schon zweimal nicht dabei sein und wäre mal wieder heiß drauf...

By Kai Skibbe (PocketGrandmaster) Date 2009-11-21 09:12

Hi Timo,

was ich an Pondern auch immer spannend finde ist zu sehen wie eine Engine auf einen Ponderzug schon einen taktischen Schlag sieht, aber die andere Engine den Ponderzug immer noch als besten Zug erachtet. Gerade wenn dann die eigene Engine rechnet fiebert man richtig mit und sagt innerlich "Bitte gehe noch einen Ply tiefer, bitte...", damit die Engine noch was anderes findet. Ohne Ponder fehlen solche "überlappenden" Denkprozesse der Engines und damit auch etwas Spannung.

Zum Thema Stammtisch: Bin auch noch für dieses Jahr

Viele Grüße,
Kai

By Ingo Bauer Date 2009-11-21 09:52

Hallo Timo, hallo Kai,

Ja, das von euch beschriebene Mitfiebern ist definitiv, auch bei nicht 'eigenen' Engines, sehr spannend zu beobachten!

Das sich die Listen nicht anders verhalten glaube ich wie gesagt nicht (doppelte Verneinung

), ich bin überzeugt das sich die ein oder andere Engine um 20 Elo verschieben kann. In manchen Regionen sind das einige Plätze.

Aber wie du schon sagtest Timo, Ponder on orientiert sich eben deutlich eher an der Wirklichkeit!

Gruß
Ingo

PS: Treffen dieses Jahr bin ich dabei - ich hoffe Timo kann sich mal wieder 'loseisen'!

By Gerd Waldfried Date 2009-11-22 02:19

Hallo Kai,
Du als Programmierer kannst mir sicherlich kompetent antworten:
Gibt es eigentlich Bestrebungen in der Computerschachprogrammierung, das Pondern effizienter und flexibler zu gestalten? Wenn ich sehe, dass zumindest bei den Freaks ein Quadcore fast schon veraltet ist, wäre es da nicht sinnvoll und möglich, dass die Engines nicht mehr nur auf einen gegnerischen Zug pondern, sondern auf sagen wir die besten drei Antwortzüge? Pro Kern ein Zug oder so? Oder auch in Abhängigkeit der Bewertungen für die nächst besten Züge? Also wenn der beste Antwortzug bei 0.40 liegt, der zweitbeste bei 0.70 und der drittbeste bei 2.00, dass die Engine auf die beiden besten Antwortzüge pondert?

Viele Grüße und Dank für die Antwort!

By Gerhard Sonnabend Date 2009-11-21 12:57

[quote="Ingo Bauer"]
Ich schrieb im Originalposting und in meiner Verbesserung "ausserhalb EINES" Intervalls. Natürlich überschneiden sich die Intervalle beider
Engines. Dies tritt aber nur in einer von 4 Möglichkeiten auf.
De Fakto glaubst weder du noch ich das nach 1500 Spielen sich noch viel tut (zumindest interpretiere ich einige deiner Beiträge hier so). Ich glaube das bei einigen Engines Unterschiede zw. Ponder on und off bestehen. Weiterhin ist die Realität auf Servern oder Turnieren nun mal Ponder on. Sollte also ein Unterschied bestehen bilden Ponder off Listen nicht die Realität nach!
Ich teste weiter - weil ich P-off für nicht mehr Zeitgemäß halte und wissend das ich gegen alle Ranglistenersteller (ausser SSDF) anschreibe.
Montag kommt die nächste Enigne - Naum 4 oder Deep Sjeng.
[/quote]

Hi Ingo !

Ich finde Deinen Test sehr gut und hatte dies auch schon geschrieben.
Nur, für mich persönlich, beweist Du mit diesem Test unfreiwillig, dass die
Unterschiede lediglich "Statistisches Rauschen" sind. Mehr würde ich aus
Unterschieden +- 15-20 Punkten nicht herauslesen wollen.

Deshalb bleibe ich bei PB=off, welches den grossen Vorteil hat, dass man
doppelt so viele Games erhält. Und zeitgemäss ist und bleibt das auch
mindestens so lange, wie Single-CPU-PCs auf dem Markt sind und für
Tests verwendet werden.

Viele Grüsse,
G.S.

By Ingo Bauer Date 2009-11-21 13:31

Moin Gerhard,

Zitat:

...
Mehr würde ich aus (dem) Unterschieden +- 15-20 Punkten nicht herauslesen wollen.
...

Man könnte aber auch vermuten das du (oder ihr Ranglistenersteller) nichts herrauslesen wollen, weil sie dann ihre ganze Testmethodik umstellen und ihre alten Ergebnisse wegwerfen müßten ...

Zitat:

...
Deshalb bleibe ich bei PB=off, welches den grossen Vorteil hat, dass man
doppelt so viele Games erhält.

Natürlich war "mehr Spiele" ein starkes Argument (man beachte die Vergangenheitsform!)
Klar ist doppelte Anzahl schön, aber ob 1500 oder 3000, deine Abweichung wird dadurch nur um 5 Elo +/- kleiner (von 15 auf 10 / Elostat wirf mir interessanterwesie manchmal auch 14/9 raus, der Unterschied bleibt aber 5), dazu kommt noch das ihr mit schnelleren Rechnern die Bedenkzeiten verkürzt (und alles in z.B 40/20 werft), also ständig sowieso mehr Spiele produziert. Zu Zeiten als man mit Mühe 500 Spiele hatte war PB-OFF vielleicht noch OK, aber mit jedem Jahr in dem ihr immer mehr Spiele bekommt, wird der Vorteil der doppelten Spiele kleiner und die Argumente für P-OFF "dünner".

Zitat:

Und zeitgemäss ist und bleibt das auch
mindestens so lange, wie Single-CPU-PCs auf dem Markt sind und für
Tests verwendet werden.
...

Na ja, Single CPUs, schon für Industriezwecke, werden noch lange auf dem Markt sein werden. De Fakto sind jedoch seit zwei Jahren z.B. keine billig Alfi/Lisl/Rebe/MadigMarkt (sonstwas) für den Massenmarkt mehr gelaufen die NICHT mindestens Dual waren.
Und damit ist es ein bischen wie mit einer selbsterfüllenden Prophezeihung. Solange ich den Single benutze ist das was ich mache gerechtfertigt, also benutze ich den Single damit das was ich mache gerechtfertigt ist.

Gruß
Ingo

By Gerhard Sonnabend Date 2009-11-21 14:02

Hi Ingo !

[quote="Ingo Bauer"]
Man könnte aber auch vermuten das du (oder ihr Ranglistenersteller) nichts herrauslesen wollen,
weil sie dann ihre ganze Testmethodik umstellen und ihre alten Ergebnisse wegwerfen müßten ...
[/quote]

Aber nein !
Wenn jemals der Beweis erbracht werden sollte, so würden "wir" ganz einfach
zusätzlich beginnen PB=on Ratinglisten zu erstellen. Kein Weltuntergang also.
Momentan jedoch sehe ich überhaupt keine Veranlassung dafür.

[quote="Ingo Bauer"]
Na ja, Single CPUs, schon für Industriezwecke, werden noch lange auf dem Markt sein werden. De Fakto sind jedoch seit zwei Jahren z.B. keine billig Alfi/Lisl/Rebe/MadigMarkt (sonstwas) für den Massenmarkt mehr gelaufen die NICHT mindestens Dual waren.
Und damit ist es ein bischen wie mit einer selbsterfüllenden Prophezeihung. Solange ich den Single benutze ist das was ich mache gerechtfertigt, also benutze ich den Single damit das was ich mache gerechtfertigt ist.

[/quote]

Kannst Du Dich noch an Deine eigene Frage hier am Board erinnern,
als Du nachgefragt hattest, welches Netbook zu wählen wäre ?
Was für CPUs haben die Dinger denn ? Und welche die immer stärker
aufkommenden Windows-Mobile-Handys ?

Und, der Autor von Crafty wird ja nicht müde immer und immer wieder
zu schreiben, dass sein Proggi ohne PB deutlich geschwächt würde.
Allerdings, bei allen grossen Events hat sein Werk mit PB=on genau
den Platz erreicht, welchen man mit PB=off hatte erwarten können.
Es gibt viele viele weitere Beispiele dieser Art.

Also, las uns einfach auch weiterhin unterschiedlich testen und dann
unsere Erkenntnisse vergleichen.

Viele Grüsse,
G.S.

By Ingo Bauer Date 2009-11-21 14:13

[quote="Gerhard Sonnabend"]

...
Kannst Du Dich noch an Deine eigene Frage hier am Board erinnern,
als Du nachgefragt hattest, welches Netbook zu wählen wäre ?
Was für CPUs haben die Dinger denn ?
Und welche die immer stärker
aufkommenden Windows-Mobile-Handys ?

Guter Punkt! Nur zwei Anmerkungen dazu:
1. Wann fangt ihr an auf diesen Dingern zu testen und wer will das?
2. Schon die nächste Generation (und die steht unmittelbar vor der Tür) hat Dualcore CPUs!
3. Wollt ihr so spezifische Ranglisten oder allgemeine erstellen?

Was Crafty betrifft und sein Abschneiden muß ich dich nicht daran erinnern, wie unterschiedlich ein kurzrundiges Turnier mit wenigen Engines und eine Rangliste mit tausenden Spielen sind. Ansonsten kann ich nur sagen wer sollte es besser Wissen als der Author einer Engine!

Zitat:

Also, las uns einfach auch weiterhin unterschiedlich testen und dann unsere Erkenntnisse vergleichen.

Machen wir wohl so - noch eine Zeitlang - leider!

Gruß
Ingo

By Gerhard Sonnabend Date 2009-11-21 14:43

[quote="Ingo Bauer"]
[quote="Gerhard Sonnabend"]

...
Kannst Du Dich noch an Deine eigene Frage hier am Board erinnern,
als Du nachgefragt hattest, welches Netbook zu wählen wäre ?
Was für CPUs haben die Dinger denn ?
Und welche die immer stärker
aufkommenden Windows-Mobile-Handys ?

[/quote]

Guter Punkt! Nur zwei Anmerkungen dazu:
1. Wann fangt ihr an auf diesen Dingern zu testen und wer will das?
[...snip...]
[/quote]

Ingo, dies machen wir doch längst !
1CPU-Engines gibt es haufenweise in unseren Listen.
Zwar nicht "live" auf einem Netbook gespielt, jedoch
ermittelt durch den Bench ist das absolut vergleichbar
(+- 20 Punkte ?).

Sollte nun ein User sich eine ASUS-Eee mit Atom 1.6 GHz
kaufen, so weis er ziemlich genau wie stark seine
Single-Engine im Vergleich zu anderen Engines, egal
ob 1-,2- oder 4-CPU und auf welcher Hardware, ist !

Selbst fürs 400MHz-Handy könnte man das u.U. herunter
rechnen, so man denn will.

Und, "wer was will" war noch nie mein persönlicher Antrieb
für Engine-Tests !

Viele Grüsse,
G.S.

By Frank Quisinsky Date 2009-11-21 16:39

Hallo Gerhard,

es kommt wie gesagt auch immer auf die Zielsetzung an.

Möchtest Du so realitätsnah wie möglich testen (Mensch stellt ja auch nicht sein Gehirn ab wenn er Schach spielt und nicht am Zug ist) oder ist die Masse - Masse an Partien - wichtig. Ist Ponder=off realitätsnah und Ponder = on realtiätsfremd ?

Sind die Programmstrukturen falsch wenn Engines in Ihrem Zeitmangement mit Ponder-Treffern rechnen, sich demnach die Zeit schon anders einteilen. Hast Du beobachten können das Engines die mit Ponder = On spielen Ihre Zeit optimal nutzen aber Engines die mit Ponder = off spielen plötzlich noch Zeit übrig haben, früher gar im anderen Fall auf Zeit verloren haben.

Ponder on / off hat eine Geschichte:

1. Früher hatten nur die wenigsten Computer mit 2 Prozessoren. Dieser Personenkreis testete dann Eng-Eng mit Ponder = off.
Heute gibt es Prozessoren die 2 oder mehr Cores haben.

Was spricht jetzt noch für Ponder = off

1. Mehr Partien
2. Gespielte Partien fliegen nicht in den Müll, z. B. bei Ratinglistenbetreiber
3. Produzierte Ergebnisse von Ponder = off sind bis auf das von Euch angesprochene statistische Rauschen vergleichbar mit Ergebnisse die bei Ponder = On produziert werden.

Was spricht dagegen:

1. Deutlich aufregender und interessanter beim Zusehen
2. Realitätsnah ... der Computer simuliert eine realitätsnahe Computerschachpartie
3. Zeitmanagement wird genutzt wie beabsichtigt.

Und nun die entscheidende Frage:

Wie sollte denn der Ratinglistenbetreiber vorgehen.

Die Anwender interessieren sich schnell für Ergebnisse neuer Engines.
Es macht daher Sinn mit Ponder = off zu testen weil ein Ergebnis schneller vorliegt.

Der Anwender selbst möchte aber realitätsnahe Partien sehen, mehr Spannung erleben (sofern er nicht selbst wieder eine Ratingliste erstellen möchte). Gehe davon aus, das Personen die gemütlich bei einer Flasch Wein Eng-Eng Partien sehen möchten eher mit Ponder = on spielen.

Insofern ...

Es kommt darauf an was gewollt ist und wo das Interesse liegt.

z. b. meine Interessen.
Denke das 300-500 Partien für ein Rating aufgrund meiner ganzen erstellten Ratinglisten ausreichen. Profitiere also vom eigenen Erfahrungswert eigener Arbeit. Mir geht es zwar auch um die Erstellung einer Ratingliste aber ich habe genug Maschinen. Ich möchte zusehen und Spannung beim Zusehen. 40 in 10 reicht aus um die Partien sinnvoll mitzuverfolgen.

Also klar ...
Frank spielt 40 in 10 bei Ponder = on
Und da ich absolut gleiche Voraussetzungen haben möchte, spielt jeder gegen jeden die gleiche Anzahl an Partien mit vielen Engines die möglichst nicht mehr als 300 ELO auseinander liegen. Dann natürlich 32Bit denn eine 32Bit gibt es von fast jeder Engine, allerdings keine 64Bit. Ob die Engines jetzt 100 ELO mehr oder weniger durch 2 Cores oder 64Bit haben interessiert mich nicht, denn die Spielstärke reicht mir ohnehin schon bei 32Bit und einem Core aus.

Ferner habe ich eine solche Ratingliste mit 20 Engines, jeder gegen jeden 40 Partien in ca. 2 Monaten erstellt und hätte dann pro Engine gar 760 Partien pro Engine.

Ein anderer User hat vielleicht eine oder zwei Maschinen und auch da gibt es Wege ... siehe Klaus Wlotzka.
Es dauert länger und nicht jede neue Engine kann direkt hinzukommen.
Aber wir befinden uns ja nicht im Update Wahn und es soll Spass machen.

Von daher ...

Ponder = off ist nicht falsch ... Ponder = on ist nicht falsch und für jede Testmethode gibt es sicherlich auch eine plausible Erklärung

Gruß
Frank

By Ingo Bauer Date 2009-11-21 15:55

Hallo Gerhard,

[quote="Gerhard Sonnabend"]

+-14 oder 15 ist nicht ausserhalb des Intervalls,
da für beide Engines be(ge)rechnet werden muss !

ELO 2700 +15 -15
ELO 2670 +15 -15

wäre z.B. "gerade noch" innerhalb.

Natürlich wäre dies genau an den Rändern und von daher
recht unwahrscheinlich, jedoch trotz allem innerhalb.

[/quote]

Das ist mir den ganzen Tag nicht aus dem Kopf gegangen.

Warum hängen wir am 95% Intervall? Irgendjemand hat den festgelegt. Hätte man sich für 90% entschieden wäre die Sache glaßklar und wenn jemand 98/99 definiert hätte könnten wir alles testen einstellen da wir immernoch nicht wüßten ob Rybka oder Crafty besser ist.
Ich weiß nicht ob für den reinen Vergleich identischer Engines bei gleichen Bedinungen die reinen Elos nicht ausreichen.

Nur so ein Gedankengang
Ingo

By Gerhard Sonnabend Date 2009-11-22 13:00

[quote="Ingo Bauer"]
[...snip...]
Hätte man sich für 90% entschieden wäre die Sache glaßklar und wenn jemand 98/99 definiert hätte könnten wir
alles testen einstellen da wir immernoch nicht wüßten ob Rybka oder Crafty besser ist.
Ich weiß nicht ob für den reinen Vergleich identischer Engines bei gleichen Bedinungen die reinen Elos
nicht ausreichen.
[/quote]

Hi Ingo !

Das stimmt so natürlich nicht.
Schau mal Dein 1500er-Beispiel von oben:

Code:


Wins   = 677
Draws  = 512
Losses = 311
Av.Op. Elo = 2700

Result     : 933.0/1500 (+677,=512,-311)
Perf.      : 62.2 %
Margins    :
68 %      : (+  1.0,-  1.0 %) -> [ 61.2, 63.2 %]
95 %      : (+  1.9,-  2.0 %) -> [ 60.2, 64.1 %]
99.7 %    : (+  2.9,-  3.0 %) -> [ 59.2, 65.1 %]

Elo        : 2787
Margins    :
68 %      : (+  7,-  7) -> [2779,2794]
95 %      : (+ 15,- 14) -> [2772,2801]
99.7 %    : (+ 22,- 22) -> [2765,2809]

Selbst bei 99.7% reichen Deine 1500 Games bereits für "nur noch" +- 22 aus !!

Viele Grüsse,
G.S.

By Ingo Bauer Date 2009-11-22 13:04

Hallo

[quote="Gerhard Sonnabend"]

Selbst bei 99.7% reichen Deine 1500 Games bereits für "nur noch" +- 22 aus !!

[/quote]

Oh, habe nicht nachgerechnet, dachte aber die Kurve läuft steiler. Egal, ich nehme an du hast verstanden was ich sagen wollte.

Gruß
Ingo

By Roland Rösler Date 2009-11-22 15:08

Hallo Ingo,

keine Ausreden!

Willst Du 99,7% "Sicherheit" und einstellige Schranken, mußt Du halt 6x soviel Spiele (9.000) spielen.

Gruß Roland

By Ingo Bauer Date 2009-11-22 15:27

Moin

[quote="Roland Rösler"]

keine Ausreden!

Willst Du 99,7% "Sicherheit" und einstellige Schranken, mußt Du halt 6x soviel Spiele (9.000) spielen.

[/quote]

Da verwechselst du was. ICH brauche keine Sicherheit, ich WEIß das zw. Ponder on und off Unterschiede bestehen.
Diejenigen die bisher beauptet haben, dass sich nach 500, 750 oder 1000 Spielen nicht mehr viel ändert, argumentieren jetzt das mein Ergebniss nach 1500 Spielen nur ganz knapp ausserhalb des 95% Intervall liegt. Sachlich richtig, aber das Thema kann wie ein Bummerang auf die Ranglisten zurückfallen.

Gruß
Ing

By Roland Rösler Date 2009-11-22 15:46

[quote="Ingo Bauer"]ich WEIß das zw. Ponder on und off Unterschiede bestehen.[/quote]
Ich auch!

By Ingo Bauer Date 2009-11-22 15:54

Hallo

[quote="Roland Rösler"]
[quote="Ingo Bauer"]ich WEIß das zw. Ponder on und off Unterschiede bestehen.[/quote]
Ich auch!

Spielt man die Ponder=on Spiele mit 6'+3" sind das bei Ponder=off etwa 10'+3" oder 9'+3". Spielt man die Ponder=off Spiele aber mit gleicher Zeitkontrolle wie bei Ponder=on ist klar, daß da unterschiedliche Eloergebnisse rauskommen. Du erwartest doch nicht etwa, daß S12 bei unterschiedlichen Zeitkontrollen immer die gleiche Elo-Performance hinlegt?
[/quote]

Hier geht es nicht um Ponder On ist wie Ponder off in Spiel+x. Ich habe schon mehrmals geschrieben das es wohl Engines gibt die ein komplett anderes Zeitmanagement bei Ponder on und off haben und DAS verursacht evtl ein anderes Spielverhalten! Dein 6+3 und 10+3 halte ich für weniger gravierend als 6+3 Ponder on und off. Man kann die Zeitkontrollen nicht einfach hochrechnen, das ist zu kurz gesprungen. Die Frage die sich mir stellt ist ob eine Rangliste OFF und ON, bei GLEICHEN Zeitkontrollen identische Ergebnisse liefert. Bei jedem Turnier/Server wird ja schließlich auch (und ausschließlich) Ponder ON gespielt.
Wenn dann noch mehr als 1 Kern hinzukommt, dann wird das Problem womöglich noch größer - das ist aber Bauchgefühl und kann ich nicht beweisen.

Gruß
Ingo

By Roland Rösler Date 2009-11-22 16:13

Meine Behauptung ist lediglich, daß Du mit einer Zeitkontrolle von 10'+3" in deinem Ponder=off Test viel näher an die Elo 2725 rangekommen wärst.
Alles andere halte ich für Spekulation, für die mir die Gründe nicht ersichtlich sind.

By Ingo Bauer Date 2009-11-22 16:16

Ich glaube wir reden aneinander vorbei.

Gruß
Ingo

By Frank Quisinsky Date 2009-11-23 13:24

Hi,

Ponder on / off ist nicht nur eine Zeitkomponente wie z. B. 2 Cores im Vergleich zu einem Core.
Das Spielverhalten unterscheidet sich.

Du kannst nicht zwei Zeitkontrollen vergleichen, nur weil Du hierdurch die ca. 35% + von Ponder = on zu Ponder = off herausholst.

Ferner kommt jetzt noch eine zweite Komponente hinzu.
Die Fischer Zeitkontrolle +x.

Es gibt eine Vielzahl von Engines, die das gar nicht richtig verstehen.
Auch leicht zu beobachten bei Zügen vor der Zeitkontrolle.

Kannst Du einfach erkennen ...
Spiele 5 Testpartien mit den Engines Deiner Wahl.

Nehme z. B. 40 in 5 und Deine bevorzugte Fischer Zeitkontrolle.
Notiere bzw. addiere die Restbedenkzeiten in Zug 39 und teile dann wieder durch 5 (da 5 Partien in diesem Beispiel).

Dann vergleiche das Zeitmanagement mit der Fischer-Zeitkontrolle !!
Denke die Fischerzeitkontrolle könnte gar -30 - 40 ELO für eine Engine ausmachen, welche die Zeitkontrolle nicht versteht.
Ponder macht vielleicht 20 ELO aus (gibt solche Engines)

Zeitmanagement und Ponder on / off ...
Sollte bei den Betrachtungsweisen getrennt werden.

Schlimm finde ich teilweise Ratinglisten die mit Ponder = off und Fischerzeitkontrolle agieren.
Die Unterschiede zu Ratinglisten mit ponder = on und "normaler Bedenkzeit" liegen oftmals bei mehr als 40 ELO !!

Macht aber auch wieder nichts ...
So betrachten wir auch eine Ratingliste mit diesen Bedingungen ...
Ob nun Ratinglisten mit mehrere Cores, x64 und w32 wild gemischt oder auch nicht diesen Faktoren.
Dann noch ELOstat oder Bayes ELO und die vielen x anderen Faktoren (wie Bücher, Hash-Tables, mache spielen gar mit nicht kompletten 5-Steinern) etc..

Was solls !!

Gruß
Frank

By Kurt Utzinger Date 2009-11-23 14:56

[quote="Frank Quisinsky"]
[...]
Schlimm finde ich teilweise Ratinglisten die mit Ponder = off und Fischerzeitkontrolle agieren.
Die Unterschiede zu Ratinglisten mit ponder = on und "normaler Bedenkzeit" liegen oftmals bei mehr als 40 ELO !!
[...]
Gruß
Frank
[/quote]

Hallo Frank
Die Elo-Unterschiede in den verschiedenen Ratinglisten finde ich nicht weiter schlimm. Elo an
und für sich in den Listen sind (für mich) nicht interessant. Hingegen interessieren vielmehr
die Abstände der Engines untereinander. Von daher hat fast jede Ratingliste, die auf systematisch
durchgeführten Partien viel Wert. In diesem Sinne finde ich all die Diskussionen über +/- 10-20
Elo einfach irgendwie ... (unangebracht).
Mfg
Kurt

By Frank Quisinsky Date 2009-11-23 15:01

Hi Kurt,

hast völlig Recht aber ich meine ELO im Verhältnis der Listen untereinander.

Beispiel:
Liegt Rybka 32Bit 1 Core beständig in vielen Ratinglisten ca. 60 ELO vor Shredder 12 1 Core.
Liegt Rybka 32Bit 1 Core nun aber in einer anderen Ratingliste nicht beständig 60 ELO vor Shredder 12 1 Core (wohlgemerkt in diesem Beispiel mit 32Bit denn bei 64Bit sind es ca. 90 ELO) dann muss das andere Gründe haben. Sind genug Partien gespielt schaue ich mir die Bedingungen der Ratingliste an und stelle dann immer wieder fest ... aha ... Fischer Zeit (wobei ich das jetzt bei Shredder und Rybka nicht verglichen haben, wildes Beispiel).

Wichtig auch das ELO-Berechnungsprogramm !!!
Hatte mich Wolfgang Battig die Tage drauf hingewiesen.

Gerade noch im Thread von Tima etwas dazu geschrieben.
Bayes ist für mich logsicher.

Die Engines unter der Nummer 1 werden leicht bis stärker angehoben. Stärker z. B. der letzte in der Liste.
Das macht absolut Sinn nach den ganzen Erfahrungen mit Ratinglisten die ich so gemacht habe.

Halte Bayes für besser ...

Gruß
Frank