Erfahrungen mit Houdini 3 & 4 in Bullett-Partien

By Hauke Lutz Date 2013-12-28 13:41

Stefan Pohl´s ls-rangliste bescheinigt H4 ganze 34 Elo mehr als sein Vorgänger.

By Joe Boden Date 2013-12-28 14:01

Gerade weil ich Stefans Liste für zuverlässig halte bin ich so irritiert, denn in meinen Vergleichspartien mache ich bislang andere Erfahrungen. Aber es sind ja noch viele Partien zu spielen...

By Hauke Lutz Date 2013-12-28 14:05

Wie viele Partien hast du den schon gegen welche Engine spielen lassen?

By Joe Boden Date 2013-12-28 14:07

In meinem aktuellen Vergleichsturnier mit über 10 der stärksten Engines sind jetzt über 300 Partien gespielt.

By Hauke Lutz Date 2013-12-28 14:11

Üb dich noch etwas in Geduld. Das Ergebnis pendelt sich schon noch ein

By Stefan Pohl Date 2013-12-28 14:33

Joe Boden schrieb:

Gerade weil ich Stefans Liste für zuverlässig halte bin ich so irritiert, denn in meinen Vergleichspartien mache ich bislang andere Erfahrungen. Aber es sind ja noch viele Partien zu spielen...

Bullet ist nicht gleich Bullet. Ich lasse in der LS-Rangliste mit einem rel. großen Fischerbonus von 0.5 Sekunden spielen. Das ist beim Bullet in Engine-Engine Partien sehr wichtig, weil sonst bei den oft auftretenden sehr langen Partien, starke Ergebnisverzerrungen durch Zeitnot auftreten. Und Houdini 4 hat eine deutlich andere Zeiteinteilung als Houdini 3. Wenn du also mit deutlich weniger Fischerbonus oder gar ganz ohne Fischerbonus testest, dann wirst du merkwürdige Resultate erhalten.
Als Faustregel kann ich für jedwedes Bullet-Computerschach nur dringend raten, ca. 1% Fischerbonus (gemessen an der Basiszeit) einzurichten.

Stefan

By Guest Date 2013-12-29 19:36

Das liegt in der Natur des Bullets, übrigens vollkommen egal wie groß/klein der Zuschlagbonus ist!
Solche Bedenkzeiten benötigen ob der (fast) sprichwörtlichen Zufälligkeit sehr sehr große Datenmengen
um zu einem halbwegs verläßlichen Ergebnis zu kommen. Besser: "Finger weg" von allem was unter 10
(zehn) Minuten pro Partie und Seite liegt. Da helfen auch noch so schnelle Rechner nicht.

By Joe Boden Date 2013-12-29 20:21

Da Testen immer sehr zeitaufwendig ist, besonders bei langen Bedenkzeiten, während man gleichzeitig immer am liebsten aktuelle Engines bewerten und testen möchte, gerät man in ein Dilemma.
Werde wohl mal einen Versuch mit 10 Minuten_Partien starten. Allerdings erst, nachdem ich vorher mit Bullet ausgesiebt habe. Oder hat jemand eine bessere Idee?

Ich bin mir auch nicht sicher, ob Stefans Empfehlung mit Zeitzuschlag zu spielen, wirklich was bringt. Gibt es da verlässliche Tests zu diesem Thema bislang. Jeder Tester hat ja hier auch seine eigenen Vorstellungen. Wie gesagt...es ist heutzutage ja alles ein Zeitproblem...

Übrigens hat bei mir Stockfish DD tatsächlich trotz Zeitbonus von 5 Sekunden eine Partie durch Zeitüberschreitung verloren. Ist das normal?

By Frank Quisinsky Date 2013-12-29 20:29

Hi Joe,

nein, nein ... eher ein Problem mit der eigenen Ungeduld.

Gut Ding will Weile habe ... oder so irgendwie sagte es meine Oma immer und die Oma meiner Oma, und deren Oma und in früheren Zeiten die Arkadier besonders Hopleus (Hoppla ...).
Ein Tag für die Geier ...

Gruß
Frank

By Stefan Pohl Date 2013-12-30 06:39

Joe Boden schrieb:

Ich bin mir auch nicht sicher, ob Stefans Empfehlung mit Zeitzuschlag zu spielen, wirklich was bringt. Gibt es da verlässliche Tests zu diesem Thema bislang. Jeder Tester hat ja hier auch seine eigenen Vorstellungen.

Es geht hier nicht um meine Vorstellungen oder so, sondern schlicht darum, daß man einen gewissen Bedenkzeitsockel nicht unterschreiten darf, weil es sonst Verzerrungen geben kann, da das Umschalten zwischen den Engine-Tasks unter Windows ein paar Millisekunden dauert und Engines ggf. eigene initialisierungsprozesse durchführen, bevor die eigentlich Baumsuche anfängt. Und auch die GUI selber braucht ein bißchen Zeit, um den Zug einer Engine auf dem internen Brett auszuführen und abzuspeichern etc. etc. Das alles summiert sich. Und unter der LittleBlitzerGUI (bei anderen GUIs kann es anders sein!) habe ich festgestellt, daß man ca. 200 ms als Mindestbedenkzeit einräumen sollte, damit alles normal funktioniert und alle Engines normale Rechentiefen und Knotenzahlen anzeigen. Und diese Untergrenze kann man nur sicherstellen, wenn man einen Fischerbonus einräumt, weil - wie schon erwähnt - viele Engine-Engine Partien in sehr langes Endspielgeschiebe ausarten können. Und bei einer Bullet-Bedenkzeit wird dann diese Untergrenze irgendwann unterschritten...Das vermeidet man (nur), indem man einen Fischerbonus einräumt. Mit 300 ms ist man auf der sicheren Seite. Ich habe mich für 500ms entscheiden. Dafür kann man ja die Basiszeit verkürzen. Mit meiner Bedenkzeit von 45''+500ms hat jede Engine so ca. 80-90 Sekunden pro Partie Bedenkzeitverbrauch. Wills du da "echtes" Bullet, also 1 Minute pro Partie und Engine, dann nimm 30''+350ms oder so, das sollte dann etwa auf 1 Minute pro Partie hinauslaufen, aber eben ohne Zeitnotdramen.

Stefan

By Benno Hartwig Date 2013-12-30 10:29

> habe ich festgestellt, daß man ca. 200 ms als Mindestbedenkzeit einräumen sollte,

Ich hatte unter Arena mal experimeniert mit 0 min + x millisek
SF macht bei x=100 andauernd Riesenmist. Meist kommt er so 8 bis 10 plys tief, zeigt bei manchen Zügen aber plötzlich -M0 oder +M0 und im nächsten Zug ist ist der Gegner sofort 5,0 oder auch 12,0 im Vorteil!

Überaus unbrauchbar. (64bit, 1core auf i5-750)
Und selbst bei x=200 kommt das noch ziemlich häufig vor!

Es mag sein, dass sich solch ein Effekt nicht mehr so auswirkt, wenn man nicht 0 min als Basis nimmt sondern wenigstens 30 sec.
Dann kommen die wirklich knappen Zeiten erst, wenn das Brett leerer ist, wenn sich also schneller Tiefe erreichen lässt.

Meinen schnellsten Tests gebe ich daher immer 1 min + 500 millisec.

Benno

By Stefan Pohl Date 2013-12-30 10:38

Benno Hartwig schrieb:

Überaus unbrauchbar. (64bit, 1core auf i5-750)
Und selbst bei x=200 kommt das noch ziemlich häufig vor!
Meinen schnellsten Tests gebe ich daher immer 1 min + 500 millisec.

Benno

Das kann gut sein. Deshalb habe ich ja auch ausdrücklich betont, daß meine Empfehlungen sich auf die LittleBlitzerGUI beziehen. Es ist ja durchaus nicht unplausibel, daß eine "echte" GUI wie Arena (also Brettgrafik etc.), die noch dazu die Engineoutputs live anzeigt, mehr Mindestzeit braucht, damit die Engines klarkommen...Die LittleBlitzerGUI speichert ja nur die Züge und übergibt den jeweils letzten Zug an die gegnerische Engine. Sie hat weder Brettgrafik, noch zeigt sie Engineoutputs in Realzeit an.
Man muß bei jeder GUI austesten, wo der kritische Bereich anfängt. Daß bei Arena 400-500ms die Schmerzgrenze sind, glaube ich dir sofort. Die LittleBlitzerGUI ist ja auch für kurze Bedenkzeiten konzipiert worden und deshalb auch so spartanisch, was den Output während einer Partie angeht, denn Output kostet Zeit. Deshalb gibt sie auch nur am Ende einer Partie die durschschnittlichen Knotenzahlen, Suchtiefen und Bedenkzeiten an. Da hat der Autor sich schon was bei gedacht!

Stefan