Houdini Settings

By Kurt Utzinger Date 2012-08-04 16:28

Mfg
Kurt

By Michael Scheidl Date 2012-08-04 18:14

Die Defaults von Houdini 2 kenne ich nicht, aber bei Houdini 1.5a gibt es meines Erachtens ein Problem mit den Gaviota-Zugriffsparametern. Und zwar sind diese auf Suchtiefen eingestellt, per Default auf Hard Probe 24 und Soft Probe(*) 16. Das ist unverständlich groß.

*) Soft Probe betrifft Abfragen von Tbs.-Daten die bereits im Speicher sind (á la Bitbases)

Erstmal sehe ich keinen Grund warum "Soft Probe" größer als 2 Plies sein sollte, wenn das Zugriffe auf Daten sind die bereits im RAM sind. Da ist kein Bremseffekt zu befürchten. Hard Probe 24 ist mir ebenfalls unklar, denn das heißt ja daß bis zu einer Rechentiefe von 23 Plies, das ist nicht wenig, die Gaviotatables ungenutzt bleiben.

Wer Houdini mit Defaults betreibt, müßte eigentlich festgestellt haben daß die Engine fast nie auf Tbs. zugreift, es sein denn die RT. sind sehr groß.

Ich habe daher bei mir hard=8 und soft=2 (Minimum) eingestellt.

Haben die Gestalter der diversen Houdini-Settings das auch begriffen?

By Kurt Utzinger Date 2012-08-05 08:15

[quote="Michael Scheidl"]
Wer Houdini mit Defaults betreibt, müßte eigentlich festgestellt haben daß die Engine fast nie auf Tbs. zugreift, es sein denn die RT. sind sehr groß.
[/quote]

Hallo Michael

Ist mir auch schon aufgefallen, ohne dass ich allerdings hinterfragt
hätte, woran das liegen könnte. Jedenfalls danke für den Hinweis.

Mfg
Kurt

By Stefan Pohl Date 2012-08-05 12:54

[quote="Michael Scheidl"]
Die Defaults von Houdini 2 kenne ich nicht, aber bei Houdini 1.5a gibt es meines Erachtens ein Problem mit den Gaviota-Zugriffsparametern. Und zwar sind diese auf Suchtiefen eingestellt, per Default auf Hard Probe 24 und Soft Probe(*) 16. Das ist unverständlich groß.

*) Soft Probe betrifft Abfragen von Tbs.-Daten die bereits im Speicher sind (á la Bitbases)

Erstmal sehe ich keinen Grund warum "Soft Probe" größer als 2 Plies sein sollte, wenn das Zugriffe auf Daten sind die bereits im RAM sind. Da ist kein Bremseffekt zu befürchten. Hard Probe 24 ist mir ebenfalls unklar, denn das heißt ja daß bis zu einer Rechentiefe von 23 Plies, das ist nicht wenig, die Gaviotatables ungenutzt bleiben.

Wer Houdini mit Defaults betreibt, müßte eigentlich festgestellt haben daß die Engine fast nie auf Tbs. zugreift, es sein denn die RT. sind sehr groß.

Ich habe daher bei mir hard=8 und soft=2 (Minimum) eingestellt.

Haben die Gestalter der diversen Houdini-Settings das auch begriffen?

[/quote]

Hi Michael,

1. Ich teste in der LightSpeed-Rangliste immer ganz ohne TBs - bei meinem ultraschnellen Testtempo von 20''+250ms würden selbst schnelle Zugriffe mehr bremsen und schaden als nützen.
2. Du hast vollkommen Recht. Wenn man Houdini 128MB oder gar 256MB Cache spendiert und die TBs (3-5 Steiner) auf schnellem Flash-Memory liegen, kann man sogar hard und soft auf 2 stellen (sollte man m.E. sogar), ohne das das die Knotenleistung nennenswert bremst.

Gruß - Stefan

By Michael Scheidl Date 2012-08-05 15:22

Zitat:

(...) kann man sogar hard und soft auf 2 stellen (sollte man m.E. sogar), ohne das das die Knotenleistung nennenswert bremst.

Ich danke Dir für diese Bestätigung. Für meine kleine Hardware mit Gaviota-Viersteinern auf HD habe ich ein Kompromiß-Setting gewählt. Ich hab keine SSD; vom an sich logischen Betrieb der Tablebases von einem Flash Memory Stick nahm ich Abstand nachdem mir ein Corsair Voyager (!) bei dieser Art der Nutzung nach wenigen Monaten kaputt geworden ist.

By Stefan Pohl Date 2012-08-05 15:25

[quote="Michael Scheidl"]

Zitat:

(...) kann man sogar hard und soft auf 2 stellen (sollte man m.E. sogar), ohne das das die Knotenleistung nennenswert bremst.

Das ist aber wirklich Pech. Ich habe die TBs auf einem 16GB-Stick liegen, der schon ein knappes Jahr immer wieder in Betrieb ist - keine Probleme...

Stefan

By Stefan Pohl Date 2012-08-05 12:57

[quote="Kurt Utzinger"]

Hallo Stefan

Was macht man nicht alles, wenn einem bei der Testerei langweilig
wird, bzw. wenn nichts Neues zum Testen vorhanden ist.

Mfg
Kurt

[/quote]

Aber Kurt, Testerei wird nie langweilig (zumindest nicht nach den ersten 30 Jahren, habe ich festgestellt)...
Aber wenns gerade nix neues gibt, kann man ja mal ein hochgelobtes Setting durchlaufen lassen, um es mit vernünftigen Testbedingungen (viele, viele, sehr viele Partien!!!) auf den Boden der Realität zurückzuholen.

Gruß - Stefan

By Stefan Pohl Date 2012-08-05 12:55

[quote="Stefan Pohl"]
Hallo,

Ich möchte zumindest eines der vielen Houdinisettings in meine LightSpeed-Rangliste integrieren, da es aber mittlerweile sehr viele gibt, habe ich mich entschlossen zunächst mal alle mir bekannten (starken) Houdinisettings je 1000 Partien gegen die Default-Version spielen zu lassen. Also T3,z,s,g,Baracuda und Optimus2. Dazu noch eines von mir (T3 mit eigenen Figurenwerten). Das beste Setting macht dann einen echten Test-Gauntlet in der LS-Liste, vorausgesetzt, das es in diesem Auscheidungskampf auf mehr als 50% gegen Houdini-default kommt...(Setting Higgs und s2 kenne ich leider nicht).
Generell bin ich eher skeptisch, was echte Elo-Gewinne durch Settings angeht. M.E. kann man mit Settings die Spielweise einer Engine ändern, aber die Spielstärke zu erhöhen ist kaum möglich. Zumal nicht bei Houdini, wo keine Pruning-Parameter und auch kein Mobility etc. zur Verfügung stehen. Aber schaun mer mal.

Gruß - Stefan
[/quote]

Hallo zusammen,

da ja da T3-Setting als stärkstes gilt, in der SCCT-Liste vorn liegt und laut Sedat auch besonders gut gegen starke Gegner scort, habe ich meinen Setting-Auswahltest nach je 400 gespielten Partien angehalten. Denn auch hier (s.u.) liegt das T3-Setting am besten im Rennen. Also wird nun das T3-Setting in die LightSpeed-Rangliste integriert und spielt 10000 Partien (1000 gegen die gleichen 10 Top-Gegner, gegen die auch Houdini 2 default in der LS-best-list gespielt hat). Dabei erzielte Houdini 2 default eine Erfolgsquote von 63.9%.
Der T3-Test läuft bereits und nach nun schon immerhin 1100 absolvierten Partien liegt der Erfolgsscore bei kümmerlichen 61.5%. Hier scheint das bekannte Phänomen zuzuschlagen, daß ein Setting gegen die default-Version der betreffenden Engine gut abschneidet, aber nicht gegen andere Gegner. Aber abwarten, noch sind knapp 9000 Partien zu spielen. Endergebnis Mitte der Woche hier und auf talkchess.


Houdini 2.0c x64   - Houdini 2.0c T3           188.0 - 212.0    +104/=168/-128    47.00%
Houdini 2.0c x64   - Houdini 2.0c z            195.0 - 205.0    +116/=158/-126    48.75%
Houdini 2.0c x64   - Houdini 2.0c s            212.5 - 187.5    +129/=167/-104    53.13%
Houdini 2.0c x64   - Houdini 2.0c Baracuda     215.5 - 184.5    +130/=171/-99    53.88%
Houdini 2.0c x64   - Houdini 2.0c g            193.5 - 206.5    +106/=175/-119    48.38%
Houdini 2.0c x64   - Houdini 2.0c Optimus2     216.0 - 184.0    +131/=170/-99    54.00%
Houdini 2.0c x64   - Houdini 2.0c Pohl         205.0 - 195.0    +118/=174/-108    51.25%

Grüße an alle - Stefan

By Ernest Bonnem Date 2012-08-05 18:27

[quote="Stefan Pohl"]

Houdini 2.0c x64   - Houdini 2.0c T3           188.0 - 212.0    +104/=168/-128    47.00%
Houdini 2.0c x64   - Houdini 2.0c z            195.0 - 205.0    +116/=158/-126    48.75%

[/quote]
Hallo Stefan,

Wo kann ich die Houdini 2.0c T3 und Houdini 2.0c z settings finden ?

By Stefan Pohl Date 2012-08-06 11:14

[quote="Ernest Bonnem"]
[quote="Stefan Pohl"]

Houdini 2.0c x64   - Houdini 2.0c T3           188.0 - 212.0    +104/=168/-128    47.00%
Houdini 2.0c x64   - Houdini 2.0c z            195.0 - 205.0    +116/=158/-126    48.75%

[/quote]
Hallo Stefan,

Wo kann ich die Houdini 2.0c T3 und Houdini 2.0c z settings finden ?
[/quote]

Guckst du hier: http://www.chess2u.com/t6100-all-houdini-20c-values

By Ernest Bonnem Date 2012-08-06 16:43

Danke, Stefan!

By Stefan Pohl Date 2012-08-06 11:29

[quote="Stefan Pohl"]

Der T3-Test läuft bereits und nach nun schon immerhin 1100 absolvierten Partien liegt der Erfolgsscore bei kümmerlichen 61.5%.
[/quote]

Inzwischen ist etwa Halbzeit (knapp 5000 Partien) und das T3-Setting hat sich um immerhin 2% (ca +15 Elo) gesteigert - auf nunmehr 63.5% Erfolgsscore, was aber immer noch 0.4% unter dem Erfolgsscore der Default-Version liegt. Das zeigt mal wieder eindrücklich, daß gut 1000 Partien eben nicht reichen, wenn man einen Engine/Setting-Test durchführt, so wie das Sedat immer behauptet. +/-2% sind keine Kleinigkeit, sondern wie erwähnt ca. +/-15 Elo. Und so was passiert bei meinen Tests auch nicht zum ersten Mal. Erst ab 5000 Partien habe ich bisher bis zum Ende des Tests keine signifikanten Schwankungen mehr gehabt (nur noch so +/- 0.5%). Trotzdem sind 10000 Partien natürlich besser als 5000, aber 5000 müssen es m.E. schon sein, wenn man im Bereich von 10-20 Elo halbwegs sicher sein will (also bei jedwedem Settingtest)...

Gruß - Stefan

By Simon Gros Date 2012-08-06 19:49

"Das zeigt mal wieder eindrücklich, daß gut 1000 Partien eben nicht reichen, wenn man einen Engine/Setting-Test durchführt, so wie das Sedat immer behauptet."
Da kann ich nur zustimmen und dies gilt bei weitem nicht nur für Setting-Tests! Ich beobachte z.Zt. den CEGT 40/4 Test mit Houdini 2.0c x64 4CPU (http://cegt.siteboard.eu/f6t324-testing-houdini-2-0c-x64-4cpu.html). Dort steht ganz unten folgendes:
And a bit history:
Games ELO + - (95 %)
1400   3140   24 23 -> [3117,3164]
1300   3137   24 24 -> [3113,3162]
1200   3139   26 25 -> [3114,3165]
1100   3144   27 26 -> [3117,3171]
1000   3143   29 28 -> [3115,3172]
900   3143   32 31 -> [3112,3174]
800   3142   33 32 -> [3110,3175]
700   3136   34 33 -> [3103,3170]
600   3132   37 36 -> [3097,3169]
500   3151   45 43 -> [3108,3196]
Auch hier sieht man deutlich, daß wenige Spiele überhaupt nichts aussagen bezüglich des Ratings. Selbst nach nun 1400 Spielen schwank dieses hin und her und ein Ende ist wohl (zumindest bis jetzt) nicht abzusehen.
Simon_G

By Stefan Pohl Date 2012-08-09 05:17

[quote="Stefan Pohl"]
[quote="Stefan Pohl"]

Der T3-Test läuft bereits und nach nun schon immerhin 1100 absolvierten Partien liegt der Erfolgsscore bei kümmerlichen 61.5%.
[/quote]

Inzwischen ist etwa Halbzeit (knapp 5000 Partien) und das T3-Setting hat sich um immerhin 2% (ca +15 Elo) gesteigert - auf nunmehr 63.5% Erfolgsscore, was aber immer noch 0.4% unter dem Erfolgsscore der Default-Version liegt. Das zeigt mal wieder eindrücklich, daß gut 1000 Partien eben nicht reichen, wenn man einen Engine/Setting-Test durchführt, so wie das Sedat immer behauptet. +/-2% sind keine Kleinigkeit, sondern wie erwähnt ca. +/-15 Elo. Und so was passiert bei meinen Tests auch nicht zum ersten Mal. Erst ab 5000 Partien habe ich bisher bis zum Ende des Tests keine signifikanten Schwankungen mehr gehabt (nur noch so +/- 0.5%). Trotzdem sind 10000 Partien natürlich besser als 5000, aber 5000 müssen es m.E. schon sein, wenn man im Bereich von 10-20 Elo halbwegs sicher sein will (also bei jedwedem Settingtest)...

Gruß - Stefan
[/quote]

Hallo zusammen,

also das T3-Setting hat nun den kompletten Testlauf gemacht (10000 Partien) und liegt 0.6% schlechter als die Default-Version. Daher wird es auch in der LS-Rangliste nicht gelistet - was soll man mit einem Spezialsetting, was schwächer scort als die Default-Version???

Gruß - Stefan

By Michael Huber Date 2012-08-09 09:28

Hallo Stefan,
danke für deine Tests - die Ergebnisse sind immer sehr interessant

By Stefan Pohl Date 2012-08-10 08:39

[quote="Michael Huber"]
Hallo Stefan,
danke für deine Tests - die Ergebnisse sind immer sehr interessant

Gibt es eigentlich auch einen Vergleich deiner POHL Settings mit dem Standardsetting bei ähnlich vielen Partien und wie sieht es da aus?

Du bezweifels die Sinnnhaftigkeit eines Settings das schwächer als der Standard ist - für eine Rangliste sehe ich das auch so aber davon abgesehen finde ich es, für die Analyse von Stellungen, schon gut ein Setting zu haben, dass von der Spielstärke her vielleicht ein wenig schwächer ist aber dafür einen anderen Spielstil hat und oft mal alternative Züge vorschlägt.

Soweit ich bisher mitbekommen habe soll das ja für dein Setting zutreffen (Stichwort geänderte Figurenwerte) - richtig?

Noch einen schönen Tag, Michael
[/quote]

Die Pohl-Settings waren gegen Houdini 2 default gut, aber nicht gegen andere Gegner - leider.
Ich stimme zu, daß ein Setting durchaus interessant sein kann auch wenn es in einer Rangliste nicht besser bzw. schwächer ist, aber bei mir geht es hier nun mal um die LS-Rangliste und da macht das Einlisten schwächerer Settings keinen Sinn (über die Spielweise sagt ja eine Rangliste nix aus).
Das Stockfish PHQ-Setting sieht in meiner LS-Rangliste auch schlechter aus als Stocki default (bzw. würde schlechter aussehen, aber ich liste auch das nicht ein), spielt aber viel schöner als die Default-Engine!

Gruß - Stefan

By Michael Huber Date 2012-08-10 09:28

Hallo Stefan,
eine kleine Frage hätte ich noch bzgl. der POHL Settings.
War die Houdini POHL Variante gegen die Top Programme (sagen wir mal Top 5) vergleichbar gut wie die Standard Version und hat nur gegen "schwächere" Gegner etwas ausgelassen oder waren die POHL Setting durchgehend gegen alle anderen Engines eher schwächer?

LG, Michael

By Stefan Pohl Date 2012-08-10 16:23

[quote="Michael Huber"]
Hallo Stefan,
eine kleine Frage hätte ich noch bzgl. der POHL Settings.
War die Houdini POHL Variante gegen die Top Programme (sagen wir mal Top 5) vergleichbar gut wie die Standard Version und hat nur gegen "schwächere" Gegner etwas ausgelassen oder waren die POHL Setting durchgehend gegen alle anderen Engines eher schwächer?

LG, Michael
[/quote]

So weit ich mich erinnere war es gegen die Top-Gegner etwas schwächer (hatte auch nur gegen diese getestet)..

Gruß - Stefan