Mein bestes Houdini-Setting

By Stefan Pohl Date 2011-11-02 09:15

Hallo zusammen,

hier die Ergebnisse des besten Settings von Houdini 2.0b, das ich gefunden habe. Mehr werde ich auch nicht mehr ausprobieren, ich denke es ist auch nicht mehr herauszuholen. Das Setting Pohl4 wurde ausführlich und mit zwei Bedenkzeitstufen (und jeweils anderen Vorgabestellungen) getestet, ich denke die Werte sind doch recht aussagekräftig...Alles mit je 1 Core ohne TBs und Büchern unter der LittleBlitzer GUI, mit 2.83GHz Quad PC. Auf dieser Hardware kam Houdini auf ca. 2 Mio Knoten/Sek. (mit einem Core, versteht sich), Rybka auf gut 100.000 Knoten Sek. Das nur als Anhaltspunkt für die Geschwindigkeit.

Test 1: 30 Sekunden Basis + 500 ms Fischer Bonus. 250 ausgewählte Vorgabestellungen (je 8 Vollzüge lang) aus der Frank Q. Datenbank.

Houdini 2.0b xp   - Houdini 2.0b x64    263.0 - 237.0 +154/-128/=218 52.60%
Houdini 2.0b xp   - Rybka 4.1 329.0 - 171.0 +243/-85/=172 65.80% (IPON 57.5%)
Houdini 2.0b xp   - Critter 1.2 64-bit 312.5 - 187.5 +200/-75/=225 62.50% (IPON 54.5%)
Houdini 2.0b xp   - Stockfish 2.1.1 JA 64bit 362.5 - 137.5 +284/-59/=157 72.50% (IPON 63.5%)
Houdini 2.0b xp   - Komodo64 3 323.5 - 176.5 +247/-100/=153 64.70% (IPON 57%)

Test 2: 120 Sekunden Basis + 1000 ms Fischer Bonus. 60 Noomen-Vorgabestellungen (Noomen-Testsets aus den Jahren 2006 & 2008)

Houdini 2.0b xp   - Houdini 2.0b x64    63.0 - 57.0 +36/-30/=54 52.50%
Houdini 2.0b xp   - Rybka 4.1 79.0 - 41.0 +59/-21/=40 65.83%
Houdini 2.0b xp   - Critter 1.2 64-bit    74.5 - 45.5 +50/-21/=49 62.08%
Houdini 2.0b xp   - Stockfish 2.1.1 JA 64bit 80.0 - 40.0 +59/-19/=42 66.67%
Houdini 2.0b xp   - Komodo64 3    79.0 - 41.0 +61/-23/=36 65.83%

Man sieht, daß die Werte aus beiden Testläufen doch sehr gut übereinstimmen. Lediglich Stockfish konnte sich mit längerer Bedenkzeit und mit Vorgabestellungen, die die Engines in eine vollwertig entwickelte Stellung entlassen, etwas steigern. Auch ist dieses Setting das einzige, was ich gefunden/getestet habe, das gegen den Default-Houdini - wenn auch nur knapp - über 50% scort.

Der Default-Houdini scorte gegen die 4 Gegner in der IPON mit einem Gesamtdurchschnitt von 58.1%. Nimmt man nun aus beiden Tests für das Pohl4 Setting das jeweils schlechtere Ergebnis im jeweiligen Einzelwettkampf und bildet daraus ebenfalls den Durchschnittswert, so ergibt das immerhin 64.8%. Ob sich das bei IPON-Bedingungen auch bestätigt, ist natürlich nicht klar. Da niemand weiß, welche Vorgabestellungen Ingo benutzt, kann ich das leider auch nicht austesten...Da in der IPON aber längere Bedenkzeiten und auch einen pro Core etwas 30% schnellerer PC benutzt werden, denke ich daß der Vorsprung des Settings hier sicher geringer wäre, aber ein paar Elos würden bestimmt übrig bleiben.

Das Setting besteht im wesentlichen darin, daß Figurenwerte benutzt wurden, die Ivanhoe nach empfunden sind (100, 330, 342, 500, 950). Der Witz hierbei ist, daß die Werte doppelt asymmetrisch sind, da die Leichtfiguren im Verhältnis zum Turm zu hoch und der Turm im Verhältnis zu Dame zu niedrig bewertet wird. Dies hat zur Folge, daß es überdurchschnittlich oft zu asymmetrischen Abtäuschen kommt, also z.B. Läufer und 2 Bauern gegen Turm. Das hat interessante Partieverläufe zur Folge...
Außerdem wurden die 4 pawn-shield Parameter herabgesetzt und die 3 pawn-storm Parameter erhöht, um ein etwas aggressiveres Spiel zu erreichen.
Das war auch der eigentliche Sinn der Setting-Entwicklung: Interessanteres & aggressiveres Spiel bei mind. gleicher Gesamtspielstärke. Dieses Ziel habe ich mit diesem Setting m.E. erreicht.

Das Setting könnte prinzipiell auch in Houdini 1.5a benutzt werden, da die Paramter-Einteilung identisch ist. Allerdings habe ich es mit Houdini 1.5a nicht getestet, ob es auch dort gut wirkt ist daher unklar. Ich schreibe jetzt hier zunächst die Text-Strings der beiden Default-Engines hin und dann den des Settings. Man muß dann nur mittles eines Hex-Editors den Text-String der jeweiligen Original-Engine durch den neuen Setting-Text-String ersetzen. Das ist eine Sache von einer Minute...Oder man nutzt das Tool HoudiConfig, das ist noch einfacher und funktioniert mittlerweile auch mit Houdini 2.0b.

Houdini 1.5a Original:
5D717974912A20202020202020202020202020202020202020202020202020202020202020

Houdini 2.0b Original:
5D717974702A2020202020202020202020202020202020202020202020201E2328161C1E20

Houdini 2.0b Pohl4 Setting (auch in Houdini 1.5a einsetzbar):
64828E7D642D2020202020202020202020202020202020202020202020201A1E2412242628
(fast Ivan 47c Figurenwerte (100,330,342,500,950,45), sowie
   pawn shield outer file = 26
   pawn shield inner file = 30
   pawn shield middle file = 36
   pawn shield diagonal = 18
   pawn storm outer file = 36
   pawn storm inner file = 38
   pawn storm middle file = 40

Viel Spaß damit. Bitte Ergebnisse posten.

Grüße an alle - Stefan

By Ben Hur Date 2011-11-03 18:04

Also,

dein Setting ist saustark!

Houdini_15a_w32

Code:

  1) .. Kd5-c6          Kd5-c6  * 4 Sekunden
  2) .. g7-g5           g7-g5   * 0 Sekunden
  3) h3-h4              h3-h4   * 0 Sekunden
  4) e3xf4              e3xf4   * 0 Sekunden
  5) .. Kb4-b3, f6-f5   f6-f5   * 0 Sekunden
  6) Kf6-e7             Kf6-e7  * 0 Sekunden
  7) Ke2-d3             Ke2-d3  * 0 Sekunden
  8) .. Se4-f2          Se4-f2  * 2 Sekunden
  9) .. g7-g6           g7-g6   * 2 Sekunden
 10) .. Sd2-f1(?)       Sd2-b3  * 0 Sekunden
 11) .. Df4-c1(?), Df4-e5(?)  Kg8-h7  * 0 Sekunden
 12) Df3-d3, Df3-f2     Df3-f2  * 0 Sekunden
 13) Da6-a1             Da6-a1  * 5 Sekunden
 14) Ld1-a4             Ld1-a4  * 0 Sekunden
 15) Ld6-c5             Ld6-c5  * 2 Sekunden
 16) De3-a3             De3-a3  * 0 Sekunden
 17) Td2-d1             Td2-d1  * 1 Sekunde
 18) Tb1-b7(?)          Tb1-c1  * 0 Sekunden
 19) .. g4-g3(?)        Kg7-f6  * 0 Sekunden
 20) La4-d1             La4-d1  * 1 Sekunde
 21) .. Le4-g2          Le4-g2  * 0 Sekunden
 22) Ke6-d7(?)          Ke6-e5  * 1 Sekunde
 23) b3-b4              b3-b4   * 1 Sekunde
 24) Ld2xf4(?)          Ld2-c3  * 0 Sekunden
 25) .. Ld8-f6(?)       a6-a5   * 1 Sekunde
 26) b3-b4              b3-b4   * 0 Sekunden
 27) .. Kd7-c6(?), b5-b4(?)  h5-h4   * 2 Sekunden
 28) .. Kd5-c5          Kd5-c5  * 0 Sekunden
 29) .. Kf7-g6          Kf7-g6  * 3 Sekunden
 30) Lf7-h5             Sc5-e6   
 31) Lg2-e4             Lg2-e4  * 1 Sekunde
 32) .. Kh4-g3          g4-g3    
 33) .. Sb3-a5          Sb3-a5  * 0 Sekunden
 34) Kd5-c5             Ld3xf1   
 35) Sd2-b3             Sd2-b3  * 1 Sekunde
 36) f5-f6, Kd8-c7      f5-f6   * 0 Sekunden
 37) Sd8-c6             Sd8-c6  * 0 Sekunden
 38) Sf3-e5, Sf3-h2     Sf3-e5  * 0 Sekunden
 39) e4-e5              e4-e5   * 3 Sekunden
 40) g3-g4              g3-g4   * 0 Sekunden
 41) Sh1-f2             Sh1-g3   
 42) d6-d7              d6-d7   * 1 Sekunde
 43) f5-f6, Ka4-b5      f5-f6   * 4 Sekunden
 44) Sf4-e2, Sf4-e6     Sf4-e6  * 0 Sekunden
 45) Se4-g5             Se4-g5  * 0 Sekunden
 46) Sd4-c6             Sd4-c6  * 0 Sekunden
 47) Kb5-b6             Kb5-b6  * 3 Sekunden
 48) Kb5-c6             Tb1-d1   
 49) a2-a4, Tb1-b5      Tb1-b5  * 0 Sekunden
 50) .. h5xg4           h5xg4   * 0 Sekunden
 51) Kh8-h7             Kh8-h7  * 0 Sekunden
 52) Td3-d4(?)          Td3-d8  * 2 Sekunden
 53) Ke5-f6             a3-a4    
 54) Tg5xf5             Tg5xf5  * 13 Sekunden
 55) .. h7-h5, Ta3-a1   h7-h5   * 0 Sekunden
 56) Tf7-c7             Tf7-c7  * 52 Sekunden
 57) .. Td1-d5(?)       Ke5-d6  * 0 Sekunden
 58) Kf8-e7             Kf8-g8   
 59) Kf7-f6             Kf7-f6  * 1 Sekunde
 60) c5-c6              c5-c6   * 6 Sekunden
 61) b5-b6              b5-b6   * 7 Sekunden
 62) Ke1-e2             Ke1-e2  * 0 Sekunden
 63) Kd2-c2             Ta8-e8   
 64) .. Te7xe2(?), Te7-e5(?)  Te7-d7  * 23 Sekunden
 65) Kg3-g2             Kg3-g2  * 0 Sekunden
 66) Ta8-b8             Ta8-b8  * 3 Sekunden
 67) .. Ke6-f7          Ke6-f7  * 0 Sekunden
 68) Tb6-b3             Tb6-b3  * 4 Sekunden
 69) Lf6-e5             Lf6-e5  * 0 Sekunden
 70) f7-f8D, f7-f8T     f7-f8D  * 0 Sekunden
 71) Lb4-a5             Lb4-a5  * 59 Sekunden
 72) a4-a5              a4-a5   * 0 Sekunden
 73) Lh8-d4             Lh8-d4  * 37 Sekunden
 74) Tc5-c8             Tc5-c8  * 7 Sekunden
 75) Th6-f6             Th6-f6  * 2 Sekunden
 76) d3-d4              d3-d4   * 3 Sekunden
 77) Lb2-a3             Lb2-a3  * 3 Sekunden
 78) Td4-d1             Td4-d2   
 79) Sd7-e5             Sd7-e5  * 4 Sekunden
 80) Sg5xh3             Sg5xh3  * 0 Sekunden
 81) Sd5-c7             Sd5-c7  * 3 Sekunden
 82) Sb5-a7             Sb5-a7  * 0 Sekunden
 83) Sh2-f1             Sh2-f1  * 1 Sekunde
 84) Kg2-g3             Kg2-g3  * 1 Sekunde
 85) .. Tb7-e7          Tb7-e7  * 0 Sekunden
 86) Sf7-h6             Tg8-g7   
 87) Sb4-a6             Sb4-a6  * 1 Sekunde
 88) Th6-h7             Th6-h7  * 0 Sekunden
 89) Te5-h5             Te5-h5  * 0 Sekunden
 90) Tc5-e5             Tc5-e5  * 8 Sekunden
 91) Kd6-c6, Tb4-b5     Kd6-c6  * 0 Sekunden
 92) Th4-f4             Th4-f4  * 2 Sekunden
 93) g6-g7              g6-g7   * 1 Sekunde
 94) Tc4-c3             Tc4-c3  * 11 Sekunden
 95) f5-f6              Lg3-h4   
 96) .. c4-c3           c4-c3   * 0 Sekunden
 97) .. Tb8-f8          Tb8-f8  * 6 Sekunden
 98) .. Sg6-f8(?)       Sg6-f8   
 99) Lc3xb4(?)          Kf1-e2  * 1 Sekunde
100) Da5-c5             Da5-c5  * 0 Sekunden

88 von 100 Zügen gefunden
03.11.2011 16:14:35, Gesamt Dauer: 01:41:34 Wertungszeit: 16:59 = 1019 Sekunden
##########################################################
Houdini_15a_w32 setting Pohl

Code:

  1) .. Kd5-c6          Kd5-c6  * 8 Sekunden
  2) .. g7-g5           g7-g5   * 0 Sekunden
  3) h3-h4              h3-h4   * 0 Sekunden
  4) e3xf4              e3xf4   * 0 Sekunden
  5) .. Kb4-b3, f6-f5   f6-f5   * 0 Sekunden
  6) Kf6-e7             Kf6-e7  * 0 Sekunden
  7) Ke2-d3             Ke2-d3  * 1 Sekunde
  8) .. Se4-f2          Se4-f2  * 2 Sekunden
  9) .. g7-g6           g7-g6   * 5 Sekunden
 10) .. Sd2-f1(?)       Sd2-b3  * 0 Sekunden
 11) .. Df4-c1(?), Df4-e5(?)  Kg8-h7  * 0 Sekunden
 12) Df3-d3, Df3-f2     Df3-f2  * 0 Sekunden
 13) Da6-a1             Da6-a1  * 2 Sekunden
 14) Ld1-a4             Ld1-a4  * 2 Sekunden
 15) Ld6-c5             Ld6-c5  * 2 Sekunden
 16) De3-a3             De3-a3  * 1 Sekunde
 17) Td2-d1             Td2-d1  * 5 Sekunden
 18) Tb1-b7(?)          Tb1-c1  * 0 Sekunden
 19) .. g4-g3(?)        Kg7-f6  * 0 Sekunden
 20) La4-d1             La4-d1  * 1 Sekunde
 21) .. Le4-g2          Le4-g2  * 0 Sekunden
 22) Ke6-d7(?)          h3-h4   * 1 Sekunde
 23) b3-b4              b3-b4   * 0 Sekunden
 24) Ld2xf4(?)          Ld2-c3  * 0 Sekunden
 25) .. Ld8-f6(?)       Kh8-g8  * 1 Sekunde
 26) b3-b4              b3-b4   * 2 Sekunden
 27) .. Kd7-c6(?), b5-b4(?)  h5-h4   * 19 Sekunden
 28) .. Kd5-c5          Kd5-c5  * 0 Sekunden
 29) .. Kf7-g6          Kf7-g6  * 2 Sekunden
 30) Lf7-h5             Sc5-e6   
 31) Lg2-e4             Lg2-e4  * 1 Sekunde
 32) .. Kh4-g3          g4-g3    
 33) .. Sb3-a5          Sb3-a5  * 3 Sekunden
 34) Kd5-c5             Kd5-c5  * 52 Sekunden
 35) Sd2-b3             Sd2-b3  * 0 Sekunden
 36) f5-f6, Kd8-c7      Kd8-c7  * 0 Sekunden
 37) Sd8-c6             Sd8-c6  * 0 Sekunden
 38) Sf3-e5, Sf3-h2     Sf3-e5  * 0 Sekunden
 39) e4-e5              e4-e5   * 0 Sekunden
 40) g3-g4              g3-g4   * 0 Sekunden
 41) Sh1-f2             Sh1-g3   
 42) d6-d7              d6-d7   * 2 Sekunden
 43) f5-f6, Ka4-b5      f5-f6   * 4 Sekunden
 44) Sf4-e2, Sf4-e6     Sf4-e6  * 0 Sekunden
 45) Se4-g5             Se4-g5  * 1 Sekunde
 46) Sd4-c6             Sd4-c6  * 0 Sekunden
 47) Kb5-b6             Kb5-b6  * 3 Sekunden
 48) Kb5-c6             Kb5-c6  * 10 Sekunden
 49) a2-a4, Tb1-b5      a2-a4   * 0 Sekunden
 50) .. h5xg4           h5xg4   * 0 Sekunden
 51) Kh8-h7             Kh8-h7  * 0 Sekunden
 52) Td3-d4(?)          Td3-d8  * 3 Sekunden
 53) Ke5-f6             Ke5-f6  * 0 Sekunden
 54) Tg5xf5             Tg5xf5  * 10 Sekunden
 55) .. h7-h5, Ta3-a1   h7-h5   * 0 Sekunden
 56) Tf7-c7             Tf7-c7  * 35 Sekunden
 57) .. Td1-d5(?)       Ke5-d6  * 1 Sekunde
 58) Kf8-e7             Kf8-g7   
 59) Kf7-f6             Kf7-f6  * 0 Sekunden
 60) c5-c6              c5-c6   * 5 Sekunden
 61) b5-b6              b5-b6   * 2 Sekunden
 62) Ke1-e2             Ke1-e2  * 0 Sekunden
 63) Kd2-c2             Ta8-e8   
 64) .. Te7xe2(?), Te7-e5(?)  Te7-d7  * 3 Sekunden
 65) Kg3-g2             Kg3-g2  * 0 Sekunden
 66) Ta8-b8             Ta8-b8  * 2 Sekunden
 67) .. Ke6-f7          Ke6-f7  * 0 Sekunden
 68) Tb6-b3             Tb6-b3  * 4 Sekunden
 69) Lf6-e5             Lf6-e5  * 0 Sekunden
 70) f7-f8D, f7-f8T     f7-f8D  * 0 Sekunden
 71) Lb4-a5             Lb4-a5  * 32 Sekunden
 72) a4-a5              a4-a5   * 0 Sekunden
 73) Lh8-d4             Lh8-d4  * 33 Sekunden
 74) Tc5-c8             Tc5-d5   
 75) Th6-f6             Th6-f6  * 1 Sekunde
 76) d3-d4              d3-d4   * 3 Sekunden
 77) Lb2-a3             Lb2-a3  * 0 Sekunden
 78) Td4-d1             Td4-d1  * 58 Sekunden
 79) Sd7-e5             Sd7-e5  * 4 Sekunden
 80) Sg5xh3             Sg5xh3  * 0 Sekunden
 81) Sd5-c7             Sd5-c7  * 2 Sekunden
 82) Sb5-a7             Sb5-a7  * 0 Sekunden
 83) Sh2-f1             Sh2-f1  * 0 Sekunden
 84) Kg2-g3             Kg2-g3  * 7 Sekunden
 85) .. Tb7-e7          Tb7-e7  * 1 Sekunde
 86) Sf7-h6             Tg8-g7   
 87) Sb4-a6             Sb4-a6  * 0 Sekunden
 88) Th6-h7             Th6-h7  * 0 Sekunden
 89) Te5-h5             Te5-h5  * 0 Sekunden
 90) Tc5-e5             Tc5-e5  * 53 Sekunden
 91) Kd6-c6, Tb4-b5     Kd6-c6  * 0 Sekunden
 92) Th4-f4             Th4-f4  * 2 Sekunden
 93) g6-g7              g6-g7   * 1 Sekunde
 94) Tc4-c3             Tc4-c3  * 12 Sekunden
 95) f5-f6              Lg3-h4   
 96) .. c4-c3           c4-c3   * 0 Sekunden
 97) .. Tb8-f8          Tb8-f8  * 9 Sekunden
 98) .. Sg6-f8(?)       a7-a5   * 5 Sekunden
 99) Lc3xb4(?)          Kf1-e2  * 1 Sekunde
100) Da5-c5             Da5-c5  * 0 Sekunden

92 von 100 Zügen gefunden
03.11.2011 17:56:05, Gesamt Dauer: 03:23:03 Wertungszeit: 14:59 = 899 Sekunden

By Ben Hur Date 2011-11-03 18:10

P.S.

Das war der E-E-T Test von Walter Eigenmann.

By Stefan Pohl Date 2011-11-04 12:00

[quote="Ben Hur"]
Also

dein Setting ist saustark!

[/quote]

Danke, war auch eine Sauarbeit es zu finden/optimieren. Schön, daß es anscheinend auch mit Houdini 1.5a funktioniert, obwohl es dafür nicht entwickelt wurde. Aber 1.5a und 2.0b sind sich eben doch recht ähnlich...

Gruß - Stefan

By Ben Hur Date 2011-11-04 14:34

Zur Kontrolle noch einige andere Engines mit dem selben PC und den gleichen Einstellungen getestet:

Houdini_15a_w32 setting Pohl 92 von 100 Zügen gefunden
Critter_1.2_32bit 90 von 100 Zügen gefunden
Houdini_15a_w32 88 von 100 Zügen gefunden
Deep Rybka 4.1 SSE42 w32 85 von 100 Zügen gefunden
Rybkav2.3.2a.mp.w32 77 von 100 Zügen gefunden

By Frank Quisinsky Date 2011-11-03 19:07

Hallo Stefan,

vielleicht nehme ich direkt Dein Setting für den Kampf um Platz 1 wenn Komodo erschienen ist. Habe auf meinen Testsystemen mal ein wenig mit der 2.0b spielen lassen. Nach 600 Partien ist das Ergebnis zu der 1.5a + 8 ELO. Insofern könnte ich vielleicht noch einen Schub mit Deinem Setting erhalten. Bin mir unschlüssig, Settings testen ist immer so eine Sache, denn gerade gegen schwächere kann das wieder in die Hose gehen. Allerdings sind Deine Ergebnisse schon sehr aussagekräftig, wie immer!

Weiß nicht!
Was meinst Du?
Erst Standard testen oder Houdini direkt mit einem Setting ins Rennen schicken. Will auch nicht zu viele Houdinis in meiner Ratingliste haben.

Ja, die Datenbank mit den Eröffnungsstellungen und das schöne Tool von Volker Annuss sind genial um Engines zu testen. Die Stellungen sind allesamt sauber, allerdings sind ca. 25 enthalten die zu schnellen Remisstellungen führen (nicht bei allen Engines aber bei einigen). Bei dem SWCR Shredder 5.04 Buch habe ich das korrigiert bzw. muss da offenbar noch mal eingreifen. Hier ist das Problem ganz einfach die ECO Aufteilung die aber schon sehr gut ist.

Weiterhin viel Spass beim Testen.

Viele Grüße
Frank

PS: Kannst Dich ja mal den Stockfish Test Versionen annehmen. Vielleicht gelingt es Dir hier auch ein gutes Setting herauszufinden. Marco veröffentlichst ja eine Version nach der anderen.

By Stefan Pohl Date 2011-11-04 12:04

[quote="Frank Quisinsky"]
Hallo Stefan,

vielleicht nehme ich direkt Dein Setting für den Kampf um Platz 1 wenn Komodo erschienen ist. Habe auf meinen Testsystemen mal ein wenig mit der 2.0b spielen lassen. Nach 600 Partien ist das Ergebnis zu der 1.5a + 8 ELO. Insofern könnte ich vielleicht noch einen Schub mit Deinem Setting erhalten. Bin mir unschlüssig, Settings testen ist immer so eine Sache, denn gerade gegen schwächere kann das wieder in die Hose gehen. Allerdings sind Deine Ergebnisse schon sehr aussagekräftig, wie immer!

Weiß nicht!
Was meinst Du?
Erst Standard testen oder Houdini direkt mit einem Setting ins Rennen schicken. Will auch nicht zu viele Houdinis in meiner Ratingliste haben.

Ja, die Datenbank mit den Eröffnungsstellungen und das schöne Tool von Volker Annuss sind genial um Engines zu testen. Die Stellungen sind allesamt sauber, allerdings sind ca. 25 enthalten die zu schnellen Remisstellungen führen (nicht bei allen Engines aber bei einigen). Bei dem SWCR Shredder 5.04 Buch habe ich das korrigiert bzw. muss da offenbar noch mal eingreifen. Hier ist das Problem ganz einfach die ECO Aufteilung die aber schon sehr gut ist.

Weiterhin viel Spass beim Testen.

Viele Grüße
Frank

PS: Kannst Dich ja mal den Stockfish Test Versionen annehmen. Vielleicht gelingt es Dir hier auch ein gutes Setting herauszufinden. Marco veröffentlichst ja eine Version nach der anderen.
[/quote]

Hi Frank,

natürlich mußt Du auf jeden Fall erst mal die Default-Version testen. Sonst hat man doch keinen Vergleichswert für irgendwelche Settings!!!

Was Stocki angeht: Solange alle paar Tage neue Versionen kommen, werde ich bestimmt kein Setting entwickeln. Sonst laufe ich nach dem Hase und Igel-Prinzip dauernd hinterher. Ich werde mir bei Gelegenheit mal einen neuen Stocki ansehen. Im Moment ist mein Bedarf an Setting-Basteln auch erst mal gedeckt. Ist eine nervige Fummelei mit minimalen Parameterverschiebungen - naja, das muß ich dir ja nicht erklären. Sollte es von mir in der Hinsicht was Neues geben, erfahrt ihr es hier im Forum...

Gruß - Stefan

P.S: Freu mich schon auf deinen kommenden Kampf um Platz eins!!!

By Stefan Pohl Date 2011-11-05 11:11

[quote="Frank Quisinsky"]

Ja, die Datenbank mit den Eröffnungsstellungen und das schöne Tool von Volker Annuss sind genial um Engines zu testen. Die Stellungen sind allesamt sauber, allerdings sind ca. 25 enthalten die zu schnellen Remisstellungen führen (nicht bei allen Engines aber bei einigen). Bei dem SWCR Shredder 5.04 Buch habe ich das korrigiert bzw. muss da offenbar noch mal eingreifen. Hier ist das Problem ganz einfach die ECO Aufteilung die aber schon sehr gut ist.

[/quote]

Hi Frank

die 250 Stellungen aus deiner Datenbank habe ich manuell rausgefiltert, indem ich zunächst alle ECO-Klassifizierungen die möglich sind (A01, A02,... usw. usw. usw.) in der Datenbank per Handeingabe unter FritzGUI gesucht habe und von jeder Klassifizierung nur eine Stellung drin belassen habe. Es gibt also keine einzige ECO doppelt! Dann habe ich Eröffnungen, die de facto nie gespielt werden, wenn Bücher zum Einsatz kommen, rausgeworfen (vor allem 1.d4 f5). Dann waren noch ca. 340 Stellungen von den über 3000 übrig. Aus diesen habe ich dann noch so lange Stellungen mit sehr unruhiger, taktischer Lage und Stellungen mit erfolgtem/drohendem Damentausch raussortiert, bis genau 250 sehr neutrale Stellungen übrig waren...Weil das zum Testen eine schöne, runde Zahl ist (500 Partien). Zum guten Schluß habe ich die Stellungen noch per Hand gemischt, in dem ich Stellung 1,11,21,31,..etc. dann Stellung 2,12,22,32,... usw. je en Block rauskopiert und in einer neuen Datenbank nacheinander zusammengefügt habe, so daß sich die Reihenfolge 1,11,21,31,...,2,12,22,32,...3,13,23,33,... usw. usw. ergab. Damit dann auch Tests, die weniger als die vollen 500 Partien je Einzelwettkampf umfassen, keine Verzerrungen enthalten.

War eine Sauarbeit, aber hat sich gelohnt.

Gruß - Stefan

By Frank Quisinsky Date 2011-11-05 11:46

Hallo Stefan,

gut, für einen Test einer Engine sicherlich der richtige Weg die Datenbank weiter zu filtern. Die von Dir beschriebenen Ideen sind logisch und nachvollziehbar. So hast Du jetzt eine gute Testbasis.

Habe auch schon oft darüber nachgedacht die Datenbank weiter zu filtern aber das macht keinen wirklich Sinn. Brauche viele der herausgefilterten Positionen für die Partien einer Ratingliste. 250 wären zu wenige. Allerdings habe ich bei dem Shredder Buch auch gefiltert und lege den Schwerpunkt auf oft gespielte Positionen und einer GM vergleichbaren ECO Aufteilung. Die Positionen selbst wurden ja von mittlerweile 4 Engines auf einen meiner Systeme mit je 4 Cores und 1 Minute Analysezeit überprüft. Alles was kritisch war flog raus. Verbliebenen sind die angebotenen Positionen. Das heißt, es wird nicht eine wirklich kritische Variante aus dem Buch gespielt.

Dumm ist, dass immer mal wieder Positionen ins Auge fallen, die zu schnellen Remispartien führen. Selbst nach meinem Buchupdate Version 5.04 gibt es immer noch zwei die raus müssen. Z. B. eine Position bei der 4 verschiedene Engines nach den 8 Vorgabezügen dann mit 11 Zügen und dreifacher Stellungswiederholung beendeten.

Werde nochmals Hand anlegen müssen. Ein weiteres Buchupdate auf Version 5.05 wird kommen. Die ECO Aufteilung ist zu 90% perfekt, da gibt es noch ein paar kleinere Veränderungen die ich machen könnte.

Wenn es Dich interessiert kann ich Dir alle Partien senden, die zu einem Remis unter 16 Zügen führten. Immerhin wurden schon runde 100.000 Partien mit den Postionen gespielt. So könntest Du überprüfen ob bei den Partien noch Positionen sind, die in Deiner 250er Datenbank auch noch enthalten sind. Könnte durchaus sein, insgesamt sind es glaube ich jetzt 28 ausgemachte Positionen die zu schnellen Remispartien führen. Wie gesagt beim Buchupdate 5.04 sind schon 25 deaktiviert.

Meines Erachtens ist dieses Shredder Buch wirklich perfekt. ECO is ausgeglichen, Engines starten in ausgeglichenen Positionen. Doppelte Partien werden nicht produziert. Selten gespielte Eröffnungen werden auch selten mittels diesem Buch gespielt. Kurze Gewinpartien entstehen nicht aufgrund der Positionen die rein gekommen sind. Schlicht, perfekt für eine Ratingliste bzw. für einen Engine Test unter der Shredder GUI.

Was Du jetzt gemacht hast, macht für Deine Art und Weise zu testen aber auch Sinn.

Noomen oder Nunn im Vergleich zu dieser Datenbank ist Spielzeug.
Möchte gar nicht wissen wie viel Arbeit in diesem Shredder Buch steckt zumal hier auch noch das PGN-Random von Arena simuliert wird weil Shredder die Option gar nicht hat.

Viele Grüße
Frank

PS: Für mich ist immer wichtig alles selbst aufzubauen bzw. optimale Testbedinungen zu schaffen. Oftmals ist das ein sehr langer Weg.

By Frank Quisinsky Date 2011-11-07 22:20

Hallo Stefan,

175 Partien, die zum schnellen Remis geführt haben liegen nun in meinem Download-Bereicht.
Siehe News Eintrag 300.

Damit könntest Du, sofern Du möchtest, evtl. Optimierungen an Deinen ausgewählten 250 Positionen vornehmen.

Viele Grüße
Frank

By Christoph Fieberg Date 2011-11-04 23:08

Hallo Stefan,

Dein Setting (Pohl4) hat sich als das bisher beste erwiesen. Im Test gewann Houdini 2.0b Pohl4 gegen Houdini 2.0b Original mit 41:34 (+23 =36 -16).

Mein bestes Setting (Fieberg2) konnte nur gleichgut wie das Original spielen. Aber immerhin spielt es mit einem anderen Spielstil nicht schlechter.

Houdini 2.0b Fieberg2: 5753533C002C2020202020202020202020202020202020202020202020201E2328161C1E20

Die Werte dafür kommen aus empirischen Untersuchungen von Larry Kaufman, nachzulesen in dem Buch "Expeditionen in die Schachwelt" von Christian Hesse (S. 27-33).
Damit kam ich auf 87 Bauer (gewählt), 283 Springer (Faktor 3.25), 283 Läufer (Faktor 3.25), 435 Turm (Faktor 5), 848 Dame (Faktor 9.75) und 44 (Faktor 0.5) für das Läuferpaar.

Experiemente mit Veränderung des mittleren Strings (202020202020202020202020202020202020202020202020) oder mit dem String am Ende (1E2328161C1E20) waren bisher leider nicht erfolgreich.
Für Ideen wäre ich dankbar.

Spielt eigentlich 688AB191CB0E2020202020202020202020202020202020202020202020201E2328161C1E20 besser als 5D717974702A2020202020202020202020202020202020202020202020201E2328161C1E20?

Grüsse, Christoph

By Stefan Pohl Date 2011-11-05 11:15

[quote="Christoph Fieberg"]
Hallo Stefan,

Dein Setting (Pohl4) hat sich als das bisher beste erwiesen. Im Test gewann Houdini 2.0b Pohl4 gegen Houdini 2.0b Original mit 41:34 (+23 =36 -16).

[/quote]

Hallo,

schönes Ergebnis, sogar noch etwas besser als in meinen Tests. Freut mich zu hören, daß meine Ergbnisse sich auch bei dir bestätigt haben. Ich habe Setting und alle Testpartien übrigens auch per mail an Robert Houdart geschickt, er fand es "interesting"... Vielleicht eine kleine Inspiration für ihn bei der Entwicklung von Houdini 3...

Gruß - Stefan

By Ben Hur Date 2011-11-05 13:30

[quote="Christoph Fieberg"]
Hallo Stefan,

Dein Setting (Pohl4) hat sich als das bisher beste erwiesen.

...
Die Werte dafür kommen aus empirischen Untersuchungen von Larry Kaufman, nachzulesen in dem Buch "Expeditionen in die Schachwelt" von Christian Hesse (S. 27-33).
...

Grüsse, Christoph
[/quote]

Au weia,

was hat denn jetzt Larry Kaufman mit Houdini zu tun?

Bedeutet das dann auch im Umkehrschluss, dass alle Engines an denen Larry Kaufman beteiligt gewesen ist, mit so einem String
getuned werden können?

Ich hatte mal kurz einen Komodo angetestet, da kamen einige Bugs (Spielverhalten) mir so bekannt vor, die auch so ähnlich in Rybka
vorgekommen sind.

Da sage ich nur noch: "Happy Cloning"! Ich dachte bisher, dass Houdini eine Eigenentwicklung sei. Nun glaube ich nichts mehr!

By Clemens Keck Date 2011-11-05 16:39

Hallo Ben

Zitat: "Ich hatte mal kurz einen Komodo angetestet, da kamen einige Bugs (Spielverhalten) mir so bekannt vor, die auch so ähnlich in Rybka
vorgekommen sind."

DAs kannst Du doch sich locker mit ein paar Beispielen untermauren? Oder etwa nicht? Oder reicht ein "malkurzangetestet" zum clonevorwurf??

Gruß, Clemens Keck

By Ben Hur Date 2011-11-05 17:21

Hallo Clemens,

Du hast aus meinem Posting nur die Randbemerkung mit Komodo registriert; für mich eine Nebensache.
Für mich ist wichtig an welchen engines Larry Kaufman dergestalt mitgewirkt hat! Sonst nichts.

MfG

Ben Hur

By Christian Schmidt Date 2011-11-05 17:18

Ein großes Dankeschön für deine Arbeit. Mir selbst ist es nicht gelungen, den Default-Houdini signifikant zu schlagen. Allerdings ist es dennoch spaßig, aus Houdini einen opferfreudigen Junior zu machen, der auf einem sehr hohen Niveau spielt.