LS-Rangliste: Houdini 3

By Stefan Pohl Date 2012-10-22 05:26

Hallo zusammen,

Hier nun das Endergebnis von Houdini 3. Leider etwas verspätet, aber ich mußte am Wochenende voll durcharbeiten. Das Ergebnis ist wirklich beeindruckend: +47 Elo auf Houdini 2.0c, +67 auf Houdini 1.5a und in der LS-best-Liste (echtes Round Robin Turnier) nun sagenhafte 82 Elo Vorsprung auf die Konkurrenz, die Critter 1.6a anführt. Gratulation an Robert Houdart für diese wirklich außerordentliche Leistung !!! Und auch dafür, daß er bei seinen eigenen (vorab veröffentlichten) Spielstärke-Prognosen so seriös ist, und nicht übertrieben hat - was ja in Sachen Eigenwerbung und Verkaufsförderung immer passieren kann. Er hat für Houdini 2.0c seinerzeit +20 Elo angegeben und nun für Houdini 3 +50. Respekt. Kommt hin...

Testbedingungen: Notebook mit Intel i7-2630QM Prozessor (4 Kerne, 2GHz Takt, Windows 7 64bit Home Premium). Geschwindigkeit der Hardware: Houdini 2.0c auf einem Core etwa 2.2 Mio Kn/s, auf 4 Cores etwa 7.5 Mio Kn/s (bei vollem Brett), FritzMark=20.2. HyperThreading off.
Bedenkzeit: 45''+500ms Fischerbonus (ca. knapp 90 Sekunden pro Partie je Engine), keine Tablebases, 1 Core/Thread und 64 MB Hash pro Engine, kein Pondern, 500 Vorgabestellungen aus der Frank Q. Datenbank (von mir handverlesen, nur Hauptsysteme (kein Holländisch etc.)). Gespielt wird bis zum Matt oder bis zum Remis, die GUI gibt keine Partie auf und auch Remis erst bei 500 Zügen - also gar nicht). Benutzt wird die LittleBlitzerGUI. Dazu merke ich hier nochmal an: Alle Partien wurden/werden im Gauntlet-Modus gespielt, weil nur so die Vorgabestellungen auch alle sequentiell und mit vertauschten Farben korrekt abgespielt werden. Die Ranglisten werden mit bayeselo (mm 0 1) erstellt und die Ergebnisse an Robbolito 0.085g3 x64 mit 3000 Elo gefixt.

Hier nun zunächst die LS-Rangliste mit den besten Engineversionen (nur offizielle Releases, keine Entwicklungsversionen und auch keine Spezialsettings) (jeder gegen jeden, je 1000 Partien):


Rank Name                    Elo    +    - games score oppo. draws 
   1 Houdini 3 x64          3150    5    5 10000   68%  3016   40% 
   2 Critter 1.6a x64       3068    5    5 10000   56%  3024   52% 
   3 Strelka 5.5 x64        3067    5    5 10000   56%  3024   52% (singlecore)
   4 Komodo 5 x64           3056    5    5 10000   54%  3025   44% (singlecore)
   5 Ivanhoe 46h x64        3021    5    5 10000   49%  3029   54% (best open source)
   6 Robbolito 0.10 x64s    3018    5    5 10000   48%  3029   55% 
   7 Rybka 4.1 x64s         3012    5    5 10000   48%  3030   47% 
   8 Stockfish 2.3.1 x64s   3000    5    5 10000   46%  3031   45% 
   9 Robbolito 0.085g3 x64  3000    5    5 10000   46%  3031   53% (singlecore)(Ippolit 2009)
  10 Saros 3.0 x64          2988    5    5 10000   44%  3032   47% 
  11 Bouquet 1.4 x64s       2928    5    5 10000   35%  3038   43%

Dazu die Einzelergebnisse des aktuellen Test-Gauntlets:


Houdini 3 x64   - Critter 1.6a x64          619.0 - 381.0    +377/=484/-139    61.90%
Houdini 3 x64   - Komodo 5 x64              612.5 - 387.5    +421/=383/-196    61.25%
Houdini 3 x64   - Ivanhoe 46h x64           695.0 - 305.0    +487/=416/-97    69.50%
Houdini 3 x64   - Strelka 5.5 x64           625.0 - 375.0    +375/=500/-125    62.50%
Houdini 3 x64   - Rybka 4.1 x64s            693.0 - 307.0    +508/=370/-122    69.30%
Houdini 3 x64   - Robbolito 0.10 x64s       678.0 - 322.0    +452/=452/-96    67.80%
Houdini 3 x64   - Robbolito 0.085g3 x64     715.5 - 284.5    +518/=395/-87    71.55%
Houdini 3 x64   - Saros 3.0 x64             736.0 - 264.0    +556/=360/-84    73.60%
Houdini 3 x64   - Bouquet 1.4 x64s          791.5 - 208.5    +643/=297/-60    79.15%
Houdini 3 x64   - Stockfish 2.3.1 x64s      679.0 - 321.0    +491/=376/-133    67.90%

Dann noch die komplette LS-Rangliste:


Rank Name                    Elo    +    - games score oppo. draws 
   1 Houdini 3 x64          3151    5    5 10000   68%  3018   40% 
   2 Houdini 2.0c x64       3104    5    5 11000   62%  3016   42% 
   3 Houdini 1.5a x64       3084    5    5 10000   59%  3017   44% (best freeware (multicore))
   4 Critter 1.6a x64       3072    5    5 13000   56%  3034   51% 
   5 Strelka 5.5 x64        3071    5    5 13000   55%  3034   52% (singlecore)
   6 Komodo 5 x64           3060    5    5 13000   54%  3035   43% (singlecore)
   7 Ivanhoe 46h x64        3020    5    4 13000   48%  3038   52% (best open source)
   8 Robbolito 0.10 x64s    3020    5    5 13000   47%  3038   54% 
   9 Rybka 4.1 x64s         3013    5    5 13000   47%  3038   45% 
  10 Stockfish 2.3.1 x64s   3003    5    5 11000   45%  3039   44% 
  11 Robbolito 0.085g3 x64  3000    5    5 13000   44%  3039   51% (singlecore)(Ippolit 2009)
  12 Stockfish 2.2.2 x64s   2996    5    5 11000   45%  3033   44% 
  13 Saros 3.0 x64          2988    4    5 13000   43%  3040   46% 
  14 Bouquet 1.4 x64s       2930    5    5 13000   34%  3045   42%

(x64=64bit version, x64s=64bit SSE42-version)

Gelöschte Betas, Entwicklungsversionen, Settings: keine
Abgebrochene Test-Gauntlets (wegen zu schwachen Ergebnisses): keine

Wer die Partien der LS-Rangliste haben will, kann mir seine eMail-Adresse per PM hier oder auf talkchess mitteilen, ich schicke dann in Kürze die Partien als PGN-File. Dieses Angebot erfolgt, damit Transparenz und Glaubwürdigkeit der Rangliste gewährleistet ist.

Grüße an alle - Stefan

By Timo Haupt Date 2012-10-22 10:44

Hallo Stefan,

besten Dank für die Ergebnisse. Wenn ich mir diese so betrachte, sticht folgendes ins Auge:


Rank Name                    Elo    +    - games score oppo. draws 
   1 Houdini 3 x64          3150    5    5 10000   68%  3016   40% 
   2 Critter 1.6a x64       3068    5    5 10000   56%  3024   52% 
   3 Strelka 5.5 x64        3067    5    5 10000   56%  3024   52% (singlecore)
   4 Komodo 5 x64           3056    5    5 10000   54%  3025   44% (singlecore)
   5 Ivanhoe 46h x64        3021    5    5 10000   49%  3029   54% (best open source)
   6 Robbolito 0.10 x64s    3018    5    5 10000   48%  3029   55% 
   7 Rybka 4.1 x64s         3012    5    5 10000   48%  3030   47% 
   8 Stockfish 2.3.1 x64s   3000    5    5 10000   46%  3031   45% 
   9 Robbolito 0.085g3 x64  3000    5    5 10000   46%  3031   53% (singlecore)(Ippolit 2009)
  10 Saros 3.0 x64          2988    5    5 10000   44%  3032   47% 
  11 Bouquet 1.4 x64s       2928    5    5 10000   35%  3038   43%

Wir nehmen mal fiktiv an, dass Robbo 0.085g3 die Ausgangsbasis für mehrere Engines war. Dann wird deutlich, dass die Ivanhoe-Entwickler in all den Jahren nur 21 Elo rausholen konnten. Houdart hat (in vermutlich etwas kürzerer Zeit) hingegen 150 Elo geschafft! Wenn man diese Zahlen sieht, kann ich Ingo verstehen, wenn er keine weiteren Ippo-Derivate testet - es lohnt nicht. Es reicht meiner Meinung nach, wenn diese Engines in der LS-Liste vorhanden sind - daran kann man ja ablesen, dass es kaum Fortschritte bei diesen Engines gegeben hat. Um die "Varietät der Engine-Abstammung" möglichst hoch zu halten, verzichtet er halt auf einen Test dieser Engines (hat nur den stärksten seiner Art im Programm). Und Strelka 5 ist doch (nachweislich?) ein RE von Houdini 1.5 - also auch nicht gerade eine Engine, für deren Test man einen größeren Aufwand betreiben möchte.

Wie gesagt, ich finde es schön, dass es Listen wie die LS gibt, die solche Verwandschaften / Fortschritte innerhalb von "Enginefamilien" aufdecken. Aber ich verstehe genauso, dass es andere Listenbetreiber gibt (die mit längeren BZn testen), welche diese Programme nicht aufnehmen.

Viele Grüße
Timo

By Michael Scheidl Date 2012-10-22 11:14

Totgesagte leben länger: Robbolito 0.21Q könnte schon noch ein paar Elopunkte drauflegen. Auf der Robbolito-Webseite steht ein Matchergebnis gegen Ivanhoe 9.46b, das "Head-to-Head" +45 Elo ausweist. Ich kenne noch keine Ranglistentests bzw. -Ergebnisse, um zu sehen ob das in der freien Wildbahn sozusagen hält oder nicht. Wenn ja, könnte Komodo 5 in Schlagdistanz sein.

Ich denke, ohne es behaupten zu können, daß sich die diversen Ippolit-Derivate zunehmend auseinander entwickeln. Das Gegenteil wäre unlogisch.

P.S. Auf kleinen Systemen mit "nur" 1 GB RAM könnte R. 0.21Q schwierig zu starten sein, da die Default-Hashgröße 512 MB beträgt. Die scheint sie beim Start immer allokieren zu wollen, auch wenn die H.T. dann schließlich via GUI kleiner eingestellt werden. Ansonsten hatte ich hier mit der 32 Bit-Version keine Probleme.

By Simon Gros Date 2012-10-22 11:56

Dieses Ergebnis hier: http://cegt.siteboard.eu/f6t360-private-test-with-robbolito-0-21q-for-information-only.html deutet nicht gerade darauf hin, daß sich in Punkto Spielstärke etwas nennenswertes getan hat.
Simon_G

By Stefan Pohl Date 2012-10-22 12:06

[quote="Michael Scheidl"]
Totgesagte leben länger: Robbolito 0.21Q könnte schon noch ein paar Elopunkte drauflegen. Auf der Robbolito-Webseite steht ein Matchergebnis gegen Ivanhoe 9.46b, das "Head-to-Head" +45 Elo ausweist. Ich kenne noch keine Ranglistentests bzw. -Ergebnisse, um zu sehen ob das in der freien Wildbahn sozusagen hält oder nicht. Wenn ja, könnte Komodo 5 in Schlagdistanz sein.

Im Moment läuft der Test von Bouquet 1.5. Wenn der durch ist, wollte ich eigentlich erst mal Gull 2 beta2 testen, weil ja Kranium eigentlich eine neue Version 0.22Q für sehr bald angekündigt hat und ich nicht erst 0.21Q und dann 1 Woche später 0.22Q testen will. Nach dem Gull 2 beta2-Test ist noch Saros 3.1a dran. Aber dann ist auf jeden Fall Robbolito dran, denn dann bin ich ansonsten auf dem aktuellen Stand. Sollte Robbo 0.22Q zwischenzeitlich erscheinen, ziehe ich ihn aber vor.

Zitat:

Ich denke, ohne es behaupten zu können, daß sich die diversen Ippolit-Derivate zunehmend auseinander entwickeln. Das Gegenteil wäre unlogisch.

So sieht das wohl jeder vernünftige Mensch.

Zitat:

P.S. Auf kleinen Systemen mit "nur" 1 GB RAM könnte R. 0.21Q schwierig zu starten sein, da die Default-Hashgröße 512 MB beträgt. Die scheint sie beim Start immer allokieren zu wollen, auch wenn die H.T. dann schließlich via GUI kleiner eingestellt werden. Ansonsten hatte ich hier mit der 32 Bit-Version keine Probleme.

Danke für den Hinweis. Mein Laptop hat ja 4GB, aber ich werde auf jeden Fall kontrollieren, daß sich Robbo nicht zu viel Speicher nimmt!

By Timo Haupt Date 2012-10-22 13:51

[quote="Stefan Pohl"]
[quote="Michael Scheidl"]
Ich denke, ohne es behaupten zu können, daß sich die diversen Ippolit-Derivate zunehmend auseinander entwickeln. Das Gegenteil wäre unlogisch.
[/quote]
So sieht das wohl jeder vernünftige Mensch.
[/quote]

Dass sich die Ippo-Derivate auseinander entwickeln, hat auch niemand bestritten (zumindest nicht ich). Ob das auseinander Entwickeln aber mit einer signifikanten Spielstärkesteigerung einhergeht, steht auf einem anderen Blatt (wie in der LS-Liste deutlich wird, halten sich diese Steigerung in engen Grenzen). Aber selbst wenn Spielstärke nicht die große Rolle spielt, würde ich gerne mal ein Ippo-Derivat sehen, das eben ein ganz anderes Spielverhalten an den Tag legt (eben nicht den zurückhaltenden Stil von Robbo&Co., welcher viele Remise produziert) und dessen Zugvorschläge häufig von seinem Ur-Vater abweichen. Das könnte dann ggf. wieder interessant sein.

By Stefan Pohl Date 2012-10-22 14:17

[quote="Timo Haupt"]
[quote="Stefan Pohl"]
[quote="Michael Scheidl"]
Ich denke, ohne es behaupten zu können, daß sich die diversen Ippolit-Derivate zunehmend auseinander entwickeln. Das Gegenteil wäre unlogisch.
[/quote]
So sieht das wohl jeder vernünftige Mensch.
[/quote]

Dass sich die Ippo-Derivate auseinander entwickeln, hat auch niemand bestritten (zumindest nicht ich). Ob das auseinander Entwickeln aber mit einer signifikanten Spielstärkesteigerung einhergeht, steht auf einem anderen Blatt (wie in der LS-Liste deutlich wird, halten sich diese Steigerung in engen Grenzen). Aber selbst wenn Spielstärke nicht die große Rolle spielt, würde ich gerne mal ein Ippo-Derivat sehen, das eben ein ganz anderes Spielverhalten an den Tag legt (eben nicht den zurückhaltenden Stil von Robbo&Co., welcher viele Remise produziert) und dessen Zugvorschläge häufig von seinem Ur-Vater abweichen. Das könnte dann ggf. wieder interessant sein.
[/quote]

Hi Timo,

Dann empfehle ich wärmstens den folgenden Ivanhoe-Compile (B47f0.2) von PeterPan. Dort hat er - rein experimentell - 4 Parameter eingefügt (QueenXAttackValue, QueenYAttackValue, RookXAttackValue, RookYAttackValue), wobei die X-Values fürs Mittelspiel und die Y-Values fürs Endspiel gedacht sind. Stellt man nun den den QueenXAttackValue auf 50 oder höher und den RookXAttackValue auf 30 oder höher, fängt Ivanhoe an wie wahnsinnig anzugreifen, was natürlich auch oft in die Hose geht und daher wohl Elomäßig nicht so toll ist. Aber man erkennt ihn nicht wieder...Auch kann man mit den Parametern schön rumexperimentieren.
Der Compile ist schon 1 Jahr alt, aber der Download geht noch, wie ich gerade festgestellt habe.

http://www.mediafire.com/?pnb8du1587ss6vv

Ansonsten kurze Nachricht mit Mailadresse an mich per PM, dann maile ich die Version gerne zu...

Gruß - Stefan

By Joe Boden Date 2012-10-24 20:28

Der Link von Stefan funktioniert nicht mehr.
Aber hier gibt es sämtliche Ivanhoeversionen und auch andere Schachprogramme zum Download.

http://schachblog.vsud.de/chess-engines-diary-schachprogramme-downloaden/

By Ingo Bauer Date 2012-10-22 14:27

Hallo Timo

Nur zur Info,

PeterPan ist der Anonymus der im ensprechenden Forum (das ich hier nicht erwähnen werde (PM)) dazu aufruft doch mit dem Kauf von H3 zu warten bis es geknackt ist, er sei schon dicht davor ...

Wenn du dich mit so etwas gemein machen willst, was ich von dir kaum glaube, viel Spaß.

Gruß
Ingo

PS: Allerdings haben sie sich bis vor 2 Tagen noch die Zähne ausgebissen, wie es jetzt aussieht weiß ich nicht, allerdings glaube ich das alles irgendwann geknackt werden kann.

By Werner Mueller Date 2012-10-22 16:18

[quote="Ingo Bauer"]
PeterPan ist der Anonymus der im ensprechenden Forum (das ich hier nicht erwähnen werde (PM)) dazu aufruft doch mit dem Kauf von H3 zu warten bis es geknackt ist, er sei schon dicht davor ...
[/quote]
Ich denke, wir sollten uns an das (ungeschriebene?) Agreement halten und 'bestimmte' Foren hier nicht erwähnen.

In der Konsequenz hat das m.E. aber auch zu gelten für abwertende Formulierungen wie
[quote="Ingo Bauer"]
Wenn du dich mit so etwas gemein machen willst ...
[/quote]
btw.: mit dem Kauf zu warten bis... wäre ja wohl einigermaßen sinnfrei

By Ingo Bauer Date 2012-10-23 17:32

[quote="Werner Mueller"]
Ich denke, wir sollten uns an das (ungeschriebene?) Agreement halten und 'bestimmte' Foren hier nicht erwähnen.
[/quote]

Ich weiß nichts von einen geschriebenen oder ungeschriebenen Agreement und glaube auch nicht das Drogensüchtige, oder das Finanzdefizit davon weggehen das wir sie nicht mehr erwähnen - im Gegenteil.
Allerdings hielte ich es für falsch, und daran habe ich mich gehalten, zu erwähnen wo es die Droge gibt. Nicht einmal den Namen der dubklen Ecke habe ich erwähnt, sondern Timo mit dem 'PM' Zusatz zu verstehen gegeben das wenn er gerne die Quelle für den Diebstalsaufruf dieses wenig ehrenwerten Herren haben will, er die gerne von mir bekommen kann.

[quote="Werner Mueller"]
In der Konsequenz hat das m.E. aber auch zu gelten für abwertende Formulierungen wie
[quote="Ingo Bauer"]
Wenn du dich mit so etwas gemein machen willst ...
[/quote][/quote]

Hier hast du versehentlich, wie ich glaube, an der entscheidenden Stelle mit dem Zitat aufgehört. Es ging nämlich so weiter:

[quote="Ingo Bauer"]
, ... was ich von dir kaum glaube, ...
[/quote]

Ich kenne Timo persönlich und weiß das er das nicht tut. Die Betonung lag auf dem "dir" ...

[quote="Ingo Bauer"]
btw.: mit dem Kauf zu warten bis... wäre ja wohl einigermaßen sinnfrei

[/quote]

Hmm, in der Tat eine absurde Vorstellung die mir auch erst jetzt aufgeht - ich hoffe allerdings das die meisten meinen sprachlichen Lapsus richtig interpretiert haben.

Gruß
Ingo

By Timo Haupt Date 2012-10-23 18:35

Hallo Ingo,

ich kann mir schon vorstellen, um welches unsterbliche Forum es geht...

PeterPan war mir nur als Compiler diverser Ivanhoe-Versionen ein Begriff. Dass er nun offen zum Raubkopieren aufruft, finde ich ziemlich verwerflich. So hätte ich ihn nicht eingeschätzt. Mir war zwar bekannt, dass sich in besagtem Forum teilweise Raubkopierer aufhalten und diese dort auch ihre Werke feilbieten - doch dass PeterPan auch zu dieser Gruppe dazu gehört, wusste ich bislang nicht. Macht ihn mir nicht gerade sympathisch.

Ob man sich allerdings moralisch falsch verhält, wenn man sich ein von diesem Menschen kompiliertes PublicDomain-Programm runterlädt, darüber muss ich erst einmal nachdenken. Spontan würde ich sagen, eher nicht, da ich ihn bzw. seine Aktivitäten mit dem Download nicht unterstütze (er bekommt es selbst ja nicht einmal mit) und an dem runtergeladenen Programm selbst auch nichts auszusetzen ist (da PD).

Viele Grüße
Timo

By Ingo Bauer Date 2012-10-23 19:07

Hallo Timo,

Nun ja, das runterladen und benutzen ist es nicht aber jede Nachricht DAS es benutzt wird supportet ihn ...

Solange du also nie irgendeinen Kommentar dazu abgibst ...

Gruß
Ingo

By Stefan Pohl Date 2012-10-22 12:00

[quote="Timo Haupt"]

Wir nehmen mal fiktiv an, dass Robbo 0.085g3 die Ausgangsbasis für mehrere Engines war. Dann wird deutlich, dass die Ivanhoe-Entwickler in all den Jahren nur 21 Elo rausholen konnten. Houdart hat (in vermutlich etwas kürzerer Zeit) hingegen 150 Elo geschafft! Wenn man diese Zahlen sieht, kann ich Ingo verstehen, wenn er keine weiteren Ippo-Derivate testet - es lohnt nicht. Es reicht meiner Meinung nach, wenn diese Engines in der LS-Liste vorhanden sind - daran kann man ja ablesen, dass es kaum Fortschritte bei diesen Engines gegeben hat. Um die "Varietät der Engine-Abstammung" möglichst hoch zu halten, verzichtet er halt auf einen Test dieser Engines (hat nur den stärksten seiner Art im Programm).

Naja, das Problem ist nur, zu entscheiden, was ein Ippo-Derivat ist. Critter 1.6a hat z.B. eine sehr hohe Remisquote, die für Ippo-Derivate typisch ist. Ist er eins? Ist er keins? Das ist eben die Frage. Daher teste ich alles, was nicht nur ein primitiver 100% Clone ist (wie Deep Matrix)(oder dreiste Geldschneiderei wie Vitruvius). Da bin ich auf der sicheren Seite. Außerdem entwickeln sich die Ippos ja logischerweise mit der Zeit immer weiter auseinander, wie das bei jeder evolutionären Abfolge der Fall ist. Darum bleibt ja auch der Robbo von 2009 (der Ur-Ippo) immer in der LS-Liste drin (auch in der Best-Liste), um zu sehen ob und wieweit sich Engines von diesem Stammvater absetzen konnten - oder auch nicht.

Zitat:

Und Strelka 5 ist doch (nachweislich?) ein RE von Houdini 1.5 - also auch nicht gerade eine Engine, für deren Test man einen größeren Aufwand betreiben möchte.

Ganz so einfach ist das leider nicht. Strelka zeigt nicht nur deutlich abweichende Bewertungen und Hauptvarianten in der Suche (im Vergleich zu Houdini 1.5a), sondern hat auch die Ippo-typische hohe Remisquote, die Houdini 1.5a eben nicht hat.

Zitat:

Wie gesagt, ich finde es schön, dass es Listen wie die LS gibt, die solche Verwandschaften / Fortschritte innerhalb von "Enginefamilien" aufdecken. Aber ich verstehe genauso, dass es andere Listenbetreiber gibt (die mit längeren BZn testen), welche diese Programme nicht aufnehmen.

Viele Grüße
Timo

Wie eben schon ausgeführt, wäre es aber auf jeden Fall sinnvoll, den Ur-Ippo (Robbolito 0.085g3) in jede Liste aufzunehmen, schon um eine Vergleichsbasis zu haben und außerdem zeigt Houdini schon ab Version 1.5a eben nicht mehr die typische hohe Remisquote der anderen Ippos und spielt auch wesentlich mehr nach vorne, während Ivanhoe und Robbo eher zurückhaltend spielen und eben viele Remisen erzeugen. Zwar ist Houdini 1 sicher aus dem Ippocode entstanden, aber schon V1.5a hat mit den Ippos m.E. nicht mehr viel gemein. Und dann hat man als Tester wieder das Problem: Was ist denn ein aktueller, "reiner" Ippo?!? Ivanhoe? Robbolito? Saros?
Eben.

Gruß - Stefan