Großer Test von 3 IvanHoes

By Stefan Pohl Date 2010-10-07 10:59

Hallo,

hier nun der angekündigte große Test von 3 Ivanhoe-Versionen, nämlich IvanHoe B57d (älterer PeterPan-Compile, m.E. bisher die beste Ivan-Version), IvanHoe T0.4 final (neuester Ahmed-Compile), IvanHoe B52aF (neuster PeterPan-Compile)

Testbedingungen: Quad 2.83GHz (8 GB RAM, Vista Home Premium 64). Tempo 1'+1'', Fritz 12 GUI (aufgeben auf spät, Remis geben auf niemals), je Engine 1 GB Hash, Nalimov 5-Steiner auf schnellem USB-Stick für Rybka, Hiarcs und die Fritz GUI , sowie die TripleBases für die Ivans. 50 Vorgabestellungen (ausgewählt aus Noomen und Nunn2-Testsuites), keine Bücher. Rechnen immer abwechselnd mit allen 4 Cores (kein Pondern).
Bei allen 3 Ivans wurde die Option "Allow instant move on hash" deaktiviert, weil das Abstürze, die sonst gerade bei älteren Versionen unter diesen Testbedingungen hin und wieder auftreten, komplett verhindert. Und es wurden auch tatsächlich alle 2400 Partien ohne jeden Crash durchgespielt !

IvanHoe B57d - Houdini 1.03a 52-48 (+14 =76 -10)
IvanHoe B57d - Rybka 4 x64 52-48 (+24 =56 -20)
IvanHoe B57d - Stockfish 1.9 63.5-36-5 (+38 =51 -11)
IvanHoe B57d - Naum 4.2 68.5-31.5 (+44 = 49 -7)
IvanHoe B57d - Critter 0.8 72-28 (+51 =42 -7)
IvanHoe B57d - Deep Fritz 11 78.5-21.5 (+59 =39 -2)
IvanHoe B57d - Hiarcs 13.1 73-27 (+58 =30 -12)
IvanHoe B57d - spark 0.4 82-18 (+68 =28 -4)

Durchschnittliche Erfolgsquote in Prozent: 67.7%

IvanHoe T0.4 - Houdini 1.03a 50-50 (+18 =64 -18)
IvanHoe T0.4 - Rybka 4 x64 55-45 (+26 =58 -16)
IvanHoe T0.4 - Stockfish 1.9 66-34 (+41 =50 -9)
IvanHoe T0.4 - Naum 4.2 67-33 (+48 =38 -14)
IvanHoe T0.4 - Critter 0.8 71-29 (+50 =42 -8)
IvanHoe T0.4 - Deep Fritz 11 73.5-26.5 (+54 =39 -7)
IvanHoe T0.4 - Hiarcs 13.1 79.5-20-5 (+61 =37 -2)
IvanHoe T0.4 - spark 0.4 80.5-19.5 (+66 =29 -5)

Durchschnittliche Erfolgsquote in Prozent: 67.8%

IvanHoe B52aF - Houdini 1.03a 48-52 (+19 =58 -23)
IvanHoe B52aF - Rybka 4 x64 54-46 (+25 =58 -17)
IvanHoe B52aF - Stockfish 1.9 62.5-37.5 (+41 =43 -16)
IvanHoe B52aF - Naum 4.2 68.5-31.5 (+43 =51 -6)
IvanHoe B52aF - Critter 0.8 67.5-32.5 (+44 =47 -9)
IvanHoe B52aF - Deep Fritz 11 75-25 (+53 =44 -3)
IvanHoe B52aF - Hiarcs 13.1 76-24 (+61 =30 -9)
IvanHoe B52aF - spark 0.4 72.5-27.5 (+54 =37 -9)

Durchschnittliche Erfolgsquote in Prozent: 65.5%

Nimmt man die Elozahlen der IPON-Rangliste für die Gegner an, so würden IvanHoe B57d und T0.4 sich ganz knapp auf Platz 1 schieben (aber praktisch gleichauf mit Rybka und Houdini), die B52aF-Version knapp 15 Elo dahinter. Dazu kurz angemerkt: Deep Fritz 11 ist nicht in der IPON, nur DF12. Da ich DF12 jedoch nicht besitze, habe ich DF11 benutzt und vom DF12-IPON-Rating 30 Elo abgezogen (in der CEGT-Liste liegt DF11 mit 4 Cores ca. 30 Elo hinter DF12...).
Nach meinem subjektiven Eindruck ist die B52aF auch wirklich etwas schwächer. Sie neigt dazu die eigene Königssicherheit zu unterschätzen und verliert dadurch etliche Punkte durch gegnerische Königsangriffe. Die T0.4-Version liegt in diesem Test nur ganz knapp vorn (0.1% ist gar nix). Jedoch entscheidet sich diese Engine bei längeren Bedenkzeiten als in diesem Test, subjektiv deutlich häufiger später im Rechenprozeß für andere Züge als andere Ivans. Hier würde ich daher vermuten, daß diese Engine am stärksten von längeren Bedenkzeiten profitiert.
Mittlerweile gibt es schon die Version T0.4.1. Diese ist aber m.E. nicht besser, nach knapp 200 Partien liegt sie bei nur 64% Erfolgsqoute. Diesen Test habe ich daher abgebrochen. Ein Übertreffen der T0.4 ist damit nämlich praktisch schon ausgeschlossen. Da warte ich lieber auf neue Versionen, die ja im Wochentakt erscheinen...

Grüße an alle - Stefan

By Kurt Utzinger Date 2010-10-07 12:29

[quote="Stefan Pohl"]
Testbedingungen: Quad 2.83GHz (8 GB RAM, Vista Home Premium 64). Tempo 1'+1'', Fritz 12 GUI (aufgeben auf spät, Remis geben auf niemals), je Engine 1 GB Hash[/quote]

Ist das nicht (viel) zu viel für 1m+1s ???
Mfg
Kurt

By Benno Hartwig Date 2010-10-07 14:04

[quote="Kurt Utzinger"]Ist das nicht (viel) zu viel für 1m+1s ???[/quote]Vermutlich.
Wird der überschüssige Platz eigentlich nur nicht genutzt (und bleibt also unschädlich),
oder findet ggf. sogar eine Initialisierung statt, die die Engine bei diesen kurzen Zeiten sogar bremst ("Moment, ich rechne gleich los, ich hau da erst mal überall ein 'wird nicht benutzt' hinein!")
Benno

By Stefan Pohl Date 2010-10-07 15:25

[quote="Kurt Utzinger"]
[quote="Stefan Pohl"]
Testbedingungen: Quad 2.83GHz (8 GB RAM, Vista Home Premium 64). Tempo 1'+1'', Fritz 12 GUI (aufgeben auf spät, Remis geben auf niemals), je Engine 1 GB Hash[/quote]

Ist das nicht (viel) zu viel für 1m+1s ???
Mfg
Kurt
[/quote]

Nein. Die Hashtables sind doch heutzutage persistent. Die werden voll gerechnet und so gibts ggf. noch Treffer von Berechnungen, die schon ein paar Züge zurückliegen. Hashtables können heutzutage nur zu klein sein, nicht zu groß.

By Kurt Utzinger Date 2010-10-07 15:47

[quote="Stefan Pohl"]
[quote="Kurt Utzinger"]
[quote="Stefan Pohl"]
Testbedingungen: Quad 2.83GHz (8 GB RAM, Vista Home Premium 64). Tempo 1'+1'', Fritz 12 GUI (aufgeben auf spät, Remis geben auf niemals), je Engine 1 GB Hash[/quote]

Ist das nicht (viel) zu viel für 1m+1s ???
Mfg
Kurt
[/quote]

Nein. Die Hashtables sind doch heutzutage persistent. Die werden voll gerechnet und so gibts ggf. noch Treffer von Berechnungen, die schon ein paar Züge zurückliegen. Hashtables können heutzutage nur zu klein sein, nicht zu groß.
[/quote]

... wenn das stimmt, dann habe ich wieder etwas dazu gelernt.
Mfg
Kurt

By Ludwig Bürgin Date 2010-10-07 18:42

Hallo Kurt

Teile Deine Bedenken.
Bei solchen kurzen Spielzeiten kann man an den Einstellungen nicht viel falsch machen.

Gruß Ludwig

By ernst happe Date 2010-10-07 18:51

Code:

Hashtables können heutzutage nur zu klein sein, nicht zu groß.

diese ausage ist definitiv zu 100% falsch!

es gab hier vor längerer zeit mal teste die diese belegt haben!

By Gerhard Lohmann Date 2010-10-07 12:48

Stefan,

Hast Du mahl überprüft, ob IvanHoe B52aF auch alle 4 Kerne auslasted. Auf meinem 32Bit System wird nur 1Kern ausgelasted.

By Stefan Pohl Date 2010-10-07 15:26

[quote="Gerhard Lohmann"]
Stefan,

Hast Du mahl überprüft, ob IvanHoe B52aF auch alle 4 Kerne auslasted. Auf meinem 32Bit System wird nur 1Kern ausgelasted.
[/quote]

Selbstverständlich. Alle 3 Ivans erreichen auf meinem System bei vollem Brett ca. 5-6 Mio Knoten/s. Lief alles bestens.

By Frank Quisinsky Date 2010-10-07 14:48 Edited 2010-10-07 14:53

Hallo Stefan,

wie kann denn IvanHoe T04 die Total / Triplebass automatisch laden?
Die werden unter der Shredder GUI nicht automatisch beim Start der Engine geladen, erst dann wenn ich diese per die UCI Optionen per Hand lade bzw. auf den Button Load... klicke.

Kannst du das mal ausprobieren?
Editiere einfach eine Stellung KSL-K, lade IvanHoe T04 neu und starte die Analyse.

Erkennt kein Matt ...
Nun mittels UCI Optionen extra auf LoadRobboTripleBases klicken und erneut die Analyse starten ...
und plötzlich erkennt IvanHoe T04 die Endspieldatenbanken.

Und mithin ... leider nicht automatisch beim Laden der Engine.
Vielleicht mache ich auch etwas falsch?

Selbst wenn ich den UCI Parameter setzte den die IvanHoe B52aC Verison nutzt:

Code:

[ENGINE]
Name=IvanHoe B52aC x64
Author=Peterpan
Filename=C:\Chess\Shredder 12\Engines\IvanHoe\IvanHoe_B52aC.exe
[OPTIONS]
EvalHash=1
TitanicCPUsSizings=1
TripleBaseDirectory=c:\Chess\Shredder 12\Engines\IvanHoe\TripleBases
LoadTripleBases=Load
TotalBaseDirectory=c:\Chess\Shredder 12\Engines\IvanHoe\TotalBases
LoadTotalBases=Load
RobboTotalBaseCacheSize=64
MultiCentiPawnPV=1

Hier noch die *.eng von der IvanHoe T04

Code:

[ENGINE]
Name=IvanHoe T0.4 x64
Author=Ahmed
Filename=C:\Chess\Shredder 12\Engines\IvanHoe\IvanHoe_T04.exe
[OPTIONS]
EvalHash=1
TitanicCPUsSizings=1
RobboTripleBaseDirectory=c:\Chess\_triplebases
RobboTotalBaseDirectory=c:\Chess\_totalbases
RobboTotalBaseCacheSize=64
MultiCentiPawnPV=1

By Frank Quisinsky Date 2010-10-07 15:04

Code:

[ENGINE]
Name=IvanHoe T0.4 x64
Author=Ahmed
Filename=C:\Chess\Shredder 12\Engines\IvanHoe\IvanHoe_T04.exe
[OPTIONS]
EvalHash=1
TitanicCPUsSizings=1
RobboTripleBaseDirectory=c:\Chess\_triplebases
LoadRobboTripleBases=Load
RobboTotalBaseDirectory=c:\Chess\_totalbases
RegisterRobboTotalBases=Load
RobboTotalBaseCacheSize=64
MultiCentiPawnPV=1

Fehler gefunden ... hat sich erledigt!

By Stefan Pohl Date 2010-10-07 15:31

[quote="Frank Quisinsky"]
Hallo Stefan,

wie kann denn IvanHoe T04 die Total / Triplebass automatisch laden?
Die werden unter der Shredder GUI nicht automatisch beim Start der Engine geladen, erst dann wenn ich diese per die UCI Optionen per Hand lade bzw. auf den Button Load... klicke.

Kannst du das mal ausprobieren?
Editiere einfach eine Stellung KSL-K, lade IvanHoe T04 neu und starte die Analyse.

Erkennt kein Matt ...
Nun mittels UCI Optionen extra auf LoadRobboTripleBases klicken und erneut die Analyse starten ...
und plötzlich erkennt IvanHoe T04 die Endspieldatenbanken.

Und mithin ... leider nicht automatisch beim Laden der Engine.
Vielleicht mache ich auch etwas falsch?

Selbst wenn ich den UCI Parameter setzte den die IvanHoe B52aC Verison nutzt:

Code:

[ENGINE]
Name=IvanHoe B52aC x64
Author=Peterpan
Filename=C:\Chess\Shredder 12\Engines\IvanHoe\IvanHoe_B52aC.exe
[OPTIONS]
EvalHash=1
TitanicCPUsSizings=1
TripleBaseDirectory=c:\Chess\Shredder 12\Engines\IvanHoe\TripleBases
LoadTripleBases=Load
TotalBaseDirectory=c:\Chess\Shredder 12\Engines\IvanHoe\TotalBases
LoadTotalBases=Load
RobboTotalBaseCacheSize=64
MultiCentiPawnPV=1

Hier noch die *.eng von der IvanHoe T04

Code:

[ENGINE]
Name=IvanHoe T0.4 x64
Author=Ahmed
Filename=C:\Chess\Shredder 12\Engines\IvanHoe\IvanHoe_T04.exe
[OPTIONS]
EvalHash=1
TitanicCPUsSizings=1
RobboTripleBaseDirectory=c:\Chess\_triplebases
RobboTotalBaseDirectory=c:\Chess\_totalbases
RobboTotalBaseCacheSize=64
MultiCentiPawnPV=1

LoadTripleBases=Load
LoadTotalBases=Load

Also auch mit diesen Parameter bei der T04 bekomme ich das nicht hin die Endspieldatenbanken mit dem Engine Start automatisch laden zu lassen ohne das in erst in den UCI Optionen diese per Hand starte.
Hoffe Du kannst nachvollziehen was ich meine!

Gruß
Frank
[/quote]

Ich kann das nachvollziehen. Bei der FritzGUI muß man nur bevor man das Turnier startet nochmal in die Engineparameter von Ivan T0.4 reingehen (vom Fenster des Engineturniers, wo die Teilnehmer schon gelistet sind) und dann nochmal Load Triplebases anklicken (korrekter Pfad muß natürlich angegeben sein). Dann werden die Triplebases immer im Turnier korrekt geladen. Ist ein bißchen blöd gemacht, die PeterPan-Compiles sind da besser. Aber die FritzGUI zeigt die TB-Hits ja an und ich habe etliche Partien live verfolgt. Es fanden immer TB-Zugriffe statt (TripleBases werden ja schon bei recht vollem Brett angesprochen, daher gibts es praktisch keine Partie, die Ivans keine TB-Zugriffe zeigen). War alles OK, auch bei T0.4

Gruß - Stefan

By Frank Quisinsky Date 2010-10-07 15:48 Edited 2010-10-07 15:54

Hi Stefan,

kopiere mal in die *.uci Konfiguration der Fritz GUI folgende Einträge
Also zu Deiner hinzufügen ... dann nur noch den Pfad der TripleBases und TotalBases, Cache ändern.

Bei IvanHoe T04 x64

Code:

[OPTIONS]
EvalHash=1
TitanicCPUsSizings=1
RobboTripleBaseDirectory=c:\Chess\_triplebases
LoadRobboTripleBases=Load
RobboTotalBaseDirectory=c:\Chess\_totalbases
RegisterRobboTotalBases=Load
RobboTotalBaseCacheSize=64
MultiCentiPawnPV=1

So sollte auch die Fritz GUI automatisch laden.

Wobei es offenbar eine Besonderheit bei den drei Versionen von Ahmed, Vlad und Peterpan gibt.

Bei Peterpan müssen die Triplebases / Totalbases in einem Unterverzeichnis im Engine Verzeichnis stehen.

Und die Besonderheit ... die Bases können ohne die Verzeichnisse 2,3,4 etc hineinkopiert werden.

Bei Vlad, Ahmed ist es egal.
Irgend ein Verzeichnis aber dann im Verzeichnis der TripleBases & TotalBases die Unterverzeichnisse ... 2, 3, 4, 5

Alles ein wenig kompliziert!

Habe gerade noch 2 IvanHoe Versionen konfiguriert und das alles ausgetestet bzw.auch die SWCR Konfigurationen upgedatet (gesammelte Konfigurationen aller 104 eingepickten Engines, siehe Download Bereich meiner Webseiten). Beschäftige mich noch nicht lange mit den IvanHoe Versionen, kann auch sein das die Endspieldatenbanken auch anders geladen werden, aber so funktioniert es bei mir!

So, kann bei mir also losgehen wenn das aktuelle Turnier ausgelaufen ist, wohl am Montag oder Dienstag.
Dann spielen noch die beiden IvanHoe Versionen und ich hätte dann 6 der IPP Familie Engines durchlaufen lassen.

Fire 1.3.1 x64
FireBird 1.1 Dr. Deab I x64 (Wael Deeb Setting)
Houdini 1.03a x64
IvanHoe B52aC x64 von Peterpan
IvanHoe T04 x64 von Ahmed
IvanHoe 52iUSTMO x64 von Vlad

Und zu Deinem Beitrag von letzter Woche. Habe mir die Versionen B52aD und B52aE angesehen. Diese waren ein wenig buggy, Probleme mit dem Zeitmanagement. So blieb ich bei der Version B52aC die ja auch schon über 500 Partien gespielt hat. Kann nicht jede 2 Tage updaten ... so oft kommen fast die ganzen neuen Versionen. Insofern ziehe ich den Test durch bzw. bringe das zu Ende mit den aufgeführten Versionen. Und dann schauen wir mal 3 Monate später ob sich was hinsichtlich Spielstärke getan hat.

Viele Grüße
Frank

By Klaus Rosenheim Date 2010-10-08 16:19

engines die nicht pondern können, sollten nicht getestet werden