Houdini 6 die neue Nummer Eins im ERET-Stellungstest

By Walter Eigenmann Date 2017-09-23 14:58

.

Bald nach Erscheinen des ERET-Stellungstests...

https://glarean-magazin.ch/2017/03/05/computerschach-testaufgaben-engines-eigenmann-rapid-engine-test-eret/

habe ich ja bekanntlich alle 111 Stellungen von ca. 120(!) Engines absolvieren lassen.

Damals allerdings auf einem eher langsamen AMD - nun habe ich den ERET nochmals von ausschließlich MP-fähigen Programmen
auf einem etwas schnelleren Intel lösen lassen, wobei das jeweils beste Resultat von je drei Durchgängen in die neue Rangliste einfloss.

Unter den neuesten getesteten Engines ist u.a. auch Houdini 6 dabei.
Houdini setzte sich im ERET an die Spitze - noch vor einem der besten aktuellen Stockfish-Derivate.

Code:

   Program                 solved

01 Houdini 6               75/111
02 AsmFish 2017-08-10      73/111
03 Stockfish 8             71/111
04 Komodo 11.01            66/111
05 Houdini 5.01            65/111
06 Fizbo 1.9               50/111
07 Fire 6                  49/111
08 Fire 5                  48/111
09 Deep Shredder 13        48/111
10 Fritz 15                47/111
11 Critter 1.6             46/111
12 Protector 1.9           45/111
13 Gull.3.1                44/111
14 Andscacs 0.92           43/111
15 NirvanaChess 2.4        43/111
16 Bouquet 1.8             40/111
17 Sting SF 8.5            39/111
18 Hannibal 1.7            38/111
19 Texel 1.07              38/111
20 Naum 4.6                36/111
21 Deep Rybka 4.1          35/111
22 Chiron 4                35/111
23 Arasan 20.2             34/111
24 Equinox 3.30            34/111
25 Spark 1.0               32/111
26 Rybka WinFinder 2.2     31/111
27 Pedone 1.5              28/111
28 Deep Hiarcs 14          28/111
29 Wasp 2.0                28/111
30 Spike 1.4               27/111
31 Deep Junior 13.3        25/111
31 Deep Fritz 10           23/111
32 Deep Gandalf 7          20/111
33 Zappa Mexico II         19/111
34 Deep Sjeng WC2008       16/111
35 Deep Onno 1-2-70        16/111

i7(4790)-5sec-4CPU-256MBHash-NoBooks-AllTBs
Fritz 15 (Extra Halbzüge/Extra Ply: 10)

Wer diese Ergebnisse mit eigenen Tests vergleichen will: Alle entspr. Details (CBH-, EPD-, PGN-, PDF-Formate) können unverändert runtergeladen werden.

Gruss: Walter

.

By Klaus S. Date 2017-09-23 16:23 Edited 2017-09-23 16:31

Hallo Walter,

"Hier lassen sich die Einzelresultate nachlesen (Sekunden-genau)."

In dem betreffenden Link https://glarean-magazin.ch/wp-content/uploads/securepdfs/2017/09/ERET-Test-September-2017.pdf

erscheinen leider alle Engines mit 12:00

Gruß
Klaus

Edit:
Wieviel cores wurden den Engines zugestanden? Ich nehme an alle Engiines einheitlich - 2 cores oder 4 cores?

By Walter Eigenmann Date 2017-09-23 16:46

Klaus S. schrieb:

Hallo Walter,
"Hier lassen sich die Einzelresultate nachlesen (Sekunden-genau)."
In dem betreffenden Link <a class='urs' href='https://glarean-magazin.ch/wp-content/uploads/securepdfs/2017/09/ERET-Test-September-2017.pdf'>https://glarean-magazin.ch/wp-content/uploads/securepdfs/2017/09/ERET-Test-September-2017.pdf</a>
erscheinen leider alle Engines mit 12:00

Dieses 12:00 ist eine "Fritz"-Standardeinstellung beim Export der Testergebnisse in die Zwischenablage.

Trotzdem hast du recht: hinter diesem 12:00 müsste z.B. 12:04 (Sekunden) oder ähnliche Werte stehen.
Da ist was schiefgelaufen bei der Portierung in die Exel/PDF-Tabelle - ich werde das nächstens korrigieren.

Klaus S. schrieb:

Wieviel cores wurden den Engines zugestanden? Ich nehme an alle Engiines einheitlich - 2 cores oder 4 cores?

Alle Engines hatten 4 Cores - Ausnahme: Gandalf 7 unterstützt nur zwei Proz.

Gruss:

By Klaus S. Date 2017-09-23 16:55

Noch ne Frage.

Du schreibst: Nun, ein halbes Jahr später, wurde der ERET nochmals auf stärkerer Hardware von ausschließlich
Multi-Prozessor-fähigen Programmen absolviert.

Stärkerer HW?

Ich meine der AMD FX-8350 8 core hat 4000 MHz

dagegen der Intel Core i7 4790 4 core hat 3600 MHz

Oder habe ich was übersehen?

By Walter Eigenmann Date 2017-09-23 17:06

Klaus S. schrieb:

Noch ne Frage.
Du schreibst: Nun, ein halbes Jahr später, wurde der ERET nochmals auf stärkerer Hardware von ausschließlich
Multi-Prozessor-fähigen Programmen absolviert.
Stärkerer HW?
Ich meine der AMD FX-8350 8 core hat 4000 MHz
dagegen der Intel Core i7 4790 4 core hat 3600 MHz
Oder habe ich was übersehen?

Der Intel ist trotzdem schneller - jeder Schach-Benchmark den ich kenne (Arena, Fritz), fällt hier zugunsten des i7 aus.

Gruss: Walter

By Guenter Stertenbrink Date 2017-09-24 07:46 Edited 2017-09-24 08:08

koennen wir das auch haben mit den
Ergebnissen der einzelnen Durchgaenge ,
(moeglichst viele ...) sowie den Elos der Engines, damit wir die
Vergleichskurven malen koennen und sehen, wie
sich die Kurven (hoffentlich) immer mehr annaehern
mit mehreren Durchgaengen und hochrechnen koennen,
wieviele Durchgaenge wievielen gespielten Partien entsprechen ?

ich denke da an den alten Vergleich :

http://magictour.free.fr/ERETP2.GIF

und um wieviel die Abweichung vom Elo-Durchschnitt jetzt besser geworden ist

By Walter Eigenmann Date 2017-09-24 07:59

Guenter Stertenbrink schrieb:

koennen wir das auch haben mit den Ergebnissen der einzelnen Durchlaeufe , (moeglichst viele ...) sowie den Elos der Engines, damit wir die Vergleichskurven malen koennen und sehen, wie sich die Kurven (hoffentlich) immer mehr annaehern mit mehreren Durchlaeufen und hochrechnen koennen, wieviele Durchlaeufe wievielen gespielten Partien entsprechen ?

Die entspr. EPD-Datei mit allen 111 Aufgaben ist ja frei downloadbar - wer will, kann sofort mit dem Testen loslegen...

Gruss: Walter

.

By Guenter Stertenbrink Date 2017-09-24 08:03

ahh, ich brauche aber die 35 engines, die Auswertungssoftware etc.

By Walter Eigenmann Date 2017-09-24 10:24

Guenter Stertenbrink schrieb:

ahh, ich brauche aber die 35 engines, die Auswertungssoftware etc.

Tja, ich kann dir ja nicht gut Fritz 15, Houdini, Shredder etc. mailen...

Gruss: Walter

Im Ernst: Ganz ausschliessen will ich nicht, dass ich mal ca. 40 Engines mit je 10 Durchgängen durch die je 111 ERET-Aufgaben jage -
aber solches Statistik-Kurven-Zeugs braucht schon etwas Zeit. Auch wenn man's mit "Arena" recht automatisiert hinkriegte.
Vielleicht ist das ja eine Anregung für andere ERET-Tester mit vollem Motoren-Park. Zeitaufwand: 40x10x10 = ca. 70 Stunden (inkl. Handling).