Hiarcs14 engine-matches

By Thorsten Czub Date 2012-09-06 21:40

ich habe mal ne kleine spiessrute auf meinem alten i3 gemacht:

Motor Punkte De
1: DeepHiarcs14WCSC [t1] 42.0/100 ··················································
2: Houdini_20_x64 [t1] 33.5/50 =1===0=011=011=1111111110101=110===10110111=0011=1
3: Komodo-5-64bit 24.5/50 0=11011===1=0===10=0===001=0=010=0011==01=1==10===

100 Partien gespielt / Turnier beendet
Name des Turniers: Hiarcs gegen houdini
Ort/ Land: ORION9, Deutschland
Spielstufe: Turnier 40/3
Hardware: Intel(R) Core(TM) i3 CPU M 390 @ 2.67GHz mit 3.8 GB Speicher
Betriebssystem: Windows 7 Home Premium Home Edition Service Pack 1 (Build 7601) 64 bit
PGN-Datei: C:\schach\arena_3.0\Tournaments\Hiarcs gegen houdini.pgn
Internetseite:
E-Mail Adresse:

ist doch SO schlecht nicht. komodo hat sichtlich so seine schwierigkeiten.

By Timo Haupt Date 2012-09-06 22:43

Diese Ergebnisse sind wirklich nicht schlecht, aber das ist Blitz. In längeren Partien schaut es offenbar nicht so rosig aus. Gegen Junior bekommt Hiarcs jedenfalls bei langer Bedenkzeit und mit vielen Cores die Ohren lang gezogen: 24 zu 16 nach 40 Partien für Junior und die aktuell laufende Partie wird Junior auch wieder gewinnen (trotz b3-Eröffnung). Vielleicht kommt Junior auch mit dem Kurzbuch besonders gut zurecht und Hiarcs besonders schlecht. Aber trotzdem glaube ich, dass Junior so eine Art Angstgegner für Hiarcs ist...

By Ingo Bauer Date 2012-09-07 07:36

Moin Timo

[quote="Timo Haupt"]
... Aber trotzdem glaube ich, dass Junior so eine Art Angstgegner für Hiarcs ist...
[/quote]

Bei nur 150 Partien und getauschten Farben holt Hiarcs 60% gegen Junior bei mir. Das ist ziemlich genau auch der Eloabstand in der Liste. Auffälligkeiten bzgl "Angstgegner" kann man bei mir nicht sehen. Da selbst 150 Spiele viel zu wenig sind würde ich schlicht noch keine Schlüsse ziehen. Die geringe Zahl an Spielen verleitet einen Dinge zu sehen ...

9 HIARCS 14 WCSC 32b        : 2823  2850 (+812,=1132,-906), 48.4 %

Deep Junior 13.3              : 150 (+ 63,= 54,- 33), 60.0 %
Deep Fritz 13 32b             : 150 (+ 38,= 61,- 51), 45.7 %
spark-1.0                     : 150 (+ 59,= 56,- 35), 58.0 %
Zappa Mexico II               : 150 (+ 63,= 64,- 23), 63.3 %
Stockfish 2.2.2 JA            : 150 (+ 16,= 60,- 74), 30.7 %
Spike 1.4 32b                 : 150 (+ 63,= 55,- 32), 60.3 %
Quazar 0.4                    : 150 (+ 57,= 59,- 34), 57.7 %
Protector 1.4.0               : 150 (+ 46,= 70,- 34), 54.0 %
Naum 4.2                      : 150 (+ 38,= 61,- 51), 45.7 %
MinkoChess 1.3                : 150 (+ 80,= 54,- 16), 71.3 %
Houdini 2.0 STD               : 150 (+ 16,= 37,- 97), 23.0 %
Hannibal 1.2                  : 150 (+ 46,= 67,- 37), 53.0 %
Gull 1.2                      : 150 (+ 49,= 60,- 41), 52.7 %
Deep Sjeng c't 2010 32b       : 150 (+ 44,= 74,- 32), 54.0 %
Deep Shredder 12              : 150 (+ 48,= 72,- 30), 56.0 %
Deep Rybka 4.1                : 150 (+ 15,= 59,- 76), 29.7 %
Critter 1.4a                  : 150 (+ 15,= 57,- 78), 29.0 %
Chiron 1.1a                   : 150 (+ 38,= 62,- 50), 46.0 %
Komodo 5                      : 150 (+ 18,= 50,- 82), 28.7 %

Gruß
Ingo

PS: Diese Liste liegt immer zum Download bei mir bereit. Wer will kann Anhand der Prozente jederzeit nachsehen ob es so etwas wie einen "Angstgegner" auf 150 Spiele/getauschte Farben/gleiche Hardware/(...)-Basis gibt. Die gibt es durchaus manchmal. Ob man dann Schlüsse zieht ...

By Timo Haupt Date 2012-09-07 09:08

Hi Ingo,

danke für die Zahlen. Aber auch hier gilt wieder: Blitz, 1 core und Vorgabestellungen. Das sind schon vollkommen andere Bedingungen als in meinem Hiarcs vs. Junior Match (Turnier-BZ, 6 cores, Kurzbuch). Das muss nichts heißen, kann aber. Nach 44 Partien steht es jetzt 26,5 zu 17,5 für Junior (also ca. 60%). Schwer zu glauben, dass nach 150 Partien plötzlich Hiarcs mit 60% vorne liegen soll. Ich weiß allerdings, dass das im Bereich des Möglichen ist - der Zufall kann einem bei wenigen Partien schon einen Streich spielen. Allerdings habe ich mir ja auch viele der Partien (teilweise live) angesehen. Und da hat Hiarcs oft nichts zu bestellen - unabhängig von der Eröffnung. Junior überspielt Hiarcs ein ums andere Mal. Deshalb fehlt mir der Glaube daran, dass sich dieses Match auch mit 10x soviel Partien plötzlich umdrehen könnte.

Viele Grüße
Timo

P.S.: Ich bin nicht plötzlich über Nacht zum Junior-Fan geworden. Ich war sogar ziemlich enttäuscht von Junior, als ich ihn gegen andere Gegner habe spielen lassen. Aber was er hier gegen Hiarcs zusammenspielt, ist wirklich erste Klasse! Bzw. man könnte auch sagen: Von der Performance von Hiarcs im Match gegen Junior bin ich eher enttäuscht...

By Ludwig Bürgin Date 2012-09-07 11:11

Hallo Timo

Vor ein paar Tagen hat Clemens das m.M. nach aussagekräftige Turnier"Elimation Tournament"gespielt.
Dabei kam Junior im ersten, sowohl auch im zweiten Durchgang jeweils auf den neunten Platz.Interessant dabei ist,dass die funf Programme,die im dritten Durchgang die Plätze unter sich ausmachten schon im ersten und zweiten Durchgang diese Positionen belegt hatten.

Gruß Ludwig

By Ingo Bauer Date 2012-09-07 11:29 Edited 2012-09-07 11:37

Hallo Timo,

[quote="Timo Haupt"]
... Aber auch hier gilt wieder: Blitz, 1 core und Vorgabestellungen....
[/quote]

Nochmal, ich glaube man darf Aufgrund der paar Spiele einfach keine Schlüsse ziehen.

Tut man es doch würde deine Argumentation bedeuten das Junior bei längerer Zeit überproportional mehr als 60 Elo zulegt (was du in deinem anderen Test wiederlegt hast - Zeit fällt also weg!) und/oder das die Verwendung vieler Kerne bei Junior viel besser implementiert ist, so das er von 1 auf 4 60Elo+ MEHR rausholt als Hiarcs! Dabei hat auch Hiarcs den Ruf (mehr ist es aber bei keiner Engine) das er bei mehr Zeit, respektive vielen Kernen überdurchschnittlich besser wird. Das passt nicht zusammen. Für wie wahrscheinlich hälst du das?

Was die Vorgabestellung betrifft ist das bei dir auch nicht anders. Nur kommen die aus einem Buch und ich kenne sie halt vorher. Ansonsten alles gleich.

Alles was wir haben sind zwei konträre Ergebnisse die Aufgrund der geringen Zahl an Spielen nichts sagen, ausser das es vielleicht schöne Spiele waren.

Gruß
Ingo

PS: Tauscht du eigentlich die Farben nach dem Buch, kommt also das selbe nochmal andersherum aufs Brett? Könnte nachsehen, bin zu faul, sorry? Wenn nicht nimm doch mal die Stellungen nach dem Buch, mach ein PGN draus und lasse das vertauscht nochmal laufen ...

By Ingo Bauer Date 2012-09-07 11:50

Editierzeit abgelaufen ...

[quote="Ingo Bauer"]

Was die Vorgabestellung betrifft ist das bei dir auch nicht anders. Nur kommen die aus einem Buch und ich kenne sie halt vorher. Ansonsten alles gleich.

[/quote]

Noch dazu: Es besteht natürlich die Möglichkeit das bei dir zufällig ganz viele schlechte Eröffnungen für HIARCS, die gleichzeitig gut für Junior sind, aufs Brett kommen oder das ich bewußt, unbewußt oder zufällig vor Jahren lauter Eröffnungen zusammengestellt habe die heute nur Junior benachteiligen. BEIDES glaube ich eher nicht.

Gruß
Ingo

By Thorsten Czub Date 2012-09-07 12:33

ich glaube das man sagen kann, das hiarcs auf langsamerer hardware im vorteil ist.
die suchbaum basierten programme brauchen optimale hardware. hiarcs kann, wenn er erst mal einen grundsockel hat, z.B. auf meinem ipad, sein wissen leuchten lassen. das geht dann nicht mehr wenn die anderen programme die hauptsächlich suchbasiert sind dann eine geignetere hardware bekommen. dann ziehen die plötzlich an hiarcs vorbei.

By Timo Haupt Date 2012-09-07 13:38

[quote="Ingo Bauer"]
PS: Tauscht du eigentlich die Farben nach dem Buch, kommt also das selbe nochmal andersherum aufs Brett? Könnte nachsehen, bin zu faul, sorry? Wenn nicht nimm doch mal die Stellungen nach dem Buch, mach ein PGN draus und lasse das vertauscht nochmal laufen ...
[/quote]

Hi Ingo,

leider bietet die Fritz-GUI die Option des Farbtausches nicht an, wenn man mit Büchern spielt und die Turnierfunktion nutzt. Und letzteres war notwendig wg. der Live-Übertragung. Vielleicht suche ich mir beim nächsten Mal eine andere Möglichkeit, die Live-Übertragung zu realisieren (hoffe auf so eine Funktion innerhalb der nächsten ShredderClassic). Ich muss mal schauen, ob ich trotzdem nochmal 50 Partien mit Vorgabestellungen spielen lasse, welche ich dann nach deiner o.g. Methode erstelle.

Ich persönlich glaube übrigens, dass sich bei veränderten Bedingungen (Zeit, mehr Cores, mehr Hash) schon mal Verschiebungen ergeben können bei Einzelbegegnungen. Bei Tests gegen viele Gegner gleicht sich das dann wieder aus. Aber es spricht prinzipiell nichts dagegen, dass hier mal ein Beispiel dafür gefunden wurde, wie andere Bedingungen auch zu anderen Ergebnissen führen können. Im Grunde genommen könnte man auch die Ergebnisse des Tests mit langen Büchern und Buchlernen mit hinzunehmen: http://team-oh.de/livegames9/ Wesentlich höhere Remisquote, aber auch kein Hinweis darauf, dass eigentlich Hiarcs 60% gegen Junior scoren sollte. Beide Matches zusammen (sind ja sehr ähnliche Bedingungen bis auf die Bücher) ergeben dann schon ein etwas aussagekräftigeres Bild. Und dieses Bild zeigt einfach, dass unter den verwendeten Bedingungen Junior leicht überlegen agiert und Hiarcs im Hintertreffen ist.

Ich wäre sogar bereit darauf zu wetten, dass in einem Match unter den o.g. Bedingungen über 1000 Partien Hiarcs am Ende nicht mit 60% vorne liegen würde. Nur leider werden wir wohl niemanden finden, der 1000 Turnierpartien zwischen diesen beiden Engines ausspielen wird...

Viele Grüße
Timo

By Thomas Müller Date 2012-09-07 16:20

Zitat:

Nur leider werden wir wohl niemanden finden, der 1000 Turnierpartien zwischen diesen beiden Engines ausspielen wird...

ressourcen bündeln.
Wenn ich so rumschaue wer alles mit teilweise einer vielzahl von rechnern ranglisten/testläufe/turniere laufen lässt.
Das würde schon gehen....technisch denke ich auch....alle mit z.B. shredder-gui über ein dropbox-share oder ähnliches?!

gruß thomas

By Thorsten Czub Date 2012-09-07 20:52

na das hauptproblem wenn man UNTERSCHIEDLICHE geräte nimmt ist ja, das diese nicht gleich schnell spielen. da spiele ich lieber auf 1 maschine, da weiss ich das programm a und programm b
auch gleich schnell sind.

By Andreas Wutzke Date 2012-09-08 09:39

Hi,

eben ging das Match zuende, und Junior hat 60% geholt......muss sagen hatte erwartet dass es enger zugeht. Hiarcs scheint bei so langen Bedenkzeiten mit dem Juniorschen Druckspiel seine Probleme zu haben.....

Gruß
Andi