Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Houdini 3 (1 core) against Rybka 4.1 (4 cores)
- - By Orlando de la Vega Date 2012-11-24 14:23
Houdini 3 (1 core) against Rybka 4.1 (4 cores)

PlaceEngineAuthorCountryPointsSingle results
1Houdini 3 1TRobert Houdart50.5/1001001½01½½½-1½010½01½1-½1½½1½½111-½½00½½01½½-001½011½01-
½1½10½010½-½½010½½1½1-0½½1½0½0½½-1½1100½½½0-011½0½0½0½
2Rybka 4.1 4TVasik Rajlich49.5/1000110½10½½½-0½101½10½0-½0½½0½½000-½½11½½10½½-110½100½10-
½0½01½101½-½½101½½0½0-1½½0½1½1½½-0½0011½½½1-100½1½1½1½





100 of 100 matches played.
Houdini 3 1T v/s Rybka 4.1 4T (100: + 29,= 43,- 28)

Start of tournament: ......... 2012.11.24, 08:21:46
Town/ Country: .............. Dax, France
Level: ............................. Blitz 40/1' repeated
Hardware: ...................... AMD Phenom(TM) 9750 Quad-Core
Engines: ......................... Houdini 3 / Rybka 4 both 64-bit using 1 thread for Houdini and 4 threads for Rybka
Hash: ............................. 64 MB / 256 MB
GUI: ............................... Shredder Classic 3
OS: ................................ Windows 7 Ultimate
Ponder OFF
Nalimov TB ..................... 3+4+5
Book: ............................. Shredder book, stopped using after 5 moves.
Openings: ....................... 50 different openings randomly chosen by GUI, large mode.



Best regards,
Orlando
Parent - - By Benno Hartwig Date 2012-11-24 15:33
Ja, dein Ergebnis passt sehr gut zu dem, was CEGT erspielt hat
http://www.husvankempen.de/nunn/40_40%20Rating%20List/40_40%20All%20Versions/rangliste.html

Code:
Houdini3 x64 1CPU:           3051 ELO
Deep Rybka 4.1 x64 4CPU:     3047 ELO

Benno

PS:
Ich befürchte ja, dass der 64core-Cluster gegenüber einer echten 16-Kern-Maschine nicht solch einen Vorteil bietet. Bei weitem nicht.
Parent - - By Peter Osthoff Date 2012-11-25 12:04
Wenn man sich die Ergebnisse oben anschaut, waren die Spielbedingungen des RybkaCluster vs. Houdini - Matches ja genau richtig. Die Frage war, wie stark eine möglicherweise verbesserte Rybkaversion auf dem Cluster ist. Jetzt würde ich sagen, es wurde weder die Rybka-Engine weiterentwickelt (und ist auf dem Stand von Version 4.1), noch wurde erfolgreich an der Skalierung auf den vielen Prozessoren etwas getan (leider).
Parent - - By Christian Schmidt Date 2012-11-25 14:00
Ich verstehe überhaupt nicht, wie nach 2 Partien schon solche Schlussfolgerungen gezogen werden können. In den 100 Partien oben sehe ich einige Sequenzen, wo Rybka 2 Partien in Folge gewonnen hat (oder 7 Partien in Folge ungeschlagen war). Unter Umständen waren das sogar klare Partien. Würde man dann ein Fazit ziehen wollen, wäre man ganz schön auf dem Holzweg.
Parent - By Clemens Keck Date 2012-11-25 21:04
1++
Parent - - By Peter Osthoff Date 2012-11-25 23:03
Es liegen mehr Informationen vor als nur zwei Ergebnisse aus einem langen Match wie oben. Das macht die Ergebnisse der zwei Partien aussagekräftiger.
- keine Eröffnungsbücher
- längere Zeiteinstellungen
- Beobachtung der Bewertungen im Partienverlauf
Parent - By Benno Hartwig Date 2012-12-02 06:02
[quote="Peter Osthoff"]Es liegen mehr Informationen vor als nur zwei Ergebnisse aus einem langen Match wie oben. Das macht die Ergebnisse der zwei Partien aussagekräftiger.[/quote]Wenn H3 gegen H3 unter ähnlichen Bedingungen spielt, werden dir vermutlich recht häufig auch Partien begegnen, in denen ein H3 unter die Räder kommt.
In dem Fall wäre man natürlich zurückhaltend mit einer Bewertung. Das sollte man bei anderen Enginepaarungen wohl aus den gleichen Gründen auch sein.

Und auch Partien mit längeren Denkzeiten sind jeweils nur ein einzelnes Zufallsereignis.

Benno
Parent - By Clemens Keck Date 2012-11-25 21:04
-6
Parent - - By Benno Hartwig Date 2012-11-25 22:12
[quote="Peter Osthoff"]Wenn man sich die Ergebnisse oben anschaut, waren die Spielbedingungen des RybkaCluster vs. Houdini - Matches ja genau richtig.[/quote]Genau das denke ich nicht!
Mit der Kern-Anzahl vermindert sich der Vorteil, der durch eine Verdopplung der Kerne entsteht.
Und es ist sicher auch deutlich ungünstiger, die Kerne auf diversen Rechnern zu haben, die sich dann irgendwie miteinander unterhalten müssen, als direkt in einer Rechener, die den gemeinsamen Hauptspeicher nutzen können.
Mich würde interessieren, ob solch ein 64-Kerne-Cluster überhaupt besser für Rybka ist als eine 16-Kern-Maschine.

"Kann 64core-Cluster-Rybka überhaupt besser spielen als Rybka 4.1 auf dem 16-Kern-Rechner?" drängt sich mir als Frage auf.
Ich wäre nicht wirklich überrascht, wenn ein 'nein' herauskäme.

Benno
Parent - - By Clemens Keck Date 2012-11-26 06:13
Hallo Benno

"...Und es ist sicher auch deutlich ungünstiger, die Kerne auf diversen Rechnern zu haben, die sich dann irgendwie miteinander unterhalten müssen, als direkt in einer Rechner, die den gemeinsamen Hauptspeicher nutzen können."
Genau das ist ein wichtiger Punkt der die Stärke eines Clusters markiert. Der Hauptspeicher wird üblicherweise nur innerhalb eines jeden Clusterknotens verwendet, aber die Kommunikation ist neben der Stärke der Basisengine mit das Wichtigste.
Hierüber kenne ich im Bezug auf Cluster Rybka leider nur wenig Informationen. Auf meinem 16er skaliert Rybka nur mäßig übrigens. Im Mittel werden etwa 1000 kNs erreicht. Das macht rybka schon auf 12 Kernen auch fast.
Ich finds hart für Cluster Rybka anhand von 2 Partien so durch den Kakao gezogen zu werden.

Gruß, Clemens
Parent - - By Benno Hartwig Date 2012-11-27 14:32
Zitat:
Ich finds hart für Cluster Rybka anhand von 2 Partien so durch den Kakao gezogen zu werden.
Klar, nur 2 Partien. Auch wenn H3 gegen H3 spielt, wird es manche Partien geben, in denen H3 ganz schlecht aussieht.
Und diese beiden Partien sind eben das einzige, was man hat, und so wird nun eben über sie diskutiert. Und sie deuteten eben schon in eine ClusterRybka-wirklich-unterlegen-Richtung.
Und außerdem: bei Menschen hat man nicht so eine hohe Erwartung an eine Partienzahl, die statistisch harte Ergebnisse liefert. Wenn ein GM gegen einen andere 2 mal deutlich gewonnen hat, dann ist das ein Ergebnis, welches schon erst mal in Erinnerung bleiben darf und wird.

"Wie groß ist tatsächlich der Nutzen vieler Kerne" ist aber schon eine sehr interessante Frage, finde ich. Auf meinem i5 betrieb mit ich bei saukurzen 1m+1s mal folgende Houdini3-JederGegenJeden-Inzucht:

Code:
    Program                          Elo    +   -   Games   Score   Av.Op.  Draws

  1 Houdini_3_x64 4core            : 3069   30  29   300    62.7 %   2979   44.7 %
  2 Houdini_3_x64 3core            : 3047   28  28   300    58.7 %   2986   48.7 %
  3 Houdini_3_x64 2core            : 2994   30  30   300    48.7 %   3003   43.3 %
  4 Houdini_3_x64 1core            : 2891   30  31   300    30.0 %   3038   42.0 %


Es ergaben sich die ELO-Gewinne bei Kern-Verdopplung:
1->2: 103 ELO
2->4: 73 ELO

Das sind ELO-Werte, die höher sind, als ich es erwartete. Eine Folge der innigen Verwandschaft der Teilnehmer? Aber es zeigt sich auch, dass der Nutzen mit größerer Kern-Anzahl kleiner wird.

Ich fänd nun toll (warum nicht mal einen Wunsch äußern ), du könntest auf deinem 16-Kern-Rechner sowas mal durchführen für die Turnierteilnehmer
Rybka4.1-1Kern, Rybka4.1-2Kerne, Rybka4.1-4Kerne, Rybka4.1-8Kerne, Rybka4.1-16Kerne
oder eben auch für Houdini3 mit diesen Kernanzahlen.
Könnte dich das auch interessieren?

Benno
Parent - - By Patrick Götz (Mod.) Date 2012-12-02 15:22
[quote="Benno Hartwig"]
Code:
    Program                          Elo    +   -   Games   Score   Av.Op.  Draws

  1 Houdini_3_x64 4core            : 3069   30  29   300    62.7 %   2979   44.7 %
  2 Houdini_3_x64 3core            : 3047   28  28   300    58.7 %   2986   48.7 %
  3 Houdini_3_x64 2core            : 2994   30  30   300    48.7 %   3003   43.3 %
  4 Houdini_3_x64 1core            : 2891   30  31   300    30.0 %   3038   42.0 %


Es ergaben sich die ELO-Gewinne bei Kern-Verdopplung:
1->2: 103 ELO
2->4: 73 ELO
Das sind ELO-Werte, die höher sind, als ich es erwartete. Eine Folge der innigen Verwandschaft der Teilnehmer? Aber es zeigt sich auch, dass der Nutzen mit größerer Kern-Anzahl kleiner wird.

Ich fänd nun toll (warum nicht mal einen Wunsch äußern ), du könntest auf deinem 16-Kern-Rechner sowas mal durchführen für die Turnierteilnehmer
Rybka4.1-1Kern, Rybka4.1-2Kerne, Rybka4.1-4Kerne, Rybka4.1-8Kerne, Rybka4.1-16Kerne
oder eben auch für Houdini3 mit diesen Kernanzahlen.
Könnte dich das auch interessieren?

Benno
[/quote]

Hallo Benno,

Dank für Deinen sehr interessanten Test.
Das Deine Elo Differenzen überraschend hoch sind liegt meiner Einschätzung nach an der sehr kurzen Bedenkzeit.

Wenn Du das Turnier noch einmal mit 2+2 spielen würdest, würde man wahrscheinlich schon eine kleine beruhigung der hohen Zahlen feststellen können.
Wenn Du dann sogar noch ein 4+4 und ein 8+8 Turnier spielen würdest, könnte man sogar anhand der Ergebnisse  hochrechnen wie sich weitere Bedenkzeit-Verdoppelungen auswirken würden. Das wäre hoch interessant.

Genauso Interessant wäre ein Test von von Clemens, wie von Dir vorgeschlagen, mit Houdini oder
Rybka4.1-1Kern, Rybka4.1-2Kerne, Rybka4.1-4Kerne, Rybka4.1-8Kerne, Rybka4.1-16Kerne.

Noch ein weiterer Gedankengang:
Im Prinzip müsste man auf diesen Wege sogar ausrechnen können, wo die praktische Elo Grenze erreicht wird, nämlich dann wenn eine Zeitverdoppelung nur noch minimalen Elo-Zuwachs einbringt.
Ich habe zwar nur einen Dual aber im Prinzip müsste ich den Test damit auch machen können, indem ich immer nur 1 Core - 2 Core spielen lassen würde mit zunehmender Bedenkzeit.

Gruß
Patrick
Parent - By Benno Hartwig Date 2012-12-02 17:57
[quote="Patrick Götz"]Das Deine Elo Differenzen überraschend hoch sind liegt meiner Einschätzung nach an der sehr kurzen Bedenkzeit.
Da magst du Recht haben.
Auch CEGT zeigt, dass bei längeren Zeiten allein schon die remis-Quote steigt. Da würde mich nicht überraschen, wenn bei sehr kurzen Zeiten eine Überlegenheit noch drastischer wirkt als bei längeren Zeiten.

Zitat:
Im Prinzip müsste man auf diesen Wege sogar ausrechnen können, wo die praktische Elo Grenze erreicht wird, nämlich dann wenn eine Zeitverdoppelung nur noch minimalen Elo-Zuwachs einbringt.
Dass Zeitverdopplung ggf. immer weniger bringt, je länger die Zeiten sind, wird wohl vermutet. Aber gibt es dazu auch Ergebnisse, aus denen sich das ablesen lässt?

Bei der Kern-Verdopplung kommt aber ein anderer Effekt hinzu:
Der Schritt von 1 Kern zu 2 Kernen mag effektiv einer Geschwindigkeitssteigerung um den Faktor 1,7 entsprechen.
Der Schritt von 2 Kernen zu 4 Kernen wird ggf. aber nur effektiv einer Geschwindigkeitssteigerung um den Faktor 1,5 entsprechen.
Und die nächste Kernanzahlverdopplung vielleicht nur um den Faktor 1,4.
usw.

Ja,
ich fänd wirklich sehr interessant, was bei solch einem Turnier
Rybka4.1-1Kern, Rybka4.1-2Kerne, Rybka4.1-4Kerne, Rybka4.1-8Kerne, Rybka4.1-16Kerne
herauskäme.
Und da besonders: welcher Geschwindigkeitssteigerung der Übergang 8Kerne->16Kerne tatsächlich entspricht. Bei Rybka, und ggf. auch bei Houdini oder auch anderen Engines.

Benno
Parent - By Frank Brenner Date 2012-12-02 15:38
Es ist auch durchaus möglich, dass Rybka sogar mit 64 cpus schlechter spielt  als mit 32 oder 16. D.h. von einer CPU auf zwei CPU könnte es noch eine Beschleunigung von faktor 1.7 geben, dann immer weniger und von 16 auf 32 oder von 32 auf 64  könnte es sogar schlechter werden.

Die Knoten die Rybka selber ausgibt sind ja gar keine echte Knoten, diese Zahl wird intern irgendwie berechnet und soll (Werbeaussage) proportional zur effektiven Geschwindigkeit sein.  Dies ist aber nur eine Werbeaussage. Bei einem, zwei und vier Knoten können wir das alles selber testen. Bei 6 und 8 vielleicht auch. Wenn bei 16 CPUs der Geschwindigkeitszuwachs bereits minimal ist (gegenüber 8), könnte bei 32 CPUs bereits eine effektive Verschlechterung zu 16 cpus eintreten.

Was den Rybka Cluster angeht, so muss dieser erst einmal beweisen dass das 0:2 gegen Houdini kein zufälliger Ausrutscher ist ...
Parent - - By Karel Novak Date 2012-12-01 11:28
Hallo,
Vasik Rajlich ist aus Tschechien, nicht aus Bulgarien!
Parent - By Dr. Maximilian Friedrich Date 2012-12-01 13:20
... ist aber eher die ungarische Fahne (wohl deshalb, weil Herr Rajlich aktuell(?) in Budapest lebt)
Never mind
Up Topic Hauptforen / CSS-Forum / Houdini 3 (1 core) against Rybka 4.1 (4 cores)

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill