Rybka4 vs. Houdini 1.5 - (k)ein Massaker

By Dieter Esser Date 2010-12-18 17:43

Hi all,

nachdem totalen Untergang der 'hochgelobten' Rybka-Settings mit nur 29% Punktequote - hier der Vergleich mit der Standardeinstellung.

Diesmal im Rahmen der bisherigen Testergebnisse. Man kann wohl sagen, dass die Exp 42 Einstellung Rybka aggressiver macht. Das nützt dann wohl gegen schwächerer Gegner, ist aber gegen bessere selbstmörderisch.

Code:

OS:       Vista 64 / Q9550
Gui:      Fritz 11
Cores:    4
Ponder:   off
Time:     5 min per Game
Testset:  Nunn2
ETGB:     Nalimov / Gaviota

Testresult:
                           
1   Houdini 1.5 x64    +70  +18/-8/=24   60.00%   30/50
2   Deep Rybka 4 x64   -70  +8/-18/=24   40.00%   20/50

Als Bonmot diesmal hier noch die Partie 47 bei der man nicht gerade sagen kann, dass der Fisch hier klar aus seinen Augen schaut.

Event:

Ort:

Datum:

Weiss:

Schwarz:

Ergebnis

Board

Gruß
Dieter

By Stefan Pohl Date 2010-12-19 08:10

Hallo,

bin auch dieser Meinung. Ich habe einige der angeblich so tollen Rybka-Settings angeschaut und durch ein paar Kurztests gejagt, auch die exp 42. Konnte bei mir durchweg nicht überzeugen. Bestenfalls waren die Ergebnisse nicht schlechter als bei der Default-einstellung...

Gruß - Stefan

By Peter Struwel Date 2010-12-19 21:25

Platz	Motor			Punkte	%	Ho	De	S-B
1	Houdini_15_w32		0	64,0/100	64,0	· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·	1=0=1==1==0==111=1=11=0011=0000===11111=01=1===11101=1=1=10====111=101=1=1=1=1===011===111=0=101==11	;2304,00
2	Deep Rybka 4 w32		0	36,0/100	36,0	0=1=0==0==1==000=0=00=1100=1111===00000=10=0===00010=0=0=01====000=010=0=0=0=0===100===000=1=010==00	· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·	2304,00

100 Partien gespielt / Turnier beendet

Beginn des Turniers: 2010.10.31, 17:46:27
Letzte Aktualisierung: 2010.12.19, 20:59:47
Ort/ Land: XEON, Deutschland
Spielstufe: Blitz 3'/2''
Hardware: AMD Athlon(tm) II X4 630 Processor 4x 2807 MHz mit 3.328 MB Speicher
Betriebssystem: Microsoft Windows XP Professional Service Pack 3 (Build 2600)
Bedingungen: Nalimov 5 Steiner für R4 und Gaviota 5 Steiner für Houdini, Hash: 256MB, Tablebases: Ein, Rechnen auf Gegnerzeit Aus, Anfangsstellung: Noomen-Select.pgn
Benchmark: ArenaMark: 19,93 AM, 1,06 EF
Tabelle erstellt mit: Arena 2.0.1

Code:

19.12.2010 21:08:44 :

    Program                          Elo    +   -   Games   Score   Av.Op.  Draws

  1 Houdini_15_w32                 :   50   53  52   100    64.0 %    -50   42.0 %
  2 Deep Rybka 4 w32               :  -50   52  53   100    36.0 %     50   42.0 %

heilig`s blechle, wow! eine hammergranate!

Code:

19.12.2010 21:08:44 :

Games        :    100 (finished)

White Wins   :     40 (40.0 %)
Black Wins   :     18 (18.0 %)
Draws        :     42 (42.0 %)

White Perf.  : 61.0 %
Black Perf.  : 39.0 %

ECO A =      3 Games ( 3.0 %)
ECO B =     28 Games (28.0 %)
ECO C =     27 Games (27.0 %)
ECO D =     26 Games (26.0 %)
ECO E =     16 Games (16.0 %)

By Klaus S. Date 2010-12-19 22:33

[quote="Peter Struwel"].... Beginn des Turniers: 2010.10.31, 17:46:27
..... [/quote]Am 31.10.2010 gab es Houdini 1.5 noch gar nicht.
Noch nicht mal am 30.11.2010

By Andreas Luettke Date 2010-12-19 22:57

Genauso ist es Wilfried

By peter struwel Date 2010-12-20 09:07

hi Wilfried,

das muss ein fehler von arena sein, evtl. auch von mir?

habe viele tuniere
mit arena durchgeführt. name turnier #2 kam schon öfter vor. das könnte es erklären!

da sieht man mal wieder auf was man alles achten muss

By peter struwel Date 2010-12-20 19:30

das gleiche turnier nochmals durchgeführt aber mit dem unterschied,
dass keinerlei egtb`s benutzt wurden!

so schlecht habe ich rybka noch nie spielen sehen.

ein echtes massaker

ein zwischenstand:

Code:

20.12.2010 19:24:16 :

    Program                          Elo    +   -   Games   Score   Av.Op.  Draws

  1 Houdini_15_w32                 :   86  121 113    24    72.9 %    -86   37.5 %
  2 Deep Rybka 4 w32               :  -86  113 121    24    27.1 %     86   37.5 %

By Frank Quisinsky Date 2010-12-19 23:15 Edited 2010-12-19 23:18

Hallo Stefan,

es ist immer interessant ein Ergebnis zu überprüfen.
So spielt Rybka 4 Exp. 42 sehr erfolgreich in der SWCR-64.
Werde im nächsten Jahr mal ein weiteres Setting unter die Lupe nehmen.
Vielleicht dann offiziell das Setting 61v2.

Sind so ein paar Dinge die ich gerne testen würde.

Auf dem ChessBase Server schrieb mir jemand ...
Protector 1.3.6 Rev. 379 soll lt. Programmierer 20 ELO besser sein als Protector 1.3.6 Rev. 370 (diese Version ist auch schlechter als die bisherige 1.3.4).
20 ELO mehr bedeutet 10 ELO vor Protector 1.3.4 x64. Kann das kaum glauben wenn ich mir die Protector Historie anschaue.
Allerdings haben mich die beiden CSS OM Partien von Protector 1.3.6 Rev. 379 schon sehr überzeugt, Spark 0.5 hat 2x gegen diese Protector Version verloren.

oder

Houdini 1.5 x64!
Houdini 1.0.3a liegt bei mir ja schon 10 ELO vor Rybka 4.
Bei Ingo sind es weniger!

Ingo spielt auch mit SSE42, lasse das mal 5 ELO sein.
Ich spiele ohne, wichtig ist für mich das alles vergleichbar bleibt.

Ingo hat Rybka 4 Exp. 42 nicht in der Liste, bei mir derzeit 22 ELO besser als Rybka 4 Standard.

Insofern kann Houdini 1.5 bei mir nicht 50-60 ELO vor Rybka 4 landen.
Vielleicht 30 ELO vor Rybka 4 Exp. 42.

Solche Dinge sind immer sehr schön abtestbar wenn vorher schon vergleichbares in einer Liste ist.
Wie bei IvanHoe die Ahmed und PeterPan Versionen.

Viel Testerei aber insofern hat die SWCR hier einen kleinen Vorteil denn es ist vieles schon drin!

Gruß
Frank

By Stefan Pohl Date 2010-12-20 08:46

[quote="Frank Quisinsky"]
Hallo Stefan,

es ist immer interessant ein Ergebnis zu überprüfen.
So spielt Rybka 4 Exp. 42 sehr erfolgreich in der SWCR-64.
Werde im nächsten Jahr mal ein weiteres Setting unter die Lupe nehmen.
Vielleicht dann offiziell das Setting 61v2.

Frank
[/quote]

Ist ja alles richtig und ich zweifle deine Ergebnisse auch nicht an. Daher wäre ich dankbar, wenn Du hier mal kurz posten würdest, wie die exp 42 und die default-Version gegen die richtig starken Gegner gepunktet haben. Diese Statistik finde ich leider auf deiner Seite nicht (zumindest nicht für die exp 42, vielleicht bin auch nur zu blind?). Bei meinen Schnelltests habe ich mich natürlich auf die allerbesten Gegner beschränkt und da konnte ich keinen Zuwachs erkennen. Und bei Dieter Esser lief es gegen den neuen Houdini ja sogar deutlich schlechter als mit der Rybka-default.

Gruß - Stefan

By Frank Quisinsky Date 2010-12-20 10:45 Edited 2010-12-20 10:48

Hallo Stefan,

bei mir sind es ja immer 40 Partien pro Match.
Daher auch wichtig, dass mal endlich das laufende SWCR-64 Turnier abgeschlossen wird.
Dann werden auch die Webseiten aktuallisiert und alles ist einfacher zu finden.

Also hier die derzeit noch unvollständigen Einzelergebnisse von Rybka 4 Exp. 42 in Mitten vom Update-Chaos!

Code:

Rybka 4 x64 Exp. 42
Nach  860 / 1.240 Partien

                                     +570 =219,- 71),  79.0%

IvanHoe T0.5.4.1 x64          :  26 (+  5,= 13,-  8),  44.2%
IvanHoe B49jA x64             :  40 (+ 12,= 19,-  9),  53.8%
Stockfish 1.9.1 JA x64        :  25 (+ 11,= 10,-  4),  64.0%
Critter 0.90 x64              :  40 (+ 16,= 16,-  8),  60.0%
Critter 0.80 x64              :  26 (+ 16,=  9,-  1),  78.8%
Naum 4.2 x64                  :  26 (+ 12,= 11,-  3),  67.3%
Komodo 1.2 JA x64             :  26 (+ 12,=  8,-  6),  61.5%
Shredder 12                   :  26 (+ 16,=  8,-  2),  76.9%
Sjeng c't 2010                :  25 (+ 17,=  8,-  0),  84.0%
GullChess 1.1 x64             :  40 (+ 28,=  9,-  3),  81.2%
GullChess 1.0a x64            :  26 (+ 14,= 11,-  1),  75.0%
Spark 1.0 x64                 :  40 (+ 24,= 14,-  2),  77.5%
Spark 0.5 x64                 :  25 (+ 15,=  8,-  2),  76.0%
Thinker 5.4d Inert x64        :  26 (+ 14,=  8,-  4),  69.2%
Hiarcs 13.1                   :  26 (+ 21,=  3,-  2),  86.5%
Zappa Mexico II x64           :  26 (+ 15,= 11,-  0),  78.8%
Junior 12.0 x64               :  26 (+ 18,=  4,-  4),  76.9%
Protector 1.3.6-370 JA x64    :  26 (+ 20,=  5,-  1),  86.5%
Fruit 09_07_05 x64            :  26 (+ 17,=  7,-  2),  78.8%
Booot 5.1.0                   :  14 (+ 13,=  0,-  1),  92.9%
Hannibal 1.0a x64             :  26 (+ 18,=  8,-  0),  84.6%
Onno 1.2.70 x64               :  26 (+ 20,=  5,-  1),  86.5%
Umko 1.1 x64                  :  40 (+ 35,=  5,-  0),  93.8%
Crafty 23.4 JA x64            :  26 (+ 17,=  8,-  1),  80.8%
Loop 2007 x64                 :  26 (+ 21,=  3,-  2),  86.5%
Jonny 4.00                    :  26 (+ 25,=  1,-  0),  98.1%
Equinox 0.87t x64             :  26 (+ 22,=  3,-  1),  90.4%
SmarThink 1.20 x64            :  25 (+ 21,=  2,-  2),  88.0%
Tornado 4.25 x64              :  26 (+ 24,=  2,-  0),  96.2%
Zarkov 6.44                   :  26 (+ 26,=  0,-  0), 100.0%
Gaviota 0.80 x64              :  26 (+ 25,=  0,-  1),  96.2%

Gruß
Frank

By Frank Quisinsky Date 2010-12-20 10:57 Edited 2010-12-20 11:02

Hallo Stefan,

ich beschrieb ja alles bei der Aufnahme von Rybka 4 Exp. 42 mit x Partienbeispielen im CSS-Forum!

Das Setting 42 spielt deutlich aggressiver und es ist meines Erachtens auch so, dass gegen die stärkeren Engines mehr Punkte gelassen werden bzw. Rybka 4 Standard vermutlich zumindest gleich stark ist.
Geht aufgrund der größeren ELO-Sprünge unter den TOP-25 auch nicht so deutlich hervor, bzw. aus dieser Tabelle, weil die 40-Partien-Matches auch nicht komplett sind.

Konnte nicht mehr editieren, war zu langsam.
Daher noch dieser Kommentar als weiterer Beitrag!

Code:

ELOstat 1.3:
  1 Rybka 4 x64 Exp. 42            : 2951   23  22   860    79.0 %   2721   25.5 %
  2 Houdini 1.03a x64              : 2949   21  21   920    79.4 %   2715   29.2 %
  3 IvanHoe T0.4 x64               : 2946   20  20   920    79.0 %   2717   31.6 %
  4 IvanHoe T0.5.4.1 x64           : 2946   22  21   822    79.5 %   2711   30.8 %
  5 IvanHoe B49jA x64              : 2935   19  19  1000    78.0 %   2715   32.4 %
  6 Rybka 4 x64                    : 2933   16  16  1560    79.0 %   2703   29.9 %
  7 IvanHoe B52aC x64              : 2932   20  20   880    76.8 %   2724   34.0 %

Code:

Bayesian 0056:
   1 Rybka 4 x64 Exp. 42          2962   23   23   860   79%  2725   25% 
   2 Houdini 1.03a x64            2949   22   21   920   79%  2719   29% 
   3 IvanHoe T0.5.4.1 x64         2945   23   22   822   80%  2715   31% 
   4 IvanHoe T0.4 x64             2940   22   21   920   79%  2721   32% 
   5 Rybka 4 x64                  2939   17   17  1560   79%  2706   30% 
   6 IvanHoe B49jA x64            2930   20   20  1000   78%  2720   32% 
   7 IvanHoe B52aC x64            2923   21   21   880   77%  2728   34%

Zuwachs bei Bayesian = derzeit 23 ELO
Zuwachs bei ELOstat = derzeit 18 ELO

Viele Grüße
Frank

By Frank Rahde Date 2010-12-20 10:15

[quote="Frank Quisinsky"]
Hallo Stefan,

Auf dem ChessBase Server schrieb mir jemand ...
Protector 1.3.6 Rev. 379 soll lt. Programmierer 20 ELO besser sein als Protector 1.3.6 Rev. 370 (diese Version ist auch schlechter als die bisherige 1.3.4).
20 ELO mehr bedeutet 10 ELO vor Protector 1.3.4 x64. Kann das kaum glauben wenn ich mir die Protector Historie anschaue.
Allerdings haben mich die beiden CSS OM Partien von Protector 1.3.6 Rev. 379 schon sehr überzeugt, Spark 0.5 hat 2x gegen diese Protector Version verloren.

Gruß
Frank
[/quote]

Hi Frank,

schau Dir mal das Ergebnis meines Enginematches von heute nacht an:

Engine Match: 2+1, Pondern, 100 Partien, Farbwechsel, Rybka 4 Buch (12 Züge)

1 Protector 1.3.6 OM4 +38/=46/-16 61.00% 61.0/100
2 Protector 1.3.4. 64 ja +16/=46/-38 39.00% 39.0/100

"OM4" ist dabei mein interne Bezeichnung, steht für "Online Masters, 4. Entwicklerversion von Prot 1.3.6".
Dies ist ein Indiz für eine Verbesserung der Engine.

Gruß, Frank

By Frank Quisinsky Date 2010-12-20 10:51

Hallo Frank,

OK, werde ja die Rev. 379 in die SWCR bringen.
Aber erst im Januar, wohl erst Mitte Januar.

Jetzt wird zunächst mal zu Ende gespielt (Booot 5.1.0 noch ca. 700 Partien, das abgebrochene SWCR-64 Turnier noch ca. 3.300 Partien).

Siehe ToDo Liste auf meiner Startseite!

Gruß
Frank