Rybka 4 64 Turnier (nach 300 Partien)

By Dieter Esser Date 2010-06-06 10:46

Hi all,

ich werde mich hier mal nicht in die Diskussionsrunde einmischen, ob und wenn ja welche und wenn ja überhaupt und wie viele Engines in einem Turnier aufzunehmen sind. Bei mir reduziert es sich einfach auf die Engines, die ich käuflich erworben habe, bzw. die man nicht käuflich erwerben muss.

Desweiteren habe ich mal bei CEGT und ähnlichen geschaut, wer dann da so im oberen Tabellenbereich vertreten ist, und dazu noch (etwas Inzucht ich weiß) drei Engines aus der Ippo Ecke aufgenommen, die einen 'gewissen' Anspruch an Eigenständigkeit haben.

Die Anzahl der Partien ist nach oben offen. D.h. ich werde in unregelmäßigen Abständen, da der PC nur in Ruhephasen damit beschäftigt ist, die bis dahin erreichten Ergebnisse posten.

Turnierbedingungen sind: Vista64Bit, Q9550, alle Engines 4 Core, 512MB Hash (wobei Rybka 4 pro Prozess sich das zieht), Zeit 2'+1" (bei festen Zeiten pro Game produzierte mir Rybka immer Zeitüberschreitungen), Ponder Off, Fritz12 Turnier Book (auf 10 Züge begrenzt), Robbo & Nalimov (für Critter leider keine TBs).

Zwischenstand nach 300 Partien: (geeicht auf Shredder mit 2800 - ich habe kein DeepSjeng wie Frank)

Code:


06.06.2010 10:23:46 :

    Program                          Elo    +   -   Games   Score   Av.Op.  Draws

  1 IvanHoe-B 63Mod12c             : 3013   66  64    60    66.7 %   2893   46.7 %
  2 Fire 1.31 x64 - Base           : 2991   66  64    60    63.3 %   2896   46.7 %
  3 Deep Rybka 4 x64               : 2989   68  67    60    63.3 %   2894   43.3 %
  4 Houdini 1.01 x64 4_CPU         : 2989   59  56    60    63.3 %   2894   56.7 %
  5 Stockfish 1.7.1 JA 64bit       : 2906   70  70    60    50.8 %   2900   38.3 %
  6 Naum 4.2                       : 2896   66  66    60    49.2 %   2902   45.0 %
  7 Deep Fritz 12                  : 2855   64  64    60    42.5 %   2908   48.3 %
  8 Critter 0.70 64-bit            : 2841   65  66    60    40.0 %   2911   46.7 %
  9 Deep Shredder 12 x64           : 2800   65  67    60    34.2 %   2914   45.0 %
 10 Protector 1.3.5 x64             : 2741   75  78    60    26.7 %   2917   33.3 %

Individual statistics:

1 IvanHoe-B 63Mod12c        : 3013   60 (+ 26,= 28,-  6), 66.7 %

Deep Fritz 12                 :   7 (+  5,=  1,-  1), 78.6 %
Protector 1.3.5 x64           :   6 (+  4,=  2,-  0), 83.3 %
Deep Rybka 4 x64              :   7 (+  3,=  4,-  0), 71.4 %
Fire 1.31 x64 - Base          :   7 (+  2,=  4,-  1), 57.1 %
Deep Shredder 12 x64          :   6 (+  3,=  2,-  1), 66.7 %
Stockfish 1.7.1 JA 64bit      :   7 (+  3,=  3,-  1), 64.3 %
Houdini 1.01 x64 4_CPU        :   6 (+  0,=  5,-  1), 41.7 %
Critter 0.70 64-bit           :   7 (+  4,=  3,-  0), 78.6 %
Naum 4.2                      :   7 (+  2,=  4,-  1), 57.1 %

2 Fire 1.31 x64 - Base      : 2991   60 (+ 24,= 28,-  8), 63.3 %

Deep Fritz 12                 :   6 (+  3,=  3,-  0), 75.0 %
Protector 1.3.5 x64           :   6 (+  4,=  0,-  2), 66.7 %
Deep Rybka 4 x64              :   7 (+  2,=  4,-  1), 57.1 %
Deep Shredder 12 x64          :   7 (+  4,=  2,-  1), 71.4 %
Stockfish 1.7.1 JA 64bit      :   6 (+  2,=  3,-  1), 58.3 %
Houdini 1.01 x64 4_CPU        :   7 (+  1,=  6,-  0), 57.1 %
Critter 0.70 64-bit           :   7 (+  4,=  3,-  0), 78.6 %
IvanHoe-B 63Mod12c            :   7 (+  1,=  4,-  2), 42.9 %
Naum 4.2                      :   7 (+  3,=  3,-  1), 64.3 %

3 Deep Rybka 4 x64          : 2989   60 (+ 25,= 26,-  9), 63.3 %

Deep Fritz 12                 :   7 (+  2,=  4,-  1), 57.1 %
Protector 1.3.5 x64           :   7 (+  5,=  2,-  0), 85.7 %
Fire 1.31 x64 - Base          :   7 (+  1,=  4,-  2), 42.9 %
Deep Shredder 12 x64          :   7 (+  4,=  3,-  0), 78.6 %
Stockfish 1.7.1 JA 64bit      :   6 (+  4,=  1,-  1), 75.0 %
Houdini 1.01 x64 4_CPU        :   7 (+  2,=  4,-  1), 57.1 %
Critter 0.70 64-bit           :   6 (+  4,=  2,-  0), 83.3 %
IvanHoe-B 63Mod12c            :   7 (+  0,=  4,-  3), 28.6 %
Naum 4.2                      :   6 (+  3,=  2,-  1), 66.7 %

4 Houdini 1.01 x64 4_CPU    : 2989   60 (+ 21,= 34,-  5), 63.3 %

Deep Fritz 12                 :   7 (+  2,=  5,-  0), 64.3 %
Protector 1.3.5 x64           :   6 (+  3,=  3,-  0), 75.0 %
Deep Rybka 4 x64              :   7 (+  1,=  4,-  2), 42.9 %
Fire 1.31 x64 - Base          :   7 (+  0,=  6,-  1), 42.9 %
Deep Shredder 12 x64          :   7 (+  5,=  2,-  0), 85.7 %
Stockfish 1.7.1 JA 64bit      :   7 (+  2,=  4,-  1), 57.1 %
Critter 0.70 64-bit           :   7 (+  4,=  3,-  0), 78.6 %
IvanHoe-B 63Mod12c            :   6 (+  1,=  5,-  0), 58.3 %
Naum 4.2                      :   6 (+  3,=  2,-  1), 66.7 %

5 Stockfish 1.7.1 JA 64bit  : 2906   60 (+ 19,= 23,- 18), 50.8 %

Deep Fritz 12                 :   6 (+  3,=  1,-  2), 58.3 %
Protector 1.3.5 x64           :   7 (+  5,=  2,-  0), 85.7 %
Deep Rybka 4 x64              :   6 (+  1,=  1,-  4), 25.0 %
Fire 1.31 x64 - Base          :   6 (+  1,=  3,-  2), 41.7 %
Deep Shredder 12 x64          :   7 (+  3,=  4,-  0), 71.4 %
Houdini 1.01 x64 4_CPU        :   7 (+  1,=  4,-  2), 42.9 %
Critter 0.70 64-bit           :   7 (+  3,=  1,-  3), 50.0 %
IvanHoe-B 63Mod12c            :   7 (+  1,=  3,-  3), 35.7 %
Naum 4.2                      :   7 (+  1,=  4,-  2), 42.9 %

6 Naum 4.2                  : 2896   60 (+ 16,= 27,- 17), 49.2 %

Deep Fritz 12                 :   7 (+  3,=  4,-  0), 71.4 %
Protector 1.3.5 x64           :   7 (+  4,=  1,-  2), 64.3 %
Deep Rybka 4 x64              :   6 (+  1,=  2,-  3), 33.3 %
Fire 1.31 x64 - Base          :   7 (+  1,=  3,-  3), 35.7 %
Deep Shredder 12 x64          :   6 (+  2,=  4,-  0), 66.7 %
Stockfish 1.7.1 JA 64bit      :   7 (+  2,=  4,-  1), 57.1 %
Houdini 1.01 x64 4_CPU        :   6 (+  1,=  2,-  3), 33.3 %
Critter 0.70 64-bit           :   7 (+  1,=  3,-  3), 35.7 %
IvanHoe-B 63Mod12c            :   7 (+  1,=  4,-  2), 42.9 %

7 Deep Fritz 12             : 2855   60 (+ 11,= 29,- 20), 42.5 %

Protector 1.3.5 x64           :   7 (+  5,=  1,-  1), 78.6 %
Deep Rybka 4 x64              :   7 (+  1,=  4,-  2), 42.9 %
Fire 1.31 x64 - Base          :   6 (+  0,=  3,-  3), 25.0 %
Deep Shredder 12 x64          :   7 (+  2,=  4,-  1), 57.1 %
Stockfish 1.7.1 JA 64bit      :   6 (+  2,=  1,-  3), 41.7 %
Houdini 1.01 x64 4_CPU        :   7 (+  0,=  5,-  2), 35.7 %
Critter 0.70 64-bit           :   6 (+  0,=  6,-  0), 50.0 %
IvanHoe-B 63Mod12c            :   7 (+  1,=  1,-  5), 21.4 %
Naum 4.2                      :   7 (+  0,=  4,-  3), 28.6 %

8 Critter 0.70 64-bit       : 2841   60 (+ 10,= 28,- 22), 40.0 %

Deep Fritz 12                 :   6 (+  0,=  6,-  0), 50.0 %
Protector 1.3.5 x64           :   7 (+  1,=  5,-  1), 50.0 %
Deep Rybka 4 x64              :   6 (+  0,=  2,-  4), 16.7 %
Fire 1.31 x64 - Base          :   7 (+  0,=  3,-  4), 21.4 %
Deep Shredder 12 x64          :   6 (+  3,=  2,-  1), 66.7 %
Stockfish 1.7.1 JA 64bit      :   7 (+  3,=  1,-  3), 50.0 %
Houdini 1.01 x64 4_CPU        :   7 (+  0,=  3,-  4), 21.4 %
IvanHoe-B 63Mod12c            :   7 (+  0,=  3,-  4), 21.4 %
Naum 4.2                      :   7 (+  3,=  3,-  1), 64.3 %

9 Deep Shredder 12 x64      : 2800   60 (+  7,= 27,- 26), 34.2 %

Deep Fritz 12                 :   7 (+  1,=  4,-  2), 42.9 %
Protector 1.3.5 x64           :   7 (+  3,=  4,-  0), 71.4 %
Deep Rybka 4 x64              :   7 (+  0,=  3,-  4), 21.4 %
Fire 1.31 x64 - Base          :   7 (+  1,=  2,-  4), 28.6 %
Stockfish 1.7.1 JA 64bit      :   7 (+  0,=  4,-  3), 28.6 %
Houdini 1.01 x64 4_CPU        :   7 (+  0,=  2,-  5), 14.3 %
Critter 0.70 64-bit           :   6 (+  1,=  2,-  3), 33.3 %
IvanHoe-B 63Mod12c            :   6 (+  1,=  2,-  3), 33.3 %
Naum 4.2                      :   6 (+  0,=  4,-  2), 33.3 %

10 Protector 1.3.5 x64       : 2741   60 (+  6,= 20,- 34), 26.7 %

Deep Fritz 12                 :   7 (+  1,=  1,-  5), 21.4 %
Deep Rybka 4 x64              :   7 (+  0,=  2,-  5), 14.3 %
Fire 1.31 x64 - Base          :   6 (+  2,=  0,-  4), 33.3 %
Deep Shredder 12 x64          :   7 (+  0,=  4,-  3), 28.6 %
Stockfish 1.7.1 JA 64bit      :   7 (+  0,=  2,-  5), 14.3 %
Houdini 1.01 x64 4_CPU        :   6 (+  0,=  3,-  3), 25.0 %
Critter 0.70 64-bit           :   7 (+  1,=  5,-  1), 50.0 %
IvanHoe-B 63Mod12c            :   6 (+  0,=  2,-  4), 16.7 %
Naum 4.2                      :   7 (+  2,=  1,-  4), 35.7 %

06.06.2010 10:23:46 :

Games        :    300 (finished)

White Wins   :     95 (31.7 %)
Black Wins   :     70 (23.3 %)
Draws        :    135 (45.0 %)
Unfinished   :      0

White Perf.  : 54.2 %
Black Perf.  : 45.8 %

ECO A =     28 Games ( 9.3 %)
ECO B =     74 Games (24.7 %)
ECO C =     57 Games (19.0 %)
ECO D =     73 Games (24.3 %)
ECO E =     68 Games (22.7 %)

Noch ein paar Schlussbemerkungen:


- IvanHoe (Ippo Original) entwickelt sich seit ca. 4 Monaten marginal (wenn überhaupt messbar). Der Stabilitätszuwachs ist allerdings deutlich spürbar. Allerdings, wenn man bei einem professionellen Trupp um Rybka zufrieden ist, wenn nach zwei Jahren ca 60 ELO stehen, warum sind dann die Ansprüche an eine Freeware Truppe deutlich höher?
- Houdini spieltechnisch etwas anders, wesentlicher Schritt war jetzt ja nur die Lauffähigkeit mit SMP Betrieb sicherzustellen.
- Bei Fire 1.3.1 hatte ich eine so gute Performance nicht erwartet, nach all den kritischen Vorberichterstattungen
- Rybka 4 bisher eine enttäuschende Leistung. Wenn man bedenkt, dass die 'Clone' wenn überhaupt, von irgendetwas aus dem Beginn 2009 abstammen, dann ist die Blitzperformance von Rybka im Turnier bislang nun ja unter meinen Erwartungen geblieben
- Stockfish / Naum wie erwartet
- Deep Fritz deutlich besser
- Critter tolle Performance
- Deep Shredder deutlich unterhalb
- Protektor wollte ich mit der neuen Version dabeihaben

Nächstes Update in ca. 1 Woche.

Gruß
Dieter

By Frido Reiter Date 2010-06-06 11:22

Unter dem Vorbehalt, dass ich nicht wissen kann, ob Du einfach nur unerfahren bist, widerlege ich jetzt mal krass, was Du hier als Message verkündet hast.

Zum Textteil. Entgegen der Ankündigung mischt Du Dich sehr wohl in die Debatte ein, ob Rybka 4 denn nach zwei Jahren gar nicht stärker ist. Aber das Datenmaterial kann Deine Ansichten nicht stützen.

Schauen wir uns die etablierten Programme an, so ist Rybka 4 weit stärker als Shredder oder Fritz. Also wenn Rybka nicht stärker wäre als Rybka 3, müssten diese alten Konkurrenten eigentlich gleichgezogen sein. Aber das diskutierst Du noch nicht einmal und damit hast Du Deine Voreingenommenheit verraten.

Wieso liegt Rybka nicht an der Spitze Deiner Tabelle? Ganz einfach, weil Du läppisch wenige Partien hast für einen Kampf zwischen Clones im Dreierpack gegen die etablierten Singles. Lass mal verschieden getunte Rybkas, so 12 Stück, mitspielen, dann wird sich eine Version durchsetzen. Allerdings hättest Du ja dann gar keine Botschaft mehr.

By Dieter Esser Date 2010-06-06 12:12

Hm.

Zitat:

Wieso liegt Rybka nicht an der Spitze Deiner Tabelle? Ganz einfach, weil Du läppisch wenige Partien hast für einen Kampf zwischen Clones im Dreierpack gegen die etablierten Singles. Lass mal verschieden getunte Rybkas, so 12 Stück, mitspielen, dann wird sich eine Version durchsetzen. Allerdings hättest Du ja dann gar keine Botschaft mehr.

Hatte ich da nicht irgendwas von Beginn und Anzahl nach oben offen geschrieben?

Zitat:

Schauen wir uns die etablierten Programme an, so ist Rybka 4 weit stärker als Shredder oder Fritz. Also wenn Rybka nicht stärker wäre als Rybka 3, müssten diese alten Konkurrenten eigentlich gleichgezogen sein. Aber das diskutierst Du noch nicht einmal und damit hast Du Deine Voreingenommenheit verraten.

Steht doch nirgendwo, Rybka 4 ist klar besser als Stockfisch / Naum und dementsprechend nicht mehr abgeschlagen. Ob es zur Spitze reicht, kann man erst später sagen. Momentan sieht es eher nicht danach aus.

Ansonsten soll das Ergebnis für sich sprechen, ich denke aber nicht, das regelmäßige Zwischenstände irgendeine Meinungsmache sind.

Mal der Versuch anders in den Wald zurückzurufen, als es aus dem heraus geschallt war.

By Benno Hartwig Date 2010-06-06 11:34

[quote="Dieter Esser"]Desweiteren habe ich mal bei CEGT und ähnlichen geschaut, wer dann da so im oberen Tabellenbereich vertreten ist, und dazu noch (etwas Inzucht ich weiß) drei Engines aus der Ippo Ecke aufgenommen, die einen 'gewissen' Anspruch an Eigenständigkeit haben.[/quote]Finde ich gut. CEGT und CCRL liefern Daten, die erhebliche Verlässlichkeit bieten.
Wie die igittigitt- oder überhauptnichtigittigitt-Engines im Vergleich zu den hier aufgeführten Engines aussehen, erscheint mir immer noch nur mäßig klar.
Benno

By Wolfgang Battig Date 2010-06-06 11:48

[quote="Dieter Esser"]
512MB Hash (wobei Rybka 4 pro Prozess sich das zieht), ...[/quote]

Hallo Dieter,

das ist ein (weitverbreiteter) Irrtum und ein Anzeigeproblem im Taskmanager. Rybka nimmt sich den eingestellten Wert (plus ein bisschen)
nur einmal. Kannst Du leicht ausprobieren. Mein Quad z.B. hat 3 GB RAM. Habe gerade mal R4 mit 4CPU geladen und 1GB Hash
zugeteilt. Anzeige im Taskmanager: 4 x 1GB für Rybka, also mehr als mein PC überhaupt RAM hat!! Und die Anzeige des freien RAM
reduziert sich auch nur um ca. 1GB, nämlich von ca. 2,5 auf ca. 1,5GB. Also alles im grünen Bereich.

Hoffe ich konnte alle Klarheiten beseitigen...

Gruß
Wolfgang

PS: Interessantes Turnier, werde es weiter verfolgen, danke dafür!!

By Dieter Esser Date 2010-06-06 11:56

Hi Wolfgang,

danke für die Erläuterung. Rybka verhält sich ja im SMP Betrieb sowieso anders als die anderen Chess Engines, was die Anzeige im Taskmanager (übrigens nicht nur den von Windows, sondern auch anderer Taskmanager), siehe z.B. die drei Unterprozesse die unterhalb des Rybkaprozesses im TM zu sehen sind.

Denke mal, dass wir dort eine Rybka spezifische Implementierung von SMP vor uns haben.

Gruß
Dieter