Bright 0.5c und Spark 0.3a im PET-Endspieltest

By Michael Scheidl Date 2010-01-11 14:54

    PET endgame test(50), CPU D945(~P4 dual)2*3.4 GHz
    max. solving time: 10 sec., 5 extra plies(= max.)
    all engines 32-bit, Windows Vista, ChessProgram10

    Engine             cores  hash(MB) solved
    -----------------------------------------
    Bright 0.4a(2)       2      256      39 new 3+4+5 bitbases
--> Bright 0.5c          2      256      38 new 3+4+5 bitbases
    Stockfish 1.6        2      256      37
    Bright 0.4a(1)       2      256      37 old 3+4 bitbases
    Stockfish 1.6s       2      256      36
    Stockfish 1.6s       1      128      36
    Spark 0.3            1      128      36 gcc32
--> Spark 0.3a           2      256      35 gcc32
    Stockfish 1.6        1      128      34
--> Spark 0.3a           1      128      34 gcc32
--> Bright 0.5c          1      128      34 new 3+4+5 bitbases
    Bright 0.4a          1      128      32
    Stockfish 1.4        1      128      32
    Stockfish 1.3        1      128      32
    Crafty 23.01-cb      2      192      32
    Rybka 2.3.2a         1      128      31
    Glaurung 2.2         1      128      30
    Glaurung 2.2         2      256      29
    Rybka 2.2n2          1      128      28
    Crafty 23.00-cb      2      160      27
    Rybka 2.2n2          2      256      27
    Crafty 23.01-cb      1       96      26
    Crafty 23.00-cb      1      160      25
    Shredder 11 SE       1      128      24
    -----------------------------------------
    (keinerlei Endspieldatenbanken benutzten
    Shredder 11 SE/Glaurung/Spark/Stockfish.)

By Michael Scheidl Date 2010-01-12 20:48

Nun habe ich naheliegenderweise auch Doch 1.3.4 getestet:

    PET endgame test(50), CPU D945(~P4 dual)2*3.4 GHz
    max. solving time: 10 sec., 5 extra plies(= max.)
    all engines 32-bit, Windows Vista, ChessProgram10

    Engine             cores  hash(MB) solved
    -----------------------------------------
    Bright 0.4a(2)       2      256      39 new 3+4+5 bitbases
    Bright 0.5c          2      256      38 new 3+4+5 bitbases
    Stockfish 1.6        2      256      37
    Bright 0.4a(1)       2      256      37 old 3+4 bitbases
    Stockfish 1.6s       2      256      36
    Stockfish 1.6s       1      128      36
    Spark 0.3            1      128      36 gcc32
    Spark 0.3a           2      256      35 gcc32
    Stockfish 1.6        1      128      34
    Spark 0.3a           1      128      34 gcc32
    Bright 0.5c          1      128      34 new 3+4+5 bitbases
    Bright 0.4a          1      128      32
    Stockfish 1.4        1      128      32
    Stockfish 1.3        1      128      32
    Crafty 23.01-cb      2      192      32
    Rybka 2.3.2a         1      128      31
    Glaurung 2.2         1      128      30
    Glaurung 2.2         2      256      29
--> Shredder 7.SE        1      128      28 +Nalimovs(*)
    Rybka 2.2n2          1      128      28
    Crafty 23.00-cb      2      160      27
    Rybka 2.2n2          2      256      27
    Crafty 23.01-cb      1       96      26
    Crafty 23.00-cb      1      160      25
    Shredder 11 SE       1      128      24
--> Doch 1.3.4           1      128      22
    -----------------------------------------
    (keinerlei Endspieldatenbanken benutzten
    Doch/Glaurung/Shr.11 SE/Spark/Stockfish.)
    
    *) 5er jedoch nur für Turm gegen Turm

Der Nachholbedarf Dochs im Endspiel ist bekannt. An Stockfish und Spark sieht man, daß eine Engine - zumindest in diesem Test und unter diesen konkreten Bedingungen - auch ganz ohne Endspieldatenbank mehr leisten kann. Manche gute Engines wiederum erzielten samt Nalimovzugriff weniger Lösungen als Stockfish oder Spark. Es ist also selbst für m.E. insgesamt table-/bitbase-nahe Stellungstypen wie im PET kein Allheilmittel.

Einschränkend muß ich jedoch festhalten, daß ich nur 3er, 4er und ein kleines Subset der 5er-Nalimovs benutze (aber die kompletten 3/4/5er der Scorpio-Bitbases).

Relativ überraschend fand ich übrigens, daß Shredder 11 hier ebenfalls öfters auf Endspieltables angewiesen ist bzw. wäre; die SE-Version greift auf keine zu. Darum habe ich zwecks Vergleich den Oldie Shredder 7.SE getestet, der einen recht "intensiven" Nalimov-Zugriff macht. Diese - im allgemeinen natürlich klar schwächere Engine von 2003 - löste 28 gegenüber 24 bei S11 SE.

By Axel Caro Date 2010-01-12 23:12

Hallo Michael,

hast Du auch Fritz 12 und/oder HIARCS 12.1 mal diesen Test durchlaufen lassen?

Gruß
Axel

By Michael Scheidl Date 2010-01-13 00:18

Leider nein, ich habe keine der aktuellen Kommerziellen mehr. Zuletzt gekauft: Rybka 2.3.2a und Shredder 11 SE (habe vergessen in welcher Reihenfolge), und nebenbei noch die c't 24/2009 mit einer Shredder Classic 4-Version samt Engine.

Ich konnte bisher keinerlei Entzugerscheinungen festellen

zumal man ja von interessanten, starken Freeware-Engines überflutet wird. Daß mehrere hier fehlende Engines, wie insbesondere Fritz oder Hiarcs ebenfalls sehr gute Resultate erzielen würden, daran zweifle ich nicht. Ich hätte noch Fritz 8 (FfF. 4) und Hiarcs 9, aber die interessieren ja keinen mehr.

By Axel Caro Date 2010-01-13 06:36

[quote="Michael Scheidl"]
(...) Ich hätte noch Fritz 8 (FfF. 4) und Hiarcs 9, aber die interessieren ja keinen mehr. (...)
[/quote]

Doch mich!

Aber da ich Fritz 12 und Hiarcs 12 besitze, werde ich selbst einmal den Testlauf durchführen. Ich dachte nur, wenn Du es machen würdest, wären vergleichbare Hardwarebedingungen gegeben. Könntest Du mir mal einen Fritz-Benchmark von Deinem Rechner nennen (1 thread, da Fritz ja nur auf einem läuft).

Gruß
Axel

By Michael Scheidl Date 2010-01-13 06:47

Intel Pentium D945 / 3400 MHz: 2,02