Stockfish 1.4 erschienen

By Michael Scheidl Date 2009-07-06 21:40

Wie schon mit der Vorversion, habe ich auch Stockfish 1.4 dem PET-Endspieltest unterzogen.

PET endgame test(50), CPU D945(~P4 dual)2*3.4 GHz
max. solving time: 10 sec., 5 extra plies(= max.)
all engines 32-bit, Windows Vista, ChessProgram10

Engine             cores  hash(MB) solved
-----------------------------------------
Bright 0.4a(2)       2      256      39 <-- new 3+4+5 bitbases
Bright 0.4a(1)       2      256      37 <-- old 3+4 bitbases
Stockfish 1.3 MTE    1      128      33
Bright 0.4a          1      128      32
Stockfish 1.4        1      128      32 <--
Stockfish 1.3        1      128      32
Rybka 2.3.2a         1      128      31
Glaurung 2.2         1      128      30
Glaurung 2.2         2      256      29
Rybka 2.2n2          1      128      28
Rybka 2.2n2          2      256      27
Stockfish 1.3        2      256      25 <-- ?!
Shredder 11 SE       1      128      24
Stockfish 1.4        2      256      23 <-- ?!
Stockfish 1.3 MTE    2      256      22 <-- ?!
-----------------------------------------
(keinerlei Endspieldatenbanken benutzten
Shredder 11 SE, Glaurung und Stockfish.)

Dabei hat sich also nicht viel getan. Man beachte: Single-Stockfish löste besser als u.a. Rybka 2.2n2 oder Glaurung 2.2, ist also offenbar sehr gut im Endspiel, oder jedenfalls in derartigen Teststellungen wie im PET. Diese beiden Konkurrenten profitierten in diesem Test allerdings nicht von 2 vs. 1 Core, zumindest nicht bei der Anzahl der Lösungen.

Leider besteht mit Version 1.4 ein spezielles Problem weiter: Bei mir löst Stockfish auf zwei Cores deutlich schlechter als auf einem Core?! Ursprünglich dachte ich, es könnte ein Output- oder Kommunikationsproblem mit der GUI sein. Inzwischen glaube ich, daß es auch an der CPU (D945, alt und wohl nicht weit verbreitet) liegt, oder an der Kombination dieser mit Vista-32. Vielleicht ist Stockfish auf eine Weise kompiliert, die nicht ganz zu diesem Prozessor paßt. Die meisten User dürften dieses Problem aber nicht haben, denn als ich das anläßlich Stockfish 1.3 berichtete, gab es keinerlei Gegenbestätigungen.

("MTE" ist nur eine Settingvariante, aber nicht mit direkt endspielbezogenen Änderungen, sodaß ich den Test davon diesmal ausgelassen habe. Bei 1.3 waren die Unterschiede nicht dramatisch.)

Zum PET selbst: Gegenüber der bisher bekannten Fassung habe ich aufgrund eines Hinweises im Rybkaforum bei Stellung Nr. 44 die Alternativlösung Txb7 hinzugefügt.

8/7p/2k1Pp2/pp1p2p1/3P2P1/4P3/P3K2P/8 w - - bm e4;             id "PET001: Pawn endgame";
8/1p4kP/5pP1/3p4/8/4P3/7K/8 w - - bm e4;                       id "PET002: Pawn endgame";
8/8/8/pPk3pp/2P1p3/1pK3P1/5PP1/8 w - - bm g4;                  id "PET003: Pawn endgame";
6k1/3p4/3p4/3P4/4P1p1/6P1/8/K7 w - - bm Kb1;                   id "PET004: Pawn endgame";
8/p7/1p2k1p1/8/1p2p1Pp/3pP2P/PP6/5K2 w - - bm b3;              id "PET005: Pawn endgame";
8/p7/1p2k1p1/8/1p2p1Pp/3pP2P/PP6/5K2 b - - bm b3;              id "PET006: Pawn endgame";
8/7p/p3pk2/1p5P/3K1P2/1P6/P7/8 w - - bm a4;                    id "PET007: Pawn endgame";
8/8/1p3p2/p3k1pp/4P2P/P3K1P1/1P6/8 w - - bm g4;                id "PET008: Pawn endgame";
8/8/p3k1p1/1pp5/4KP2/1P6/P5P1/8 w - - bm g4;                   id "PET009: Pawn endgame";
8/1p3p2/p4kpp/1PPp4/P7/7P/5K1P/8 b - - bm Ke6 Ke7;             id "PET010: Pawn endgame";
8/6p1/7p/p1N5/6PP/2k5/8/3K4 b - - bm a4;                       id "PET011: pawns vs N";
8/8/8/5Bp1/7k/8/4pPKP/8 w - - bm Bg4 h3;                       id "PET012: pawns vs B";
8/8/2p5/pkp3R1/7B/P7/2p3K1/8 w - - bm a4+;                     id "PET013: pawns vs R+B";
8/6k1/6p1/2n2PP1/3N3p/3pK3/8/8 b - - bm d2;                    id "PET014: Knight endgame";
8/1N6/1p1P1n2/p1p1p3/P1P5/1P2k3/2K5/8 w - - bm Nxc5;           id "PET015: Knight endgame";
4k3/B1p4p/8/p2n1p2/5P2/5P2/1P2K2P/8 w - - am Be3;              id "PET016: bishop vs knight";
8/8/p2k1p2/1p1p3p/1P1P3p/P3NPP1/5K2/1b6 w - - bm Ng2;          id "PET017: bishop vs knight";
8/3k4/3b4/1K6/7p/5B1P/PP6/8 w - - bm b4;                       id "PET018: opposite bishops";
8/8/4kpp1/3p1b2/p6P/2B5/6P1/6K1 b - - bm Bh3;                  id "PET019: opposite bishops";
8/4k1p1/1p2B2p/4p3/8/4P2P/1PP1KbP1/8 b - - am Bxe3;            id "PET020: opposite bishops";
5k2/8/4b3/1B5P/8/8/5pPP/5K2 b - - bm Bh3;                      id "PET021: bishop endgame";
8/2B5/1p1p4/1PkP1p2/P4P2/5P2/1p6/bK6 w - - bm Bd8;             id "PET022: bishop endgame";
8/2p1bpp1/2Pp4/p2P1P1p/2K2B1P/k5P1/8/8 w - - bm f6;            id "PET023: bishop endgame";
8/4ppbk/p5pp/3pP3/3B4/5P1P/PP3P2/6K1 b - - am g5;              id "PET024: bishop endgame";
4K3/2k1Bp1N/6p1/5PP1/8/7p/b7/8 w - - bm Bf6;                   id "PET025: BN vs B";
8/5k2/4p3/4Pp1p/5P1P/3Rn2K/6p1/8 b - - bm g1=B;                id "PET026: rook vs knight";
5k2/8/8/3R4/6K1/8/3b2pP/8 w - - bm Rf5+;                       id "PET027: rook vs bishop";
8/4kp2/4p1p1/2p1r3/PpP5/3R4/1P1K1PP1/8 w - - bm g4;            id "PET028: rook endgame";
1r3k2/5pp1/3p2p1/8/3P4/P6P/2R2P1K/8 b - - bm Ra8;              id "PET029: rook endgame";
5k2/p1p4R/1pr5/3p1pP1/P2P1P2/2P2K2/8/8 w - - bm Kg3;           id "PET030: rook endgame";
8/1r3pkp/8/5p2/8/5PP1/1P1R3P/6K1 b - - bm f4;                  id "PET031: rook endgame";
8/5pk1/r5pp/P7/3R3P/6P1/5PK1/8 w - - bm Ra4;                   id "PET032: rook endgame";
8/4k3/2P2p2/6p1/1P4R1/4K3/7r/8 w - - bm Rd4;                   id "PET033: rook endgame";
3r4/7p/Rp4k1/5p2/4p3/2P5/PP3P1P/5K2 b - - bm Rd2;              id "PET034: rook endgame";
8/8/p2k3p/1P1p1pp1/P1r5/1R1K1PP1/7P/8 b - - bm a5;             id "PET035: rook endgame";
8/1r3pkp/R7/6Pp/8/4P3/5PK1/8 b - - bm Re7;                     id "PET036: rook endgame";
8/pR4pk/1b6/2p5/N1p5/8/PP1r2PP/6K1 b - - bm Rxb2;              id "PET037: RN vs RB";
4k3/2p1b3/4p1p1/1pp1P3/5PP1/1PBK4/r1P2R2/8 b - - bm c4+;       id "PET038: RB vs RB";
1r6/1pb1k1p1/4p2p/1p1p4/3Pp2P/1R2P1PB/1P2PK2/8 b - - bm b4;    id "PET039: RB vs RB";
7r/3bk3/2p2p2/2P1P3/1P3P2/6Kp/R7/5B2 w - - bm e6;              id "PET040: RB vs RB";
1r6/4k3/r2p2p1/2pR1p1p/2P1pP1P/pPK1P1P1/P7/1B6 b - - bm Rxb3+; id "PET041: RR vs RB";
8/8/5P1k/8/2K5/pr2r3/4R3/2R5 w - - bm f7;                      id "PET042: double rook endgame";
r5k1/5pp1/1P5p/3R4/2r5/P3P3/2p2PPP/2R3K1 b - - bm Rxa3;        id "PET043: double rook endgame";
1r6/Rp2rp2/1Pp2kp1/N1Pp3p/3Pp1nP/4P1P1/R4P2/6K1 w - - bm Nxb7 Rxb7; id "PET044: RRN vs RRN";
5k2/4p3/3p2Q1/3Pq1pP/5pP1/2P4K/8/8 w - - bm Qf5+;              id "PET045: Queen endgame";
8/8/1P1k2p1/8/5P1p/4Qb2/1q4PK/8 w - - bm Qe5+;                 id "PET046: Q+B vs Q";
8/p4k2/1p1p1qp1/1P1P4/P5P1/7P/4Q1K1/2b5 b - - am Qb2;          id "PET047: Q+B vs Q";
6qk/1p4pn/8/3p4/2P5/p3P1P1/P1Q3K1/1B6 w - - am Qxh7+;          id "PET048: Q+B vs Q+N";
1Q6/Nn3pbp/2N2p2/1Pqk1P1P/8/8/6P1/7K w - - am Qxb7;            id "PET049: QNN vs QBN";
7k/7p/1p4p1/n2p4/1K1p3R/2NB4/3Q1P2/q1r5 w - - bm Rxh7+;        id "PET050: QNBR vs QNR";

By Roland Rösler Date 2009-07-07 14:27

Im Eigenmann-Endspiel-Test (EET) löst

Stockfish 1.3.1  w32 1CPU    71 Aufgaben
Stockfish 1.4    w32 1CPU    65 Aufgaben

Testbedingungen: 256 MB Hash, C2D 2GHz, max. Lösungszeit=60 Sekunden

By Roland Rösler Date 2009-07-08 23:56

Im Eigenmann-Endspiel-Test (EET) löst
Stockfish 1.4 w32 2CPU 77 Aufgaben

Damit liegt Stockfish 1.4 zusammen mit Rybka 3 2CPU (mit 3-5 Steinern) gemeinsam an der Spitze.
Die MP-Implementierung von Stockfish scheint mir sehr gelungen.
Mit anderen Worten: Ich bin sehr zufrieden mit dieser Freeware Engine.

By Gerhard Sonnabend Date 2009-07-07 09:46

Ich beginne demnächst die Blitztests für die CEGT, da Wolfgang
und ich mit der Version 1.3.1 JA w32 1CPU fast durch sind.

Siehe:
1.3.1 JA w32 1CPU http://cegt.foren-city.de/topic,259,-testing-stockfish-1-3-1-ja-w32-x64-1cpu.html
und demnächst
1.4 JA w32 1CPU http://cegt.foren-city.de/topic,262,-testing-stockfish-1-4-ja-w32-1cpu.html

Viele Grüsse,
G.S.

By Roland Rösler Date 2009-07-07 10:21

[quote="Gerhard Sonnabend"]
Ich beginne demnächst die Blitztests für die CEGT, da Wolfgang
und ich mit der Version 1.3.1 JA w32 1CPU fast durch sind.[/quote]
Die Ergebnisse für Version 1.3.1 JA w32 (und x64) 1CPU sind doch sehr anständig.
Bin gespannt, ob die Programmierer mit der neuen Version noch was draufpacken konnten.

Anmerkung: Die Ergebnisse gegen Onno sind schon sehr merkwürdig! Da sieht man wieder mal sehr schön, was für Teilergebnisse rauskommen können.

By Gerhard Sonnabend Date 2009-07-07 10:53

[quote="Roland Rösler"]
[...snip...]
Anmerkung: Die Ergebnisse gegen Onno sind schon sehr merkwürdig! Da sieht man
wieder mal sehr schön, was für Teilergebnisse rauskommen können.
[/quote]

Nicht nur gegen Onno. Gegen Shredder + Wildcat gabs ebenfalls eine
schlechtere Performance. Ausgeglichen wird das wieder durch die
überdurchschnittlich guten Resultate gegen Sjeng, Fritz 11 und Spike.

Genau aus diesem Grund versuchen wir immer möglichst viele Spiele
gegen möglichst viele unterschiedliche Engines spielen zu lassen.

Viele Grüsse,
G.S.

By Roland Rösler Date 2009-07-07 14:17

Das hat mich nicht gestört.
Schau Dir mal die Ergebnisse von 1.3.1 w32 gegen Onno w32 an.
Danach schau Dir mal die Ergebnisse von 1.3.1 x64 gegen Onno x64 an.
Fällt Dir was auf? Unter den w32 Ergebnissen ist das gegen Onno das schlechteste (was die Performance betrifft).
Unter den X64 Ergebnissen ist das gegen Onno das beste (was die Performance betrifft)!
Und Onno müsste mit x64 eigentlich mehr zulegen als Stockfish.
Hätte ich nach den 100 Spielen der w32 Versionen gegeneinander das Ergebnis der x64 Versionen schätzen sollen, hätte ich mich doch glatt um mehr als 150 Elo verschätzt!

By Gerhard Sonnabend Date 2009-07-07 14:26

[quote="Roland Rösler"]
Das hat mich nicht gestört.
Schau Dir mal die Ergebnisse von 1.3.1 w32 gegen Onno w32 an.
Danach schau Dir mal die Ergebnisse von 1.3.1 x64 gegen Onno x64 an.
Fällt Dir was auf? Unter den w32 Ergebnissen ist das gegen Onno das schlechteste (was die Performance betrifft).
Unter den X64 Ergebnissen ist das gegen Onno das beste (was die Performance betrifft)!
Und Onno müsste mit x64 eigentlich mehr zulegen als Stockfish.
Hätte ich nach den 100 Spielen der w32 Versionen gegeneinander das Ergebnis der x64 Versionen schätzen sollen, hätte ich mich doch glatt um mehr als 150 Elo verschätzt!

[/quote]

Aah, jetzt verstanden. Ich hatte nicht bemerkt, dass Du 32- und 64-Bit
miteinander verglichen hast. Tja, manchmal produzieren Einzelmatches
eigenartige Resultate.
Evtl. aber ist der Unterschied von Stockfish 32-Bit/64-Bit grösser als es
noch bei Glaurung war/ist ?!

Viele Grüsse,
G.S.

By Ingo Bauer Date 2009-07-07 15:36

Hallo

Nicht zu vergessen die Tatsache das man aus 100 Spielen unmöglich Ergebniss lesen kann. Das ist schlicht zuwenig für irgendeine sichere Aussage.

Habe ich neulich schonmal erwähnt und irgenjemand mußte trotzdem 100 Spiele in meine Rangliste einrechnen

Gruß
Ingo

By Gerhard Sonnabend Date 2009-07-07 15:50

Hi Ingo !

[quote="Ingo Bauer"]
Nicht zu vergessen die Tatsache das man aus 100 Spielen unmöglich Ergebniss lesen kann.
Das ist schlicht zuwenig für irgendeine sichere Aussage.

Habe ich neulich schonmal erwähnt und irgenjemand mußte trotzdem 100 Spiele in
meine Rangliste einrechnen

[/quote]

Dir ist aber schon bekannt, dass manche sogar aufgrund
zweier Turnierpartien und/oder 12 Bulett-Server-Games
eine nahezu perfekte Einschätzung der Spielstärke einer
Engine abzugeben in der Lage sind !

Viele Grüsse,
G.S.