Stockfische: Internes Endspielduell

By Michael Scheidl Date 2013-07-11 10:42

   Engine           Score                    Co                   St                   St    S-B
1: ComStock 3M      20,5/40 ···················· ==================== ===================1  404,50
1: Stockfish 3 PG-6 20,5/40 ==================== ···················· ==1=================  404,50
3: Stockfish 3      19,0/40 ===================0 ==0================= ····················  389,50

60 games played / Tournament is finished
Name of the tournament: SF-Endgames
Site/ Country: Wien, Österreich
Level: 17 Half moves
Hardware: Intel i5-3210M @ 2x2.50+GHz, 4 GB RAM
Operating system: Windows 8 Home Edition (Build 9200)

Die Partien bzw. -Fragmente setzten jeweils an einer von 20 relativ materialarmen, (zu?) ausgeglichenen Stellung an. Obwohl auch asymmetrische wie z.B. 4 Bauern gegen Läufer + 1B dabei sind, dürften sie zu steril sein. Nicht nur daß fast alles remis wurde, meist auch sehr schnell: Nur in 5/60 Duellen wurden mehr als 40 Züge gemacht, hingegen in 32 Fällen weniger als 20.

Das überrascht mich auch wegen der nach heutigen Maßstäben recht kleinen Endspielrechentiefe von 17 Halbzügen, zu der ich mir dachte, zumindest ein paar kleine Ungenauigkeiten könnten sich aufsummieren. Die selektive Tiefe erreichte nur selten 30 oder mehr.

Die "Hauptversion" Stockfish 3 verlor je einmal gegen die ComStock- und PA_GTB-Versionen, wobei letztere allerdings auf einer zwei Monate jüngeren Entwicklungsversion beruht. Deren Persistant Hash spielte hier keine Rolle, denn ich habe die Mindestrechentiefe dafür auf 20 stehen lassen.

58: ComStock 3M - Stockfish 3, SF-Endgames Wien 2013

Analysis by Stockfish 3 64bit SSE4.2 (nach Tiefe 35):

1. = (0.00): 68...Kf6 69.e5+ Kg6 70.Kf3 c5 71.Kg3 Kh5 72.Kh3 Kg6 73.Kg2 Kh6 74.Kf3 Kh5 75.Kg3 Kg6 76.Kf3 Kh5
2. = (0.00): 68...Kf7 69.dxc6 bxc6 70.exf5 c5 71.Kf3 Kf6 72.Kg4 d6 73.b3 Kg7 74.Kf3 Kf6 75.Ke4 Kf7 76.Kd5 Kf6 77.Ke4
3. +/= (0.40): 68...cxd5 69.exd5+ Kd6 70.Kd3 Kc5 71.Kc3 d6 72.b4+ Kb6 73.Kd4 Ka6 74.Kd3 Kb6 75.Ke3 Kc7 76.Ke2 Kb6 77.Kd3 Kc7 78.Ke3 Kd7 79.Ke2 b6 80.c5
4. +- (3.71): 68...Kd6 69.dxc6 bxc6 70.exf5 Kc5 71.Kd3 Kb4 72.Kd4 d6 73.c5 dxc5+ 74.Ke5 Kb3 75.Ke6 c4 76.Kxe7 Kxb2 77.f6 c3 78.f7 c2 79.f8Q c1Q 80.Qf6+ Kb1 81.Qf5+ Kb2 82.Qe5+ Ka2 83.Qe6+ Ka1 84.f5 Qa3+ 85.Kf7 Qa7+ 86.Qe7 Qd4 87.Qe1+ Kb2 88.Qe2+ Kb1 89.Qf1+ Ka2 90.Qg2+ Ka3 91.Qf3+ Ka2 92.Qxc6 Qa7+ 93.Ke8 Qb8+ 94.Kd7 Qa7+ 95.Kc8 Qa3 96.Qg2+ Kb1 97.Qf1+ Kb2 98.Qf2+ Kb1 99.Qe1+ Kc2 100.Qe2+ Kc1 101.Qc4+ Kb1 102.Qe4+ Kc1 103.Qf4+ Kb1 104.Qf1+

Auf 17 Plies hatte sich SF.3 leider den schlechtesten der vier möglichen Züge 68...Kd6 ausgesucht, der aber nicht gerade leicht als solcher zu identifizieren ist. Das wird wohl nichts mit fehlendem Tbs.-Zugriff zu tun gehabt haben.

In der anderen Niederlage geschieht nach 75...Ld6 ein entscheidender Bauernverlust. 75...Kd6 hätte wahrscheinlich gehalten:

Event:

Ort:

Datum:

Weiss:

Schwarz:

Ergebnis

Board

Nach der Schlußstellung:

Analysis by Stockfish PA_GTB 010713 64 SSE4.2:

96...Kc8 97.Bd4 Kb7 98.Bxf6 Bb6 99.Kd5 Ba5 100.Bd4 Kc7 101.Ke6 Bb4 102.f6 Bf8 103.f7 Kd8 104.Bb6+ Kc8 105.Kd5 Bh6 106.Bc5 Kb7 107.f8Q Bxf8 108.Bxf8 Kc8 109.Bc5 Kd8
+- (19.54)   Depth: 7/6   00:00:00 1kN
+- (19.54)   Depth: 21/6   00:00:00 2kN
96...Kb8 97.b6 Kc8 98.Bd4 Kb7 99.Kd7 Bxb6 100.Bxb6 Kxb6 101.Ke6 Kc6 102.Kxf6 Kc5
+- (#18)   Depth: 22/26   00:00:04 5645kN, tb=15822
+- (#18)   Depth: 254/26 00:00:06 5652kN, tb=15822

Rekordverdächtig

By Benno Hartwig Date 2013-07-11 13:10

Hallo Michael,

die Idee mit Endspielvorgabestellungen finde ich super.
Und ich würde begrüßen, wenn hier tatsächlich auch eine Rangliste auf die Beine gestellt würde!

Es sollten aber Stellungen sein, die weniger Häufig zu einem Remis führen, ggf. noch nicht so ganz im Endspiel stecken, eher die Engines auffordern, anständig in ein Endspiel abzuwickeln.
Natürlich müssen die Startstellungen jeweils mit vertauschten Farben wiederholt werden.
Und wenn manche Stellung doch nicht so ganz ausgeglichen ist, ist das ggf. auch kein Drama, da ggf. die eine Paarung dann ein 1:1 espielt, die andere ggf. aber auch ein 1.5:0.5.
Nicht jede Engine kann den ggf. vorhandenen kleinen Vorsprung zum Sieg nutzen. Und das sind ja Unterschiede, die hier zählen sollten.

Benno

By Michael Scheidl Date 2013-07-11 13:39

Meine Überlegungen gehen in dieselbe Richtung. Es ist jedoch sehr anspruchsvoll, "leicht unausgewogene" endspielnahe Stellungen zu kreieren, die wirklich Spielraum für alle Resultate geben. Schlimmstenfalls gewinnt dann inkl. Seitenwechsel immer dieselbe Farbe, und man hat wieder 50-50.

Das konkrete Testset mit 10 Positionen hatte ich ja schon unlängst anläßlich des ComStock 3-Releases vorgestellt, und schon dort die (zu) hohe Remistendenz bemerkt:

http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=60033
(PGN siehe etwas weiter unten)

Zumindest für technische Tests bleibt es geeignet, also z.B. wenn man schauen will ob die Tablebaseunterstützung für dieses oder jenes Format funktioniert wie vorgesehen, dabei keine Abstürze oder sonstigen Phänomene auftreten... Hinsichtlich dessen verlief obiger Test einwandfrei. Wobei ich jedoch für ComStock nur Triplebases, keine Totalbases benutze.

Was ich zuvor nicht unbedingt für selbstverständlich gehalten hätte: Die Bestätigung der Gleichwertigkeit Leichtfigur gegen 3 Bauern. Sowohl S+B vs. 4B, als auch L+B vs. 4B wurde in den bisherigen Anwendungen der betr. Teststellungen immer remis (zwischen weitgehend identischen Engines allerdings).

By Roland Riener Date 2013-07-11 13:18

Als Fleißaufgabe, ohne besonderen Nutzen vermutlich, habe ich die erste Stellung von der neuen Testversion Stockfish rechen lassen. Stand bei Tiefe 37:

Neue Partie
8/1p1pp3/2p1k3/3P1p2/2P1PP2/8/1P2K3/8 b - - 0 1

Analysis by Stockfish 080713 64 SSE4.2:

1. = (0.00): 68...Kf6 69.e5+ Kg6 70.Kf3 c5 71.Kf2 Kh5 72.Kg3 Kh6 73.Kg2 Kh5 74.Kg3
2. = (0.00): 68...Kf7 69.Ke3 fxe4 70.Kxe4 Kf6 71.dxc6 dxc6 72.c5 Ke6 73.b4 Kf6 74.f5 e6 75.fxe6 Kxe6 76.Ke3 Kd5 77.Kd3 Ke5 78.Ke3
3. = (0.00): 68...cxd5 69.exd5+ Kd6 70.Kd3 b5 71.b4 e6 72.dxe6 dxe6 73.cxb5 e5 74.fxe5+ Kxe5 75.b6 Kd6 76.b5 Kd7 77.b7 Kc7 78.b8D+ Kxb8 79.b6 Kb7 80.Kd4 Kxb6 81.Kd3 f4 82.Kd4 f3 83.Ke3 Kb5 84.Kxf3
4. +- (2.58): 68...Kd6 69.dxc6 bxc6 70.exf5 Kc5 71.Kd3 Kb4 72.Kd4 d6 73.c5 dxc5+ 74.Ke5 Kb3 75.Ke6 Kxb2 76.Kxe7 c4

(Riener, ws7 11.07.2013)

By Michael Scheidl Date 2013-07-11 13:52 Edited 2013-07-11 14:00

Danke; demnach hätte auch 68...cxd5 zum Remis gereicht. Also daß Stockfish bei nur vier legalen Zügen ausgerechnet den einzig falschen erwischt

ist sicherlich sehr untypisch, und lag an der geringen Rechentiefe. Für die andere Niederlage wird wohl dasselbe gelten.

Vielleicht kann das ganze als (teilweise) Illustration dafür dienen, warum EGTBs im praktischen Spiel keinen signifikanten Elogewinn erwirtschaften: Ist die tablebasenahe Position ausgeglichen bzw. faktisch remis, so können auch die Tables keinen Gewinn mehr hervorzaubern. Nullkommajosef der Fälle ausgenommen. - Allerdings glaube ich schon, daß die Tables eine Engine dann mitunter vor schwer erkennbaren Verlustzügen bewahren können.

8: Stockfish 3 PG-6 - Stockfish 3, SF-Endgames Wien 2013

Analysis by Stockfish PA_GTB 010713 64 SSE4.2:

75...Bd6 76.Be3 exf5+ 77.Kxf5 Be5 78.Bd2 Bd6 79.Kg6 Ke6 80.Kxg7 f5 81.gxf5+ Kxf5 82.Kf7 Bc5 83.Bh6 Ke4 84.Ke6
+/= (0.33)   Depth: 7/12   00:00:00 4kN
+/- (0.82)   Depth: 13/26   00:00:01 256kN, tb=1
75...Kd6 76.Be3 Be5 77.Bd2 exf5+ 78.Kxf5 Kc5 79.g5 Kb5 80.gxf6 Bxf6 81.Ke4 Kc5 82.Be3+ Kd6 83.Bf4+ Kc5 84.Bd2 Kb5 85.Kd5 g6 86.Be3 Bc3 87.Bc5
+/= (0.43)   Depth: 14/43   00:00:01 485kN, tb=84
+/= (0.34)   Depth: 17/43   00:00:01 673kN, tb=86

58: ComStock 3M - Stockfish 3, SF-Endgames Wien 2013

Analysis by ComStock_3M_VEpop64:

68...cxd5 69.exd5+ Kd6 70.b4 e6 71.dxe6 dxe6 72.Ke3 e5 73.c5+ Ke6 74.fxe5 Kxe5
= (0.04)   Depth: 7/17   00:00:00 4kN
= (0.08)   Depth: 9/17   00:00:00 13kN, tb=1
68...Kf7 69.dxc6 dxc6 70.Kd3 Kf6 71.e5+ Ke6 72.Kd4 b6 73.b4 Kd7 74.Ke3 Ke6 75.Kd4
+/= (0.32)   Depth: 10/18   00:00:00 32kN, tb=4
= (0.28)   Depth: 13/20   00:00:00 143kN, tb=37
68...Kf6 69.e5+ Kg6 70.b4 cxd5 71.cxd5 Kh5 72.Kf3 e6 73.dxe6 dxe6 74.Ke3 Kg4 75.b5 b6
= (0.20)   Depth: 14/20   00:00:00 214kN, tb=38
68...Kd6 69.dxc6 Kxc6 70.exf5 Kc5 71.Kd3 Kb4 72.Kd4 b6 73.Kd5 Kb3 74.c5 bxc5 75.Kxc5 Kxb2 76.Kc4 Kc2 77.Kd4 Kb3
= (0.00)   Depth: 15/28   00:00:01 482kN, tb=204
= (0.00)   Depth: 16/28   00:00:01 508kN, tb=227
68...Kf6 69.e5+ Kg6 70.Kf3 cxd5 71.cxd5 Kh5 72.Kg3 d6 73.Kf3 Kh4 74.b4 Kh5 75.exd6 exd6 76.b5 b6 77.Kg3 Kg6
= (0.04)   Depth: 17/28   00:00:01 913kN, tb=1402
= (0.04)   Depth: 17/28   00:00:01 913kN, tb=1402

Doch die jeweils andere Alternativversion hat den Fehler der Hauptversion wiederholt, inkl. einiger Tbs.-Zugriffe...