AlphaZero Partien in Cerebellum

By Stefan Pohl Date 2017-12-12 17:44

Auf talkchess von Thomas Zipproth gepostet.
Wer es dort verpaßt hat:
I calculated the AlphaZero games and added them to Cerebellum, which took some time because Stockfish naturally needed very long calculation times and many added nodes to finally get the (most likely) correct results.

http://www.zipproth.de/Brainfish/Cerebellum_AlphaZero.html

I thought about a way to present a game calculation in a most comprehensive but simple way, and finally ended up with this images.
Of course all side lines are missing, only the best move is additionally displayed, if it is different from the move which was played in the game.

Some conclusions or assumptions gained from the results:

Stockfish's evaluation ist correct most times, but it does not distinguish between a position which is dead draw and other positions which are theoretically also draw, but very complicated with many occassions to make a wrong move. In such positions stockfish sometimes makes errors leading to a loss, even if most times the evaluation of close to zero is correct. AlphaZero has a higher positional understanding and doesn't need scores. It always can play the move with the best winning chances, even if the position is theoretically draw, a case in which Stockfish only sees zero scores for all possible moves.

The AlphaZero neuronal network works like a book (for example Cerebellum) in the opening, because it (most likely) did not learn only positional factors but openings too. Stockfish has to calculate the opening completely new for every game, which is nearly impossible at normal thinking times.

AlphaZero doesn't seem to make big tactical errors which is astonishing in first sight, but can be explained by the search algorithm it uses. Combined with the neuronal network move selection it doesn't seem not have the problems of the Stockfish pruning because the neuronal network makes very few pruning errors.

Some additional results from the Cerebellum calculations:

In longer and deeper calculations the score often becomes simple zero, which make it impossible to select the move with the highest winning chances.

The tempo factor of about 0.08 sometimes seems to interfere with the evaluation, which means that in many cases longer lines are ending up in positions with absolut no positional advantage but a score of 0.08, which somehow seems to result from the tempo advantage.

By Stefan Pohl Date 2017-12-12 20:05 Edited 2017-12-12 20:20

Sehr seltsam ist in Partie 3 der 49. ZUG von Schwarz (Tf8??), welcher nicht nur laut Cerebellum sofort verliert (Bewertung vorher: 0.86 für Weiß, danach 11.80 für Weiß), sondern sogar auf meinem Smartphone findet Stockfish sofort 49...Kf8 (was auch Cerebellum spielen will) als einzig brauchbaren Zug, während alle anderen Züge nach nur ein bis zwei Sekunden Rechenzeit als mindestes 3 Bauern schlechter bewertet werden.
Könnte es sich evt. um eine Hashkollision gehandelt haben? Eine andere Erklärung sehe ich für diesen katastrophalen Fehler nicht, wenn Stockfish sogar auf einem Smartphone in ein bis zwei Sekunden sieht, daß nur 49...Kf8 die Stellung noch hält und alles andere sofort verliert.

Interessant wäre, zu analysieren, wie Weiß nach 49...Kf8 gewinnen will. Da sind die Analyseexperten gefragt. Ich hab nur auf die Schnelle ein bißchen auf meinem Smartphone Stockfish vor- und zurückrechnen lassen und sehe nicht, wie Weiß gewinnen will. Zumindest nicht mit einem bedrohlichen Mattangriff. Das ist ja auch die Idee von 49...Kf8, mit dem König vom kollabierenden Königsflügel zu verduften...und aufgrund des beträchtlichen schwarzen Materialvorteils muß Weiß ja eigentlich mattsetzen.

By Peter Martan Date 2017-12-12 22:09

Hi!

http://www.talkchess.com/forum/viewtopic.php?topic_view=threads&p=742563&t=65972

http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=110480#pid110480

By Wolfram Bernhardt Date 2017-12-13 12:06

Ja, der dieser Zug ist schon sehr seltsam.

Die Möglichkeit, dass die Züge von Hand eingegeben wurden, finde ich ziemlich plausibel.

Oder könnte es auch sein, dass bei Stockfish Probleme mit der Parallelisierung zutage getreten sind? Auf so großen Clustern spielt er ja normalerweise nicht und wer weiss, ob das je zuvor ordentlich getestet werden konnte. Je länger die Ergebnisse kursieren, desto mehr beschleicht mich das Gefühl, dass dort etwas sehr schief gegangen sein könnte...

Viele Grüße,
Wolfram

By Tom Paul Date 2017-12-13 18:43

Wolfram Bernhardt schrieb:

Die Frage ist doch warum Googles AlphaZero mehrere TPUs benutzen durfte, aber Stockfish wurde auch 64 Kerne beschränkt obwohl er 128 Kerne verwenden kann. Die 64!!! mehr Kerne hätten so manchen Verlust verhindert.
Auch 256 Kerne wären möglich gewesen, selbst wenn diese Hardwarepower immer noch deutlich den TPUs hinterher hinkt. Dann hätte vielleicht AlphaZero nur mit +1 =99 -0 gewonnen.

By Ingo Althöfer Date 2017-12-12 21:54

Hallo Herr Pohl,

Stefan Pohl schrieb:

Auf talkchess von Thomas Zipproth gepostet...
<a class='ura' href='http://www.zipproth.de/Brainfish/Cerebellum_AlphaZero.html'>http://www.zipproth.de/Brainfish/Cerebellum_AlphaZero.html</a>

danke für das Posting, und Dank an Thomas Zipproth
für die sehr interessanten Analysen und Diagramme.

Jetzt wäre es besonders toll, wenn wir auch noch - von
anderen Helfern - die Einschätzungen von Komodo und
Houdini bekämen.

******

Eine spekulative Frage: Kann es sein, dass das DeepMind-Team
die Stockfish-Züge händisch eingegeben haben und dabei bei
49. Kf8 / Tf8 einen Fehler gemacht haben?

Oder kann irgendjemand mit seinem (Parallel-)Stockfish
den schlechten Zug bei mittelgrosser Bedenkzeit reproduzieren?

Ingo Althöfer.

By Thomas Müller Date 2017-12-13 18:29

Hallo Prof,

das ist ein SF dev mit 16 core nach ca. 60 sek

Analysis by Stockfish 051217 64 POPCNT:

1. +/- (1.32): 1...Kg8-f8 2.Dh4-f4 Dh8-g8 3.Df4-c7 c5-c4 4.Dc7xc4 Te8-d8 5.g3-g4 Kf8-e8 6.Dc4-d4 g6-g5 7.Dd4xa7 Te7-e6 8.Lb3xe6 d7xe6 9.Da7-b7 Td8-d7 10.Db7-c8+ Td7-d8 11.Dc8-c7 Td8-d7 12.Dc7-b8+ Td7-d8 13.Db8-b5+ Ke8-e7 14.Tf6-f3 Dg8-g6 15.a2-a4 Dg6xh6 16.Db5-c5+ Ke7-e8 17.Dc5-c6+ Ke8-e7 18.Dc6-c7+ Td8-d7 19.Tf3xf7+ Ke7xf7
2. +- (3.06): 1...c5-c4 2.Lb3xc4 Kg8-f8 3.Dh4-d4 Dh8-g8 4.Tf6-d6 g6-g5 5.Lc4-b5 a7-a6 6.Lb5xd7 Te7xd7 7.Td6xd7 Dg8-g6 8.Dd4-c5+ Kf8-g8 9.Td7-d6 f7-f6 10.Dc5-d5+ Kg8-f8 11.Dd5-d4 Kf8-g8 12.Td6xf6 Dg6-e4+ 13.Dd4xe4 Te8xe4 14.Tf6xa6 g5-g4 15.Ta6-a7 Te4-e6 16.Ta7-g7+ Kg8-h8 17.Tg7xg4 Te6-a6 18.a2-a4 Ta6xh6 19.a4-a5 Th6-d6 20.Tg4-b4 Td6-a6 21.Tb4-b5 Kh8-g7 22.f2-f4 Kg7-f7 23.Kg2-f3 Ta6-a8 24.Tb5-h5 Kf7-g6 25.g3-g4 Kg6-f6 26.Kf3-e3 Ta8-a7 27.Th5-h6+ Kf6-g7
3. +- (4.69): 1...g6-g5 2.Dh4xg5+ Kg8-f8 3.Dg5-f5 c5-c4 4.Lb3xc4 Dh8-g8 5.Df5-c5 a7-a6 6.Lc4-b3 a6-a5 7.a2-a4 Te8-d8 8.Lb3xf7 Dg8xf7 9.Tf6xf7+ Kf8xf7 10.Dc5xa5 Kf7-e8 11.Da5-d5 d7-d6 12.a4-a5 Ke8-d7 13.a5-a6 Kd7-c8 14.Dd5-a8+ Kc8-d7 15.Da8-a7+ Kd7-e6 16.Da7-e3+ Ke6-f7 17.De3-d3 Kf7-g8 18.Dd3-d5+ Kg8-f8 19.Dd5-d4 Td8-d7 20.Dd4-h8+ Kf8-f7 21.Dh8xh7+ Kf7-f6 22.Dh7-g8 Kf6-e5 23.f2-f4+ Ke5-d4 24.Kg2-f3 d6-d5
4. +- (4.99): 1...d7-d5 2.Lb3xd5 Kg8-f8 3.Dh4-f4 Dh8-g8 4.Df4-d6 g6-g5 5.Dd6xc5 g5-g4 6.Tf6xf7+ Dg8xf7 7.Ld5xf7 Kf8xf7 8.Dc5-f5+ Kf7-g8 9.Df5xg4+ Kg8-h8 10.Dg4-d4+ Kh8-g8 11.g3-g4 Kg8-f7 12.Dd4-d5+ Kf7-f8 13.Dd5-d6 Kf8-g8 14.g4-g5 Te7-e4 15.f2-f4 a7-a5 16.Dd6-d5+ Te8-e6 17.Kg2-g3 a5-a4 18.Kg3-f3 Te4-e1 19.Kf3-g4 Kg8-f8 20.Dd5-d8+ Kf8-f7 21.Dd8-d7+ Te6-e7 22.Dd7xa4
5. +- (5.02): 1...Te7-e6 2.Lb3xe6 d7xe6 3.g3-g4 Kg8-f8 4.g4-g5 Te8-d8 5.Dh4-f4 Kf8-e8 6.Tf6xf7 Dh8-d4 7.Df4xd4 Td8xd4 8.Tf7xh7 a7-a5 9.Th7-c7 Td4-g4+ 10.Kg2-f3 Tg4-h4 11.Tc7xc5 a5-a4 12.Kf3-g3 Th4-h1 13.f2-f4 Th1-g1+ 14.Kg3-f2 Tg1-h1 15.Kf2-g2 Th1-h5 16.Kg2-g3 Ke8-f8 17.Tc5-c8+ Kf8-f7 18.Tc8-c7+ Kf7-f8 19.Tc7-c6 Kf8-f7 20.Tc6-a6 Th5-h1 21.Ta6-a7+ Kf7-g8 22.Ta7-g7+ Kg8-h8 23.Tg7xg6 Th1-e1 24.Kg3-f2 Te1-e4 25.Kf2-f3 Te4-e1 26.Tg6-f6
6. +- (5.05): 1...Te8-f8 2.Dh4-f4 a7-a5 3.Lb3-d5 a5-a4 4.Ld5-c4 d7-d5 5.Lc4xd5 Te7-d7 6.Ld5-c4 Td7-a7 7.g3-g4 Ta7-d7 8.g4-g5 a4-a3 9.Df4-f3 Td7-e7 10.Df3-d5 Dh8xf6 11.g5xf6 Te7-c7 12.Dd5-d6 Tf8-c8 13.Lc4-a6 Tc7-c6 14.Dd6-d7 Tc6-c7 15.Dd7-d5 Tc8-f8 16.Dd5-d6 Tc7-a7 17.La6-c4 Tf8-c8 18.Dd6-b6 Ta7-a4 19.Db6-b7 Tc8-f8 20.Lc4xf7+ Tf8xf7

49...Tf8 kann einfach nicht sein.
Der Zug ist von anfang an ganz hinten.
Da man nciht weiß ob die Partien automatisiert liefen, kann ich mir gut vostellen, dass da was händisches oder ein Übermittlungsfehler passiert ist?!
Bin da aber nicht auf dem laufenden.....oder ein "bug" in SF8

DeepShredder 13 zeigt nach Tf8 z.b. folgendes bei mir an

2.Dh4-f4 a7-a6 3.Kg2-h2 a6-a5 4.Kh2-g2 a5-a4 5.Lb3-c4 d7-d5 6.Lc4xd5
+/- (1.54) Tiefe: 7/9   00:00:00 1kN
-/+ (-0.93) Tiefe: 8/13   00:00:00 2kN
2.Lb3-d5 Tf8-b8 3.Tf6xg6+ h7xg6 4.Dh4xe7 Kg8-h7 5.Ld5xf7 Dh8-d4
=/+ (-0.67 ++) Tiefe: 8/13   00:00:00 2kN
-/+ (-0.76) Tiefe: 8/13   00:00:00 3kN
2.Dh4-g5 Tf8-c8 3.Dg5-f4 Tc8-f8 4.Df4-g5
=/+ (-0.70 ++) Tiefe: 8/13   00:00:00 3kN
= (0.00) Tiefe: 41/52   00:00:27 20962kN

während SF und K11.2.2 deutlich verlust zeigen...

Analysis by Stockfish 051217 64 POPCNT:

2.Dh4-g5
+- (9.03 ++) Tiefe: 40/76   00:04:23 4196MN, tb=3105775

Analysis by Komodo 11.2.2 64-bit:

1. +- (5.04): 2.Dh4-f4 a7-a5 3.g3-g4 a5-a4 4.Lb3-d5 c5-c4 5.Ld5xc4 d7-d5 6.Lc4xd5 Te7-d7 7.Ld5-c4 Td7-c7 8.g4-g5 Tc7-d7 9.Df4-e4 Dh8xf6 10.g5xf6 Td7-a7 11.De4-c6 Tf8-d8 12.Dc6-b6 Ta7-d7 13.Db6-a6 Td7-d4 14.Da6xa4 Td4-g4+ 15.Kg2-h3 Tg4-d4 16.Da4-a5 Td4-d7 17.Da5-a3 Td7-c7 18.Lc4-b3 Td8-f8 19.Kh3-g2 Tf8-c8 20.Da3-b4 Tc7-c5 21.Db4-e4 Tc5-c7 22.De4-e3 Tc7-d7 23.a2-a4
2. +- (5.04): 2.Dh4-g5 Tf8-c8 3.Dg5-f4 Tc8-f8 4.Lb3-d5 c5-c4 5.Ld5xc4 d7-d5 6.Lc4xd5 Te7-d7 7.Ld5-b3 Td7-c7 8.g3-g4 Tc7-d7 9.g4-g5 a7-a5 10.Df4-a4 Dh8xf6 11.g5xf6 Td7-a7 12.Da4-c6 Tf8-a8 13.Dc6-d6 a5-a4 14.Lb3-d5 Ta8-f8 15.Dd6-c5 Ta7-d7 16.Dc5-c6 Td7-a7 17.Dc6-d6 a4-a3 18.Dd6-c5 Ta7-d7 19.Ld5-c4 Tf8-a8 20.Dc5-c6 Td7-a7 21.Lc4-d5 Ta8-d8

sehr seltsam alles ?!

gruß
thomas