Stockfish vs Komodo

By Tom Paul Date 2014-07-19 09:34

Komodo 1252-57 64-bit v Stockfish 110714 64-bit 8CPU (Match)
http://talkchess.com/forum/viewtopic.php?t=52962&postdays=0&postorder=asc&topic_view=&start=50Partie 45
Partie Nr. 45
Komodo vs Stockfish 26. d5-d6 1-0

Komodo 8CPU v Stockfish 8CPU Rematch (latest versions)
http://talkchess.com/forum/viewtopic.php?t=52992

Im Moment steht es hier 5-3, nach 26 Partien, für Komodo.

Partie Nr. 10
Komodo vs Stockfish 17. exd6 1-0

Partie Nr. 14
Komodo vs Stockfish 24. cxd6 und Freibauer auf d5 1-0

Partie Nr. 18
Komodo vs Stockfish 18. cxd6 1-0

Hier sehen wir eine dicke Schwäche von Stockfish.
3 von 5 Niederlagen durch Bauer Freibauer d6/d5 Standard.

Partie Nr. 7
Stockfish vs Komodo 43. Dh7?? 0-1, b4-b5 mit Gegenspiel und Remis.
35. Td6?? warum spielt Stockfish überhaupt etwas wo er 0 Gegenspiel hat.
Besser Lh3 und Remis 1. Bh3 f4 2. Bxe6 fxe3+ 3. Kxe3 fxe6 4. Rxh1 Rd8 5. Ke4 Rd3 6. Rc1 Rd2 7. h4 und weiß steht optisch besser.

Partie Nr. 22
Komodo vs Stockfish 47. Tb5 d4?! 1-0, Stockfish vom 06.06.2014 erkennt 57. h7-h6 als dicken Patzer von +0.63 auf +1.96, stattdessen: Ke7 +0.63/+0.70.
So spiele ich mit schwarz gegen Stockfish:
1. Bc3 2. Bxd5 Rd7 3. Kg2 Kg7 4. h5 f6 5. f4 h6 6. Kf3
Bb4 7. Ke4 Be1 8. g4 Bb4 9. Be6 Re7 10. Kf5 Rc7 11. Rb8 Bd2 12. Rg8+ Kh7 13.
Rd8 Bc3 14. Ba2 Kg7 15. Rg8+ Kh7 16. Ra8 Kg7 17. Bd5 Bd2 18. Rg8+ Kh7 19. Rd8
Bc3 20. Rd6 Kg7 21. g5 hxg5 22. h6+ Kh7 23. fxg5 fxg5 24. Kxg5 Remis.

Fazit:
Komodo hat deutlich mehr Wissen als Stockfish welches er auch umsetzt.
Sehr oft entstehen Stellungen, die man nur mit Hilfe von Wissen richtig bewerten kann und Stockfishs Tiefe reicht da nicht aus.
Wahrscheinlich würde diese auch oft nicht ausreichen, selbst wenn Stockfish in keiner! Variante etwas abschneidet.
Da müssten bei Stockfish 20-30 Züge beiderseits zur jetzigen Tiefe dazukommen ohne das etwas abgeschnitten wird oder man implementiert Wissen.
Sieht man auch an Komodo, deutlich weniger Tiefe und deutlich weniger abschneiden, dafür aber Wissen und das Endergebnis.
Auch aus den anderen Niederlagen sieht man, dass Komodo Stellungen anstrebt, wo der Gegner kein Gegenspiel hat oder wo dieser nur verlieren würde wenn er ein Gegenspiel startet.
Es wird der Abtausch viel stärker vermieden als bei Stockfish, wodurch man mit dem Wissen zusammen mehr Chancen auf Sieg hat.
In vielen Stellungen gab es sehr viele Möglichkeiten, die Stockfish alle mit 0.00 bewertet und daher irgendeinen Zug davon spielt, während Komodo mit mehr Wissen und weniger Tiefe(obwohl sich gerade Komodo mehr Tiefe leisten kann da er über Wissen verfügt)immer einen Plan verfolgt.

Es wurde sehr fleißig gegen Stockfish getunt, nur funktioniert der Spielstärkezuwachs auch gegen andere Engines?

By Michael Scheidl Date 2014-07-19 15:32

Sehr informatives Fazit, klingt nach einer hochinteressanten Komodoversion 8 die hoffentlich bald erscheint.

By Tom Paul Date 2014-07-19 17:59 Upvotes 1

Das sehe ich auch so.

Bei Stockfish wurde schon alles getunt.
Ich schätze mal Stockfish kann durch weiteres fine tuning ~100 ELO in 3 Jahren dazu gewinnen.
Das liegt einfach daran, dass Stockfish bereits ein extrem hohes Niveau erreicht hat und das sieht man auch am FRC Turnier.
Aber es wird Zeit, dass die Stockfish Entwickler endlich einmal umdenken und Wissen implementieren.
Das Argument war immer maximale ELO und nicht Verzicht auf ELO weil wir kein Wissen implementieren wollen.
Außerdem kann man das Wissen auch später wieder entfernen, wenn dass zu einer ELO Steigerung führen sollte.
Stockfish beherrscht ja noch nicht einmal 2-Fold Rep. Wenn er dies 3 mal in einer Blitzpartie anwenden würde und der Gegner 3 Sekunden verliert, dann würde Stockfish von 1000 Partien mindestens 50 Gewinne mehr einfahren.
Stockfish gegen Stockfish zu testen bring auch viel weniger ein als es früher der Fall war, weil der beste Dev. Stockfish gegen den neuen Stockfish mit der Codeveränderung getestet wird und abgesehen von genau dem gleichen Spielstil ist es schwer sichere 0,5 ELO auszumachen.
Deshalb sollte auch gegen Komodo und Houdini getestet werden.
Bsp. wenn ein S vs S Test neutral ausfällt, was öfters passiert als ein positiver Test und seltener als ein negativer Test, dann sollte man schauen, ob S besser gegen K punktet als zuvor.
Die Idee ist ganz simple: Wenn Stockfish schon keinen Spielstärkezuwachs gegen sich selbst bekommt, dann kann es einen Spielstärkezuwachs gegen Komodo geben und somit sollte diese Codeveränderung bleiben.
Falls auch dieser Test neutral ausfallen sollte, dann kann man noch einmal gegen Houdini testen.
Somit hätten wir keinen Spielstärkezuwachs gegen Stockfish aber gegen K und H und somit auch gegen schwächere Engines.

Bei Komodo sieht man ganz deutlich wie viele ELOs neues Wissen bringen kann.
Und das auf diesem Niveau und in so kurzer Zeit.

By Tom Paul Date 2014-07-20 08:10

Stockfish gewann das Rematch mit 6 zu 5.

Author: lucasart
Date: Sun Jul 20 08:50:54 2014 +0800
Timestamp: 1405817454

Revert Contempt = 20

Despite being neutral at STC, it turned out to be regressive at LTC:

40k games at LTC with Hash=8
ELO: -2.06 +-1.9 (95%) LOS: 1.4%
Total: 39720 W: 5740 L: 5976 D: 28004

40k games at LTC with Hash=128
ELO: -2.69 +-1.9 (95%) LOS: 0.2%
Total: 39149 W: 5702 L: 6005 D: 27442

bench 7477963

Was soll man beim i7 3930k verwenden?
Windows x64 for Haswell CPUs
Windows x64 for modern computers

Wie wäre es wenn man auch LTC Stockfish gegen Stockfish 100 Partien spielen lässt?
-um zu sehen wo die Gemeinsamkeiten in den Niederlagen sind und um diese beheben zu können.