TCEC: Stockfish vs. Komodo

By Benno Hartwig Date 2014-05-26 14:16

> Eher 7:1 wenn du die zwei Vorgabestellungen, diese mit viel zu viel Vorteil, abziehst.

Ich würde lieber die Vorgaben und die je 2 Partien betrachten wollen. Danach hätten wir:

Eröffnungen            20
2,0 - 0,0 für SF        0
1,5 - 0,5 für SF        7
1,0 - 1,0 (2 remis)    10
1,0 - 1,0 (je 1 Sieg)   2
0,5 - 1,5 für K         1
0,0 - 2,0 für K         0

Ich finde nicht, dass das "je 1 Sieg"-Ereignis übertrieben häufig vorkam.

Benno

By Tom Paul Date 2014-05-27 12:28

Schaut euch mal Partie 46 an Komodo vs Stockfish.
Sieht nach 0-1 aus.
Schaut euch mal Zug Nr. 17 Db6 an Stockfish sieht sich mit -0.40 in Vorteil.

Was ich jetzt gar nicht nachvollziehen kann ist die Bewertung von Stockfish -0.40, wenn ihr einnen Blick in die PV werft, dann seht ihr MATT IN 1!!!
Ke2 d1D Matt.
Habe das eben mit meinem Rechner überprüft.

Kann mir das einer erklären?

By Benno Hartwig Date 2014-05-27 14:04

> Kann mir das einer erklären?

Ne, kann ich nicht.
Eine schachbietende Bauernumwandlung muss SF doch eindeutig als nicht-ruhigen Zug einstufen, und die Ruhesuche muss diese Stellung dann so bewerten, wie sie ist.
Erstaunlich.

Ich vermute mal frech, dass die Aussagekraft einer Hauptvariante nicht immer so sehr gut ist.
Vielleicht gibt es Situationen, in denen die Pflege der HV nicht so einfach ist, und dann wird eben 'irgendein' Schluss präsentiert.

Benno

By Tom Paul Date 2014-05-27 14:25

Ich frage mich ernsthaft, was passiert wäre, wenn Stockfish nur einen Zug tiefer rechnen könnte.
Hätte er dann -0.40 angezeigt oder Matt in 0?
Deshalb sage ich ja, dass Stockfish auch mal einfach in die Endstellung seiner PV springen soll um zu schauen wie die Sache nun wirklich aussieht.

By Benno Hartwig Date 2014-05-27 15:18

Tom Paul schrieb:

Er sollte das Matt erkennen. Vermutlich hätten wir eine andere HV erhalten, weil der Gegner halt irgendwann anders abgebogen wäre.
Und wenn SF das Matt erkannt hätte und der Gegner hätte nirgends eine andere Möglichkeit gehabt, dann hätten wir eben ein "Matt in15" oder so erhalten, eben weil dieses "matt in 0(?)" nach 15 Zügen erzwingbar gewesen wäre.

SF sollte nicht irgendwo hinspringen. Er muss aber die Ruhesuche anständig durchführen. Und ein bauernumwandelnder, schachbietender Zug ist auch in den Augen der SF-Entwickler sicher kein ruhiger Zug, der hier irgnoriert werden darf.

Hätte SF aber wirklich einen solchen Bug in der Ruhesuche, wäre das SF-Spiel sicher katastrophal.
Darum vermute ich eher: Da steckt ein Bug in der Pflege der HV. Und weil deren Anzeige nur eine Serviceleistung für den Anwender ist, wirkt sich das nicht negativ aus. Ein 'minor Bug'.

Benno

By Tom Paul Date 2014-05-27 19:37

Tja. das Matt nicht gesehen, Stellung falsch bewertet, selbst von der HV abgewichen und das Ergebnis ist: Remis.
Dafür hat Stockfish die nächste Partie gewonnen.

 N Engine           Rtng  Pts  Gm     SB St            Ko           

 1 Stockfish 170514 3164 27.5  47 536.25 ············· + 11 = 33 - 3
 2 Komodo 7x        3155 19.5  47 536.25 + 3 = 33 - 11 ·············

http://stockfishchess.org/get-involved/

By Benno Hartwig Date 2014-05-27 22:05

> Tja. das Matt nicht gesehen, Stellung falsch bewertet, selbst von der HV abgewichen und das Ergebnis ist: Remis.

Wenn meine Vermutung stimmt, dann wurde nur(!) die HV nicht richtig angezeigt.
Bewertet hat SF dann alles gemäß seiner Logik richtig, und dies ohne so große Fehler, wie er hier zunächst aufgetreten zu sein schien.
Benno.

By Andreas Aicher Date 2014-05-30 13:21

Da lagst Du dann wohl richtig !
Ich hatte geglaubt, es würde knäpper werden.
Trotzdem bin ich aber von Komodo nicht enttäuscht, die letzte Partie hat mir sehr gut gefallen, auch sonst scheint es voranzugehen mit Komodo, das ist sehr erfreulich.
Aber irgendwie zeigt sich, auch wenn man das TCEC nicht überbewerten darf, das Ergebnis dieses Turnier wieder schlüssig zu anderen Ergebnissen, v.a. bei längeren Bedenkzeiten deckt.
Es gibt zwar eine hohe, ich glaube man nennt das Error marge, bin da nicht firm? gibt, aber in diesem Fall ob durch Zufall? es recht gut mit den Erwartungen übereinstimmt.

Andreas

By Benno Hartwig Date 2014-05-30 14:07

> Aber irgendwie zeigt sich, auch wenn man das TCEC nicht überbewerten darf,

'Überbewerten' ist immer schlecht.

Unterbewerten aber auch.

Aber die Aussagekraft bei TCEC ist immerhin schon um einiges(!) höher als die der althergebrachten Computerschach-WMs.
Aber ein Wettbewerb eben. Immerhin diesmal mit einem Sieger, der dank der Deutlichkeit seines Sieges schon ziemlich überzeugen konnte!

Benno

By Andreas Aicher Date 2014-05-30 15:46

nun ja, ich bin der letzte, der das TCEC unterbewertet, ein Turnier mit diesen speziellen Bedingungen, immerhin 64 Partien im Finale, was will man mehr, es ist doch keine Rangliste!
Auch wenn immer wieder darauf hingewiesen wird, dass solch ein Turnier statistisch keine Aussagekraft besitzt, zeigt sich doch immer wieder, dass die besten drei sich immer durchsetzen und die besten ins Finale kommen, dass bestätigt die Turniere von Clemens Keck, der ja unter ähnlichen Bedingungen seine Turniere spielt.
So falsch können dann die Elozahlen, die beim TCEC errechnet werden, dann auch nicht sein, ob jetzt Zufall (glaube ich nicht) oder nicht.
Ein statistisches Gesetz, das besagt, egal welche Bedenkzeit gespielt wird, am Ende zählt nur die blanke Zahl der gespielten Partien, auch wenn nur auf einem Core gespielt, soweit geht meine Statistikgläubigkeit dann doch nicht.
Man sieht doch, dass bei einem Quad mit 15+3 was anderes herauskommt, als bei einem Core 5+3, man braucht doch nur die Zahlen vergleichen, dass habe ich getan.
Ich glaube es ist nicht alles so klar, wie es scheint.

Andreas

By Benno Hartwig Date 2014-05-30 19:56

> Man sieht doch, dass bei einem Quad mit 15+3 was anderes herauskommt, als bei einem Core 5+3, man braucht doch nur die Zahlen vergleichen, dass habe ich getan.

Wie sonderlich anders sah die Welt denn da aus?
Effektiv mag das ungefähr einer 6-fachen Zeit entsprechen, und es mögen sich eben die Parallelisierungsleistungen der Engines auswirken.
Und was waren dabei so bedeutsame Unterschiede?
Abgesehen davon, dass bei langen Zeiten generell die Remisen etwas häufiger und die Abstände etwas kleiner werden.

Dies müssten sich dann übrigens ja auch bei "CEGT 40/4 1 Kern" und "40/20 4 Kerne" finden lassen.

Benno

By Andreas Aicher Date 2014-05-30 20:32

also Du legst einen immer Worte in den Mund, sonderlich ?
Bedeutsame Unterschiede, ich glaube Du meinst jetzt nicht mich, derartige Begriffe habe ich nicht mal gedacht

Aber Du hast schon recht, das ist eine sonderbare Diskussion, ich habe es mehr mit der Geisteswissenschaft, nicht so sehr mit Mathematik oder Statistik

Andreas

By Benno Hartwig Date 2014-05-30 21:35

> also Du legst einen immer Worte in den Mund, sonderlich ?

Ja?
Ich hatte dein
"Man sieht doch, dass bei einem Quad mit 15+3 was anderes herauskommt, als bei einem Core 5+3"
so verstanden, als hättest du bemerkenswerte Unterschiede erkannt.
Darum meine Nachfrage.

Benno

By ? Date 2014-05-30 21:45

nunja, die Abstände (Elo) und auch die Reihenfolge ist eine andere,
Beispielsweise ist die Erfolgsquote Stockfisch (Mai) gegen Houdini eine andere, bei 15+3 Quad über 60 % (nicht mehr Remis, mehr Stockfishsiege, tendenziell eher weniger Remispartien) während bei 5+3 Partien die Erfolgsquote im 50er Bereich liegt.
Das sind Durchschnittswerte, da eben nicht nur ein Tester.
Ich mache mir jetzt aber nicht die Mühe Quellen anzugeben, das kann jeder sehr leicht (zeitaufwendig ist es schon) selbst herausfinden.
Das ganze hat jetzt eben nichts mit Statistik zu tun und übrigens bekommt das ganze wieder eine Richtung, die ich nicht wollte.
Ich weiss jetzt wirklich nicht, ob man das immer alles statistisch untersuchen muss, einen Lehrstuhl für Computerschachstatistik gibt es ja zum Glück noch nicht

schöne nicht statistische Grüsse
Andreas

By Benno Hartwig Date 2014-05-31 06:17

> Ich mache mir jetzt aber nicht die Mühe Quellen anzugeben

Vielleicht kannst du aber doch die Quelle angeben, wo du deine 60%- und 50%-Werte her hast.
Ich (wie wohl viele) haben den Blick auf diverse Listen (besonders auch CEGT und CCRL).
Und solch eine Effekt ist mir generell nicht aufgefallen.

> tendenziell eher weniger Remispartien

bei längeren Zeiten!?! Das klingt für mich superüberraschend. Und ich würde auch da wirklich gern die Quelle kennen und selbst nachlesen.
Das Remisen seltener werden bei längeren Zeiten, widerspräche aller Erfahrung, z.B. durch CEGT und CCRL!
Und dass 4-Kerne diesen Einfluss hätten, wäre IMHO auch sehr neu, ebenfalls sehr überraschend und verdiente genauer angesehen zu werden.
Waren die Gegnerschaften eigentlich wirklich vergleichbar?

Benno

By Andreas Aicher Date 2014-05-31 10:37

das hatten wir doch schon, kein CEGT und CCRL, da ist ja nur DD getestet worden, ich hatte doch schon, Links und so abgegeben, hast Du wohl vergessen, dass mit mehr Bedenkzeit ist doch nicht neu.
Aber schau halt mal aufs Round Robin von Stefan Pohl, da sinds über 60 % gegen Houdini 4, Quad 15+3 und wenn Du das mit Stefans anderen Test vergleichst da sinds dann zB 50+, weitere Ergebnisse dieser Art findest Du auch leicht.
Ist doch wirklich nicht überraschend neu, es werden doch ständig Zweikämpfe der beiden Engines ausgetragen.
Aber jetzt gibts ja Stockfish 5, Gewinner des TCEC.
Andreas

By Benno Hartwig Date 2014-05-31 11:51

Stimmt.
bei den Kurzen Zeiten finde ich gegen Gull, Houdini und den alten Komodo 56% Erfolg
und bei den längeren 61%
Bei längeren Zeiten hätte ich tatsächlich eher weniger Erfolg erwartet.
5% Unterschied sind schon was, da stimme ich dir zu.
Mal sehen, ob sich dieses Bild bestätigt, wenn mal mehr als 516 Partien gespielt wurden.

Benno

Komodo gewinnt 40,5 - 23,5 oder höher	0	0%
24,5 - 39,5 oder 24,0 - 40,0	0	0%
25,5 - 38,5 oder 25,0 - 39,0	0	0%
26,5 - 37,5 oder 26,0 - 38,0	0	0%
27,5 - 36,5 oder 27,0 - 37,0	2	9%
28,5 - 35,5 oder 28,0 - 36,0	0	0%
29,5 - 34,5 oder 29,0 - 35,0	1	4%
30,5 - 33,5 oder 30,0 - 34,0	1	4%
31,5 - 32,5 oder 31,0 - 33,0	1	4%
32,0 - 32,0	2	9%
32,5 - 31,5 oder 33,0 - 31,0	3	13%
33,5 - 30,5 oder 34,0 - 30,0	5	22%
34,5 - 29,5 oder 35,0 - 29,0	3	13%
35,5 - 28,5 oder 36,0 - 28,0	2	9%
36,5 - 27,5 oder 37,0 - 27,0	0	0%
37,5 - 26,5 oder 38,0 - 26,0	2	9%
38,5 - 25,5 oder 39,0 - 25,0	0	0%
39,5 - 24,5 oder 40,0 - 24,0	0	0%
Stockfish gewinnt 40,5 - 23,5 oder höher	1	4%