TCEC, Season 7, Superfinale, 1-0, 0-1

By Hauke Lutz Date 2014-12-22 09:06

Ich finde es hier interessant, dass Stockfish nur Eröffnungsvorgaben gegen Komodo gewinnen konnte, welche Komodo selbst gegen Stockfish gewinnen konnte, obwohl die Evals meiner Beobachtung nach doch sehr ausgeglichen waren.

Der Zwischenstand nach 32 Partien: 17 zu 15 für Komodo.

By Tom Paul Date 2014-12-22 19:22

K vs S 1-0
http://tcec.chessdom.com/archive.php?se=7&sf&ga=26
Komodo ist auch ein Profi darin gegen isolierte Bauern zu spielen, in der Partie gegen e7 später e5.
Und man sieht auch, dass es sehr darauf ankommt welcher Spieler womit und wie gut umgehen kann, hier ist Komodo mit dem Springerpaar besser als Stockfish mit dem Läuferpaar.

By Thomas Müller Date 2014-12-22 19:44

diese eröffnungsvorgabe hat aber SF auch gewonnen.
http://tcec.chessdom.com/archive.php?se=7&sf&ga=25

Es gab bisher "nur" 2 eröffnungen bei denen K 1,5 pkt holte.
Alles andere remis.
Einzig daraus resultiert der aktuelle vorsprung.

By Benno Hartwig Date 2014-12-22 21:00 Edited 2014-12-22 21:07

> Einzig daraus resultiert der aktuelle vorsprung.

Richtig.
Die remis-Quote ist 82%.
Wir haben nur 6 nicht-remis-Partien. Die konnte K aber immerhin 4 zu 2 für sich entscheiden.
Einerseits sind K und SF ungefähr gleich stark (es steht lediglich 18.0 zu 16.0)
Andererseits scheint es mir, als ob es SF doch deutlich schwerer fällt als K, tatsächlich einen Sieg herbeizuführen. Oder führt solch eine Interpretation doch in die Irre?

Hypothetische Frage:
Angenommen die Remis-Wahrscheinlichkeit zwischen A und B ist 98%, und mit 2% gewinnt A gegen B, die Gewinnchanc von B sei 0%
Die Ausbeute wird auf Dauer nur 51% sein ("das ist ein knapper Vorsprung!")
andererseits ist A irgendwie eindeutig besser, und B hat keinerlei Gewinnchance.
Ist A dann nur "ein klein wenig" oder "eindeutig!!" besser?

Benno

By Ingo B. Date 2014-12-22 21:20

Benno Hartwig schrieb:

...
Hypothetische Frage:
Angenommen die Remis-Wahrscheinlichkeit zwischen A und B ist 98%, und mit 2% gewinnt A gegen B, die Gewinnchanc von B sei 0%
Die Ausbeute wird auf Dauer nur 51% sein ("das ist ein knapper Vorsprung!")
andererseits ist A irgendwie eindeutig besser, und B hat keinerlei Gewinnchance.
Ist A dann nur "ein klein wenig" oder "eindeutig!!" besser?

Nun ja, es kommt darauf an wie du zu den 51% gelangt bist. Der Weg ist das Ziel

Wenn du selber 100 Partien gespielt hast und eine Engine hat 51% geholt, scheint mir die Aussage eine Engine sei "ein klein wenig" besser schon gewagt. Wenn dir ein brennenden Dornenbusch erschienen ist und dir eine donnernende Stimme die 51% als ewige Wahrheit verkündet hat, dann dürfte das "eindeutig" sein. (... und mit "eindeutig" meine ich dann die 51 UND deinen Geisteszustand!

)

Gruß
Ingo

By Michael Scheidl Date 2014-12-22 21:27

Zitat:

Andererseits scheint es mir, als ob es SF doch deutlich schwerer fällt als K, tatsächlich einen Sieg herbeizuführen.

Vielleicht hat es mit dem größeren Zugewinn Komodos von 8 auf 16 Cores zu tun: Bei G.Banks hat Stockfish 191214 gegen K 1333 ein 8 Core-Match (40/29m und mit 5er-Syz.) mit 15:11 bzw. nach Siegen mit 6:2 gewonnen:

http://talkchess.com/forum/viewtopic.php?t=54705&postdays=0&postorder=asc&topic_view=&start=30

Doch es sind in beiden Fällen nur so wenige Partien, daß wir selbst für vage Vermutungen kaum eine Basis haben, was die genaue Spielstärkerelation unter solchen Bedingungen betrifft. Ein deutlicher Sieg Komodos im Superfinale, also z.B. mit +5, würde mich überraschen. Wir werden wieder nichts genaues wissen

außer das konkrete Resultat halt.

By Tom Paul Date 2014-12-22 22:21

Michael Scheidl schrieb:

Vielleicht hat es mit dem größeren Zugewinn Komodos von 8 auf 16 Cores zu tun

Es hat damit zu tun!

By Hauke Lutz Date 2014-12-22 23:06

So groß kann die Wahrscheinlichkeit bei der Anzahl berechneter Knoten eig. nicht sein.
Komodo ist momentan halt dank SMP bei 16+ Kernen und viel BZ das Maß der Dinge, aber dass das SMP von Stockfish im Vergleich zu Komodo schon fast ein Grund zum Weinen ist, ist ja nicht erst seit gestern bekannt.

By Benno Hartwig Date 2014-12-23 00:50 Edited 2014-12-23 00:54

http://www.fastgm.de/threads4.html
gibt schöne Hinweise:

   1 Kerne: SF5 hat 20 ELO mehr als K8 (hier wäre eher ein Wert >32 zu erwarten gewesen)
   2 Kerne: SF5 hat 32 ELO mehr als K8
   4 Kerne: SF5 hat 20 ELO mehr als K8
   8 Kerne: SF5 hat  6 ELO mehr als K8
  16 Kerne: SF5 hat 34 ELO weniger als K8

(jeweils immerhin 3000 Partien)

Benno

By Hauke Lutz Date 2014-12-23 00:53

Das Stockfish im Finale die 50% Score nicht halten kann, wenn Komodo mit SMP 40 Elo gut macht ist dann nicht wirklich überraschend.

By Tom Paul Date 2014-12-23 07:51

Stockfishs SMP ist einfach unglaublich schlecht und müsste einmal vollständig von 1 bis 32 Kerne überarbeitet werden!

By Benno Hartwig Date 2014-12-24 14:00

Dann passt SF ja zu Anand, der in den Augen mancher "Kenner" ja auch so unglaublich schlecht Schach spielt.

Benno

By Benno Hartwig Date 2014-12-23 00:42

> Ein deutlicher Sieg Komodos im Superfinale, also z.B. mit +5, würde mich überraschen.

Jetzt nach dem halben Finale hat K ein +2.
Darauf aufbauend im Moment ein +4 für den Ausgang zu prognostizieren, wäre wohl naheliegend.
Und da läge ein +5 dann auch nicht fern.

Oder meinst du, das +2 im Moment ist deutlicher als es den Spielstärken entspricht?

Benno

By Michael Scheidl Date 2014-12-23 01:31

Zitat:

Oder meinst du, das +2 im Moment ist deutlicher als es den Spielstärken entspricht?

Wirklich schwer zu sagen... aus dem aktuellen Zwischenresultat kann ich nur ableiten, daß sie unter TCEC-Bedingungen sozusagen für alle praktischen Zwecke als gleich stark betrachtet werden können. Es sind jetzt knapp 83% der Partien remis ausgegangen und ich denke, die zweite Matchhälfte wird sich nicht gewaltig von der ersten unterscheiden. Irgendwann muß eine Eröffnung kommen aus der Stockfish 1,5/2 holt, und dann ist es vielleicht noch knapper.

Stilistische Unterschiede und etwaige (kleine) bei Stärken und Schwächen scheinen keine Rolle zu spielen bzw. einander aufzuheben. - Aber nur bei TCEC. Auf Singlecore-Blitz andererseits hatte schon SF5 auf mehreren, obzwar nicht allen Listen die Nase knapp vorne...

Wie soll man bei so einer Faktenlage eine klare Meinung fassen?

Also eine "einzige, allgemein und insgesamt klar stärkste" Engine wird bis auf weiteres nicht zu beweisen sein. Bis dahin lebe ich mit der furchtbaren Ungewißheit

By Benno Hartwig Date 2014-12-23 06:39

> Also eine "einzige, allgemein und insgesamt klar stärkste" Engine wird bis auf weiteres nicht zu beweisen sein

Gibt es wohl auch nicht.
Nach meinem Eindruck ist im Menschenschach der Titel bei Turnierbedingungen der wichtigste.
Rapid- oder Blitz-Weltmeister zu sein ist sicher auch schön, aber "der Schachweltmeister" ist der bei ca. 3min/Zug.

Wie ist das deiner Meinung nach im Computerschach, mit Blick auf die Zeitvorgabe und die Mächtigkeit der Hardware?

Benno

By Andreas Aicher Date 2014-12-23 08:48

Auch für mich ist der Titel bei "Turnierbedingungen" der wichtiigste.
Bleibt jedoch zu bedenken, dass ich selbst nur einen 4 Core IMac habe und da liegt Stockfish wohl knapp vorne, auch bei Turnierbedingungen.
Dass jetzt Komodo mit mehr Cores das Mass aller Dinge ist, bringt ist für mich kein wirklicher Vorteil

Andreas

By Tom Paul Date 2014-12-23 09:48

Bald werden 8 Kerne standard sein und dann wird es auch einige wenige Menschen geben die 64 Kerne benutzen werden.

Komodos Siege hatten alle etwas mit Bauern + dazu passendes Spiel zu tun gehabt.
Z.B. Freibauer, Sargnagel Bauer, Bauer in gegnerischer Bauernstruktur im Zentrum der Felder mehreren Figuren wegnimmt, spiel gegen gegnerischen Isolani. Und all dies verstand Komodo etwas besser.

By Benno Hartwig Date 2014-12-23 21:24

> Dass jetzt Komodo mit mehr Cores das Mass aller Dinge ist, bringt ist für mich kein wirklicher Vorteil

Für mich selbst sicher auch nicht.
Trotzdem ist für mich die Engine die Größte, die sich bei diesen besonders starken Ressourcen durchsetzen kann.
Ich wurde damals auch nicht neidisch, als die Cray den Weltmeister stellte.

Benno

By Tom Paul Date 2014-12-23 11:15

Wir haben Glück, dass ohne TB gespielt wird.
Das gibt auf diesem Niveau 10-15% weniger Remis.

By Frank Brenner Date 2014-12-23 17:28

>Hypothetische Frage:

Angenommen die Remis-Wahrscheinlichkeit zwischen A und B ist 98%, und mit 2% gewinnt A gegen B, die Gewinnchanc von B sei 0%
Die Ausbeute wird auf Dauer nur 51% sein ("das ist ein knapper Vorsprung!")
andererseits ist A irgendwie eindeutig besser, und B hat keinerlei Gewinnchance.
Ist A dann nur "ein klein wenig" oder "eindeutig!!" besser?

Bitte denke einmal sehr scharf nach.

Das wäre das ende vom Schachspiel, denn A spielt dann perfekt wie eine Endspieldatenbank.

So ähnlich wie bei Tic-Tac Toe: Ich verliere zu 0%gegen einen durchschnittlichen 10 Jährigen, aber möglicherweise würde ich in sehr wenigen fällen gewinnen.

Der Spielstärkeunterschied zwischen A und B interessiert dann niemanden.

By Benno Hartwig Date 2014-12-23 20:47 Edited 2014-12-23 21:32

> Bitte denke einmal sehr scharf nach.
> Das wäre das ende vom Schachspiel, denn A spielt dann perfekt wie eine Endspieldatenbank.

Mag ja sein.
Um diese Feststellung ging es mir aber nicht.
Ich frage mich, ob solch eine Situation, wo A nur eine Quote sehr knapp über 50% hat,
und gleichzeitig B überhaupt keine Gewinnchance hat
eher als "sehr knapper" oder als "eindeutiger" Vorsprung bezeichnet werden sollte.

Das war nur Theorie, OK.
Real könnte eine Situation sein, mit Wahrscheinlichkeiten
Gewinn 8%, remis 90%, Verlust 2%
"knapp" oder "eindeutig"?

Benno

PS:
Im TCEC-Finale deuten sich aus Komodo-Sicht im Moment folgende Wahrscheinlichkeiten an:
Gewinn 12,5%, remis 82,5%, Verlust 5%
Wäre Komodo damit eher "knapp" oder "eindeutig" stärker als Stockfish?

By Frank Brenner Date 2014-12-23 23:53

>Real könnte eine Situation sein, mit Wahrscheinlichkeiten

Gewinn 8%, remis 90%, Verlust 2%
"knapp" oder "eindeutig"?

Wenn nach 1 Mio Spielen so eine Verteilung rauskommt ist im Ergebnis die eine Engine eindeutig stärker als die andere, aber der unterschied ist nur knapp.

Bei dem aktuellen TCEC führt Komodo knapp. Ich freue mich denn es ist ein Hinweis, dass Komodo mehr Fortschtitte erzielt hat als stockfish von dem wir wissen dass seit dem letzten Release einige Fortschritte erzielt wurden.

Die vielen Remise wirken aber wie Betäubungsmittel auf meine Motivation fürs Computerschach.

Ich frage mich wie Komodo spielen würde es nochmal oben drauf 1000 fache Bedenkzeit erhält. Würde Komodo dann 90% gewinnen oder nur ein wenig mehr zb 60% ?

By Hauke Lutz Date 2014-12-24 00:54

Die Frage ist schon interessant, aber ich fürchte an mehr als 480+120 ist nicht zu denken, wenn man mehr als eine Partie zur Bewertung heranziehen möchte.
Das sind gerade mal ca. 10 Partien pro Woche und 16 Intel-Kerne.
Hier fürchte ich leider, dass kein interessierter genug HW hat um so ein Experiment zeitnahe abschließen zu können, wobei ich denke, dass Komodo hier im direkten Vergleich nochmal ca. 20-30 Elo im Vergleich zum offiziellen TCEC hinzugewinnen kann.

By Ralf Mueller Date 2014-12-24 11:13

Die Engine ist eindeutig knapp stärker.

By Benno Hartwig Date 2014-12-24 13:34

> Die Engine ist eindeutig knapp stärker.

Damit hast du (habt ihr) wohl recht,
auch wenn ich vorher irgendwie dachte, dass sich "eindeutig" und "knapp" irgendwie widersprechen könnten.
Möglicherweise umschreibt diese Formulierung aber tatsächlich recht gut die Situation, die K und SF bei reichlich Ressourcen zeigen.

Benno

By Horst Sikorsky Date 2014-12-24 15:48

ist es ein Nachteil für Stockfish, als erster mit Weiß zu Spielen?
kann Komodo daraus Lernen?
Horst

By Tom Paul Date 2014-12-24 20:36

Nein.

Aber was auffällig ist:
Am Anfang jeder Partie hat Komodo ~ -10% weniger Speed.
Nach nur ~4-8 weiteren Halbzügen hat Komodo bis zum Ende der Partie ~ +10% mehr Speed als Stockfish.
Das macht satte 20% Zuwachs!

By Ludwig Buergin Date 2014-12-24 21:39

Hallo Horst

Eine interessante und überlegenswerte Frage. Dass Eröffnungsbücher sich durch die Ergebnisse verändern hat sicherlich jeder Computerschächer schon bemerkt.
Ob Engines aus gemachten Erfahrungen etwas dazulernen, ist ein schwieriges Thema.Es wäre sicherlich zu überlegen,ob Martin nicht nach 2 Spiele die Programme wechselseitig anfangen lassen sollte.?

Gruß Ludwig

By Tom Paul Date 2014-12-24 16:30

K vs S 1-0
http://tcec.chessdom.com/archive.php?se=7&sf&ga=40
11.exd5 und wieder einmal hat Komodo einen Freibauern im Zentrum der später zwangsläufig auf d6 steht und die Partie ist vorbei.
Der Fish mit total falscher Eval. und Suche.

By Kurt Utzinger Date 2014-12-24 18:00

Tom Paul schrieb:

K vs S 1-0
<a class='ura' href='http://tcec.chessdom.com/archive.php?se=7&sf&ga=40'>http://tcec.chessdom.com/archive.php?se=7&sf&ga=40</a>
11.exd5 und wieder einmal hat Komodo einen Freibauern im Zentrum der später zwangsläufig auf d6 steht und die Partie ist vorbei.
Der Fish mit total falscher Eval. und Suche.

Stimmt, ein absolut tödlicher Freibauer, der das schwarze Spiel ganz enorm hemmt.
Kurt

By Tom Paul Date 2014-12-28 10:52

K vs S 1-0
10.e5
http://tcec.chessdom.com/archive.php?se=7&sf&ga=60

K vs S 1-0
19.cxd4 - siehe Komodos PV, die Freibauern im Zentrum.
Siehe auch Stockfishs PV, der Ahnungslose.
http://tcec.chessdom.com/archive.php?se=7&sf&ga=64

Der Fish wurde 7x so richtig auseinander genommen.

By Hauke Lutz Date 2014-12-25 16:00

Hat er nicht geschafft. Sind also nur noch 2 Punkte Vorsprung.

By Gysi Date 2014-12-25 18:09

Endlich eine Eröffnung, aus der Stockfish mehr machen konnte als Komodo. Angesichts der Remisquote kann ich mir nicht vorstellen, dass es nochmal spannend wird, lasse mich aber gern eines Besseren belehren.

By Andreas Aicher Date 2014-12-25 18:31

vor allem nur Weiss-Siege bisher, was auch für die Ausgeglichenheit der beiden Engines spricht, es sieht aber eher nach einem "relativ" ungefährdetetn Sieg von Komodo aus.
Ich hoffe es wird noch etwas spannender, vielleicht wird es erst mit der letzten Partie entschieden.

Andreas

By Benno Hartwig Date 2014-12-25 19:19

Als manchmal sensationsgeiler Typ hätte ich es ja auch spannend gefunden, wenn es in den Tiebreak gegangen wäre.
Aber noch ist ja auch alles (prinzipiell) drin.
Benno

By Andreas Aicher Date 2014-12-25 21:03

ich könnte mir vorstellen, dass Stockfish noch einen Punkt aufholen könnte, zwei eher nicht, aber wenn doch, Sensation wäre es keine.
Wenn es so bleibt, sehe ich trotzdem, auch bei dieser BZ keine klare Nummer Eins Engine, da waren zu viele Remis und insgesamt zu wenige Partien, es könnte auch an den Erföffnungsvorgaben gelegen haben.
Trotzdem ist der Sieg, so es denn so bleiben sollte, hoch verdient.
Ich bin froh, beide Engines für meine Analysen einsetzen zu können, bin da völlig neutral.
Im Prinzip gefällt mir der eher "positionelle" Stil von Komodo (sowie das eingebaute Schachwissen) besser, als der eher "taktische" Stil von Stockfish, wenn man aber die Analysen und Engineausgaben der Engines, v. a. in den Remispartien ansieht, ist der Unterschied auf dieser Spielstufe doch eher gering.

Andreas

By Gysi Date 2014-12-26 14:53

Bums. Jetzt wird es doch nochmal spannend. Anscheinend war es Zufall, dass es am Anfang viele Eröffnungen gab, die Stockfish nicht liegen. Mal schauen, ob Komodo auch wieder verwerten kann oder ob Stockfish gar kurz vor Schluss ausgleicht. Schön knapp, das Ganze!

By Tom Paul Date 2014-12-26 15:56

Ein Ausgleich wäre perfekt.
Schade nur das Stockfish nicht so gut wie Komodo mit bestimmten Bauern/Stellungen umgehen kann, dann stünde es jetzt 4-0 für Stockfish.
Im Chat wurde ganz oft darauf hingewiesen. Nur leider kein einziges Wort dazu im Stockfish Forum oder auf talkchess, warum nur???

Ps. Wird es bald ein Update für die Schach Pro App (Chess Tiger) geben?
Alle anderen Anbieter haben in letzter Zeit ein Update herausgebracht.

By Andreas Aicher Date 2014-12-26 16:21 Upvotes 2

die beiden Engines sind so nah zusammen, dass der Ausgang eines solchen Matches sehr stark von den Eröffnungsvorgaben abhängt.
Ich glaube, je nach Vorgaben kann einmal diese Engine, einmal die andere vorne liegen, aber der Abstand wird immer sehr gering sein.
Wir haben momentan keine Nummer Eins Engine, sondern zwei gleichstarke Engines an der Spitze.

Andreas

By Tom Paul Date 2014-12-27 11:04

In Partie 60 zeigt Komodo dem Fish wie man richtig mit bestimmten Bauern in bestimmten Stellungen umgehen muss.
Nach 10.e5 war die Partie vorbei.!!!
Danach ging es für Stockfish langsam Bergab mal wieder mit falscher eval. 0.00 und jetzt steht der Fish mit über 1.00 schlechter.

Wann werden die ganzen Schwächen bei der Bauern/Stellungsbehandlung behoben?

By Tom Paul Date 2014-12-27 11:27

Wenn es um Bauern geht, egal welche Art von Bauer(n), dann spielt Stockfish oft wie ein FM und Komodo wie ein SGM.
Am Anfang / in der Eröffnung bewertet Stockfish ausgeglichen, dann kommt im Mittelspiel die Einsicht mit einer Bewertung von etwas über 1.00 schlechter und dann im Endspielt der Verlust.

By Ludwig Buergin Date 2014-12-27 12:31

Hallo Tom

bis zu 10.e5 hat Stockfish ja nur einen eigenen selbst errechneten Zug gemacht.?

Eine weitere Frage. Wieso hat Komodo bei Speed vergleichsweise eine so hohe Bewertung.?

Gruß Ludwig

By Peter Martan Date 2014-12-27 12:44

Was meinst du mit Speed, Ludwig?

By Tom Paul Date 2014-12-27 12:51

TCEC Graphen.

By Peter Martan Date 2014-12-27 12:56 Edited 2014-12-27 12:58

Aha, dann verstehe ich die Frage aber erst recht nicht. Das sind doch nur kN/s, die da angezeigt werden, oder? Und da hat doch jede engine ihre eigene Zählweise, nein?

By Tom Paul Date 2014-12-27 13:21

Kann aber auch gleich sein oder sehr identisch.
Am Anfang hat Komodo 10% weniger Speed, dann kurze Zeit später 10% mehr bis zum Ende der Partie. Manchmal aber auch satte 40-50% mehr bis zum Ende der Partie.

By Ludwig Buergin Date 2014-12-27 14:49

Hallo Peter und Tom

die Sache ist für mich nicht so wichtig. Wollte halt nur mal Meinungen dazu erfahren.Dieser überhöhte Speet von Komodo passt so gar nicht in das momentane Verhältnis zwischen den beiden Engines.Normalerweise zeigt Stockfish auch beim Speet leicht höhere Werte.

Gruß Ludwig

By Tom Paul Date 2014-12-27 15:14

Normalerweise wird auch nur mit kurzer Bedenkzeit gespielt und wenig oder nur einem Kern.
...