TCEC/S8-Superfinale ab 3. November 2015!

By Michael Scheidl Date 2015-10-28 17:54

Komodo und Stockfish qualifizierten sich in Stufe 3 wie folgt:

N Engine           Rtng  Pts  Gm     SB Ko     St     Gu     Ho     Ha     Pr    

 1 Komodo 1501.01   3222 20.5  30 275.25 ······ ====== ===11= 0==1=1 1=11== 11=111
 2 Stockfish 070915 3224 18.5  30 256.00 ====== ······ 0===1= 111=1= 1=11=0 0==1=1
 3 Gull 3           3123 16.5  30 228.25 ===00= 1===0= ······ =1==== 1=1=== =110=1
 4 Houdini 4        3190 12.5  30 182.50 1==0=0 000=0= =0==== ······ ====11 10=0==
 5 Hannibal 071015  2991 11.0  30 164.25 0=00== 0=00=1 0=0=== ====00 ······ 1=====
 6 Protector R1091  3003 11.0  30 160.75 00=000 1==0=0 =001=0 01=1== 0===== ······

...wobei alle drei Niederlagen von Stockfish durch Zeitüberschreitung erfolgten, was vermutlich 2,0 (+/- x) Punkte kostete. Im direkten Duell während dieser Saison haben die beiden Favoriten alle acht Partien gegeneinander remisiert. Sofern das Zeitproblem behoben werden kann, ist somit der Finalausgang völlig offen. Beide Entwicklerteams werden brandneue Versionen aufbieten, um die Schachwelt mit dem stärksten Titelkampf aller Zeiten zu erfreuen!

http://www.chessdom.com/tcec-season-8-superfinal-the-strongest-chess-match-in-history/

Diese Ankündigung bestätigt noch nicht die 24 Xeon-Cores-Hardware, aber man kann davon ausgehen. Zudem werden im Unterschied zu Stufen 1...3 6-Steiner-Syzygys zur Verfügung stehen, und die Hashgröße wird auch größer sein als bisher.

Muß man sich Sorgen machen? Ich befürchte in erster Linie - die vergrösserte Bedenkzeit von dann 180m+30s in Betracht ziehend - viele dumme Endlospartien mit ungleichfarbigen Läufern, sowie eine sehr große Remisquote. - Hoffen wir daß uns die Gewinnpartien zwischendurch für die zu befürchtende Langeweile entschädigen!

Ich versuche eine sinnvolle Umfrage anzufügen.

By Benno Hartwig Date 2015-10-28 19:40 Edited 2015-10-28 19:45

180 min +30 sec bedeutet für mich gegenüber 120 min + 30 sec vor allem:
Die einzelne Partie dauert 2 Stunden länger.
Dass die Engines durchschnittlich vielleicht 1 Ply tiefer kommen, werde ich an den Partien nicht erkennen können.
Würde die Mehrberechnung nicht würdigen können.
Würdet ihr?

Andererseits glaube ich auch nicht, dass die Remisquote wegen der längeren Zeit wirklich spürbar steigt.
Wie groß wäre der Remisquotenunterschied zwischen 60sec-Partien und 90sec-Partien?

Aus meiner Sicht sollte die Zeit nicht über 120 min + 30 sec gehoben werden.

Benno

By Thomas Müller Date 2015-10-28 20:34

Mir auch zu lang!
Sogar mehr...ich finde es sogar langweilig.
Da fand ich stage 1&2 interessanter, da war einfach mehr spannung drin.
Und jetzt...hmmm...100 partien ?!?
Zwischen SF & K kann die remisquote von aktuell 100% auch nciht mehr steigen

gruß
thomas

By Tom Paul Date 2015-10-28 22:44

TB entweder 6 Steiner für fehlerfreie Endspiele oder besser ganz ohne TB, damit die Engines selbst zeigen können wie gut/schlecht sie sind.
Bis jetzt waren die 5 Steiner nur sinnlos.
Und wenn man schon die Bedenkzeit um 2 Stunden pro Partie erhöht, dann erst recht ohne TB.

Mal davon abgesehen sind 8 Züge Bücher super schlecht, weil die Eröffnungsphase einfach übersprungen wird.
Bsp. 1.d3 0.00 als Vorgabe, Stockfish ist mit weiß gegen Komodo auf Bauernfang gegangen und stand bereits nach 8 Zügen -1,50 schlechter.
Warum sollte sich jetzt Komodo mit einer 8 Züge ~0.00 Vorgabestellung im Mittelspiel abfinden, wo er doch in der Eröffnungsphase evtl.~ +400 ELO stärker ist???

Das Superfinale wird auch nur feststellen welche der beiden Engines besser im Mittelspiel ist und das war es auch schon.
Somit ist die spätere Aussage: Beste Engine der Welt ist ..., einfach falsch.

By Michael Scheidl Date 2015-10-28 23:02

Zitat:

Mir auch zu lang!

Mir ebenfalls. Es wird halt versucht sich an ein Maximum anzunähern, ohne gleich zu Fernschachbedenkzeiten zu greifen. Es ist wirklich ein gewisses Risiko für TCEC, denn meinem Eindruck nach sind die attraktiven Züge und Partien gegenüber den langweiligen (oder schlichtweg blödsinnigen) klar in der Unterzahl.

Je nach Stimmungslage kann man nun das Beste hoffen oder das Schlimmste erwarten.

By Jörg Oster Date 2015-10-28 23:25

Michael Scheidl schrieb:

Zitat:

Mir auch zu lang!

Ich hoffe darauf, dass der neue Stockfish-Lazy zeigen kann, was wirklich in ihm steckt.

Und falls nicht, kann man ja immer noch spannend darauf warten, ob er nun wieder mal auf Zeit verliert oder nicht.

(Natürlich nur ein Scherz)

By Dirk Triebel Date 2015-10-29 18:55

Hallo,

so scherzhaft finde ich das gar nicht. Warum verliert Stockfish eigentlich im Gegensatz zu Komodo ab und an auf Zeit? Mir ist das auf dem Server bei vielen Kernen auch schon aufgefallen, bei fast allen Versionen, dass Stockfish sich irgendwie ab und zu mal "aufhängt".

Gruß,
Dirk

By Benno Hartwig Date 2015-10-29 07:48

> Mir auch zu lang!

Wobei ich die Idee mit den sich steigernden Zeiten gar nicht schlecht finde:

Noch besser als die zwei Gruppen in der ersten (Qualifizierungs-)Stage fänd ich, wenn hier bei kürzeren Zeiten jeder gegen jeden antreten müsste.
Bei z.B 45 min + 20 sec oder auch üppigeren 60 min + 30 sec.

In der Stage 2 ginge es dann richtig los.
Ob man dann gleich mit 120 min + 30 sec startet, oder ob man den Teilnehmerkreis ggf. etwas größer wählt und hier 90 min + 30 sec nimmt, wäre dann wohl noch zu überlegen.

Doofe Idee?

Benno

By Tom Paul Date 2015-10-29 08:42

Man muss sich eher darüber Sorgen machen, dass Stockfish 10 Partien auf Zeit verlieren wird.

In einpaar Stunden ist Abgabetermin und die Tests im Framework sind in letzter Zeit alle durchgefallen, spätestens bei LTC.

Wenn das Stockfish Team noch etwas schaffen will, dann muss jetzt irgendjemand einpaar Amazon Rechner stiften, wenigstens für ein paar Stunden.

Notfalls könnte man zur Sicherheit diesen Test einfach als erfolgreich ansehen und den Code übernehmen:
28-10-15 II spare_inc diff
LLR: 1.51 (-2.94,2.94) [-3.00,1.00]
Total: 73082 W: 10753 L: 10782 D: 51547
sprt @ 60+0.4 th 1 This patch is doing well and will always leave (7500 - Tick) ms on Martin's machine.

By Ludwig Buergin Date 2015-10-29 09:28

Hallo Tom Paul

Spiele z.Z.mit Stockfish Timestamp:1445764545.

Spiele das Programm mit eigenem Buch, mit HT aber ohne TBs.Nach meiner Meinung die momentan beste Version von Stockfish.

Gruß Ludwig

By Michael Scheidl Date 2015-11-02 22:30

Der Start wurde leider, wenn ich richtig rechne, auf Freitag den 6.11. 19h verschoben.

Grund mir unbekannt.

By Michael Scheidl Date 2015-11-04 08:16

Zitat:

Ich versuche eine sinnvolle Umfrage anzufügen.

Die Wahlbeteiligung läßt sehr zu wünschen übrig! Schrumpfwurzen... die paar Votings erzielen keinerlei Signifikanz. Man meint eine gewisse Polarisierung zu erkennen: kaum jemand erwartet eine knappe Entscheidung.

100 Partien lassen keine realistische Wahrscheinlichkeit für ein Tiebreak übrig. Es wird knapp, aber die stärkere Engine sollte mit +5 oder besser abschließen wenn sie irgendwas beweisen will. Darunter ist alles bedeutungslos.

By ohne Worte Date 2015-11-06 20:26

1-0 Ko...-...ST

By Michael Scheidl Date 2015-11-14 12:20 Edited 2015-11-14 12:23

Ein Zwischenergebnis:

1 Komodo 9.3x      3223 18.5  35 305.25 ············ + 2 = 33 - 0
 2 Stockfish 021115 3224 16.5  35 305.25 + 0 = 33 - 2 ············

Endlospartien gab es bisher kaum. Nur 5 von 35 Partien waren über 70 Züge lang, davon nur eine über 100. D.h. von der Zugzahl her sind die Partien bisher vergleichsweise eher kurz.

Allerdings ist die Remiquote mit dzt. 94% noch höher als ich befürchtet habe. Im Finale der vorigen 7. Saison lag sie bei 83%. Es liegt nicht an den Eröffnungen allein, falls überhaupt. Alle drei Faktoren Software, Hardware und Bedenkzeit wurden gegenüber S7 verbessert bzw. vergrößert, was die Gegner eben wieder ein Stück der Unbesiegbarkeit näher gerückt hat...

By Tom Paul Date 2015-11-14 13:14

Aber zum Großteil liegt es eben doch an den Eröffnungen.
Und zum Teil tragen auch die Leute die unbedingt TB haben wollten eine Mitschuld.
Genauso wie die Leute für die eine Partie mindestens 24 Stunden andauern muss und wegen denen gab es jetzt die Erhöhung der Bedenkzeit.

PS. Mir war ja schon vorher klar das die Remisquote über 90% betragen wird, habe da mit ~95% gerechnet aber keiner wollte auf mich hören und jetzt habt ihr alle den Salat

By Tom Paul Date 2015-11-14 13:23

Und der TCEC Depth Graph zeigt immer noch nur bis Tiefe 100 an, obwohl beide Engines schon deutlich drüber sind.
Wann wird das Problem behoben???

By Hauke Lutz Date 2015-11-14 13:31

Wir wissen so langsam das du Allwissend bist...

By Dithyrambus Date 2015-11-14 14:21

Michael Scheidl schrieb:

[...], was die Gegner eben wieder ein Stück der Unbesiegbarkeit näher gerückt hat...

Das würde dann aber auch bedeuten, dass die grundstellung des schachspiels eine recht große remisbreite zu haben scheint, denn offenbar führen viele verschiedene eröffnungsvarianten zum remis.

By Tom Paul Date 2015-11-14 14:26

Dithyrambus schrieb:

Michael Scheidl schrieb:

[...], was die Gegner eben wieder ein Stück der Unbesiegbarkeit näher gerückt hat...

Das würde dann aber auch bedeuten, dass die grundstellung des schachspiels eine recht große remisbreite zu haben scheint, denn offenbar führen viele verschiedene eröffnungsvarianten zum remis.

Richtig.
Schön das du das inzwischen auch erkannt hast.

By Michael Scheidl Date 2015-11-14 16:32

Möglicherweise, aber dieses Finale taugt nicht zum Beweis. Es werden ja jeweils acht volle Züge vorgegeben, und da kann man stets zweifeln ob diese aus menschlicher Praxis stammenden Varianten korrekt, suboptimal oder gar fehlerhaft sind. Außerdem kann man ja nicht von perfektem Spiel im weiteren Verlauf ausgehen. Die Eröffnungen werden hier m.E. überschätzt.

Mittlerweile hat Stockfish die 36. Partie gewonnen

By Tom Paul Date 2015-10-30 09:13

Also Komodo vs Stockfish = 10 zu 6.
Das wundert mich auch nicht, dass Komodo Team ist viel flexibler.
Bsp. Stockfish Team:
1. Nur Active - 46 machines 283 cores 1.56M nps (440.31M total nps) 209 games/minute und das so kurz vor dem Superfinale / Abgabetermin.
2. 10 Tests im Framework, von denen haben nur zwei die Chance zu bestehen.
Anstatt nur diese zwei
http://tests.stockfishchess.org/tests/view/5630ddf20ebc5964d344627a
http://tests.stockfishchess.org/tests/view/563322340ebc59227df16bb3
im Moment laufen zu lassen, lässt man alle Tests laufen.
Im Endeffekt wird überhaupt kein Test mehr rechtzeitig in den Code übernommen.
-Diese Komiker.

Und dann kam noch ein Genie auf die Idee diesen Test:
30-10-15 SC quadratic_initiative_tu diff
331/100000 iterations
703/200000 games played
200000 @ 10+0.1 th 1 Fix base branch. Not my day, in any case.

200000!!! Partien jetzt laufen zu lassen.

Bei so einer Ineffizienz, darf man sich später nicht wundern.

By Frank Brenner Date 2015-10-30 12:51 Edited 2015-11-03 22:33

>Bei so einer Ineffizienz, darf man sich später nicht wundern. - Diese Komiker

[Satz gelöscht, So einen Kommentar kannst du Dir das nächste Mal gleich sparen.R. Richter]

Stockfish wird ständig weiterentwickelt. Es ist vollkommen egal ob für das tcec noch ein Patch noch dazukommt oder nicht. Die Entwickler scheren sich mit 100% Sicherheit NICHT um irgendwelche Abgabetermine für das Tcec.

Was kommt das kommt und was nicht das nicht.

By Robert Richter (Mod.) Date 2015-11-03 22:43

So meine Herren, ich habe mehrere Posts wegen Offtopic gelöscht. Ich bitte auch darum nicht gleich beleidigend zu werden... wir sind doch alle Erwachsen.

By Dithyrambus Date 2015-11-03 22:52

Hallo Robert,

kannst du mir bitte mal erklären, was an meinem beitrag bezüglich "warjanichtfürdichgedacht" beleidigend war?
Ein bisschen mehr differenzierung beim löschen halte ich für geboten.

Gruß
Horst

By Robert Richter (Mod.) Date 2015-11-03 23:10

Sowas diskutiere ich grundsätzlich nicht, und schon gar nicht öffentlich. Eine Begründung steht da.

By Dithyrambus Date 2015-11-03 23:44

Hallo Robert,

ich hätte dich besser per PN kontaktieren sollen.

Viele grüße
Horst

By Michael Scheidl Date 2015-11-03 23:14

Zitat:

...wir sind doch alle Erwachsen.

Was mich betrifft möchte ich das Urteil anderen überlassen

Nein, Spaß herbei, wenn es hier irgendein Theater gab habe ich es leider versäumt. Mangels des Finales das nach ursprünglicher Ankündigung schon laufen sollte, muß man sich ja anders vergnügen. Es wird noch soweit kommen daß wir zwecks Überbrückung selber Schach spielen müssen!

Habe heute auf Schach.de eine ungewertete Partie ohne den geringsten Einsatz von Intelligenz gewonnen, da mein Gegner in meiner (!) Zeitnot nervös wurde und Fehler gemacht hat. Überhaupt habe ich bei meinen (seltenen) Online-Blitzpartien in letzter Zeit den Eindruck, daß meine Siege in keinster Weise eigener Kreativität entspringen, sondern nur halbwegs solidem Spiel bis die Gegner Fehler machen. Das ist schöpferisch nicht befriedigend...

Falls das jemand auführlicher erörtern möchte, sollte ein hierfür ein neuer Thread eröffnet werden.

By Benno Hartwig Date 2015-11-04 15:39

> Es wird noch soweit kommen daß wir zwecks Überbrückung selber Schach spielen müssen!...

Eine interessante Alternative (für den, der sie noch nicht kennt) wäre auch:
https://www.youtube.com/watch?v=ollRQYJdg0U&list=PLgRtT_ZIXx106-dP5pWGye4QUJ8Rc0eiy
Benno

By Thomas Date 2015-11-04 18:42

Hallo Benno,

vielen Dank für den Link! Ich habe als Teeny das Buch gelesen - das ist so 35 Jahre her

und ich hätte nie gedacht, wie viel Spaß das heute bringen würde, das Buch nochmal vorgelesen zu bekommen.

Der Zweig konnte schon schreiben... wirklich fesselnd.

Nochmals vielen Dank. Du hast mir schöne Stunden beschert.

Gruß

By Benno Hartwig Date 2015-11-04 20:56

> Der Zweig konnte schon schreiben...

Ja, finde ich auch.
Auch seine Schilderungen historischer Begebenheiten (Byzanz, Magellan, Cicero...) lohnen wirklich! Dinge werden lebendig!
Auch wenn man im Einzelfall auch mal protestieren möchte.

Benno

By Ralf Mueller Date 2015-10-30 15:55

Zitat:

"TCEC Season 8 Superfinal – the strongest chess match in history!"
(Sicher nicht ohne Berechtigung so formuliert, aber irgendwie auch ganz schön reisserisch)

Vor allem, weil das im Grunde für jedes TCEC-Finale galt und gelten wird.

By sachista Date 2015-11-02 19:58

Benno Hartwig schrieb:

Ein [url]Poster [/url]für das bevorstehende Endspiel zum über-das-Bett-Hängen gibt es.

(Beginn am 3.11.2015)

Der Beginn verzögert sich bis (Stand jetzt)...

3 : 23 : 25 : 37
Day Hr Min Sec

...mit folgender Begründung:

Martin Thoresen (Operator)
Promises to us from the hosting company that they didn't keep.

By Tom Paul Date 2015-11-02 21:02

Und ausgerechnet heute stand im TCEC Chat, dass es bei Komodo gestern/heute eine super starke Verbesserung gibt.
Was für ein Zufall^^

Beide Teams sollten jetzt mit den Engines antreten müssen die sie bereits zuvor eingereicht haben!
Anstatt jetzt nochmal neue Versionen nachschicken zu lassen.
Ich behaupte jetzt mal, dass der neuere Komodo ~ +20 ELO drauflegt, während es jetzt bei Stockfish ~ +1 ELO sein sollte.

By Thomas Zipproth Date 2015-11-02 22:36

Tom Paul schrieb:

Ich behaupte jetzt mal, dass der neuere Komodo ~ +20 ELO drauflegt, während es jetzt bei Stockfish ~ +1 ELO sein sollte.

Pick bestmove from the deepest thread, LTC: Total: 7783 W: 1017 L: 876 D: 5890
New History Bonus Formula, LTC: Total: 21225 W: 3196 L: 3000 D: 15029

Sollte schon etwas mehr als 1 Elo sein?
Besonders der erste Patch ist sehr wichtig, Stockfish hat gelegentlich einfach nicht den besten Zug zur GUI geschickt, was aber sehr schwer zu entdecken war.

By Benno Hartwig Date 2015-11-02 23:05

> Stockfish hat gelegentlich einfach nicht den besten Zug zur GUI geschickt, was aber sehr schwer zu entdecken war

Wie meins du denn das?
Und woher weißt du das?

"Stockfisch bewertete ja Zug x besser, hat aber trotzdem y ausgeführt?"
Das würde ja schon sehr seltsam klingen!

Benno

By Thomas Zipproth Date 2015-11-03 00:54

Benno Hartwig schrieb:

Wie meins du denn das?
Und woher weißt du das?

Nun, ich weiss es aus dem Stockfish Entwickler Forum, in dem ich ja auch gelegentlich tätig bin.
Nachzulesen hier:
https://github.com/mbootsector/Stockfish/commit/5efa4599e794a0f0adcdf2b6abd89271beeb24a6

Und zur Bedeutung, ist leider nicht mit wenigen Worten zu erklären:

Das Problem ist erst mit der kürzlichen Änderung der Multithreading Implementation entstanden und tritt nur auf wenn mit mehr als einem Core gespielt wird.

In der ursprünglichen Implementation "YBW - Younger Brothers Wait" gab es einen Main Thread, der die anderen Threads kontrolliert hat und über alle Informationen verfügte.
Dieser hat dann auch den besten Zug zur GUI geschickt.

In der neuen Implementation "Lazy SMP" fangen alle Threads parallel an der Wurzel des Baumes mit der Suche an und sind quasi fast unabhängig, die Synchronisation erfolgt über den Hash Speicher.
In dieser Implementation ist nicht mehr sichergestellt, das immer der Main Thread über den aktuell besten Zug verfügt, sondern man muss alle Threads durchgehen, wer gerade die beste und tiefste Bewertung hat.
Das war die Änderung. Der Zug, der sonst zur GUI geschickt wird, ist deswegen nicht vollkommen falsch, aber gelegentlich halt nicht der aktuell am besten bewertete.

Thomas

By Benno Hartwig Date 2015-11-02 23:02

> Beide Teams sollten jetzt mit den Engines antreten müssen die sie bereits zuvor eingereicht haben!

Ich finde gut, dass alle Teams zu jeder Stage das Aktuellste und Beste auffahren dürfen, was sie haben.
Auch das macht den besonderen Reiz von TCEC aus!
Die Entwicklung lebt auch während des Events.

Und die Option, bei Problemen nicht nachzubessern, aber auf die letzte Version zurück zu gehen, fänd ich ganz gurndsätzlich auch sehr gut!

Benno

By Michael Scheidl Date 2015-11-02 23:22

Mein pessimistisches Unterbewusstsein signalisiert: Das wars: Kein Finale

Macht nichts; wir streben auf ein schönes Weihnachtsfest hin, und dann auf ein gutes Jahr 2016.

By Benno Hartwig Date 2015-11-03 09:19

> Mein pessimistisches Unterbewusstsein signalisiert: Das wars: Kein Finale

Hui, du bist aber wirklich pessimistisch!
Warum jetzt mitten in Season 8 das System getauscht werden sollte, habe ich aber auch nicht verstanden.
Auch das Finale hätte doch nun prima auf dem 20-Kern-System laufen können.
Und für Season 9 dann ggf. eine neue Planung.

Oder (wilde Mutmaßung!) wird ggf. doch befürchtet, dass die Probleme die manche Engines in dieser Season zeigten, auch doch eine Ursache im System haben???

Benno

Komodo gewinnt mit +3 oder mehr	6	19%
Komodo gewinnt mit +2	5	16%
Komodo gewinnt mit +1	2	6%
Tiebreak entscheidet - Komodo gewinnt	1	3%
Tiebreak entscheidet - Stockfish gewinnt	0	0%
Stockfish gewinnt mit +1	1	3%
Stockfish gewinnt mit +2	2	6%
Stockfish gewinnt mit +3 oder mehr	6	19%
Es ist mir egal, aber ich hoffe auf viele gute Partien!	4	13%
Es ist mir egal und ich befürchte viele miese Partien!	0	0%
Britney Spears	4	13%