Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Komodo 7 angekündigt
- - By Stefan Pohl Date 2014-05-20 12:25
Auf talkchess hat Larry Kaufman Komodo 7 für diese Woche angekündigt (mittlerweile auch auf der Komodo-Website).

Das ist natürlich insofern interessant, als das TCEC-Superfinal jetzt erst losgeht. Ich schliesse daraus, daß man im Komodo-Team mit einer Niederlage rechnet, denn ein Sieg - wie beim letzten Mal - wäre ja sicher durchaus sehr verkaufsfördernd und eine Release kurz nach diesem Sieg also logischer. Was ja beim letzten Mal auch so der Fall war.

Ich teile diese Einschätzung durchaus, denn LK schreibt ja auf talkchess, daß er (ohne die jetzt eingebauten Syzygy-Bases (was ca. 10 Elo zusätzlich bringt)) mit ca. +30 Elo zu Komodo TCEC rechnet. Das wäre zwar ein sehr schöner Zuwachs, der sicher auch eine neue, kommerzielle Version rechtfertigt, aber das wird keinesfalls reichen, um die Riesenlücke zwischen Komodo und Stockfish bei langen Bedenkzeiten auch nur ansatzweise zu schliessen, die sich z.B. bei meinem Endless-RoundRobin-Turnier aufgetan hat (laut Elostat sind da z.Zt. gut 80 Elo Abstand zwischen Stockfish und Komodo TCEC und im Direktvergleich holt Komodo nur knapp 40% der Punkte). Beim TCEC mit noch viel mehr Bedenkzeit (und Cores) könnte es für Komodo noch finsterer aussehen. +30 Elo werden also nach menschlichem Ermessen keinesfalls zum Sieg im Superfinal reichen. Es sei denn, die geringe Partienzahl bringt einen statistischen SuperGAU hervor, was man leider nicht ganz ausschließen kann.

Ich werde Komodo 7 sobald es verfügbar ist, in mein Endless-RR-Turnier einbauen (und Komodo TCEC rausnehmen), obwohl Komodo TCEC bisher noch nicht einmal 400 Partien gespielt hat, was mir eigentlich zu wenig ist. Aber bei einem offiziellen Release muß ich natürlich so handeln und auf diese Weise ist dann ja Komodo 7 länger im Turnier (bis Komodo 8 kommt, was ja dauern dürfte) und wird mehr Partien absolvieren.

Stefan
Parent - - By Tom Paul Date 2014-05-20 12:44
Sehe ich genauso wie du.
Lieber noch schnell das Geld einsacken bevor der WM Titel verloren geht        
Ja Komodo +30 ELO ohne die Stockfishbases und weitere +30 ELO wenn vorhanden gegen Stockfish.
Da Komodo deutlich mehr in die Breite als in die Tiefe rechnet, im Vergleich zu Stockfish, dürfte Komodo beim TCEC deutlich mehr von mehr Kernen und mehr Bedenkzeit profitieren als beim Endless-RoundRobin-Turnier.
Parent - By Tom Paul Date 2014-05-20 13:18
Das sieht man auch an der aktuell laufenden Partie Nr. 6.
Hier beim Rückspiel holt Komodo deutlich mehr aus den Stellungen heraus als Stockfish bei Partie Nr. 5.
Parent - - By Benno Hartwig Date 2014-05-20 13:37

> Beim TCEC mit noch viel mehr Bedenkzeit (und Cores) könnte es für Komodo noch finsterer aussehen


Abwarten, das denke ich eingentlich nicht.
SF wird am Ende vielleicht die Nase vorn haben, ich erwarte: aber nur knapp!

Gerade
http://www.fastgm.de/schach/table-factor-1-32-threads.png
lässt ja auch vermuten, dass K mit vielen Kernen ein Stück besser umgehen kann als SF. Faktor 1,45? So 35 bis 40 ELO?
Und ob SF mit langen Zeiten wirklich mehr gewinnt als K ist für mich auch noch sehr unklar.

Mein Tip: ein sehr knapper SF-Sieg!

Benno
Parent - - By Stefan Pohl Date 2014-05-20 14:01
Benno Hartwig schrieb:

Abwarten, das denke ich eingentlich nicht.
SF wird am Ende vielleicht die Nase vorn haben, ich erwarte: aber nur knapp!

Gerade
<a class='urs' href='http://www.fastgm.de/schach/table-factor-1-32-threads.png'>http://www.fastgm.de/schach/table-factor-1-32-threads.png</a>
lässt ja auch vermuten, dass K mit vielen Kernen ein Stück besser umgehen kann als SF. Faktor 1,45? So 35 bis 40 ELO?
Und ob SF mit langen Zeiten wirklich mehr gewinnt als K ist für mich auch noch sehr unklar.

Mein Tip: ein sehr knapper SF-Sieg!

Benno


Also im TCEC sind die angezeigten Knotenzahlen mit 16 Cores bei Stockfish leicht höher als bei Komodo. Das ist identisch zu dem, was ich auch bei mir mit 4 Cores beobachte und auch identisch zu dem, was bei singlecore angezeigt wird. In allen Fällen sind die Knotenzahlen leicht höher, als die von Komodo. Also glaube ich nicht, daß Stockfish beim Nutzen vieler Cores wirklich signifikant schlechter aussieht als Komodo.
Ergo glaube ich schon, daß Stockfish unter TCEC-Bedingungen sehr gut zurechtkommt. Problem ist natürlich, daß die Remisquote mit mehr Hardwarepower und Bedenkzeit immer höher wird (weil das schachliche Niveau insgesamt steigt). Das benachteiligt natürlich die schwächere Engine, weil die Ergebnisse damit generell näher an die 50%-Marke gedrückt werden. Inwieweit das Stockfish's Erfolgsscore runterzieht (Richtung 50%) muß man sehen.
Dennoch denke ich, daß Stockfish recht deutlich gewinnen wird (55%+X). Aber das ist natürlich nur eine Prognose.  Bei nur 64 Partien kann zudem schon rein statistisch viel passieren...

Stefan
Parent - - By Benno Hartwig Date 2014-05-20 14:15 Edited 2014-05-20 14:34

> Also im TCEC sind die angezeigten Knotenzahlen mit 16 Cores bei Stockfish leicht höher als bei Komodo


Knotenzahlen verschiedener Engine sind m.E. unvergleichbar.
Ggf. sind aber die Knotenzahlen jeweils einer Engine für verschiedene Kern-Anzahlen vergleichbar.
Und Andreas hat ja gezeigt, dass der nps-Wert beim Übergang von 1 Kern auf 32 Kerne
- beim aktuellen Stockfish um den Faktor 14,21 steigt
- bei Komodo um den Faktor 20,60 steigt
http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=79591#pid79591

K wird dadurch also um den Faktor 20,60/14,21 = 1,45 stärker beschleunigt als SF.
K wird gegenüber SF und den 1-core-Tests dann wohl allein dadurch um ca 35 bis 40 ELO aufholen können, denke ich mal frech.

Benno
Parent - - By Stefan Pohl Date 2014-05-20 15:32
Benno Hartwig schrieb:

Knotenzahlen verschiedener Engine sind m.E. unvergleichbar.


Da hast du mich wohl mißverstanden. Es ging mir darum, zu zeigen, daß in realen Partien die Knotenzahlen beider Engines mit mehr Cores in etwa gleich stark zulegen, da Stockfish immer leicht vor Komodo liegt, egal ob 1, 4 oder 16 Cores genutzt werden. Wäre eine unterschiedliche Zuwachsrate mit mehr Cores bei den zwei Engines gegeben (jeweils jede Engine nur mit sich selbst verglichen!), so würde entweder Stockfishs Knotenzahl mit mehr Cores hinter Komodos Knotenzahl zurückfallen (wenn Komodo tatsächlich mit mehr Cores besser umgeht) oder aber weit enteilen (falls Stockfish mit mehr Cores besser umgeht (auch hier: nur an sich selbst gemessen!)). Beides ist aber nicht der Fall.
Das sagt natürlich nix darüber aus, ob Komodo mit mehr Cores weniger stark selektiv rechnet, als mit weniger Cores. Das ist eine ganz andere Baustelle. Mir ging es hier nur um den reinen Speedzuwachs in der Knotenanzeige. Nicht um Selektivität oder Suchtiefen etc.

Stefan
Parent - - By Benno Hartwig Date 2014-05-20 15:58 Edited 2014-05-20 16:18

> so würde entweder Stockfishs Knotenzahl mit mehr Cores hinter Komodos Knotenzahl zurückfallen


Wie ich Andreas' Posting verstand
http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=79591#pid79591
passiert aber genau das!!

Beim Übergang von 1 auf 32 Kerne steigt die Knotenzahl bei Komodo um gut den Faktor 20
und bei Stockfisch nur um knapp den Faktor 15.
Die Knotenleistung von SF fällt bei zunehmender Kern-Anzahl hinter der von Komodo zurück.
So vertehe ich diese Tabelle mit ihren durchaus überraschenden Momenten.

Gerade beim letzten Übergang 16 -> 32 Kerne sind die Faktoren
Komodo TCECr     (11,94 - 20,60 = 73%)
Stockfish 140513 ( 9,79 - 14,21 = 45%)

und ich befürchte, dass dieser SF bei noch mehr Kernen auch immer weiter 'zurückfällt'.
'Zurückfällt' passt wohl nicht wirklich, da andere Faktoren die SF-Spielstärke so weit heben, dass diese Parallelisierungsschwäche wohl bei 32 Kernen noch verkraftbar ist. Aber bei 64 Kernen? Oder 128?
"Haallo, hat da irgendwer zum Testen eine 128-Kerne-Maschine in Griffweite?"


"Wir können warten!" könnten jetzt die Komodo-Entwickeler raunen. Naja, nicht wirklich.

Benno
Parent - By Tom Paul Date 2014-05-20 16:56
Und das Fazit ist:
Es gibt noch sehr sehr vieles bei Stockfish was verbessert werden muss, aus Prinzip und weil ihm verschiedene Engines in verschiedenen Bereichen überlegen sind.
Parent - - By Stefan Pohl Date 2014-05-20 18:17
Benno Hartwig schrieb:

Wie ich Andreas' Posting verstand
<a class='urs' href='http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=79591#pid79591'>http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=79591#pid79591</a>
passiert aber genau das!!


Ja, das hast du schon richtig verstanden, nur deckt sich das leider nicht mit den Knotenanzeigen in realen Partien, so wie sie bei mir (singlecore Bullet und Quadcore 15'+3'') und beim TCEC (16 Core) angezeigt werden. Und im Zweifelsfall sind doch diese Knotenanzeigen, die man über viele Züge in vielen Stellungen/Partien bei realen Partien angezeigt bekommt, für mich das Maßgebliche. Und wenn ein Laborexperiment diesbzgl. stark abweichende Daten liefert, dann ist da m.E. große Skepsis angebracht.

Stefan
Parent - By Roland del Rio Date 2014-05-21 11:34
Ok, ich sehe schon, wer ELO will, holt sie sich. Und das in Andreas Ursprungsthread unisono die Meinung herrscht, dass man die Knotenleistung/sec nicht in ELO umrechnen, hält einen nicht nur davon ab, das trotzdem zu tun, nein, jetzt wird sogar noch der Quotient zweier Skalierungsfaktoren unterschiedlicher Engines gebildet, aus dem man dann Vorhersagen für den Ausgang TCEC-Matches prophezeit. Eigentlich will ich hier ja wirklich niemandem den Spaß am Glaskugellesen verderben, aber eine kleine Anmerkung muss ich doch loswerden:

Zitat:
Und im Zweifelsfall sind doch diese Knotenanzeigen, die man über viele Züge in vielen Stellungen/Partien bei realen Partien angezeigt bekommt, für mich das Maßgebliche. Und wenn ein Laborexperiment diesbzgl. stark abweichende Daten liefert, dann ist da m.E. große Skepsis angebracht.


Das fand ich sehr amüsant formuliert. Stellungen nach n Zügen sind also "real" die Stellung vor dem 1. Zug ist ein Laborexperiment. Werden dann die sich ergebenden Stellung in einer Partie von Zug zu Zug realer? Eigentlich dachte ich immer, dass die Grundstellung die "realste" aller Stellungen ist, denn sie kommt als Einzige aller Stellungen ja in jeder Partie vor.   
Nein, im Ernst, ich glaube schon zu wissen, wie du das eigentlich meinst, und deine Beobachtung hat natürlich ihre Ursache. Die wird Benno aber gar nicht gefallen, denn da hast du einen der vielen Gründen, warum man nps nicht vernünftig in ELO umrechnen kann aufgedeckt: Andreas' Skalierungsfaktoren sind nämlich u.A. stellungsabhängig, und in deinen Messungen, hast du im Vergleich zu Andreas' nps-Zahlen diesbezüglich eine schon numerisch viel breitere Basis. Die Grundstellung ist bzgl. einer wenn es um nps und deren Skalierungsfaktoren auf SMP geht, offensichtlich nicht sehr representative Stellung. Die algorithmischen Unterschiede zwischen SF und Komodo bei der Suchbaumbeschneidung treten hier deutlicher zu Tage, als in einer "durchschnittlichen" Stellung aus dem Partieverlauf. Gründe hierfür könnten in dem nicht-taktischen Charakters der Grundstellung und der sich daraus ergebenden Konsequenzen für die Skalierungsfähigekeit der
in Komodo und SF werkelnden Algorithmen sein. Da müsste man nun wirklich tief in den Code einsteigen, aber z.B. könnte SF untypisch lange in schlecht skalierbaren Baumkürzungsoperationen unterwegs, während der ohnehin schon weniger kürzende Komodo nun multi-thread-aware auch noch extrabreit unterwegs ist, hier einfacheres Spiel hat? In der IDeA-Analyse bei Aquarium kann man sich übrigens sehr schon mit der Thematik beschäftigen, dort hat man
viele Stellschrauben was die Suchparameter und Baumstruktur angeht, und bekommt die Skalierungsauswirkungen dann im Superzeitlupentempo vor Augen geführt.
Das gilt natürlich nur für den dort implementierten Suchalgorithmus und hoffentlich kommt auch keine auf die Idee nun eine ELO für Aquarium ausrechnen zu wollen

gruß
roland
Parent - - By Michael Hoeppenstein Date 2014-05-20 13:42
Hallo Stefan,
ich muss anmerken, dass sich deine Äußerungen leider wie das Lesen eines Kaffeesatzes anhören. Zu dieser Zeit sind unter den Bedingungen des TCECs keine qualitativ hochwertigen Aussagen möglich.
Grüße, Michael
Parent - - By Stefan Pohl Date 2014-05-20 13:53
Michael Hoeppenstein schrieb:

Hallo Stefan,
ich muss anmerken, dass sich deine Äußerungen leider wie das Lesen eines Kaffeesatzes anhören. Zu dieser Zeit sind unter den Bedingungen des TCECs keine qualitativ hochwertigen Aussagen möglich.
Grüße, Michael


Ganz so ist es nicht.
Es ist eher eine Extrapolation aus den Meßdaten heraus. Stockfish liegt in der FGRL-Universal-Liste mit einer recht aktuellen Version (Mitte April) auf Augenhöhe mit Houdini 4 an der Spitze. Und in meinem Endless-RR-Turnier mit mehr Zeit und 4 Cores sehr, sehr deutlich vor allen Gegnern (auch Houdini 4). Da ist der Schluß, daß Stockfish mit mehr Rechenpower/Bedenkzeit überproportional zulegt, doch recht naheliegend, meine ich. Und dann daraus zu folgern, daß es beim TCEC auch sehr gut bzw. noch besser laufen sollte (weil noch mehr Zeit und Cores), ist doch nicht unlogisch. Und keine Kaffesatzleserei. Es ist eine Prognose. Sicher kann sie (wie alle Prognosen im Computerschach) auch falsch sein.

Stefan
Parent - By Tom Paul Date 2014-05-20 14:19
Bildhaft gemeintes Beispiel:
Stockfish gewinnt an Stärke zwischen 2-4 Kernen im Vergleich zu einem Kern.
Komodo gewinnt auch an Stärke nur etwas weniger.
S gewinnt von 4 auf 8 an Stärke aber weniger als zuvor.
K gewinnt von 4 auf 8 an Stärke aber mehr als zuvor.
S gewinnt von 8 auf 16 nichts an Stärke.
K gewinnt von 8 auf 16 ganz viel an stärke.

Warum?
Weil Stockfish seine +8 Kerne dazu nutzt, um von Tiefe 40 auf 41 zu kommen(hier gibt es keinen Spielstärke Gewinn), anstatt mehr in die Tiefe zu rechnen sollte Stockfish z.B. zwei Varianten Tiefe 40(Hier gibt es einen Spielstärke Gewinn) oder eine Variante aber mehr in die Breite rechnen.
Komodo benutzt seine +8 mehr Kerne um deutlich mehr in die Breite zu gehen.
Parent - - By Tom Paul Date 2014-05-20 13:56
Schaut mal in den Chat, da gibt es vieles über die Arbeit an Komodo zu erfahren.

Der Sieg dürfte auch ganz knapp werden.

Partie Nr. 6
Wenn ich in manchen Stellungen sehe, dass Stockfish mit schwarz eine Stellung +0.30 bewertet, und dann sein Gegner der DEUTLICH WENIGER TIEF rechnet einen ganz normalen Zug wie 0-0 (oder andere Züge) macht und Stockfish bewertet seinen nächsten Zug mit +0.60...
Fazit: Das ist ein Blindfisch.
Die Frage ist nur warum ist das so???
Parent - - By Benno Hartwig Date 2014-05-20 14:07

> Wenn ich in manchen Stellungen sehe, dass Stockfish mit schwarz eine Stellung +0.30 bewertet, und dann sein Gegner der DEUTLICH WENIGER TIEF rechnet einen ganz normalen Zug wie 0-0 (oder andere Züge) macht und Stockfish bewertet seinen nächsten Zug mit +0.60...


...dann ist das für sich genommen nicht erstaunlich, denn SF rechnet dann ja auch zwei plys weiter, erkennt dann mehr als er eben noch erkennen konnte.
Und dass die größere Tiefe (sofern sie nicht eh bei den Engines Unterschiedliches beschreibt!) wird ggf. ja nur dank intensiverer Selektivität erreicht, die natürlich auch Gefahren birgt.
"Ich will nichts(!) übersehen und rechne breit!" klingt ja löblich, führt aber ggf. auch zu einer geringeren Spielstärke.

Was mich viel mehr verblüfft ist, dass es bei SF passieren kann, dass er mit weiß bei Tiefe 25 ggf. sagt +0,10, und dann macht der Gegner einen Zug, und SF merkt dann schon bei Tiefe 10 dass ist -2,00, was er dann auch in der tieferen Berechnung nicht mehr bessert. Warum hat er das nicht früher gesehen?!
Aber darüber sprachen wir schon in einem anderen Thread.

Benno
Parent - - By Tom Paul Date 2014-05-20 14:36
Benno Hartwig schrieb:

...dann ist das für sich genommen nicht erstaunlich, denn SF rechnet dann ja auch zwei plys weiter, erkennt dann mehr als er eben noch erkennen konnte.


Willst du das Argument denn auch bei Tiefe 100 (102) verwenden?
Parent - By Benno Hartwig Date 2014-05-20 14:49

> Willst du das Argument denn auch bei Tiefe 100 (102) verwenden?


Natürlich! Es gilt auch da, auch wenn häufiger eine Remisstellung am Ende der Hauptvariante stehen kann.
Falls du denkst "nein", dann wäre ich auf Argumente gespannt!
Benno
Parent - - By Clemens Keck Date 2014-05-20 14:32
Hallo zusammen

die hier geposteten Meinungen und Prognosen finde ich teilweise haarsträubend, aber egal. Ist halt eure Meinung.
Und weil man den einen so toll findet,...naja, dann lässt man halt kein gutes Haar am Anderen...
Als einer der Wenigen, die seit Jahren mit der immer aktuellen Komodo Version auf Playchess spielt kann ich auch mal eine Prognose abgeben:
Mein Tip ist das es ganz eng wird. Stockfish könnte etwas stärker sein, was sich aber beim TCEC Setup nicht bemerkbar macht.
Die TCEC Bedingungen kommen eher für Komodo sehr gelegen. Die Komodo 7 Version könnte gerade bei langen BZ nochmal zulegen. Also ich denke 50 - 50 . Evtl. entscheidet die Eröffnungsvorgabe.
Mein Respekt und meine Gratulation zur Finalteilnahme gilt beiden engines.
Und bevot ich es vergess Tom: Natürlich ist es völlig sinnlos irgendeine Schachengine noch zu verkaufen weil ja Stockfish kostenlos ist.
Es scheint aber einige wenige Käufer zu geben die anders denken... 

C.K.
Parent - By Benno Hartwig Date 2014-05-20 14:53 Edited 2014-05-20 15:05

> Es scheint aber einige wenige Käufer zu geben die anders denken...


Wenn ich schon so viel Zeit in Computerschach investiere, dann sind die 50 Euro, die eine kommerzielle Engine vielleicht kostet, doch sicher auch kein KO-Kriterium für sie. Wenn ich mir von irgendwas Nettes verspreche, was 'meine' Engines nicht bieten, dann kaufe ich sie.
Und gerade Komodo werden ja spezielle positionelle Leistungen von manchem attestiert.

Mancher Engine-Kauf wurde mir in letzter Zeit aber auch durch ein Bundle mit einer aktuellen GUI versüßt. So erstand ich in letzter Zeit eine Chessbase GUI und Aquarium. Und jetzt bitte nicht mit "Aber es gibt doch Arena!" beginnen.

Benno
Parent - By Rainer Maikowski Date 2014-05-20 14:54
"Natürlich ist es völlig sinnlos irgendeine Schachengine noch zu verkaufen weil ja Stockfish kostenlos ist."

Diese Meinung kann ich nicht teilen. Es würde bedeuten, dass es allen Computreschachbegeisterten lediglich um das Abstauben möglichst starker und möglichst kostenloser Engines geht.
Die Begeisterung für tolle Programierergebnisse wird sicher nicht nur bei mir dazu führen, dass man die Programmierer guter professioneller Engines auch weiter mit dem Kauf ihrer Produkte belohnt - viele sind es ja sowieso nicht mehr.
Gleichzeitig bewundere ich die ganze Stockfishinitiative und wünsche ihr weiter viel Erfolg. Meinetwegen könnte diese Arbeit auch durch den Kauf einer solchen Engine belohnt werden.
Wie dann der Erlös unter Programmierer und Testern verteilt werden kann, ist eine andere Frage.

RainerM
Up Topic Hauptforen / CSS-Forum / Komodo 7 angekündigt

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill