"The Fight for Place 1" ... K9 vs. SFdev.

By Benno Hartwig Date 2015-04-28 20:45

Thanx.
Du wirst sicher manchen neugierig auf deine Seiten 'gelockt' haben.
Mich zumindest ganz bestimmt.

Benno

By Frank Qy. Date 2015-04-28 20:54

Hallo Benno,

ist ja Sinn der Sache!
Hoffe ich kann mit meinem Buch begeistern denn da steckt richtig Arbeit drin.
Hauptthema neben Stats die noch folgen um mehr über Engines zu erfahren.

Außerdem wird meine Liste so langsam wirklich gut, vielleicht wird sie mal so gut wie die SWCR früher war (auch ohne Rybka und Houdini).
Ist aber noch ein bissel Arbeit bis dahin ...

Also viel Spaß, verfolge auch die Ergebnisse der anderen die sicherlich viel schneller fertig sind.
Aber egal ... in der Ruhe liegt die Kraft.

Und ich will endlich die 120 Länder Grenze überschreiben ... 3 fehlen noch.
Früher hatte ich auf Frank's Chess Page (bevor es WBEC Ridderkerk wurde) Zugriffe aus 201 Ländern der Erde.
Aber da machte ich auch mehr wie heute. Heute ja nur die Ratingliste und mehr nicht.
Freue mich immer wenn eine neue Region oder ein neues Land auftaucht.
Heute eine neue Region aus Russland

Wundere mich nur das ich z. B. aus Weißrussland noch nie einen einzigen Zugriff hatte.
Aus Ozeanien hatte ich früher immer viele (Tonga, Niue, Neukaledonien, Cocus Keeling, Tuvalu und noch die beiden anderen ...)
Die spielten mit Ozeanien bei der Olympiade und errangen Platz 30.
Habe selbst viel in einem Forum in Tonga gepostet (kenne da jemanden, und hatte von dort auch Schachvereinen immer viele Zugriff).
Meine Webseite war in über 200 Ländern verlinkt und aus 2.000 Zugriffe am Tag habe ich immerhin erfolgreich 30-40 heute gemacht.
Alles Geschichte ... aber interessant die Länderstatistiken zu verfolgen.
Wobei die Statistik die ich heute auf der Seite habe ist um Klassen besser.

Mal schauen ... hoffe ich bekomme drei neue Länder und dann hätte ich die Hälfe mit 120 ja schon zusammen.

Gruß
Frank

By Frank Qy. Date 2015-04-28 22:45

Jetzt sind es 118

Guadeloupe ... stimmt da war doch was ... ein Programmierer kommt ja von dort.
Vielleicht war es ja Christophe wer weiß das schon ...

Und eine neue Region aus Israel ... das war erst der zweite Zugriff aus Israel ... vielleicht ja Amir?

Noch 2 ...
Das ist mein Event was läuft und natürlich die Partien selbst sprich Buchverbesserungen.

Wenn irgend ein Leser hier jemanden aus Belgisch Kongo kennt ... mal auf meine Webseite hinweisen.
Wobei Belgisch Kongo gibt es ja nicht.

Samoa oder Grönland ist auch OK.
Könnte fast drauf wetten, dass eines der nächsten drei Länder Weißrussland ist.
Sonst habe ich keine Probleme!

Spannend wird es im Grunde bei mir erst wenn mal zwei Tage um sind und die Auswertung nach 320 Partien steht.
Kann das alles ja auch nur spannender machen wenn ich dann im 10% Rhythmus immer wieder die Ratings kalkuliere und direkt vergleiche.
So haben auch die Statistik Freaks ein bissel was davon.

Wenn hier Schweizer mitlesen ...
Aus der Schweiz fehlen mir noch so einige Regionen!
Wer also aus der Schweiz ist und im letzten Jahr noch nicht auf meiner Webseite war ...
Könnte ja diese mal besuchen, der Statistik zu Liebe.

Gruß
Frank

By Tom Paul Date 2015-04-29 08:17 Edited 2015-04-29 08:22

Aktuell steht es:
Stockfish Perf=3049
Komodo Perf=3015

Stockfish hat im Moment 15x 100% also kommt das noch zur Perf. hinzu.
Komodo hat im Moment 13x 100% also kommt das noch zur Perf. hinzu.

Somit führt Stockfish in beiden Fällen.

Man sieht auch: Stockfish spielt besser gegen stärkere, Komodo gegen schwächere Engines.

By Frank Qy. Date 2015-04-29 09:07

Hallo Tom,

besser wären ja dann später die Auswertungen nach 10%, 20%, 30% ... weil es nie so sein wird das beide Engines zeitgleich immer auch die gleiche Anzahl an Partien haben.
Die erste sollte gegen Mitternacht erfolgen ...

Oder schauen auf die erzielte Prozentzahl.
3150 ELO, die ja von Beiden Kontrahenten erwartet werden (nach meinen Zahlen, bei Stockfish ca. +15 zu Version 6 und bei Komodo ca. +50 zu Version 8), sollten ca. 84% sein. Stockfish liegt also derzeit ca. im Soll und Komodo hatte offenbar einen schwachen Start.

Aber wie auch immer, noch ist es zu früh ...
Wenn mal 320 Partien vorliegen, also nach 20% wird es spannend!
Alles andere ist noch statistisches Aufwärmtraining und geht verdammt an die Pumpe.

Gruß
Frank

By Tom Paul Date 2015-04-29 16:18 Upvotes 1

Tom Paul schrieb:

Aktuell steht es:
Stockfish Perf=3064
Komodo Perf=3040

Stockfish hat im Moment 11x 100% also kommt das noch zur Perf. hinzu.
Komodo hat im Moment 10x 100% also kommt das noch zur Perf. hinzu.

Somit führt Stockfish in beiden Fällen.

Man sieht auch: Stockfish spielt besser gegen stärkere, Komodo gegen schwächere Engines.

By Benno Hartwig Date 2015-04-29 09:12 Edited 2015-04-29 09:23

> Spannend wird es im Grunde bei mir erst wenn mal zwei Tage um sind und die Auswertung nach 320 Partien steht.

Solange die Engines noch Begegnungen habe, in denen sie alles gewannen (oder verloren), ist der Gesamt-ELO-Wert wohl noch niedriger, als es den bislang gezeigten Leistungen entspricht. Der Vergleich noch schwierig.

Aber Tom hat schon recht.
Wenn SF hier jetzt führt und noch eine größere Anzahl noch nicht gewerteter 100%-Begegnungen hat, dann liegt SF im Moment wirklich vorn.

Komodo       3042  bei 12 noch nicht gewerteten 100%-Begegnungen
Stockfish    3061  bei 15 noch nicht gewerteten 100%-Begegnungen

Aber es sind im Moment jeweils noch nicht mal 80 Partien. Es ist erst der allererste Anfang, die erste Hausnummer in diesem Event...

Benno

By Frank Qy. Date 2015-04-29 10:24

Hallo Benno,

habe mir mal gerade mal die ersten je ca. 80 Partien angesehen.
Eine B01 "Bad Line" Komodo Sieg gegen Andscacs.
Partie aus dem Buch gelöscht und wird gerade wiederholt.

Ansonsten alles OK, keine kurze Remisen oder Partien die mit 300 Zügen endeten oder Zeitüberschreitungen.
Nicht schlecht, nur eine von 160 ...

Zu den Partien selbst ...
Komodo 9 hat 2x schnelles Remis knapp unter 50 und Stockfish 3x schnelles Remis ... 1x Anfang in den 30igern und zwei mal in den 20igern (das bekannte Stockfish Problem). Eine sehr schöne Gewinnpartie nach 44 Zügen bis zum Matt gegen Hiarcs von Komodo 9. Insgesamt 2x unter 50 gewonnen und bei Stockfish noch Fehlanzeige. In diesem Bereich, bessere Taktik nach der Eröffnung und Remis vermeiden war Komodo schon in Version 8 ne Nummer zu hoch für Stockfish. Das wird sich jetzt auch nicht ändern. Früher war es mal anders herum, denn da war Stockfish Komodo taktisch nach den Eröffnungszügen klar überlegen. Heute würden sicherlich nur wenigen Großmeister Stockfish für Eröffnungsanalysen einsetzen denn die Gefahr das Stockfish erfolgreich die Remisvariante findet ist zu groß. Komodo vermeidet und geht viel aggressiver mit wenigen Figuren auf dem Brett zur Sache. Ändert sich dann im späten Mittelspiel. Nun spielt Stockfish so langsam die Stärke aus und hier ist Stockfish 6 Komodo 8 ne Klasse überlegen. Genau an diesem Punkt bin ich gespannt ob Komodo 9 zugelegt hat. Denn irgendwo her müssen ja die gemeldeten 50 Elo kommen.

Ach ja, und dann gab es noch eine etwas zweifelhafte Variante von Stockfish gegen Hiarcs die mit Remis endete. Habe viele Partien dieser Eröffnung in meiner Datenbank und die Tendenz ist, dass der Ausgleich langsam kommt. Stockfish hat sich aber dann auf Remis eingelassen nachdem der Ausgleich dann da war (gibt keinen Grund die Variante herauszunehmen).

Ansonsten wie gesagt, läuft von den Partien her alles nach bekannten Muster, viel neues gibt es nicht zu berichten.
Die +50 von Komodo lassen sich wenn überhaupt eh nur im Übergang zum Endspiel messen, denke das die Engine dann hier die "Mehr-Punkte" macht. In der Eröffnung ist da kaum noch was zu toppen.

Interessant noch eine Partie Stockfish gegen Quazar ... da hat Quazar Stockfish aber kräftig mit Manövern ca. ab Zuglänge 60 geärgert und den Sieg für sich verbucht. Die Partien habe ich Live gesehen, war ein spannendes Endspiel obwohl Stockfish in den Analysen bessser durchgeblickt hat und früher die Bewertungen für Quazar nach oben schossen. Im Grunde hat Quazar 2 entscheidende Züge gespielt, die ausgereicht haben um den Gewinn zu verbuchen.

Also eine Klatsche gegen die Kleinen und eigentlich von der falschen Engine. Denn Stockfish passiert das eher nicht, passierte eher bei Komodo 8 im Vergleich zu Stockfish 6. Aber wie gesagt, der "Fight for Place 1" ist ja noch jung. Wollte nur sagen das im Grunde alles problemlos läuft, das Buch seine Aufgabe glänzend löst (sollte auch mal langsam der Fall sein) und das was bislang produziert wurde auch alles dem entspricht was bekannt ist.

Wer will kann ja später selbst mal in die Partien schauen. Die finden sich ja nach je 10%, 20%, 30% auf der Detailseite zum Download.

Gruß
Frank

By Frank Qy. Date 2015-04-29 11:34

Hi,

bei den vielen Verfechtern von Engines ist auch mal so langsam ein wenig umdenken angesagt.

Nicht die Partien interessieren die vielleicht vergleichbar Starken Engines produzieren sondern die Partien gegen schwächere Engines, gerade bei den super starken Engines wie Stockfish oder Komodo.

Warum ist einfach:
Weil wir nur aus dem Blickwinkel des Menschen betrachten können und aus dem Blickwinkel des Menschen ist jeder Mensch mittlerweile Stockfish oder Komodo unterlegen. Es interessiert also eher wo wir als Unterlegene überhaupt Chancen haben Punkte erzielen zu können und das wird in den beiden Spießroutenläufen simuliert.

Anders herum:
Hätten wir nun 20 super starke Engines wie Komodo oder Stockfish (können wir mit Clones oder Derivativen simulieren) würden wir unnötige lange Remisschleifen produzieren die eher langweilig beim Verfolgen sind. Die Engines wären gleich und die Schwächen würden nicht so deutlich herauskommen. Bei unterschiedlichen Engines kommen die viel besser heraus, auch wenn diese dann meist überwiegend deutlich schwächer sind.

Der Drang dazu das vieles in eine Ratingliste aufgenommen wird was vergleichbar stark ist, ist demnach im heutigen Zeitalter (höhere Spielstärken der TOP Engines) die komplett falsche Vorgehensweise ohne das ich jetzt anderen zu Nahe treten will. Geht einfach gegen jegliche eigene Logik und führt eher zu kontraproduktiven Ergebnissen. Natürlich immer aus der Sichtweise Nummer 1 ... ich will etwas anhand der Partien herausfinden.

Gruß
Frank

By Benno Hartwig Date 2015-04-29 11:34

Thanx für den "Zwischenbericht"!

> Stockfish 3x schnelles Remis ... 1x Anfang in den 30igern und zwei mal in den 20igern (das bekannte Stockfish Problem).

Natürlich verstehe ich, wenn du oder andere Turnier-Veranstalter sagen "Bei mir wird immer mit Standardeinstellungen gespielt!".
Ich fänd aber trotzdem enorm spannend, wie sich die Stockfish-Quote ggf. ändern würde, wenn man für Stockfish z.B. fest Contempt=20 einstellt.
Bei dir hat sich Stockfish ja in sehr vielen Partien mit Engines herumzuschlagen, denen die Engine überlegen ist, oftmals deutlich überlegen. SF sollte hier halt wirklich gern die Stellungswiederholung vermeiden und lieber auch mal mit leicht nachteiliger Stellung weiterspielen.
Also, wenn du oder deine Rechner sich irgendwann mal so ganz grässlich langweilen sollten, wenn dich das auch interessieren könnte...

Benno

By Frank Qy. Date 2015-04-29 11:41

Hallo Benno,

wenn Du magst kann ich nach dem Event Stockfish nochmal mit Contemp 8 laufen lassen.
Contemp 17 hatte ich schon mal und sah keinen großen Unterschied ...
Aber nicht im direkten Vergleich.

Contemp 17 war einfach zu hoch.
Die Hälfte wäre besser ...

Auf der anderen Seite das behindert nur meinen Spielbetrieb und ich bin kein Stockfish Tester will ich auch nicht werden denn die Engine gehört nicht mehr zu meinen persönlichen Favoriten, dafür ist mir das Spiel nach den Eröffnungszügen (das ist das was ich liebe) nicht mehr aggressiv genug.

Glaube auch nicht das die Contemp Einstellungen wirklich etwas bei Stockfish bringen.

Dem ganzen Thema mit den vielen schnellen Remispartien sollte das Stockfish Team mal intensiv angehen um die Engine hier wirklich auf einen höheren Level zu bringen. Mehr als doppelt so viele Remispartien im Vergleich Komodo 8 zu Stockfish 6 ist für mich ein KO Argument hinsichtlich womit analysiere ich nach den Buchzügen. Da nehme ich lieber Komodo, Spark, Junior, Nirvana oder iCE andere Engines die auch viele gute Ideen haben wie EXchess und natürlich Fire (sehr aggressive).

Gruß
Frank

By Tom Paul Date 2015-04-29 12:19

Frank Qy. schrieb:

Denn irgendwo her müssen ja die gemeldeten 50 Elo kommen.

Vielleicht von hier:
Marco Costalba:
It is true that they can observe our changes, actually according to
Larry's post on talkchess they do much more than this, namely they
fully analyze our search and eval and split it in many parts that are
thoroughly tested in Komodo one by one (I think nobody else does the
same effort of analyzing and verifying the value of individual SF code
chunks in their engines).

By Benno Hartwig Date 2015-04-29 13:40 Edited 2015-04-29 13:50

> Vielleicht von hier:...

Auch.
Jeder Entwickler ist gut beraten, Augen und Ohren aufzusperren und zu schauen, was andere Entwickler so an Methoden entwickeln und dann veröffentlichen.
Und dazu kommen sicher auch Dinge, die den erfahrenen Komodo-Leuten so ganz alleine (und im Geheimen) einfallen, und die dann eben den unverkennbaren Unterschied zu Stockfish ausmachen.

Geschimpft haben seinerzeit lautstark viele, aber wer alles(!) mag wohl seitdem trotzdem schon mal neugierige Blicke in die Ippolit-Sourcen geworfen haben. Und das waren immerhin keine vom tatsächlichen Entwickler freiwillig veröffentlichte Methoden.

Benno

By Ludwig Buergin Date 2015-04-29 18:59

Hallo Benno

Habe vor einiger Zeit geschrieben ,Jeder ,der an Stockfish mitarbeitet, hat sicherlich auch Houdini auf der Festplatte.
Ist damals nicht so gut angekommen.Hat aber sicherlich auch Heute noch seine Gültigkeit,man muß nur die Namen austauschen.

Gruß Ludwig

By Tom Paul Date 2015-04-30 07:26

Aktuell steht es:
Stockfish Perf=3111 aus 181 Partien.
Komodo Perf=3086 aus 189 Partien.

Stockfish hat im Moment 5x 100% also kommt das noch zur Perf. hinzu.
Komodo hat im Moment 2x 100% also kommt das noch zur Perf. hinzu.

Stockfish 26.04.15 BMI2 x64 - Nirvanachess 2.0a x64 (2839) 6.0 - 0.0 100.00%
Stockfish 26.04.15 BMI2 x64 - Andscacs 0.72 POP x64 (2814) 6.0 - 0.0 100.00%
Stockfish 26.04.15 BMI2 x64 - SmarThink 1.70 SSE3 x64 (2748) 5.0 - 0.0 100.00%
Stockfish 26.04.15 BMI2 x64 - Vajolet2 1.45 POP x64 (2726) 5.0 - 0.0 100.00%
Stockfish 26.04.15 BMI2 x64 - Atlas 3.80 x64 (2721) 5.0 - 0.0 100.00%

Komodo 9 x64 - DiscoCheck 5.2.1 x64 (2758) 6.0 - 0.0 100.00%
Komodo 9 x64 - Vajolet2 1.45 POP x64 (2726) 5.0 - 0.0 100.00%

Somit führt Stockfish überall.

Man sieht auch: Stockfish spielt besser gegen stärkere, Komodo gegen schwächere Engines.

By Frank Qy. Date 2015-04-30 13:03

Hi Tom,

würde ich so generell nicht komplett so aussagen.

Eher so:
Stockfish lässt mehr Punkte gegen schwächere in der Eröffnung durch schnelle Remispartien. Komodo lässt mehr Punkte gegen schwächere im Endspiel. Führt dazu, dass beide bei mir etwas schlechter abschneiden werden als bei den Anderen die testen mit weniger Gegnern und mehr gleichen Spielstilen.

Der Unterschied zwischen den Beiden ist sehr offensichtlich:
Komodo spielt abgeklärter mit vielen Figuren auf dem Brett und auch aggressiver. Je weniger Figuren auf dem Brett sind desto mehr wird Stockfish im direkten Vergleich stärker und wird überholen.

Womit Du natürlich Recht hast ... auffällig das Komodo 9 bislang bei mir gegen stärkere Engines weniger punktet.

Wir haben 10 Vergleiche ... also 10 x 165 Partien.
Im ersten Vergleich dann 137,5 : 132,5 (Stockfish machte also gegen 32 Gegner 5 Punkte mehr). Und die mehr Punkte eigentlich eher gegen die Stärkeren, ist richtig.

Zur Zeit steht es ...
Stockfish = 85% nach 220 Partien
Komodo = 81,34% nach 217 Partien

das sind satte 3,66% Unterschied.
Wobei Komodo steigen wird und Stockfish unglaublicher Weise derzeit auch steigt (kann eigentlich nicht sein).

Bin echt gespannt ...
So rein nach den Stats wird's wahrscheinlich auf 20 Elo Differenz hinauslaufen.
Also messbarer Vorteil für Stockfish!
Komodo wird bei ca. 82,5 - 83% landen und Stockfish bei ca. 84% (wenn mehr müssen die letzten Änderungen nochmals zu einer kleinen Schippe mehr geführt haben).

Denke Komodo hat einen schlechten Start denn die +45-50 Elo bei den anderen kommen ja nicht von irgendwo.
Also +35-40 bei mir ... dafür muss ich nicht hellsehen können (wie gesagt wegen mehr und vor allem mehr unterschiedlichen Gegnern).

Gruß
Frank

By Frank Qy. Date 2015-04-30 18:23

jetzt wird es endlich spannend ...

Komodo = 252 Partien = 82,54%
Stockfish = 255 Partien = 84,51%

Und die Differenz schmilzt auf 1,97%
Sollte auch ca. bei "nur" 1,0 eher 1.5 liegen (glaube eher daran das Stockfish ca. 10 Elo besser ist).

Das heißt Komodo hat jetzt 2,2% zugelegt (zum Stand nach 160 Partien) und aus +9 wird dann derzeit ca. +28 ...
Fehlt also noch ca. 1.0% ... um auf +35-40 zu kommen (wie gesagt bei mir wird es ca. 10 Elo weniger, wegen mehr Gegnern).

Gruß
Frank

By Frank Qy. Date 2015-04-30 22:48

228.5 - 47.5 82.79% Perf=3102 bei Komodo 9 x64 und
233.5 - 43.5 84.30% Perf=3119 bei Stockfish 26.04.15 BMI2 x64

Das heißt im zweiten 165 Partien lauf punktete Komodo gar besser als Stockfish obwohl Stockfish dennoch zulegen wird.
Bedeutet, Komodo hatte eine schlechte erste Serie (was klar war, wir kennen die Resultate der anderen Tester).
Aber das Stockfish weiter zulegt und wahrscheinlich gegenüber Version 6 um mehr als 20 Elo gewonnen hat ist sehr beachtlich.

Wie dem auch ist ...
Es sind dennoch nur noch: 1.51% Differenz und mit mehr Partien wird es logischer Weise immer genauer.
Spannend bleibt es ca. bis Partienummer 800 ... danach kommt dann die Kosmetikerin zum Einsatz und verabreicht beiden noch ein bissel Permanent MakeUp und vielleicht gibt es ja auch noch Botox.
So, nach den bisherigen Testläufen bei mir bei so viel Gegnerschaft.

Übrigens ein schöner Name für eine Engine:
Botox ...

Gruß
Frank

By Frank Qy. Date 2015-04-30 23:10

Ich mache es ein wenig spannender ...

Auf der Startseite (also bei Aufruf von www.amateurschach.de) finden sich Elo-Auswertungen zwischen den 10 Steps der Detailseite ...
Ist gerade so die Phase wo sich die Ratings bilden!

Denke interessant ...
Sitze aber nicht immer am PC.

Das ist dann für die ganz schnellen Besucher, die sich für die nackte Zahl interessieren ... schauen und wieder weg.
Wer mehr wissen möchte ... dann die Detailseite anklicken.

Gruß
Frank

By Frank Qy. Date 2015-05-01 09:27

Hallo zusammen,

spiele ein wenig Unterhalter ...

Die zweite 165 Partien Runde (10% = 165 games, 20% = 330 games, 30% = 495 games) hat Komodo 9 für sich entschieden.
Schauen wir aber auf die Gesamtpunkte, Verteilung weiß / schwarz sehen wir wie eng die beiden zusammen liegen.

Ein paar weitere Statistiken:

Kurze Remispartien (Stockfish Problem) unter 50 Züge von SF dev.: 24 Partien
Kurze Remispartien unter 50 Züge von K9: 8 Partien

Ist Komodo 9 hier weiter optimiert wurden um noch einen größeren Elo Schwung zu schaffen?
Normal "nur" doppelt so viele von Stockfish, derzeit dreimal so viele!

Kurze Gewinnpartien unter 50 Züge von K9 = 5 Partien
Kurze Gewinnpartien unter 50 Züge von SF dev. = 8 Partien

Im Grunde war das auch bei K8 vs. SF6 so nur in der Elo Statistik auf meinen Webseiten unter 60 Zügen liegt Komodo wegen den vielen unnötigen Remispartien von SF vorne.
Muss weg, keine Zeit mehr ...

Ach so ...
8x Bad Lines im Buch gefunden (nachgespielt)
1x Remis unter 20 Züge (nachgespielt)
2x Partie doppelt zwischen Zug Nummer 10-x, in diesem Fall bis Zug Nummer 12 und 21) nachgespielt (auch diese Partien werden nachgespielt, aber ich führe hierüber keine genaue Statsitik, im Grunde mache ich das nur auch nur dann wenn die Ergebnisse gleich sind, wegen ECO Verteilung). Ändere hier aber nichts im Buch.

Code:

FCP version     : 2.07.0330.s7+s8
Time            : April 28th 2015 - May 11th, 2015

Performance     : Stockfish 26.04.15 BMI2 x64 = +13 Elo
Performance     : Komodo 9 x64                = +32 Elo

 Calculated with Ordo 1.0
 Stats after 100, 200 ... games!       Elo   Games  Score  Draws   White Black Points   w/ d/ l
 01. Stockfish 6 BMI2 x64              3135  1.700  Predecessor
 --. Stockfish 260415 BMI2 x64         ----  1.650  --.-%  --.-%   --,-  --,-  ---,-   ---/--/--
 --. Stockfish 260415 BMI2 x64         ----  1.485  --.-%  --.-%   --,-  --,-  ---,-   ---/--/--
 --. Stockfish 260415 BMI2 x64         ----  1.320  --.-%  --.-%   --,-  --,-  ---,-   ---/--/--
 --. Stockfish 260415 BMI2 x64         ----  1.155  --.-%  --.-%   --,-  --,-  ---,-   ---/--/--
 --. Stockfish 260415 BMI2 x64         ----    990  --.-%  --.-%   --,-  --,-  ---,-   ---/--/--
 --. Stockfish 260415 BMI2 x64         ----    825  --.-%  --.-%   --,-  --,-  ---,-   ---/--/--
 --. Stockfish 260415 BMI2 x64         ----    660  --.-%  --.-%   --,-  --,-  ---,-   ---/--/--
 --. Stockfish 260415 BMI2 x64         ----    495  --.-%  --.-%   --,-  --,-  ---,-   ---/--/--
 01. Stockfish 260415 BMI2 x64         3148    330  83.0%  30.9%   73,5  63,0  136,5   110/53/02
 01. Stockfish 260415 BMI2 x64         3150    165  83.3%  29.7%   73,5  64,0  137,5   113/49/03

 Calculated with Ordo 1.0
 Stats after 100, 200 ... games!       Elo   Games  Score  Draws   White Black Points   w/ d/ l
 02. Komodo 8 x64                      3105  1.700  Predecessor
 --. Komodo 9 x64                      ----  1.650  --.-%  --.-%   --,-  --,-  ---,-   ---/--/--
 --. Komodo 9 x64                      ----  1.485  --.-%  --.-%   --,-  --,-  ---,-   ---/--/--
 --. Komodo 9 x64                      ----  1.320  --.-%  --.-%   --,-  --,-  ---,-   ---/--/--
 --. Komodo 9 x64                      ----  1.155  --.-%  --.-%   --,-  --,-  ---,-   ---/--/--
 --. Komodo 9 x64                      ----    990  --.-%  --.-%   --,-  --,-  ---,-   ---/--/--
 --. Komodo 9 x64                      ----    825  --.-%  --.-%   --,-  --,-  ---,-   ---/--/--
 --. Komodo 9 x64                      ----    660  --.-%  --.-%   --,-  --,-  ---,-   ---/--/--
 --. Komodo 9 x64                      ----    495  --.-%  --.-%   --,-  --,-  ---,-   ---/--/--
 02. Komodo 9 x64                      3137    330  82.1%  29.7%   73,5  65,0  138,5   115/47/03
 02. Komodo 9 x64                      3114    165  80.3%  30.9%   73,5  59,0  132,5   107/51/07
  

     Program                           Elo    +    -  Games   Score  Av.Op.  Draw
 01. Stockfish 26.04.15 BMI2 x64       3148   37   37   330   83.0%   2842   30.9%
 02. Komodo 9 x64                      3137   39   39   330   82.1%   2843   29.7%
 --. Stockfish 6 BMI2 x64              3135   16   16  1700   83.8%   2824   28.9%
 --. Komodo 8 x64                      3105   16   16  1700   80.9%   2830   31.6%
 03. Fire 4 x64                        3046   13   13  1870   76.1%   2822   33.7%
 04. GullChess 3.0 BMI2 x64            3039   14   14  1720   74.2%   2836   39.2%
 05. Equinox 3.30 x64                  2993   13   13  1870   70.7%   2824   41.3%
 06. Sting SF 4.8.4 x64                2932   12   12  1770   62.8%   2833   44.4%
 07. Protector 1.7.0 x64               2914   14   14  1570   58.3%   2853   45.9%
 08. Critter 0.90 SSE4 x64             2900   13   13  1670   57.6%   2843   45.6%
 09. Texel 1.05 x64                    2897   12   12  1770   58.6%   2833   43.8%
 10. Hannibal 1.5 x64                  2896   13   13  1720   58.4%   2834   45.2%
 11. Chiron 2.0 x64                    2895   11   11  2820   62.7%   2798   40.5%
 12. Naum 4.6 x64                      2886   11   11  2020   59.5%   2813   43.4%
 --. Hannibal 1.4b x64                 2863   10   10  2500   59.2%   2794   43.3%
 --. Texel 1.04 x64                    2848   11   11  2300   57.5%   2793   42.4%
 13. Nirvanachess 2.0a x64             2838   12   12  2070   53.7%   2813   45.9%
 14. Senpai 1.0 SSE42 x64              2830   10   10  2820   54.2%   2801   42.8%
 15. Hiarcs 14 WCSC w32                2825   10   10  2820   53.6%   2801   43.3%
 16. Andscacs 0.72 POP x64             2814   11   11  2020   50.4%   2815   43.3%
 17. Sjeng c't 2010 w32                2797   11   11  1920   47.7%   2819   43.1%
 18. Shredder 12 x64                   2795   13   13  1720   44.4%   2843   43.3%
 19. Junior 13.3.00 x64                2783   10   10  2670   47.2%   2808   40.5%
 20. Spike 1.4 Leiden w32              2773   13   13  1620   40.5%   2852   42.7%
 21. Quazar 0.4 x64                    2760   14   14  1520   39.6%   2847   41.3%

By Benno Hartwig Date 2015-05-01 17:39

Ich habe die Ergebnisse nach 756 Partien mal in einer Grafik platziert.
Die x-Achse ist der ELO-Wert der Gegner, die Y-Achse der jeweils erreichte ELO-Wert.

Es geht also noch reichlich rauf und runter.
Beide Engines punkten tendenziell etwas besser gegen die starken Engines.
Bei Stockfish ist dies aber stärker ausgeprägt.
Mal sehen, wie es dann am Ende aussieht.

Benno

By Frank Qy. Date 2015-05-01 21:58

Hi Benno,

kannst Du die Grafik nach dem Ende von diesem Zweikampf noch mal erstellen?
Das wäre nett ... interessante Darstellung !!

Vg
Frank

By Benno Hartwig Date 2015-05-01 22:26

klar, mache ich,
Benno

By Frank Qy. Date 2015-05-04 08:47

Hallo,

hier ein weiterer Zwischenstand ...
Legte gestern eine kleine Pause ein!

Code:

 After round 23 of 50 / 1472 of 3200 games
 # PLAYER                        : RATING  ERROR POINTS PLAYED  (%)
 1. Stockfish 26.04.15 BMI2 x64  : 3154.9  24.5   634.0   759  83.5%  +19,9 Elo
 2. Komodo 9 x64                 : 3138.0  23.5   623.5   759  82.1%  +33,1 Elo
 3. Stockfish 6 BMI2 x64         : 3135.0  16.7  1424.0  1700  83.8%
 4. Komodo 8 x64                 : 3104.9  15.5  1375.5  1700  80.9%

Ein paar Stats:

Code:

 Stockfish 26.04.15 BMI2 x64 
 Won games up to move number 50   = 19 games 
 Lost games up to move number 50  =  0 games 
 Draw games up to move number 50  = 50 games 
 Move average                     = 80 moves 

 Komodo 9 x64 
 Won games up to move number 50   = 14 games 
 Lost games up to move number 50  =  1 game 
 Draw games up to move number 50  = 19 games 
 Move average                     = 85 moves

Gruß
Frank

By Tom Paul Date 2015-05-04 21:55

Hier sieht man wie die beiden Engines gegeneinander und gegen die TOP 3 abschneiden.
Wer wohl besser gegen 3000 ELO und stärkere Engines spielt???

Stockfish 26.04.15 BMI2 x64 - Komodo 9 x64 (3150) 13.5 - 12.5 51.92% Perf=3163
Stockfish 26.04.15 BMI2 x64 - Fire 4 x64 (3046)    16.0 - 10.0 61.54% Perf=3127
Stockfish 26.04.15 BMI2 x64 - GullChess 3.0 BMI2 x64 (3038) 17.0 - 9.0 65.38% Perf=3148
Stockfish 26.04.15 BMI2 x64 - Equinox 3.30 x64 (2994)    21.0 - 5.0 80.77% Perf=3243

Komodo 9 x64 - Stockfish 26.04.15 BMI2 x64 (3150) 13.5 - 12.5 51.92% Perf=3163
Komodo 9 x64 - Fire 4 x64 (3046)    14.5 - 11.5 55.77% Perf=3086
Komodo 9 x64 - GullChess 3.0 BMI2 x64 (3038) 16.0 - 10.0 61.54% Perf=3119
Komodo 9 x64 - Equinox 3.30 x64 (2994)    18.0 - 8.0 69.23% Perf=3134

By Johannes Kersting Date 2015-05-05 17:42

Lieber Tom Paul,

ich verstehe die Ergebnisse nicht. Einmal hat Stockfisch gegen Komodo 13,5 zu 12,5
in der nächsten Aufstellung hat Komodo gegen Stockfisch 13,5 zu 12,5 gespielt.

Was ist nun richtig? Oder interpretiere ich hier etwas nicht richtig?

Gruss

Johannes

By Tom Paul Date 2015-05-05 18:21

Ziemlich selbsterklärend:
http://amateurschach.de/
http://amateurschach.de/ftptrigger/stockfish_260415-bmi2-x64.html
http://amateurschach.de/ftptrigger/komodo_9-x64.html

By Benno Hartwig Date 2015-05-05 20:17 Edited 2015-05-05 20:22

Die haben zwei Durchgänge gegeneinander gespielt, insgesamt 52 Partien.

Inzwischen:
15.5 - 14.5 für Komodo im Komodo-Event
16,0 - 14,0 für Stockfish im Stockfish-Event
Die beiden spielten also insgesamt bislang ein 30,5 - 29,5 für Stockfish. (so wird hier aber nicht ausgewertet)

Benno

By Frank Qy. Date 2015-05-05 22:47

Hallo Johannes,

ist die einzige Möglichkeit beide zeitgleich laufende Spießroutenläufe synchron zu halten.
So haben beide in jeden Spießroutenlauf also 1.600 Partien und in der Gesamtauswertung 1.650 Partien.

Bedeutet die beiden spielen in beiden Round-Robins gegeneinander, produzieren also nicht die üblichen 50 sondern 100 Partien.
Auch für später wichtig, komme andere Testgegner werden diese beiden Engines immer synchron laufen, also immer die gleichen Gegner haben.
Wichtig weil es von Anfang an klar war, dass die Spielstärke sehr eng zusammen liegt.

Viel Spaß beim Verfolgen!

Gruß
Frank

By Johannes Kersting Date 2015-05-06 20:43

Hallo liebe Schachfreunde!

Vielen Dank für die Erklärungen.
Finde das alles super-spannend !

Gruss

Johannes

By Benno Hartwig Date 2015-05-05 21:06 Edited 2015-05-05 21:10

Jetzt nach gut der Hälfte der Partien sieht es so aus:

Die linearen Trendlinien (Excel) deuten überraschenderweise an, dass Komodo besonders gut gegen die Starken punkten kann und dass Stockfish gegen die Schwächeren Vorteile hat.
Allerdings will meine Anschauung dies nicht wirklich unterstützen.

Aber Excel wird schon richtig gerechnet haben...

Benno

By Tom Paul Date 2015-05-05 21:17

Für mich beginnt stark, in diesem Fall, ab 2994 ELO.

By Benno Hartwig Date 2015-05-05 22:18

PS:
Einen Punkt musste ich noch korrigieren.
Nun zeigt Stockfish eine fast waagerechte Trendlinie.
Benno

By Frank Qy. Date 2015-05-06 09:17

Hi Benno,

stimmt im Grunde sehr genau dann wenn ich immer eine Auswertung gemacht habe.
Weil ich musste korrigieren.

Bei den letzten ca. 600 Partien gab es 12 Bad Lines.
Wobei 2 doppelt waren, also 11 Bad Lines.

Endlich ...
Durch diese beiden Round-Robins kann ich das Buch stark verbessern.
Bei den letzten Partien hatte ich Glück, waren ein paar dabei.

4 Partien waren doppelt über Zug 18 und wurden wiederholt.
1x Remis unter 20 Zügen und eine Zeitüberschreitung, alles wiederholt.

Es sind immer die selben Eröffnungen die für diese Bad Lines sorgen.
Sehr schwierig bei bestimmten Eröffnungen nur die Fortsetzungen zu selektieren die dann für ca. ausgeglichenes Spiels sorgen. Möchte ja nach wie vor das alle 500 ECO codes im Verhältnis zum Ausspielverhalten aus GM und Correspondence Schach auf das Brett kommen.

Schrecklich sind die Bad Lines beim Königsgambit. Da Königsgambit nur selten auf das Brett kommt fallen dann noch heute (nach so vielen Buch Optimierungen) Varianten auf die mit -4 nach dem Buch starten. -4 ... das ist mittlerweile so selten, vielleicht eine von 10.000 Partien, dachte eigentlich sollte endlich raus sein aber bei Königsgambit kann das noch passieren. So siegte Atlas gegen Komodo weil Komodo mit -0.4 gestartet ist.

Nun ja, jede Partie wird geprüft und das Buch dann immer wieder korrigiert. Die Datenbank sollte dann recht sauber sein.

Und zu Komodo ...
Gerade eine Niederlage gegen Cheng4.
Hat Cheng4 gut gemacht und den kleinen errungenen Vorteil durchgezogen.
Hat sich Komodo gut herangekämpft aber läßt derzeit wieder etwas nach.

Verläuft aber alles wie gedacht ...
Stockfish nicht +20-25, sondern bei mir +15
und Komodo 9 nicht Plus 50-55 sondern bei mir ca. +40.

Wie angekündigt, gegen viele Gegner ca. 10 Elo weniger aus den beschriebenen Gründen.

Gruß
Frank

By GS Date 2015-05-06 12:24

Frank Qy. schrieb:

[...snip...]
Wie angekündigt, gegen viele Gegner ca. 10 Elo weniger aus den beschriebenen Gründen.

Für unsere CEGT 5'+3" pb=on Liste musste Komodo 9.0 ebenfalls gegen
viele verschiedene Engines (immerhin 28) spielen, siehe:
http://www.husvankempen.de/nunn/5Plus3Rating/Purelist/rangliste.html

Trotzdem kommt bis jetzt fast das selbe heraus wie bei der IPON, nämlich
eine Steigerung gegenüber der Version 8.0 von ca. 60 Punkten und zudem,
wie bei der IPON auch, der "Platz an der Sonne". Allerdings sind die von
uns bisher gespielten 1400 games eine noch recht dünne Datenbasis, die
Error-Margins liegen immerhin noch bei +19 -19 !!
Meines Erachtens wird Komodo 9.0 bei uns noch 3-5 Punkte fallen, Platz 1
jedoch scheint sicher.

By Frank Qy. Date 2015-05-07 12:42

Hi Gerhard,

andere Rahmenbedingungen andere Ergebnisse.
Aber in der Gesamtheit ist dann doch alles klar.
Komodo 9 steht vor Stockfish 6, auch wenn knapp aber das scheint überall knapp zu sein.

Wenn ich vergleiche mit CEGT scheinen die starken im Rating etwas schwächer zu sein, die Schwächeren etwas stärker.

Das muss nicht unbedingt mit der Anzahl der Gegner zu tun haben oder auch mit vielen gleich spielenden Gegnern.
Kann auch an dem Einsatz der Prozessoroptimierungen liegen (SSE42, AVX, BMI2) oder kann an der Zeit liegen.
IPON und CEGT mit 40 in 20 ... das sind deutlich geringe Zeiten als bei mir (auch wenn ich Ponder Faktor einberechne).
Sollte aber in der Gesamtheit kaum etwas ausmachen ... sind im Grunde eher viele kleine Unterschiede die dann zu Differenzen führen.
Wobei ich nach wie vor denke, das der größte Beeinflussungsfaktor beim Messen von Ratings die Anzahl der Gegner ist wenn eine ausreichende Anzahl an Partien vorliegt.
Das kann wirklich schön simuliert werden, wenn z. B. einfach Engines aus der Berechnung herausgenommen werden.

Nach meiner Hochrechnung wird Komodo auf +43 bei mir kommen und Stockfish bleibt bei +15 in dev. Version zu Version 6.
Derzeit sind es 5.5 Punkte Unterschied nach weit über 1.000 Partien. Das wird eine ganz knappe Geschichte bei mir zumal nach den 165 Partien Auswertungen nicht so viel regt.

Bin gespannt wie es ausgeht.
Schön ist, die beiden spielen durchaus unterschiedlich ...

Euch weiterhin viel Spaß beim Testen ...
Und klar die IPON Ergebnisse schaue ich mir auch an bzw. wenn Ingo etwas testet.

Gruß
Frank

By Benno Hartwig Date 2015-05-07 14:26

> Das muss nicht unbedingt mit der Anzahl der Gegner zu tun haben...

Vor einiger Zeit noch hatte ich befürchtet, dass die Vielzahl schwächerer Gegner, die bei sehr vielen Gegnern für Starke Engines dann ja zwangsläufig sind, das Ergebnis in eine Richtung drücken, die mich weniger interessiert.
Konkret hatte ich befürchtet, dass die starken Engines hier ggf. nich so deutlich dominieren können, wie es notwendig wäre.

Aber z.B. deine Berichte haben mich hier beruhigt.

Es wird gegen die deutlich Schwächeren so deutlich gesiegt, wie von den Starken erwartet werden kann.

> Komodo 9 steht vor Stockfish 6, auch wenn knapp

und ob und ab wann der neueste SF-Dev einigermaßen sicher vor K9 steht, wird sicher noch einige Zeit diskutiert werden.
Und eventuell werden wir im Herbst dann von einem K9.1 lesen, der sich aufmacht, wieder die Spitzen der Listen zu erobern.
Mal sehen, welche der etablierten Listenbetreiber sich dann mit solch einer "offiziellen Zwischenversion" beschäftigen mögen.

Benno

By Frank Qy. Date 2015-05-07 22:52

Hallo Benno,

wenn wir jede dev. Version testen brauchen wir nichts anderes mehr zu tun.
Und wir hätten ja auch keine Gegner, weil für den Test der Gegner keine Zeit mehr wäre.

Ich denke es reicht wenn 1-2x im Jahr eine neue Version (ob TOP 1 Engine oder nicht) getestet werden.
Finde den Bereich der aufstrebenden Programme eh deutlich interessanter als nur nach ganz oben zu schauen.
Schon allein deswegen weil derart aufregende Spielstile dabei sind das schon deswegen alles immer wieder reizvoll ist.

Jetzt schauen wir mal auf den direkten Vergleich zweier zeitgleicher Versionen.
Stockfish dev und Komodo 9. In ca. 4 Tagen ist dann endlich Schluss und ein Ergebnis liegt vor wobei mich selbst alles sehr langweilt wenn mal 1000 Partien vorliegen.

Gruß
Frank

By Benno Hartwig Date 2015-05-05 12:41 Edited 2015-05-05 12:47

Na, nach 1825 Partien hat sich Komodo nun aber doch ganz schön wieder an Stockfish herangekämpft:

Stockfish 26.04.15 BMI2 x64        766.0 - 146.0   83.99%   Perf=3121
Komodo 9 x64                       764.5 - 148.5   83.73%   Perf=3118

Benno

By Frank Qy. Date 2015-05-05 13:17

Hallo Benno,

schaue in der Nacht ob alle Partien OK waren bzw. etwas nachzuspielen ist und mache dann danach die nächste Auswertung.
Aber in der Tat ... auch gerade gesehen.

Sind nur noch 2.5 Punkte Differenz.
Sollte Komodo danach nun auf ca. +42 bei mir kommen.
Bin mir dennoch sicher das es zu anderen Testern im Endergebnis -10 sind, weil ich einfach mehr unterschiedliche Gegner habe.
Aber vielleicht täusche ich mich ja auch, war aber beim Testen anderer Stockfish und Komodo Versionen auch so.
Insofern wäre die Aussage ... wenn bei anderen ca. +55 dann maximal bei mir +45.

Gruß
Frank

By Frank Qy. Date 2015-05-06 08:30

Code:

 FCP version     : 2.07.0990.s7+s8
 Time            : April 28th 2015 - May 11th, 2015
 Games           : after 1920 of 3.200 (2.910Mb)

 Performance     : Stockfish 26.04.15 BMI2 x64 = +14 Elo
 Performance     : Komodo 9 x64                = +38 Elo

 Calculated with Ordo 1.0
 Stats after 100, 200 ... games!       Elo   Games  Score  Draws   White Black Points   w/ d/ l
 01. Stockfish 6 BMI2 x64              3135  1.700  Predecessor
 --. Stockfish 260415 BMI2 x64         ----  1.650  --.-%  --.-%   --,-  --,-  ---,-   ---/--/--
 --. Stockfish 260415 BMI2 x64         ----  1.485  --.-%  --.-%   --,-  --,-  ---,-   ---/--/--
 --. Stockfish 260415 BMI2 x64         ----  1.320  --.-%  --.-%   --,-  --,-  ---,-   ---/--/--
 --. Stockfish 260415 BMI2 x64         ----  1.155  --.-%  --.-%   --,-  --,-  ---,-   ---/--/--
 01. Stockfish 260415 BMI2 x64         3149    990  83.1%  30.2%   70,0  66,5  136,5   110/53/02
 01. Stockfish 260415 BMI2 x64         3149    825  83.2%  29.8%   72,0  65,5  137,5   116/43/06
 01. Stockfish 260415 BMI2 x64         3149    660  83.1%  30.8%   72,5  64,0  136,5   110/53/02
 01. Stockfish 260415 BMI2 x64         3150    495  83.2%  30.3%   71,5  66,5  138,0   114/48/03
 01. Stockfish 260415 BMI2 x64         3148    330  83.0%  30.9%   73,5  63,0  136,5   110/53/02
 01. Stockfish 260415 BMI2 x64         3150    165  83.3%  29.7%   73,5  64,0  137,5   113/49/03

 Calculated with Ordo 1.0
 Stats after 100, 200 ... games!       Elo   Games  Score  Draws   White Black Points   w/ d/ l
 02. Komodo 8 x64                      3105  1.700  Predecessor
 --. Komodo 9 x64                      ----  1.650  --.-%  --.-%   --,-  --,-  ---,-   ---/--/--
 --. Komodo 9 x64                      ----  1.485  --.-%  --.-%   --,-  --,-  ---,-   ---/--/--
 --. Komodo 9 x64                      ----  1.320  --.-%  --.-%   --,-  --,-  ---,-   ---/--/--
 --. Komodo 9 x64                      ----  1.155  --.-%  --.-%   --,-  --,-  ---,-   ---/--/--
 02. Komodo 9 x64                      3143    990  82.6%  29.4%   72,0  68,0  140,0   118/44/03
 02. Komodo 9 x64                      3137    825  82.1%  29.9%   73,5  61,5  135,5   110/50/05
 02. Komodo 9 x64                      3138    660  82.2%  29.8%   72,5  65,5  138,0   112/52/01
 02. Komodo 9 x64                      3132    495  81.7%  29.3%   71,0  62,5  133,5   110/47/08
 02. Komodo 9 x64                      3137    330  82.1%  29.7%   73,5  65,0  138,5   115/47/03
 02. Komodo 9 x64                      3114    165  80.3%  30.9%   73,5  59,0  132,5   107/51/07
  

     Program                           Elo    +    -  Games   Score  Av.Op.  Draw
 01. Stockfish 26.04.15 BMI2 x64       3149   22   22   990   83.1%   2842   30.2%
 02. Komodo 9 x64                      3143   22   22   990   82.6%   2842   29.4%
 --. Stockfish 6 BMI2 x64              3135   17   17  1700   83.8%   2823   28.9%
 --. Komodo 8 x64                      3105   16   16  1700   80.9%   2830   31.6%
 03. Fire 4 x64                        3047   14   14  1910   75.4%   2829   34.3%
 04. GullChess 3.0 BMI2 x64            3039   14   14  1760   73.4%   2843   39.8%
 05. Equinox 3.30 x64                  2992   12   12  1910   69.7%   2830   41.6%
 06. Sting SF 4.8.4 x64                2932   13   13  1810   62.0%   2840   44.4%
 07. Protector 1.7.0 x64               2912   13   13  1610   57.1%   2860   45.2%
 08. Critter 0.90 SSE4 x64             2899   13   13  1710   56.7%   2850   45.3%
 09. Hannibal 1.5 x64                  2897   13   13  1760   57.6%   2841   45.3%
 10. Texel 1.05 x64                    2896   13   13  1810   57.6%   2840   43.4%
 11. Chiron 2.0 x64                    2895   10   10  2860   62.1%   2803   40.4%
 12. Naum 4.6 x64                      2884   12   12  2060   58.6%   2820   43.0%
 --. Hannibal 1.4b x64                 2862   10   10  2500   59.2%   2794   43.3%
 --. Texel 1.04 x64                    2848   11   11  2300   57.5%   2793   42.4%
 13. Nirvanachess 2.0a x64             2837   11   11  2110   52.9%   2819   45.5%
 14. Senpai 1.0 SSE42 x64              2830    9    9  2860   53.7%   2805   42.6%
 15. Hiarcs 14 WCSC w32                2825   10   10  2860   53.1%   2805   43.1%
 16. Andscacs 0.72 POP x64             2814   11   11  2060   49.7%   2821   43.1%
 17. Sjeng c't 2010 w32                2796   12   12  1960   46.8%   2826   42.4%
 18. Shredder 12 x64                   2795   12   12  1760   43.7%   2850   42.9%
 19. Junior 13.3.00 x64                2783   10   10  2710   46.7%   2813   40.3%
 20. Spike 1.4 Leiden w32              2773   13   13  1660   39.8%   2858   42.2%
 21. Quazar 0.4 x64                    2759   13   13  1560   38.8%   2854   40.6%

By Kurt Utzinger Date 2015-05-07 13:55

Hallo Frank
Nach dem Studium aller Beiträge bin ich zum pragmatischen Schluss
gekommen, dass beide Programme praktisch gleich stark sind. All
das statistische Rauschen vermag an diesem Eindruck nichts zu ändern.
Gruss
Kurt

By U. Haug Date 2015-05-07 14:45

Kurt Utzinger schrieb:

Hallo Kurt,

so kann man Hunderte von Beiträgen zum Thema Komodo 9 <-> Stockfish 6 prägnant zusammenfassen. Danke!

Du beziehst dich damit allerdings nur auf die Gesamtspielstärke. Für Fernschachspieler und andere Analytiker bleibt die Frage, ob eine der beiden Spitzenengines in gewissen Stellungstypen oder Partiephasen (Königsangriff, Endspiel, Positionsspiel, Übergang ins Endspiel, ...) signifikante Vorteile gegenüber der anderen besitzt. Das wäre immer noch möglich.

Freundliche Grüße

Ulrich

By Kurt Utzinger Date 2015-05-07 16:54

Hallo Ulrich

Du sprichst mir aus dem Herzen. Für mich ist einzig die Analysestärke massgebend.
Und hier ergeben sich bei (etwas) längeren Bedenkzeiten zwischen verschiedenen
Engines bei gewissen Stellungen klare Unterschiede. Ein Beispiel die folgende
Stellung:

Hier zeigt sich Stockfish 6 einigermassen blind, indem er sich praktisch auf das
wenig zweckmässige 10.a3?! einschiesst und an der starken Antwort 10...Sd5!
schlicht vorbeigeht. Anders Komodo 9, der wegen dieser Folge 10.a3?! schliesslich
verwirft. Nach meinem Eindruck rechnet Komod 9 bedeutend stärker in die Breite
und schaut mehr Züge an. Solche Unterschiede kommen in den bei den meisten
zur Anwendung gelangenden Tests mit sehr kuzren Bedenkzeiten nicht zum Tragen.
Sicher wird es jedoch auch Stellungen geben, wo Stockfish mehr glänzen wird.
Aber generell meine ich doch, dass Komodo bei längeren Bedenkzeiten der
verlässlichere Analysepartner ist.

Mfg
Kurt

Stockfish 6 64bit
6.19 10.a3 (tiefe 32, 1/39), 1.3G Knoten (3.5M nps)
0.00: +0.93/3 10.a3 Bxc3+ 11.bxc3
0.00: +5.44/4 10.Bc7 O-O 11.Bxd8 Raxd8
0.00: +1.25/5 10.Bc7 Na5 11.Qxb4 Qxc7 12.e3
0.00: +1.20/6 10.Bc7 Na5 11.Qxb4 Qxc7 12.e3 h6
0.00: +1.72/7 10.Bc7 Na5 11.Qxb4 Qxc7 12.Nf3 h6 13.e3
0.00: -0.08/8 10.Bc7 Qc8 11.Qxc8+ Rxc8 12.Bf4 Ne7 13.O-O-O Nh5 14.e3 Nxf4
0.00: +0.38/9 10.O-O-O O-O 11.Nf3 Rc8 12.Ne5 Nxe5 13.Bxe5 Qa5 14.Bxf6 gxf6
0.00: +0.38/10 10.O-O-O O-O 11.Nf3 Rc8 12.Ne5 Nxe5 13.Bxe5 Qa5 14.Bxf6 gxf6 15.Rxd7
0.00: +0.82/11 10.Nf3 O-O 11.Rd1 Qe7 12.e3 a6 13.Bxa6 Na5 14.Rxd7 Nxd7 15.Qb5 Ra7
0.00: +0.68/12 10.Rd1 O-O 11.a3 Bxc3+ 12.bxc3 Na5 13.Qc7 Rc8 14.Qxd8 Rfxd8 15.e3 Rxc3 16.Nf3 Rxa3
0.00: +0.68/13 10.Rd1 O-O 11.Qa6 Ne7 12.e3 Ned5 13.Ne2 Nxf4 14.Nxf4 Rc8 15.a3 Bxc3+ 16.bxc3 Rxc3 17.Qxa7
0.00: +0.58/14 10.Rd1 O-O 11.Qa6 Ne7 12.e3 Ned5 13.Ne2 Nxf4 14.Nxf4 Rc8 15.a3 Bxc3+ 16.bxc3 Rxc3 17.Qxa7 Rc2
0.00: +0.44/15 10.Nf3 O-O 11.a3 Qa5 12.Rc1 Bxc3+ 13.bxc3 Rfe8 14.Nd2 Qxa3 15.Nc4 Na5 16.Nxa5 Qxa5 17.e3 Rac8
0.00: +0.37/16 10.Nf3 O-O 11.a3 Qa5 12.Rc1 Bxc3+ 13.bxc3 Rfe8 14.Qb2 Nd5 15.Bg3 Bf5 16.h3 Qb6 17.Qxb6 axb6
0.01: +0.44/17 10.a3 Bxc3+ 11.bxc3 O-O 12.Nf3 Qa5 13.Qb2 Nd5 14.Bd6 Rfd8 15.Bb4 Qc7 16.e3 Ncxb4 17.cxb4 Nc3 18.Rc1 Rac8
0.02: +0.60/18 10.a3 Bxc3+ 11.bxc3 O-O 12.Qc7 Rc8 13.Qxd8 Rfxd8 14.Nf3 Nd5 15.Bg3 Na5 16.Nd4 Bg4 17.e3 Rxc3 18.Ne2 Bxe2 19.Bxe2
0.03: +0.43/19 10.a3 Bxc3+ 11.bxc3 Qa5 12.Rc1 O-O 13.e4 Rad8 14.f3 Qxa3 15.Ne2 Qc5 16.Nd4 Nxd4 17.cxd4 Qxd4 18.Rc4 Qa1+ 19.Rc1 Qa3 20.Qc7 Qb4+ 21.Bd2
0.04: +0.33/20 10.a3 Bxc3+ 11.bxc3 Qa5 12.Rc1 O-O 13.e4 Rfd8 14.f3 Ne5 15.Qa6 Qc5 16.Qe2 Qxa3 17.Qe3 Re8 18.c4 Qa5+ 19.Qd2 Qc5 20.Be3 Qa3 21.c5 Rab8 22.Bd4
0.07: +0.29/21 10.a3 Bxc3+ 11.bxc3 Qa5 12.Rc1 O-O 13.e4 Rac8 14.f3 Rfd8 15.Be3 Qxa3 16.Qa6 Qe7 17.h4 Nd5 18.Bg5 f6 19.Bc4 fxg5 20.Bxd5+ Kh8 21.Ne2 gxh4 22.O-O
0.08: +0.30/22 10.a3 Bxc3+ 11.bxc3 Qa5 12.Qb2 O-O 13.e3 Rab8 14.Qc2 Bf5 15.Bd3 Bxd3 16.Qxd3 Rb2 17.Ne2 Rd8 18.Qc4 Ne5 19.Bxe5 Qxe5 20.O-O Ne4
0.12: +0.33/23 10.a3 Bxc3+ 11.bxc3 Qa5 12.Qb2 O-O 13.e3 Nd5 14.Bg3 Nxc3 15.Bc7 Qxc7 16.Qxc3 Qe5 17.Qxe5 Nxe5 18.Be2 Rab8 19.Nf3 Nxf3+ 20.Bxf3 Rb2 21.O-O Be6 22.Rfc1 Rfb8 23.h3
0.18: +0.30/24 10.a3 Bxc3+ 11.bxc3 Qa5 12.Qb2 O-O 13.e3 Nd5 14.Bg3 Nxc3 15.Bc7 Qxc7 16.Qxc3 Qe5 17.Qxe5 Nxe5 18.Be2 Rfc8 19.Nf3 Nxf3+ 20.Bxf3 Bc6 21.Bxc6 Rxc6 22.Ke2 Rg6 23.Rhc1 Rxg2 24.Rc7 Rxh2
0.28: +0.22/25 10.a3 Bxc3+ 11.bxc3 Qa5 12.Rc1 O-O 13.Qb2 Rfb8 14.Bxb8 Rxb8 15.Qa1 Rb3 16.e3 Rxa3 17.Qb2 Ra2 18.Qb3 Ra3 19.Qc2 Bf5 20.Qb2 Ra2 21.Qb7 Ra1 22.Qa8+ Nd8 23.Qxd8+ Qxd8
0.35: +0.37/26 10.a3 Bxc3+ 11.bxc3 Qa5 12.Qb2 O-O 13.e3 Nd5 14.Bg3 Rac8 15.Nf3 Nxc3 16.Bd3 Ne4+ 17.Nd2 Nxg3 18.hxg3 h6 19.O-O Ne5 20.Be4 Be6 21.Nb3 Qc3 22.Qxc3 Rxc3 23.Nd4 Rb8 24.Rfd1
0.41: +0.30/27 10.a3 Bxc3+ 11.bxc3 Qa5 12.Qb2 O-O 13.e3 Nd5 14.Bg3 Nxc3 15.Qd2 Bg4 16.Bc7 Qxc7 17.Qxc3 Rac8 18.Ba6 Ne5 19.Qxc7 Rxc7 20.Ne2 Bxe2 21.Bxe2 Rd8 22.O-O Rc2 23.Rfd1 Rxd1+ 24.Bxd1 Rd2 25.Rc1
0.50: +0.40/28 10.a3 Bxc3+ 11.bxc3 Qa5 12.Qb2 O-O 13.e3 Nd5 14.Bg3 Rac8 15.Nf3 Nxc3 16.Bd3 Bg4 17.O-O Bxf3 18.gxf3 Ne5 19.Bxe5 Qxe5 20.Rfc1 Rfd8 21.f4 Qf6 22.Bf1 Qg6+ 23.Kh1 Ne4 24.Bg2 Rxc1+ 25.Rxc1 h6 26.Qc2
1.05: +0.28/29 10.a3 Bxc3+ 11.bxc3 Qa5 12.Qb2 O-O 13.e3 Nd5 14.Bg3 Rac8 15.Nf3 Nxc3 16.Bd3 Bg4 17.O-O Bxf3 18.gxf3 Ne5 19.Bxe5 Qxe5 20.Rfc1 Rfd8 21.f4 Qf6 22.Bf1 Rc5 23.Bg2 Rdc8 24.Kh1 a5 25.Rc2 Qf5 26.Rcc1
1.35: +0.28/30 10.a3 Bxc3+ 11.bxc3 Qa5 12.Qb2 O-O 13.e3 Nd5 14.Bg3 Rac8 15.Nf3 Nxc3 16.Bd3 Bg4 17.O-O Bxf3 18.gxf3 Ne5 19.Bxe5 Qxe5 20.Rfc1 Qg5+ 21.Kh1 Qf6 22.f4 Qc6+ 23.Kg1 Rfd8 24.Qd2 a5 25.Qc2 g6 26.Qd2 h6 27.f3 Qf6
2.23: +0.16/31 10.a3 Bxc3+
3.24: +0.14/31 10.e3 O-O
6.19: +0.25/31 10.a3 Bxc3+ 11.bxc3 O-O 12.Bc7 Qe7 13.Nf3 Ne4 14.e3 Rfc8 15.Bg3 Nxg3 16.hxg3 Rab8 17.Qa6 Qc5 18.Qd3 Bf5 19.Qd2 Na5 20.Nd4 Nb3 21.Nxb3 Rxb3 22.c4 Rxa3 23.Rd1 Be4 24.Qd8+ Rxd8 25.Rxd8+ Qf8 26.Rxf8+ Kxf8 27.f3 Bf5 28.c5 h6

Komodo 9 64-bit
5.12 10.Bc7 (tiefe 27, 1/39), 1.3G Knoten (4.1M nps)
0.00: +0.75/3 10.a3 Bxc3+ 11.bxc3 O-O
0.00: +0.89/4 10.a3 Bxc3+ 11.bxc3 Nd5 12.e3
0.00: +0.89/5 10.a3 Bxc3+ 11.bxc3 Nd5 12.e3 Nxc3
0.00: +0.97/6 10.a3 Bxc3+ 11.bxc3 Nd5 12.e3 O-O 13.Ne2
0.00: +0.98/7 10.Rd1 O-O 11.a3 Bxc3+ 12.bxc3 Rc8 13.e3 Qe7
0.00: +0.93/8 10.Rd1 Rc8 11.Rd2 Bxc3 12.bxc3 Ne4 13.Rd3 Nc5 14.Re3+ Be6
0.00: +1.09/9 10.Rd1 Rc8 11.a3 Bxc3+ 12.bxc3 Ne4 13.Nf3 Nxc3 14.Rd3 Ne4 15.Nd2
0.00: +0.88/10 10.Rd1 Rc8 11.a3 Bxc3+ 12.bxc3 Ne4 13.Nf3 Nxc3 14.Rd2 Ne4 15.Rd3 f6 16.Nd2
0.00: +0.98/11 10.Rd1 Rc8 11.a3 Bxc3+ 12.bxc3 Ne4 13.Nf3 Nxc3 14.Rd3 Ne4 15.h3 Nc5 16.Re3+ Be6 17.Qb5 Qf6
0.00: +1.12/12 10.Rd1 O-O 11.e3 Qe7 12.a3 Bxc3+ 13.bxc3 Rfd8 14.Bd6 Qe4 15.Nf3 Qc2 16.Bd3 Qxc3+ 17.Kf1 Rac8
0.00: +1.12/13 10.Rd1 O-O 11.g3 Qe7 12.Bh3 Bxh3 13.Qxe7 Nxe7 14.Nxh3 Ned5 15.Rd3 Bxc3+ 16.bxc3 Rfe8 17.Ng5 Nxf4 18.gxf4 h6
0.00: +0.93/14 10.Rd1 O-O 11.Nf3 Rc8 12.e3 Qa5 13.Be2 Bxc3+ 14.bxc3 Be6 15.O-O Nd5 16.Nd4 Nxd4 17.cxd4 Nxf4 18.exf4 Qxa2
0.02: +0.46/15 10.Rd1 O-O
0.03: +0.62/15 10.a3 Bxc3+
0.03: +0.64/15 10.Nf3 Rc8 11.Rc1 O-O 12.a3 Bxc3+ 13.bxc3 Qe7 14.Qb2 Nd5 15.Bg3 Bg4 16.c4 Nc7 17.h3 Bxf3 18.gxf3 Rfd8 19.Rg1 Rb8
0.04: +0.50/16 10.Nf3 O-O
0.05: +0.42/16 10.a3 Bxc3+
0.07: +0.69/16 10.Rd1 O-O 11.f3 a6 12.Qc7 Qe8 13.e4 Bc5 14.Bd6 Ra7 15.Bxf8 Rxc7 16.Bxc5 Ne5 17.Ba3 Rc6 18.Nge2 h6 19.b3 Be6 20.Bd6 Nfd7
0.08: +0.45/17 10.Rd1 O-O
0.09: +0.51/17 10.a3 Bxc3+ 11.bxc3 Qa5 12.Qb2 O-O 13.e3 Nd5 14.Bg3 Nxc3 15.Bc7 Qxc7 16.Qxc3 Qe5 17.Qxe5 Nxe5 18.h3 Rac8 19.Ba6 Rc2 20.Ne2 f6 21.Rd1 Rd8
0.10: +0.47/18 10.a3 Bxc3+ 11.bxc3 Qa5 12.Rc1 O-O 13.e4 Rfd8 14.Qa6 Nxe4 15.Qxa5 Nxa5 16.f3 Nc5 17.Rd1 Ba4 18.Rxd8+ Rxd8 19.Bc7 Rd1+ 20.Kf2 Nab3 21.Bb8 a6 22.Bc4 Nc1
0.11: +0.40/19 10.a3 Bxc3+
0.16: +0.41/19 10.e3 O-O 11.a3 Bxc3+ 12.bxc3 Qa5 13.Qb2 Nd5 14.Bg3 Nxc3 15.Bc7 Qxc7 16.Qxc3 Rfe8 17.Nf3 Rac8 18.Be2 Qb6 19.Rd1 Bg4 20.O-O Bxf3 21.gxf3 Ne5 22.Qb4 Qf6 23.Qe4
0.45: +0.53/20 10.e3 O-O 11.a3 Bxc3+ 12.bxc3 Qa5 13.Qb2 Bf5 14.Bc4 Ne5 15.Bxe5 Qxe5 16.Nf3 Qc7 17.Be2 Rab8 18.Qc1 Ne4 19.Nd4 Bg6 20.c4 Qa5+ 21.Kf1 Nd2+ 22.Kg1 Rfc8 23.Qe1 h6 24.Rd1
0.48: +0.46/21 10.e3 O-O
0.54: +0.52/21 10.a3 Bxc3+ 11.bxc3 Qa5 12.Qb2 O-O 13.e3 Nd5 14.Bg3 Nxc3 15.Bc7 Qxc7 16.Qxc3 Rac8 17.Nf3 Be6 18.Bd3 f6 19.O-O Ne5 20.Qxc7 Nxf3+ 21.gxf3 Rxc7 22.Rac1 Rfc8 23.Rxc7 Rxc7 24.Rd1
0.57: +0.50/22 10.a3 Bxc3+ 11.bxc3 Qa5 12.Qb2 O-O 13.e3 Bf5 14.Be2 Nd5 15.Bg3 Nxc3 16.Bc7 Nd1+ 17.Bxa5 Nxb2 18.Bc3 Rab8 19.Rc1 Nd3+ 20.Bxd3 Bxd3 21.Ne2 Rfc8 22.f3 Rb3 23.Kf2 Rxa3 24.Rhd1 Bxe2 25.Kxe2 Ra2+ 26.Rd2
2.28: +0.29/23 10.a3 Nd5 11.Bg5 f6 12.Bd2 Nc7 13.Bf4 Ba5 14.Qb3 Ne6 15.Be3 Ncd4 16.Qd1 Nb5 17.Bd2 Nxc3 18.Bxc3 Bxc3+ 19.bxc3 Rc8 20.e3 Rxc3 21.Ne2 Rc5 22.Rc1 Qc7 23.Qd2 O-O 24.Rxc5 Nxc5 25.Nf4
2.50: +0.22/24 10.a3 Nd5
3.32: +0.30/24 10.Bc7 Qc8 11.Qxc8+ Rxc8 12.Bf4 Nd4 13.Rc1 Nd5 14.Bd2 Nxc3 15.Bxc3 Nb5 16.a3 Ba5 17.b4 Rxc3 18.Rxc3 Bxb4 19.axb4 Nxc3 20.Nf3 Ke7 21.e3 Rb8 22.Bd3 Rxb4 23.Kd2 Nd5 24.Nd4 Rb2+ 25.Bc2 a5 26.Ra1 Nb4 27.Rxa5 Nxc2 28.Nxc2
3.41: +0.24/25 10.Bc7 Qc8 11.Qxc8+ Rxc8 12.Bf4 Nd5 13.Bd2 Nd4 14.Nxd5 Nc2+ 15.Kd1 Bxd2 16.Kxd2 Nxa1 17.Nc3 O-O 18.Nf3 Rfd8 19.e3 Rb8 20.Kc1 Rdc8 21.Nd4 a5 22.Be2 Ba4 23.Nf5 Rc5 24.Nd6 Bc6 25.Bc4 Bxg2 26.Rd1
4.27: +0.25/26 10.Bc7 Qc8 11.Qxc8+ Rxc8 12.Bf4 Nd5 13.Bd2 Nd4 14.Rc1 Nxc3 15.Bxc3 Nb5 16.a3 Ba5 17.b4 Rxc3 18.Rxc3 Bxb4 19.axb4 Nxc3 20.e3 Ke7 21.Nf3 Rb8 22.Bd3 Rxb4 23.Kd2 Na2 24.Ra1 Rb2+ 25.Ke1 g6 26.Ne5 Be6 27.Nc6+ Kf6 28.g3 h6 29.Nxa7

By Benno Hartwig Date 2015-05-08 09:06

> Hier zeigt sich Stockfish 6 einigermassen blind...

Ist Stockfish deiner Meinung häufig die "blindere" Engine von den beiden?
Oder lassen sich eventuell ca. gleich häufig für beide Engines Stellungen finden, für die sie "blind" sind?

Benno

By ? Date 2015-05-08 09:41

Benno Hartwig schrieb:

Ist Stockfish deiner Meinung häufig die "blindere" Engine von den beiden?
Oder lassen sich eventuell ca. gleich häufig für beide Engines Stellungen finden, für die sie "blind" sind?

Benno

Hallo Benno,

zwar bin ich nicht Kurt, erlaube mir aber, meine Ansicht zu schreiben:
Ohne irgendwelche Informationen über den Programmcode zu besitzen, erkenne ich am Rechenverhalten der Engines Komodo 8 und Stockfish 6, dass Stockfish in gleicher Zeit tiefer rechnet. Vermutlich wird das damit erkauft, dass selektiver vorgegangen wird, was in der Regel sinnvoll ist, aber häufiger dazu führt, dass ein Antwortzug oder eine mögliche eigene Fortsetzung zunächst übersehen wird.

Ich möchte gern zusätzlich noch herausfinden, in welchen Stellungstypen oder Partiephasen Stockfish oder Komodo signifikant stärker sind als die andere Engine. Auch wenn die Gesamtspielstärke praktisch gleich ist, wäre die Beantwortung dieser Frage zum Beispiel beim Einsatz im Rahmen von Fernschachanalysen hilfreich. Hat dazu schon jemand verlässliche Beobachtungen?

Ulrich

By Frank Qy. Date 2015-05-08 12:34

Hi,

meine üblichen Statistiken folgen nach dem Zweikampf.

Aber im Grunde ist es jetzt schon klar:

Nach der Eröffnung:
Komodo 9 hat Vorteile weil Stockfish zu viele Remisvarianten produziert.

Spätes Endspiel / Übergang Endspiel:
Stockfish hat Vorteile ... ist druckvoller, produziert mehr Gewinne und kaum Verluste.

Endspiel:
Nach dem was ich bislang ausgewertet habe, sehr leichte Vorteile für Komodo aber ich muss das genauer machen ... nach dem Vergleich.

Gruß
Frank

Fest steht, Engines unterscheiden sich ... aber überwiegend eigentlich nur in der wichtigen Partiephase "Übergang Endspiel".
Das Stockfish so viele kurze Remise nach den Buchzügen produziert ist und bleibt schrecklich.

By U. Haug Date 2015-05-11 08:53

Frank Qy. schrieb:

Fest steht, Engines unterscheiden sich ... aber überwiegend eigentlich nur in der wichtigen Partiephase "Übergang Endspiel".
Das Stockfish so viele kurze Remise nach den Buchzügen produziert ist und bleibt schrecklich.

Hallo Schachexperte "Qy",

wenn eine Engine (Stockfish) in der Anfangsphase der Partie zum Spielen von Remisvarianten neigt, so ist das für uns Fernschachspieler durchaus verschmerzbar. Die Eröffnungsphase muss ein ambitionierter Spieler schon alleine gestalten können. Ich selbst nehme da hauptsächlich Datenbanken und gedruckte Bücher zu Hilfe, käme niemals auf die Idee, eine Engine analysieren zu lassen, was der ideale vierte Zug nach 1.d4 d5 2.c4 Sf6 3.Sc3 g6 ist oder so ähnlich.

Wie du richtig erwähnst, ist der Übergang ins Endspiel die wichtigste Partiephase. Derzeit hat da bei mir Stockfish die besseren Ideen / Abwicklungen. Will das aber noch intensiver testen.

Freundliche Grüße

Ulrich

By Tom Paul Date 2015-05-11 16:27

U. Haug schrieb:

wenn eine Engine (Stockfish) in der Anfangsphase der Partie zum Spielen von Remisvarianten neigt,
Freundliche Grüße

Ulrich

Das betrifft aber nur die diese Vorgabestellungen im z.B. 8 Zug usw.
Je weniger Züge vorgegeben werden, desto kleiner ist Stockfishs Remisquote.