FCT1: Ergebnisse mal richtiger betrachtet!

By Frank Quisinsky Date 2014-05-17 20:05 Edited 2014-05-17 20:09

Es folgt die Ratingliste zwischen Partien Nummer 70 - 99
Hier werden auch die meisten Partien entschieden.
Stockfish setzt sich ab, nicht zuletzt aufgrund der taktischen Stärke im Mittelspiel und den Grundlagen die hierfür gelegt wurden.
Interessant die Remisquote wie auch schon bei der ersten Liste.

Code:

  1 Stockfish 26.03.14 SSE42 x64   : 3137   46  44   296    86.8 %   2810   18.9 %
  2 Komodo TCECr x64               : 3079   41  40   321    82.1 %   2814   19.6 %
  3 GullChess 2.8 Beta BMI2 x64    : 3019   39  38   300    76.8 %   2810   22.3 %
  4 Fire 3.0 AVX x64               : 3001   37  36   300    75.2 %   2808   26.3 %
  5 Hannibal 1.4b x64              : 2889   35  35   302    59.1 %   2825   23.5 %
  6 Chiron 2.0 x64                 : 2881   35  35   294    56.5 %   2836   22.4 %
  7 Protector 1.5.0 JA x64         : 2862   36  36   265    53.2 %   2840   27.2 %
  8 Senpai 1.0 SSE42 x64           : 2838   34  34   297    48.3 %   2849   27.9 %
  9 Hiarcs 14 WCSC w32             : 2822   35  35   273    47.1 %   2842   28.9 %
 10 Shredder 12 x64                : 2793   35  35   295    42.5 %   2845   25.4 %
 11 Texel 1.03 x64                 : 2768   37  37   286    38.5 %   2849   19.6 %
 12 Quazar 0.4 x64                 : 2755   37  37   299    36.3 %   2853   16.4 %
 13 Spike 1.4 Leiden w32           : 2749   35  35   301    35.9 %   2850   23.9 %
 14 Junior 13.8.04 Yokohama x64    : 2744   38  38   267    35.8 %   2846   21.3 %
 15 Zappa Mexico II x64            : 2721   37  38   281    32.4 %   2849   22.1 %
 16 Gaviota 1.0 AVX x64            : 2721   38  39   287    31.0 %   2859   18.8 %
 17 Spark 1.0 x64                  : 2710   36  37   317    29.0 %   2865   20.8 %
 18 SmarThink 1.50 SSE3 x64        : 2677   39  40   279    27.4 %   2846   20.4 %

Und die Remisquote fällt so drastisch ab ...
Solche Stats sind möglich wenn ohne Aufgabefaktor gespielt wird, nur so kann mehr über Engines herausgefunden werden.

Code:


Games        :   2630 (finished)

White Wins   :   1201 (45.7 %)
Black Wins   :    837 (31.8 %)
Draws        :    592 (22.5 %)
Unfinished   :      0

White Perf.  : 56.9 %
Black Perf.  : 43.1 %

ECO A =    588 Games (22.4 %)
ECO B =    559 Games (21.3 %)
ECO C =    519 Games (19.7 %)
ECO D =    561 Games (21.3 %)
ECO E =    403 Games (15.3 %)

By Frank Quisinsky Date 2014-05-17 20:08

Hi,

was fällt uns noch auf?
Die Spielstärke der Engines liegt im Endspiel näher zusammen als wir denken, klafft im Übergang zum Endspiel weiter auseinander als wir vielleicht glaubten?

Und unsere taktische Bombe Spark minimal besser ...
Spark bricht also in die Knie schon beim Übergang zum Endspiel.

Gruß
Frank

By Frank Quisinsky Date 2014-05-17 20:15

Und nun schauen wir uns mal die Ratingliste bis Zug Nummer 50 an ...

Die taktische Bombe Spark schlägt zu ...
Die Taktiker kommen sehr klar heraus und auch Junior fällt auf.
Leider musste Spark den zweiten Platz an Komodo abgeben, eigentlich lag Spark hier immer auf 1 oder 2 ... je nach Stockfish Version.
Junior hat sich hier in den letzten Versionen weiter verbessert. Während die Engine taktisch immer stärker wird fällt die Engine im Mittelspiel deutlicher ab und wird dann wieder im Endspiel besser. Junior stagniert zur Zeit aber klar ist das innerhalb der Engine sich sehr viel bewegt.

Code:

  1 Stockfish 26.03.14 SSE42 x64   : 2947   50  40    62    65.3 %   2837   69.4 %
  2 Komodo TCECr x64               : 2940   64  53    42    64.3 %   2838   66.7 %
  3 Spark 1.0 x64                  : 2915   52  38    50    62.0 %   2829   76.0 %
  4 Junior 13.8.04 Yokohama x64    : 2881   48  43    51    55.9 %   2840   76.5 %
  5 Fire 3.0 AVX x64               : 2877   41  37    52    52.9 %   2857   82.7 %
  6 Hannibal 1.4b x64              : 2871   48  46    52    52.9 %   2851   75.0 %
  7 Chiron 2.0 x64                 : 2863   39  37    64    52.3 %   2847   79.7 %
  8 Protector 1.5.0 JA x64         : 2861   37  34    64    52.3 %   2844   82.8 %
  9 GullChess 2.8 Beta BMI2 x64    : 2844   50  50    39    50.0 %   2844   79.5 %
 10 Texel 1.03 x64                 : 2838   42  44    42    48.8 %   2846   83.3 %
 11 Hiarcs 14 WCSC w32             : 2831   46  48    58    46.6 %   2855   72.4 %
 12 Quazar 0.4 x64                 : 2829   55  59    34    47.1 %   2849   76.5 %
 13 Spike 1.4 Leiden w32           : 2805   44  46    62    44.4 %   2845   72.6 %
 14 Shredder 12 x64                : 2794   49  52    58    42.2 %   2849   67.2 %
 15 Senpai 1.0 SSE42 x64           : 2792   42  47    53    44.3 %   2831   77.4 %
 16 Zappa Mexico II x64            : 2790   49  53    53    42.5 %   2843   69.8 %
 17 Gaviota 1.0 AVX x64            : 2770   48  53    56    39.3 %   2845   67.9 %
 18 SmarThink 1.50 SSE3 x64        : 2765   52  59    48    37.5 %   2854   66.7 %

Klar, die Remisquote ist natürlich sehr hoch.
Und auch im frühen Mittelspiel klaffen die Spielstärkeunterschiede nicht sehr weit auseinander.

Übrigens, in früheren Stats lag Komodo hier ziemlich weit hinten.
Hat bis zur aktuellen Version drastisch zugelegt und hier zeigt sich das es Don immer ein Dorn im Auge war als ich so oft schrieb "taktisch schwach". Das mochte er gar nicht und war nicht gut auf mich zu sprechen als ich das schon bei frühen Doch Versionen schrieb.

Code:

Games        :    470 (finished)

White Wins   :     79 (16.8 %)
Black Wins   :     41 ( 8.7 %)
Draws        :    350 (74.5 %)
Unfinished   :      0

White Perf.  : 54.0 %
Black Perf.  : 46.0 %

ECO A =     93 Games (19.8 %)
ECO B =    103 Games (21.9 %)
ECO C =     91 Games (19.4 %)
ECO D =    117 Games (24.9 %)
ECO E =     66 Games (14.0 %)

By Frank Quisinsky Date 2014-05-17 20:23

Übrigens, solche Stats sind möglich wenn wirklich unterschiedliche Engines spielen.
Spielen z. B. viele Clones könnt Ihr diese Stats in die Tonne drücken weil zu stark beeinflusst.
Der Grund warum ich hier so stark aus selektiere denn ich will aus meinen Listen ja ein paar Erkenntnisse ziehen, sonst bringen die Aktionen nichts.

Es folgt die Liste bis Zugnummer 60 und bis Zugnummer 70 ...
Schauen wir uns an wie Spark langsam abfällt, wie Junior langsam abfällt ...

Gruß
Frank

By Frank Quisinsky Date 2014-05-17 20:30

Ratingliste bis Zugnummer 60 und den Partieentscheidungen.
Aber selbst bis Zugnummer 60 liegt Spark noch so ganz nett im Rennen!

Code:

  1 Stockfish 26.03.14 SSE42 x64   : 3021   44  40   131    74.8 %   2832   47.3 %
  2 Komodo TCECr x64               : 2978   43  39   107    69.6 %   2834   57.0 %
  3 Fire 3.0 AVX x64               : 2917   42  41   100    59.0 %   2854   62.0 %
  4 Chiron 2.0 x64                 : 2909   40  39   127    59.8 %   2840   56.7 %
  5 GullChess 2.8 Beta BMI2 x64    : 2903   41  39    98    59.2 %   2838   65.3 %
  6 Protector 1.5.0 JA x64         : 2875   38  38   121    54.5 %   2844   62.8 %
  7 Spark 1.0 x64                  : 2870   42  42   100    55.0 %   2835   62.0 %
  8 Junior 13.8.04 Yokohama x64    : 2866   43  43   113    54.9 %   2832   54.9 %
  9 Hannibal 1.4b x64              : 2857   44  44    96    51.0 %   2850   60.4 %
 10 Texel 1.03 x64                 : 2825   43  43   106    47.2 %   2845   58.5 %
 11 Hiarcs 14 WCSC w32             : 2806   40  41   114    43.9 %   2848   59.6 %
 12 Shredder 12 x64                : 2799   44  44   118    42.4 %   2853   50.8 %
 13 Quazar 0.4 x64                 : 2785   50  52    78    39.7 %   2857   56.4 %
 14 Spike 1.4 Leiden w32           : 2785   39  40   101    41.6 %   2844   65.3 %
 15 Senpai 1.0 SSE42 x64           : 2781   39  41   102    40.7 %   2847   63.7 %
 16 Zappa Mexico II x64            : 2779   40  41   106    40.6 %   2846   62.3 %
 17 Gaviota 1.0 AVX x64            : 2720   49  50   109    32.1 %   2850   44.0 %
 18 SmarThink 1.50 SSE3 x64        : 2705   46  47   129    29.5 %   2856   41.9 %

Code:

Games        :    978 (finished)

White Wins   :    273 (27.9 %)
Black Wins   :    149 (15.2 %)
Draws        :    556 (56.9 %)
Unfinished   :      0

White Perf.  : 56.3 %
Black Perf.  : 43.7 %

ECO A =    207 Games (21.2 %)
ECO B =    204 Games (20.9 %)
ECO C =    180 Games (18.4 %)
ECO D =    244 Games (24.9 %)
ECO E =    143 Games (14.6 %)

Und die Eröffnungstaktiker fallen ab ...
Die Remisquote geht im Vergleich runter ...

By Frank Quisinsky Date 2014-05-17 20:39

Ratingliste bis Zugnummer 70 und den Partieentscheidungen.
Oha, Spark liegt immer noch gut im Rennen ... ca. 100 ELO über der eigentlichen Stärke.

Code:

  1 Stockfish 26.03.14 SSE42 x64   : 3085   38  36   264    82.6 %   2815   31.8 %
  2 Komodo TCECr x64               : 3031   37  36   223    76.9 %   2822   39.0 %
  3 GullChess 2.8 Beta BMI2 x64    : 2962   37  36   201    68.9 %   2824   44.3 %
  4 Fire 3.0 AVX x64               : 2932   35  34   214    62.9 %   2841   45.3 %
  5 Chiron 2.0 x64                 : 2903   35  35   239    60.5 %   2829   38.9 %
  6 Spark 1.0 x64                  : 2854   35  35   204    53.2 %   2831   46.6 %
  7 Protector 1.5.0 JA x64         : 2852   33  33   224    50.4 %   2849   47.3 %
  8 Hannibal 1.4b x64              : 2850   36  36   182    50.3 %   2848   48.9 %
  9 Junior 13.8.04 Yokohama x64    : 2824   33  33   249    46.8 %   2846   40.6 %
 10 Hiarcs 14 WCSC w32             : 2818   34  34   227    45.6 %   2849   43.6 %
 11 Senpai 1.0 SSE42 x64           : 2815   36  36   202    46.3 %   2840   45.0 %
 12 Texel 1.03 x64                 : 2805   37  37   207    44.4 %   2844   40.6 %
 13 Shredder 12 x64                : 2776   36  36   216    39.6 %   2850   41.2 %
 14 Spike 1.4 Leiden w32           : 2774   35  36   207    39.1 %   2850   44.4 %
 15 Quazar 0.4 x64                 : 2761   44  45   141    36.5 %   2857   41.8 %
 16 Zappa Mexico II x64            : 2756   36  36   213    36.6 %   2851   41.3 %
 17 Gaviota 1.0 AVX x64            : 2707   38  38   240    29.8 %   2856   32.1 %
 18 SmarThink 1.50 SSE3 x64        : 2668   39  39   259    24.3 %   2866   27.8 %

Code:

Games        :   1956 (finished)

White Wins   :    756 (38.7 %)
Black Wins   :    404 (20.7 %)
Draws        :    796 (40.7 %)
Unfinished   :      0

White Perf.  : 59.0 %
Black Perf.  : 41.0 %

ECO A =    420 Games (21.5 %)
ECO B =    437 Games (22.3 %)
ECO C =    385 Games (19.7 %)
ECO D =    457 Games (23.4 %)
ECO E =    257 Games (13.1 %)

Und hier steckt die Überraschung.
Junior beginnt drastischer zu fallen als Spark.
Das ist das kleine Geheimnis von Spark.
Eine Engine die taktisch bei vielen Figuren auf dem Brett viel sieht, sieht auch das Unheil in den Stellungen ... nicht nur die möglichen Angriffe.
Eine solche Engine kann nicht von Partiennummer 50 - 70 drastisch abfallen.

Bewerten wir mal Spark mit Sternchen:

Eröffnung: *****
frühes Mittelspiel: *****
spätes Mittelspiel: ***
frühes Endspiel: **
Endspiel: *

Eine so drastisch in sich abweichende Bewertung wird keine andere Engine erreichen.
Junior ist nahe dran ... spielt ein wenig wie Spark bzw. Junior ist krass ... spielt in der Eröffnung Kaffeehausschach und hat meist auch noch recht.

Junior und Spark ...
Wer diese Engines nicht in der Eröffnugsanalyse einsetze ist es selbst schuld.
Verpennt zu viele nette Dinge die möglich sind.

Was fällt uns noch auf ...
Hiarcs ist stabil ...
Senpai mit taktischen Aussetzern.
Und auch Chiron versteht es taktisch aufzufallen.

Übrigens alle Listen erstellt mit 2.845 durchschnittliche Elo.

Das war dann mein Wort für den bevorstehenden Sonntag.
That's Computerchess ...

Gruß
Frank

By Tom Paul Date 2014-05-17 20:48

Wie viele * bekommen Komodo und Stockfish und wo?

By Frank Quisinsky Date 2014-05-17 21:00

Hallo Tom,

habe ja noch viel mehr Stats aus der SWCR1 und SWCR2 ...
Hinsichtlich der Entwicklung bei Komodo und Stockfish würde ich derzeit wie folgt bewerten:

Muss mit 0.5 arbeiten weil beide Engines ziemlich gut sind.

Stockfish:
Eröffnung: 5.0
Frühes Mittelspiel: 5.0
Spätes Mittelspiel: 4.5
Frühes Endspiel: 4.0
Endspiel: 4.0

Gesamt: 22,5 von 25

Komodo:
Eröffnung: 4.5
Frühes Mittelspiel: 4.5
Spätes Mittelspiel: 3.5
Frühes Endspiel: 4.0
Endspiel: 5.0

Gesamt: 21,5 von 25

Spark im Vergleich (bei allen mir vorliegenden Auswertungen zu den Statistiken):
Eröffnung: 5.0
Frühes Mittelspiel: 4.5
Spätes Mittelspiel: 3.0 vielleicht auch 2.5 ... schwierig!
Frühes Endspiel: 1.5
Endspiel: 0.5

Gesamt: 14.0 - 14.5 von 25

By Frank Quisinsky Date 2014-05-17 21:42

Ach so, vergessen ...

Wobei die 3.5 bei Komodo im späten Mittelspiel ...
Nun wird der Engine nachgesagt besser mit längeren Bedenkzeiten zu spielen.

Glaube eher daran, dass Komodo die Spielstärke von 3.5 hält und das die anderen mit mehr Zeit kaum mehr sehen und vielleicht etwas abfallen.
Dadurch bekommt Komodo auch einen kleinen Schub weil hier die meisten Partien zusammen mit dem frühen Endspiel entschieden werden.

Das ist z. b. auffällig wenn ich analysiere und habe noch 10 bis maximal 20 Figuren auf dem Brett.
Wenn denn eine Engine öfters mal den zweitbesten oder besten Zug ändert ist es eher Komodo als Stockfish aber Komodo braucht hier Zeit.
Kann mit dem Wissen zu tun haben oder mit der Abarbeitung von Code teilen die dann erst mit mehr Zeit besser greifen.

Das Komodo aber letztendlich vor der Stockfish Version von März liegt (die ich gerade noch teste) glaube ich nicht, meine wenn ich mit höheren Bedenkzeiten spielen würde. So deutlich sind die Unterschiede nicht bei höheren Bedenkzeiten und diesen Engines. Glaube nach wie vor nicht daran, dass sich die Spielstärken um mehr als 30-40 steigern wenn schon auf aktueller Hardware mit 40 in 10 gespielt wird. Maximal dann wenn eine Engine eine klare Schwäche in einer Partiephase durch mehr Zeit ausgleichen kann. Davon ist z. B. Spark bei der Endspielschwäche aber weit weg.

Gaviota wäre so eine Engine. Die Engine spielt gleich in den Partiephasen und wechselt oft den zweitbesten Zug und mithin mit mehr Zeit wahrscheinlich auch den besten. Miguel muss die Engine schneller machen, dass könnte ein Schub von über 40 Elo bringen. Fällt in meiner Liste nicht so auf, weil Gaviota relativ weit hinten liegt.

So ...
Jetzt aber genug!

Gruß
Frank

By Frank Quisinsky Date 2014-05-17 20:52

Hi,

ach so, ist eine Statsitik die ich ab und an eigentlich für mich mache.
Zur SWCR1 mit deutlich mehr Partien ... im Grunde bei den Aussagen kein Unterschied.
Zur SWCR2 ... hier ist auffällig das Spark minimal schlechter liegt als in der SWCR1 und FCT1.

Auffällig ist im Grunde bei den Entwicklungen der Engines nur Komodo.
Die Engine hält die Endspielstärke zwischen den Versionen und wurde taktisch drastisch verbessert.

Wenn Komodo überhaupt ein Problem hat im Vergleich zu Stockfish ist es der Übergang zum Endspiel denn hier wurde Komodo nicht nur von Stockfish überholt sondern zur Zeit setzt sich Stockfish hier gar ab.

Eine sehr schöne Entwicklung nimmt Junior und Chiron.
Beide Engines werden taktisch immer bissiger ... das mag ich.

Ansonsten im Vergleich zu älteren Versionen aus der SWCR1 sehe ich nicht viel.
Vielleicht das Shredder besser spielt mit mehr Zeit und taktisch dann nicht ganz so vorgeführt wird. Allerdings nimmt mit mehr Zeit auch die Endspielstärke im Vergleich zu den anderen ab. Shredder ist bei kurzen Zeiten stark im Endspiel.

Aber sonst ...
Sehe nichts.

Gruß
Frank

By Frank Quisinsky Date 2014-05-17 21:19 Edited 2014-05-17 21:21

Hi,

und zu den Ratinglistenerstellern und deren Ausführungen.
Es ist etwas dran wenn Ratinglistenersteller für solche Dinge kaum Interesse zeigen denn bei kürzeren Bedenkzeiten sind viele Stats nicht so auffällig. Auch liegt der Schwerpunkt bei den Clones und vielen gleichen Engines. Da fallen Stärken und Schwächen kaum auf, weil wir im Grunde über gleiche Engines reden die hier und da mal was besser oder schlechter machen, je nach Veränderung.

Junior legt z. B. mit mehr Zeit drastisch zu. Und zwar genau da wo die Stärke beginnt abzufallen (spätes Mittelspiel). Spark ist keine Engine die zulegt mit mehr Zeit, sieht sehr schnell die taktischen Dinge im frühen Mittelspiel und mit mehr Zeit wird das schwache Endspiel auch nicht besser.

Dreihirn:
Spark, Junior, Stockfish bis Zug Nummer 50 sollte kaum schlagbar sein.
Das ist so klar ... zumal Spark kaum ne Partie unter 50 Zügen verliert.
Glaube in ca. 10.000 SWCR1, SWCR2 und FCT1 Partien verlor Spark bislang 4x unter 50 Zügen ... eine solche Statistik hat keine andere Engine!

Übrigens lasse ich bei meinem Eröffnungsbuch nur noch mit Junior und Spark Züge bewerten. Habe hier selbst Stockfish gekillt obwohl eigentlich die Nummer drei direkt nach den Eröffnungszügen. Stockfish bewertet zu aggressiv die Stellungen nach den Eröffnungszügen. Spark sehr viel ausgeglichener und Junior sagt mir im Grunde ob die Eröffnung spielbar ist ... in fast 90% der Fälle. Es gibt Eröffnungen da steht es nach Zug 12 bei -0.8 ... schiebe ich 4-5 berechnete Züge nach vorne mit Spark und Junior folgt meist der Ausgleich. Daher schwierig immer nur nach 12 Zügen zu beurteilen, gerade beim Königsgambit C30-C39. Da gibt es gar Stellungen im Buch die enden mit -1.5 und sind spielbar. Wenn denn eine Engine den Ausgleich nicht schafft sind es meist auch die, die taktisch angreifbar sind, aber deswegen macht es keinen Sinn diese Stellungen nicht ausspielen zu lassen, vielleicht maximal dafür zu sorgen, dass solche Stellungen nicht zu oft auf dem Brett kommen. Denn schließlich will ich ja auch die Schwächen sehen und nicht nur pausenlos ausgeglichenes versuchen zu erzwingen.

So genug ...
Muss noch was schaffen ...

Gruß
Frank