Stockfish-Klone auf dem Prüfstand

By Benno Hartwig Date 2015-02-16 13:09

Thanx,
finde ich interessant! Insbesondere, ob du meine Beobachtung zu SugaR bestätigen kannst. Aber nicht nur das.

Weißt du, wo man eingentlich regulär hingucken sollte, ob es inzwischen eine SugaR-Version 5.1 gibt?

Benno

By Stefan Pohl Date 2015-02-16 14:49

Benno Hartwig schrieb:

Thanx,
finde ich interessant! Insbesondere, ob du meine Beobachtung zu SugaR bestätigen kannst. Aber nicht nur das.

Weißt du, wo man eingentlich regulär hingucken sollte, ob es inzwischen eine SugaR-Version 5.1 gibt?

Benno

Immortal Forum.

http://immortalchess.net/forum/showthread.php?t=26790&page=16

Stefan

By Stefan Pohl Date 2015-02-17 07:43

Benno Hartwig schrieb:

Thanx,
finde ich interessant! Insbesondere, ob du meine Beobachtung zu SugaR bestätigen kannst. Aber nicht nur das.

Bisher (je Einzelvergleich gut 200 Partien absolviert) läufts in etwa so wie ich erwartet hatte: Bis auf Orca liegen alle anderen Klone mehr oder weniger klar unter 50%. Orca liegt knapp drüber (51.4%).

Ich lasse es trotzdem bis zum Ende durchlaufen. Und Sugar bleibt ja so oder so wegen seiner vielen Parameter interessant. Ebenso Salt, der ja wiederum ein Sugar-Klon ist.

Stefan

By Benno Hartwig Date 2015-02-17 08:07

Thanx,
ich wäre überrascht, wenn sich SugaR nicht doch ein Stückchen vor SF6 platzieren könnte.
Aber wenn nicht, dann wäre das ja auch eine sehr interessante Info. Ich will ja auch gern von Irrtümern befreit werden.

Selbst wenn SugaR einige ELO vor SF liegt, ist es ja so, dass wir immer sehr schnell auch die verbesserten Dev-SF-Versionen erhalten.
Wenn SugaR dann nicht auch recht häufig mit neuen Versionen kommt, dann wird Sugar auch nur für eine sehr begrenzte Zeit die Nasenspitze vorn haben können.
https://www.youtube.com/watch?v=Phf0WWlfbF8

Benno

By Stefan Pohl Date 2015-02-17 10:52

Benno Hartwig schrieb:

Das dürfte bei den ganzen Nachahmern, die ich gerade teste, ein Problem sein. Deshalb finde ich dieselben auch perspektivisch nicht so aufregend.
Aber Sugar ist eben wegen der vielen Parameter interessant, denn auch wenn Sugar etwas hinter Stockfish zurückliegt und evt. auch noch etwas weiter zurückfällt, ist es die einzige Spitzenengine, an der man viele Parameter verstellen kann.

Stefan

By Stefan Pohl Date 2015-02-17 11:24

Benno Hartwig schrieb:

Nach 250 Partien von 1000 liegt Sugar knapp unter 50%. Sehr knapp (49.6%)
Orca ist mittlerweile auf 51.9% gestiegen und weiterhin als einziger über 50%. 51.9% ist doch schon ganz beachtlich. Ob das wohl so bleibt?!

Alle Klone laufen übrigens praktisch gleich schnell wie der als Gegner verwendete Stockfish-sse42 official compile (ca. 1.76 MN/s Mittelwert in der LittleBlitzerGUI (auf meiner Hardware)). Geschwindigkeitsvorteile hat also niemand.

Samstag habe ich das Ergebnis. Vielleicht auch schon Freitag nachmittag. Weiß aber noch nicht, ob ich da Zeit finde, den PC anzuwerfen.

Stefan

By Stefan Pohl Date 2015-02-20 08:15 Edited 2015-02-20 08:18

Stefan Pohl schrieb:

Meinen Testrun von Mars 3.37 habe ich abgebrochen, da war keine Steigerung zu sehen (-10 Elo nach 1400 Partien auf Mars 3.35).

Jetzt habe ich ein Gauntlet von Stockfish 6 (offizielle SSE42-Binary) gegen 5 seiner Klone gestartet. Mit den üblichen Stockfish-Testrun-Bedingungen (je 1000 Partien, 70''+700ms, singlecore). Mal sehen, ob einer der Klone wirklich über 50% gegen Stockfish 6 bleiben kann, und somit kein Klon, sondern ein Derivat ist...
Ich habe die neuesten Versionen genommen, die frei downloadbar waren (Sugar 5.1 gibt es bisher nicht, daher also Sugar 5).
Alles weitere auf meiner Website. Ergebnis nicht vor Freitag/Samstag.

<a class='urs' href='http://spcc.beepworld.de'>http://spcc.beepworld.de</a>

Stefan

Das Ergebnis ist jetzt online. Auf der neuen "Experiments"-Unterseite auf meiner Website.
Alles im erwartbaren Rahmen. Man beachte die Stockfish-Selftest-typische exorbitant hohe Remisquote (trotz meiner Remisqouten-senkenden SALC-Eröffnungen), die auch im Framework immer zu sehen ist. Das belegt die sehr enge Verwandtschaft aller Beteiligten.

Stefan

By Benno Hartwig Date 2015-02-20 09:09

Thanx für dieses Experiment!

Auch bei einem Turnier von 6 exakt gleichstarken Programmen würden ja einige etwas besser und andere etwas schlechter abschneiden.
Und ich frage mich, ob deine Ergebnisliste mit ELO-Werten, die sich um höchstens 10 unterscheiden, nicht genau zu solch einer Erwartung passt.

Ich machte halt ein Hand voll Ansätze mit SugaR, und jedesmal lag Sugar ein kleines Stück vorn.
Kann aber auch alles Zufall sein.
Die Unterschiede sind klein, der Zufall hat viele Chancen.

Das Gedicht "Vom bösen Treiben des Kaninchens Archimedes"
von Hans Scheibner endet mit den auch hier passenden Worten
"Daraus folgt? Nichts. Doch es soll gern,
wer das braucht, sich was draus folgern."

Thanx, für die Untersuchung und diese Tabelle,
Benno

By Stefan Pohl Date 2015-02-20 09:30

Benno Hartwig schrieb:

Sugar liegt ja auch bei mir ein kleines Bißchen vorn...Aber es ist halt alles im Zufallsrahmen. Mit 6 Kopien der ein und derselben Engine hätte eben auch dieses Ergebnis entstehen können.

Stefan