Vielen Dank für die interessanten Auskünfte.
Ich meine zwar nicht, daß 3-5 Elo lächerlich sind, aber das ist Ansichtssache. Und wenn Andreas Strangmüller 7.9% Prozent Geschwindigkeitsplus auf seinem System mißt, dann kannst du das schon glauben. Und das ist ja nun keine Kleinigkeit. Wie dem auch sei:
Ich habe eher ein prinzipielles Problem damit, nicht die vom Hersteller, Macher, Verantwortlichen (oder wie immer man das bei Stockfish nennen will) offiziell veröffentlichten Versionen in einer Rangliste zu testen, sondern einen Autocompile einer Beta-/Devversionen Website. Das geht nach meiner Meinung einfach gar nicht. Selbst dann nicht, wenn der dortige Compile gleich schnell oder gar schneller wäre.
Damit nimmt der Tester den Verantwortlichen die Entscheidungsfreiheit, welche Version schlußendlich zur finalen erklärt wird. (und das sind nun mal die lauffähigen exe-Files und nicht nur der Source Code).

Ich würde es schön finden, wenn du die Bmi2-Compiles mal richtig benchen würdest, denn bei fishcooking wurde vom Macher des Compiles behauptet, dieser Compile wäre so 7.3% schneller als der auf abrok.eu.
Es wäre informativ, das mal genau nachzumessen.

Stefan

Mir scheint es ist nie ganz so wie SP das immer hochschaukelt! Zusätzlich zu der Irrelevanz die du erwähnst, kommt noch, dass die Version die GS und ich Anfangs verwendet haben genau die Version ist die der Autor als ausreichend bezeichnet hat und sogar ausdrücklich erwähnte das ein "retest" bei erscheinen der endgültigen endgültigen Version nicht nötig ist.

http://www.talkchess.com/forum/viewtopic.php?topic_view=threads&p=606218&t=55122

Gruß
Ingo

PS: übrigens, da ich bei SF5 ja auch einen abrok compile verwedet habe - wegen der Syzygy bases - sollte der Abstand jetzt genau richtig sein.

Hi Wolfgang !

In den ersten 300 Games kam bei mir die besagte Veröffentlichung von Stockfish 6
zum Einsatz. Die Performance, welche dieser Stockfish 6 erspielte ist 3191.

Danach kam dann die "offizielle" Version zu ihrem Auftritt, Performance aus bisher
400 weiteren Spielen ist 3190.

Wie ich schon erwähnte, 3-5 oder auch 8% spielen keine Rolle bei unseren Tests.

Möglicherweise ist das bei Bedenkzeiten in der Art "eine Handvoll Sekunden Basiszeit
plus Bruchteile einer Sekunde Aufschlag" anders, dies jedoch interessiert niemanden.

Zitat Joona Kiiski (Quelle siehe unten):
"We expect these to be somewhat faster than the ones abrok.eu is providing.
However there should be no need to restart test runs or anything like that if
you already have used abrok.eu compiles.

http://talkchess.com/forum/viewtopic.php?t=55122&start=10

Viele Grüsse,
G.S.

i

Super, vielen Dank. Also knapp +7%. Ganz schön happig.
Ich warte jetzt gespannt auf deine Test-Ergebnisse des offiziellen Stockfish 6 !
Bei mir sind gut 2100 von 7000 Partien durch und es sieht nach einem leichten Plus (irgendwas im Bereich von +5 Elo) im Vergleich zu Stockfish 150105 aus.

Stefan

Natürlich sind die Spielstärkeunterschiede nicht groß:

1. SF6ori        571.5/1087  253-197-637  (L: m=42 t=0 i=0 a=155)(D: r=467 i=87 f=42 s=4 a=37)(tpm=442.6 d=17.21 nps=912836)
2. SF6abrok      558.5/1086  241-210-635  (L: m=60 t=0 i=0 a=150)(D: r=475 i=83 f=39 s=3 a=35)(tpm=444.7 d=16.98 nps=871978)
3. SF6bunkbail   500.0/1087  188-275-624  (L: m=74 t=0 i=0 a=201)(D: r=460 i=94 f=33 s=3 a=34)(tpm=446.2 d=16.54 nps=778887)

  Program            Score     %    Av.Op.  Elo    +   -    Draws
1 SF6ori       : 572.5/1089  52.6   2994   3012   13  13   58.7 %
2 SF6abrok     : 559.5/1088  51.4   2997   3007   13  13   58.5 %
3 SF6bunkbail  : 501.0/1089  46.0   3009   2981   13  13   57.5 %

aber die Version von stockfishchess.org ist wohl schon einfach die schnellste und dann auch spielstärkste.

Benno

Sehr schöne Gegenüberstellung Benno. Beachtenswert vor allem, wie stark die durchschnittliche Suchtiefe dank des schenlleren Compiles ansteigt: meßbar tiefer kommt der offizielle Stocfish gegenüber dem abrok.eu-Autocompile. Ich hatte mit den beiden non-sse42-Compiles auf meinem uralten Quad auch etwas über +0.3 Halbzügen. Das ist beträchtlich und kommt eben durch das stark selektive Suchen von Stockfish zustande. Und hat bei dir auch erheblichen Einfluß auf die erzielten Punkte. Die Compiles reihen sich im Erfolgsscore genau nach ihren Geschwindigkeiten auf, so wie es zu erwarten ist. Natürlich wären die Abstände bei längeren Bedenkzeiten geringer, aber wenn eine Engine konstant ungefähr ein 0.2-0.3 Halbzügetiefer rechnet, wird sich das bei genügend Partien immer in einer höheren Punkteausbeute niederschlagen. So viel zum Thema, daß 5-8% mehr Speed "irrelevant", "lächerlich", "nicht meßbar mehr Elo" seien...letzteres würde eventuell bei einem stark BruteForce-lastigen Programm und sehr langen Bedenzeiten stimmen, aber sicher nicht bei Stockfish, mit seiner stark selektive Suche, die eben stark von mehr Bedenkzeit profitiert (und genau auf das läuft ein schnellerer Compile ja hinaus), weil sich die Suche nicht so schnell im Suchbaum festfrißt.

Stefan

Stefan, ich habe den Eindruck, dass die abrok-Kompilate irgendwann schneller geworden sind
(Das  bunkbaíl-Kompilat hatte mal die Nase vorn, jetzt liegt es eher hinten)

Du hast ja immer bei gleichen Bedingungen getestet.
Hast du verfolgt, wie sich die nps-Werte entwickelten? Irgendwann sprachen wir ja schon mal über diese SF-nps-Werte.
Hat es da irgendwann mal einen gewissen Sprung gegeben (ggf. dann auch zusammen mit einem entsprechenden "Spielstärkesprung")?

Benno

Noch mehr Zahlenfutter am Wochenende.
Ich habe verschiedene Compiles von Stockfish 6 verglichen - und wollte mal sehen, ob eine schnellere Version zustande bringe als die von der "offiziellen" Quelle.
Stockfish-6-sse42 und Stockfish-6-64 sind offizielle Windows-Compiles ("modern" und "modern mit popcnt").
Stockfish-6-PGO474 und Stockfish-6-PGO492 sind von mir fabrizierte Compiles. PGO steht auf deutsch für "Profil gestützte Optimierung" und die Zahl danach für die Version des verwendeten minGW-Compilers (4.7.4 und 4.9.2).
Stockfish_6_BYO474_x64_avx ist eine mit dem BYO-Compilerpaket 1.13 angefertigte Version. Compilate, die schneller sind als die BYO-Versionen, muss man erst mal schaffen. - Ein guter Markstein, finde ich.

Das ganze fand auf einem i5-Ivy-Bridge-Rechner statt. Aufgeführt sind Zeit- und Tiefentests. Getestet wurde mit dem Stockfish-Benchmarktest. t=405ms bedeutet, dass mit den Parametern bench 16 1 405 default time gestestet wurde. Gerechnet wird an den 37 Teststellungen 405ms pro Zug. Der gesamte Test dauert dann ca. 15 s. - Mit 1622ms etwa eine Minute.
Die Tiefentests wurden mit den Parametern bench 16 1 17 default depth für 17 Halbzüge Tiefe, entsprechend 20 für 20 Halbzüge gestartet. Als Parametereingabe bench allein startet den Test für Tiefe 13. Die Tests dauerten dann mit der zunehmenden Tiefe ca. 3,3 s, 15 s und 1 Minute.
Die Engineausgaben habe ich ins null-device umgeleitet. Die Leistungsfähigkeit der Bildschirmausgabe wollte ich nicht testen. Die Werte sind dadurch etwas besser als mit Bildschirmausgabe.
Die Minutentests habe ich 2 mal durch geführt die kürzen Tests etwa 5 mal. Die besten Werte kamen in die Tabelle. Die Tabelle zeigt also die maximale Leistung, nicht die Durchschnittswerte. So hat im bench-Test die PGO474 den gelisteten Wert 4 mal erreicht, die offizielle sse4.2-Version den identischen Wert dagegen nur einmal.

Und noch mehr Zahlenfutter. Inspiriert von Bennos Test habe ich versucht mit der für mich neuen Little-Blitzer-GUI eine Testreihe zu starten (ebenfalls 20s Bedenkzeit +0,2 pro Zug). Erstmal ganz sachte und einfach. Ich habe Stockfish 6 als Stockfisch 6 A-D, also viermal gegen sich selbst spielen lassen. So zu sagen, um über 2.000 Partien das statistische Rauschen zu hören. 18 Partien waren am Ende aber doppelt. Die habe ich für die Elo-Wertung herausgenommen.
Anfangswert ist 3000.

Hier noch die Turnierstatistik:
Gewonnen hat Stockfish 6 vor Stockfish 6. Dritter wurde Stockfish 6. Auf den Plätzen blieb Stockfish 6.
Warum die Little-Blitzer-GUI nicht Eingabe von Turnierrunden erlaubt, sondern nur Zahl der zu spielenden Partien, weiß ich nicht. Ich dachte auch, bei 4 Teilnehmern und 2000 "rounds" läge es auf der Hand, dass jeder Teilnehmer auf 1000 Partien kommt. Vielleicht da jemand einen Ratschlag?

Viele Grüße
Th. Plaschke