Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Stockfish vom 12.11.2014 und 30.11.2014
- - By Benno Hartwig Date 2014-12-11 08:44
Stockfish 141112 x64 hatte bei Stefan ja so überraschend erfolgreich abgeschnitten
und "Stockfish 301114" wirkt auf mich bei TCEC-Stage4 bislang etwas enttäuschend.
Ist einer besonders gut? Ist einer besonders schlecht? Ist vieles oder auch alles Zufall?

Ich habe gestern mal die Development-Versionen vom 12.11. und 30.11. aufeinander angesetzt.
1 Kern, kein Pondern, schnelle 30s+0,5s
Hier steht es jetzt:

    Program                          Elo    +   -   Games   Score   Av.Op.  Draws

  1 SF64_141112_Pohl               : 2401   14  14  1065    50.2 %   2399   54.6 %   (+244,=581,-240)
  2 SF64_141130_TCEC               : 2399   14  14  1065    49.8 %   2401   54.6 %   (+240,=581,-244)

Es ist also sehr ausgeglichen, kein Hinweis darauf, dass es einen Ausreißer nach oben oder unten gibt (und die Stefan-Version hat gaanz leicht die Nase vorn)
Und auch kein Hinweis auf einen Fortschritt in diesen gut 2 Wochen. Muss ja auch nicht!

Benno
Parent - - By Peter Martan Date 2014-12-11 08:57
Es gibt Meldungen,
http://www.talkchess.com/forum/viewtopic.php?topic_view=threads&p=600144&t=54600&sid=5d78fea522ca4d8e7660752e65bda17e
und
http://rybkaforum.net/cgi-bin/rybkaforum/topic_show.pl?tid=29520
dass da ein paar compiles Daten auf die Festplatte in temporären Ordnern abgelegt haben, die eigentlich nur zur Optimierung gesammelt werden sollten, und dass das die eine oder andere Version ausgebremst haben könnte.
Mittlerweile sollen aber auf der download- site alle diese compiles ausgetauscht worden sein.
Parent - - By Michael Scheidl Date 2014-12-11 09:55
Zitat:
Mittlerweile sollen aber auf der download- site alle diese compiles ausgetauscht worden sein.

Kann ich für die Version vom 6.12. bestätigen, die mich über den Jahreswechsel begleiten wird.
Parent - By Peter Martan Date 2014-12-11 10:12
Ja, ich hatte von einer, ich kann gar nicht mehr nachvollziehen von welcher, weil ich sie ohnehin offenbar schon ersetzt hatte, auf der Festplatte tatsächlich so ein tmp- Verzeichnis gefunden, einfach im Stammverzeichnis der Partition, auf der die .exe liegt, nachschauen, tmp- Ordner und Stockfish- Unterverzeichnis vorhanden? Dann .exe neu herunterladen.
Parent - - By Andreas Strangmüller Date 2014-12-11 20:26 Edited 2014-12-11 20:44
Hallo Benno,

gestern Abend habe ich ebenfalls ein Match mit exakt diesen beiden SF-Versionen gestartet.
Hier mein Ergebnis unter Stockfish-Testbedingungen mit etwas längerer Bedenkzeit:

1 Kern, kein Pondern, 120s+1,2s

    Program                Elo    +   -   Games   Score   Av.Op.  Draws
-------------------------------------------------------------------------------------------
  1 Stockfish 141130 T1  : 3000   4   4   6002    50.0 %   3000   74.4 %  (+771,=4464,-767)
  2 Stockfish 141112 T1  : 3000   4   4   6002    50.0 %   3000   74.4 %  (+767,=4464,-771)

Nach 6000 Partien völliger Gleichstand.

Andreas
Parent - By Benno Hartwig Date 2014-12-11 20:39 Edited 2014-12-11 20:43
Schön! Weil du so viele Partien hast und auch, weil deine Zeiten dabei länger sind!
Heute tagsüber lief die Begegnung bei mir im Übrigen auch weiter:

    Program                          Elo    +   -   Games   Score   Av.Op.  Draws

  1 SF64_141130_TCEC               : 2400   11  11  1777    50.1 %   2400   54.8 %    (+404,=973,-400)
  2 SF64_141112_Pohl               : 2400   11  11  1777    49.9 %   2400   54.8 %    (+400,=973,-404)


Die Bilder passen zusammen. Keine Auffälligkeiten.
Allenfalls: Wow, bei annähernd 4-facher Zeit steigt die Remisquote doch wirklich sehr deutlich!

Benno
Parent - - By Stefan Pohl Date 2014-12-12 17:39 Upvotes 2
Andreas Strangmüller schrieb:

Hallo Benno,

gestern Abend habe ich ebenfalls ein Match mit exakt diesen beiden SF-Versionen gestartet.
Hier mein Ergebnis unter Stockfish-Testbedingungen mit etwas längerer Bedenkzeit:

1 Kern, kein Pondern, 120s+1,2s

<code>    Program                Elo    +   -   Games   Score   Av.Op.  Draws
-------------------------------------------------------------------------------------------
  1 Stockfish 141130 T1  : 3000   4   4   6002    50.0 %   3000   74.4 %  (+771,=4464,-767)
  2 Stockfish 141112 T1  : 3000   4   4   6002    50.0 %   3000   74.4 %  (+767,=4464,-771)</code>

Nach 6000 Partien völliger Gleichstand.

Andreas


Ich verstehe nicht so recht, was diese Tests Stockfish gegen Stockfish bringen sollen. Hätte sich hier eine Regression gezeigt, wären die nach dem 12.11. erfolgten Patches doch gar nicht durch das Framework durchgegangen. Da finden doch nun wirklich genug Stockfish Selftests statt...
Viel interessanter wäre es, wenn jemand anderes außer mir mal ein paar Tausend Partien mit beiden Stockfishversionen gegen Komodo und/oder Houdini spielen lassen würde.

Stefan
Parent - - By Andreas Strangmüller Date 2014-12-13 01:06
Mit diesem Test wollte ich einfach den im Framework üblichen Regressionstest zwischen diesen beiden Versionen auf dieser Bedenkzeit durchführen und sehen was bei mir herauskommt.
Immerhin sind in der Zeit von 12.11-30.11. 21 Änderungen (Fixe und Patches) https://github.com/glinscott/Stockfish/compare/f5622cd...1588642 eingeflossen und so wie es aussieht nicht nur Spielstärke steigernde.
Mich hat das Ergebnis schon ein wenig überrascht, hätte im reinen Selftest ein paar Elo Plus erwartet.

Gebe Dir mit Deinem letzten Satz völlig recht. Diese Tests wären im Vergleich zu den Deinen jetzt auch noch interessant.

Grüße,
Andreas
Parent - - By Jörg Oster Date 2014-12-13 11:03
Andreas Strangmüller schrieb:

Mit diesem Test wollte ich einfach den im Framework üblichen Regressionstest zwischen diesen beiden Versionen auf dieser Bedenkzeit durchführen und sehen was bei mir herauskommt.
Immerhin sind in der Zeit von 12.11-30.11. 21 Änderungen (Fixe und Patches) <a class='urs' href='https://github.com/glinscott/Stockfish/compare/f5622cd...1588642'>https://github.com/glinscott/Stockfish/compare/f5622cd...1588642</a> eingeflossen und so wie es aussieht nicht nur Spielstärke steigernde.
Mich hat das Ergebnis schon ein wenig überrascht, hätte im reinen Selftest ein paar Elo Plus erwartet.

Gebe Dir mit Deinem letzten Satz völlig recht. Diese Tests wären im Vergleich zu den Deinen jetzt auch noch interessant.

Grüße,
Andreas

Hallo Andreas,

ich habe mich jetzt nochmal vergewissert, der einzige functional patch in dieser Zeit ist der von Lucas Braesch, 'Halve History Max'. https://github.com/official-stockfish/Stockfish/commit/3b1f552b08b254a5b2d8234ba35d52d3ee86a7cb

Gruß, Jörg.
Parent - - By Andreas Strangmüller Date 2014-12-13 11:32
Hallo Jörg,

vielen Dank, dass Du nochmal genauer recherchiert hast als ich!
Asche auf mein Haupt. Nach dieser Erkenntnis sind die Resultate meines Tests eher weniger überraschend, aber die von Stefan wieder umso mehr.

Gruß, Andreas
Parent - - By Michael Scheidl Date 2014-12-13 16:40
Heute wurde ein für mich einfach und genial klingender Patch nachgelegt, der - wenn ich richtig verstehe - Zeit bei der Hashnutzung spart, indem dieselbe Stellung nicht mehr wiederholt abgefragt werden muß. Scheint bei kurzen Zeiten rund 2 Elo zu bringen.
Parent - - By Stefan Pohl Date 2014-12-14 05:33
Michael Scheidl schrieb:

Heute wurde ein für mich einfach und genial klingender Patch nachgelegt, der - wenn ich richtig verstehe - Zeit bei der Hashnutzung spart, indem dieselbe Stellung nicht mehr wiederholt abgefragt werden muß. Scheint bei kurzen Zeiten rund 2 Elo zu bringen.


Voraussichtlich Montag starte ich den nächsten Testrun von Stockfish. Das Ergebnis sollte dann Freitag online gehen. Falls alles glattgeht.

Stefan
Parent - - By Stefan Pohl Date 2014-12-14 15:20
Stefan Pohl schrieb:

Michael Scheidl schrieb:

Heute wurde ein für mich einfach und genial klingender Patch nachgelegt, der - wenn ich richtig verstehe - Zeit bei der Hashnutzung spart, indem dieselbe Stellung nicht mehr wiederholt abgefragt werden muß. Scheint bei kurzen Zeiten rund 2 Elo zu bringen.


Voraussichtlich Montag starte ich den nächsten Testrun von Stockfish. Das Ergebnis sollte dann Freitag online gehen. Falls alles glattgeht.

Stefan


Ich hatte heute früh den nächsten Testrun mit Stockfish 141213 gestartet, mußte aber soeben erstaunt feststellen, daß auf abrok.eu alle Versionen nach 141211 verschwunden sind. Wahrscheinlich wegen der aktuellen Compilerdebatte.
Auf jeden Fall breche ich den Testlauf ab, denn die zu testende Version existiert ja nicht mehr, und warte darauf, daß die verschwundenen Patches wieder auftauchen...
Da ich logischerweise nicht sagen kann wann das passiert, ist meine Terminplanung nun natürlich hinfällig. Also bitte etwas Geduld.

Stefan
Parent - By Stefan Pohl Date 2014-12-14 15:33
Stefan Pohl schrieb:

Stefan Pohl schrieb:

Michael Scheidl schrieb:

Heute wurde ein für mich einfach und genial klingender Patch nachgelegt, der - wenn ich richtig verstehe - Zeit bei der Hashnutzung spart, indem dieselbe Stellung nicht mehr wiederholt abgefragt werden muß. Scheint bei kurzen Zeiten rund 2 Elo zu bringen.


Voraussichtlich Montag starte ich den nächsten Testrun von Stockfish. Das Ergebnis sollte dann Freitag online gehen. Falls alles glattgeht.

Stefan


Ich hatte heute früh den nächsten Testrun mit Stockfish 141213 gestartet, mußte aber soeben erstaunt feststellen, daß auf abrok.eu alle Versionen nach 141211 verschwunden sind. Wahrscheinlich wegen der aktuellen Compilerdebatte.
Auf jeden Fall breche ich den Testlauf ab, denn die zu testende Version existiert ja nicht mehr, und warte darauf, daß die verschwundenen Patches wieder auftauchen...
Da ich logischerweise nicht sagen kann wann das passiert, ist meine Terminplanung nun natürlich hinfällig. Also bitte etwas Geduld.

Stefan


Na toll, jetzt ist die Version 141213 wieder da...
Sicherheitshalber starte ich den Testrun morgen früh, wenn ich von der Arbeit heimkomme, dennoch mit der neuen Version (falls sie neu ist?!?) nochmal von vorn. Sicher ist sicher.
Dann sollte das Ergebnis - wie ursprünglich geplant - am Freitag vorliegen. Auch wird dann im Endless RoundRobin-Turnier zum ersten Mal Fire 4 dabeisein, wenn ich meine Website dann komplett aktualisiere. Ab dann wird auch Equionx mit der neuen Version im Endless RoundRobin-Turnier vertreten sein.
Stay tuned!

Stefan
Parent - - By Kurt Utzinger Date 2014-12-13 09:37
Stefan Pohl schrieb:


Ich verstehe nicht so recht, was diese Tests Stockfish gegen Stockfish bringen sollen. Hätte sich hier eine Regression gezeigt, wären die nach dem 12.11. erfolgten Patches doch gar nicht durch das Framework durchgegangen. Da finden doch nun wirklich genug Stockfish Selftests statt...
Viel interessanter wäre es, wenn jemand anderes außer mir mal ein paar Tausend Partien mit beiden Stockfishversionen gegen Komodo und/oder Houdini spielen lassen würde.

Stefan


Ganz meine Meinung.
Kurt
Parent - - By Hauke Lutz Date 2014-12-13 10:07 Edited 2014-12-13 10:09
Die paar Tausend Partien kann ich spielen lassen, jedoch solltest du mir sagen mit welcher BZ ich spielen lassen soll, damit der Test auch Sinn macht.
Parent - By Kurt Utzinger Date 2014-12-13 10:54
Hauke Lutz schrieb:

Die paar Tausend Partien kann ich spielen lassen, jedoch solltest du mir sagen mit welcher BZ ich spielen lassen soll, damit der Test auch Sinn macht.


Als "Langzeit"-Schächler wage ich es nicht, Dir "Vorschriften" zu machen.
Mfg
Kurt
Parent - - By Andreas Strangmüller Date 2014-12-13 10:35 Upvotes 3
Habe heute Nacht noch einen Test über 6000 Partien, Stockfish 141130 - Komodo 8, 1 Kern, kein Pondern, 120s+1,2s, gestartet.
Danach folgt Stockfish 141112. Denke morgen Abend liegen die Resultate vor.

Andreas
Parent - - By Andreas Strangmüller Date 2014-12-14 23:59
Hier die Resultate:

    Program                Elo    +   -   Games   Score   Av.Op.  Draws
---------------------------------------------------------------------------------------------
  1 Stockfish 141112 T1  : 3027   6   6   6000    57.6 %   2973   51.2 %  (+1920,=3071,-1009) 3455.5/6000
  2 Komodo 8 T1          : 2973   6   6   6000    42.4 %   3027   51.2 %  (+1009,=3071,-1920)

    Program                Elo    +   -   Games   Score   Av.Op.  Draws
---------------------------------------------------------------------------------------------
  1 Stockfish 141130 T1  : 3026   6   6   6000    57.4 %   2974   51.4 %  (+1904,=3082,-1014) 3445.0/6000
  2 Komodo 8 T1          : 2974   6   6   6000    42.6 %   3026   51.4 %  (+1014,=3082,-1904)


Auch gegen Komodo zeigt sich in diesem Vergleich kein nennenswerter Unterschied der beiden Stockfish Versionen.

Andreas
Parent - - By Stefan Pohl Date 2014-12-15 04:29
Bemerkenswert!

Stefan
Parent - - By Benno Hartwig Date 2014-12-15 09:47
Dass bei den wenigen TCEC-Partien der Zufall sehr stark mitmischen wird, ist ja direkt zu erwarten.
Und entsprechend werden auch viele Ergebnisse sein.
Dieses Ergebnis verwundert also nicht wirklich

Dass die Version vom 12.11. in deiner Liste aber so toll abschnitt, verblüffte mich aber.
- Ist sie wirklich so gut (und die Folgeversionen wieder schlechter)? Da bleiben Zweifel.
- Prinzipiell kann Zufall auch bei sehr vielen Partien zuschlagen. Ist es hier so? Da bleiben auch Zweifel.
- Irgendein systematischer Fehler? Ich habe keinen Grund, den anzunehmen.

Und nun?
Welche Sicht hast du auf das denkwürdige Ergebnis des SF vom 12.11.2014?
Vielleicht gerade auch unter Einbeziehung der Ergebnisse aus diesem Thread.

Benno
Parent - - By Stefan Pohl Date 2014-12-15 11:38 Edited 2014-12-15 11:47
Benno Hartwig schrieb:

Dass bei den wenigen TCEC-Partien der Zufall sehr stark mitmischen wird, ist ja direkt zu erwarten.
Und entsprechend werden auch viele Ergebnisse sein.
Dieses Ergebnis verwundert also nicht wirklich

Dass die Version vom 12.11. in deiner Liste aber so toll abschnitt, verblüffte mich aber.
- Ist sie wirklich so gut (und die Folgeversionen wieder schlechter)? Da bleiben Zweifel.
- Prinzipiell kann Zufall auch bei sehr vielen Partien zuschlagen. Ist es hier so? Da bleiben auch Zweifel.
- Irgendein systematischer Fehler? Ich habe keinen Grund, den anzunehmen.

Und nun?
Welche Sicht hast du auf das denkwürdige Ergebnis des SF vom 12.11.2014?
Vielleicht gerade auch unter Einbeziehung der Ergebnisse aus diesem Thread.

Benno


Tja, mit 10 Elo Plus gegenüber den Versionsnachbarn liegt das Ergebnis so gerade am Rande der Vergleichserrorbar ( SQRT(7*7+7*7) = 10 Elo). Von daher ist es wohl ein statistischer Ausreißer. Seltsam bleibt allerdings das überragende Abschneiden von Stockfish 141112 in meinem Endless RoundRobin mit den längeren Bedenkzeiten und Quadcore. Aber das sind natürlich auch sehr viel weniger Partien.

Stefan

P.S: Ich überlege, ob ich evt. die Bedenkzeiten für die Stockfish-Testruns leicht verkürze (60''+500ms) und dafür wieder mehr Partien (10000, also 10 Gegner-Engines a 1000 Partien, statt wie bisher 5000 (5 Gegner-Engines) spielen lasse, um die Errorbars zu verkleinern. Viel bringt das aber nicht. Die Errorbars jedes Einzelergebnisses wären dann +/-5 (statt bsiher +/-7) und die Verlgleichserrorbar zweier Stockfish-Resultate wäre dann +/-7 Elo (statt bisher +/-10). Zudem wird man kaum 10 Engines zusammenbringen, die Stockfish nicht hoffnungslos unterlegen sind. Critter und Equinox und Mars könnte ich reinnehmen, dann wirds auch schon schwierig.

Meinungen dazu?
Parent - By Tom Paul Date 2014-12-15 12:09
Eine gute Idee und somit einen Versuch wert.
9 oder 8 Engines wären auch ok.
Ich würde Vitruvius mit rein nehmen, eine sehr interessante Engine.

Ratings after Season 7 - Stage 3 (2014.12.02)

   # PLAYER        : RATING    POINTS  PLAYED    (%)
   1 Stockfish     :   3222     271.0     438   61.9%
   2 Komodo        :   3208     236.5     391   60.5%
   3 Houdini       :   3195     198.5     328   60.5%
   4 Vitruvius     :   3158      21.5      34   63.2%
   5 Bouquet       :   3135      39.5      72   54.9%
   6 Rybka         :   3129      83.5     149   56.0%
   7 Fire          :   3122      31.5      54   58.3%
   8 Gull          :   3109     111.0     200   55.5%
   9 Hiarcs        :   3101      42.5      77   55.2%
  10 Critter       :   3076     103.5     214   48.4%
  11 Naum          :   3049      62.0     122   50.8%
  12 Chiron        :   3024      51.0     104   49.0%
  13 Equinox       :   3014      27.5      50   55.0%
  14 Junior        :   3000      67.0     144   46.5%
  15 Protector     :   2982      38.5      85   45.3%
Parent - - By Benno Hartwig Date 2014-12-15 13:02 Edited 2014-12-15 13:52

> Von daher ist es wohl ein statistischer Ausreißer.


Ich wage es kaum auszusprechen, aber magst du in solchen Fällen auch eine Wiederholung eines Testlaufs ins Auge fassen? 
Klar, das würde dann ggf. auch den routinemäßigen Ablauf tangieren.

Aber falls es eben im Wesentlichen doch ein Ausreißer  ist, würden jetzt etliche tatsächliche kleinere Verbesserungen auf einige Zeit im Schatten dieses Glanz-Ergebnisses herumkrebsen.

Benno
Parent - By Stefan Pohl Date 2014-12-15 15:09
Benno Hartwig schrieb:

Ich wage es kaum auszusprechen, aber magst du in solchen Fällen auch eine Wiederholung eines Testlaufs ins Auge fassen? 
Klar, das würde dann ggf. auch den routinemäßigen Ablauf tangieren.

Aber falls es eben im Wesentlichen doch ein Ausreißer  ist, würden jetzt etliche tatsächliche kleinere Verbesserungen auf einige Zeit im Schatten dieses Glanz-Ergebnisses herumkrebsen.

Benno


Im singlecore-Testbetrieb wäre die Dublettenzahl  der Partieverläufe sicher sehr groß. Ergo müßte man andere Vorgabestellungen verwenden, und dann wären die Ergebnisse nicht mehr vergleichbar.

Denke also, das das wenig Sinn hätte. Daß der Kurvenverlauf der Eloentwicklung in meinen Testruns gewisse statistische Auschschläge/Zacken enthält, ist leider nie ganz vermeidbar. Man kann nun mal die Errorbar und die mit ihr einhergehenden Schwankungen in den Ergebnissen nicht vermeiden.

Stefan
Parent - - By Andreas Strangmüller Date 2014-12-15 16:52
Bei folgendem Test habe ich die offizielle Stockfish Version von heute gegen eine selbst kompilierte Version auf meinem AMD spielen lassen.
Bei dieser kurzen Bedenkzeit machen 4,5 % mehr Geschwindigkeit immerhin 11 Elo aus!
Der verwendete Compiler und evtl. auch Intel oder AMD Prozessor spielen hier also auch eine Rolle, besonders wenn es um Regressionstests geht, wo jeder Elo zählt.

1 Kern, 128 MB Hash, kein Pondern, 15s+0.15s, 8moves_v3.pgn

Stockfish 141215 SC = Stockfish Compiler by Nabil Danial (bunkbail) - selbst kompiliert und etwa 4,5 % schneller als die offizielle Version
Stockfish 141215       = stockfish_14121500_x64_modern.exe (Offzielle Version von http://abrok.eu/stockfish/)

Bench results for 50 tests for each version:

            141215 SC  141215    Diff
    Mean    1062083    1015855   46228  + 4.55 %

p-value: 0


      Program                  Elo    +   -   Games   Score   Av.Op.  Draws
  ---------------------------------------------------------------------------
   1 Stockfish 141215 SC T1  : 3005   4   4   10000   51.6 %   2995   64.6 %
   2 Stockfish 141215 T1     : 2995   4   4   10000   48.4 %   3005   64.6 %

Wins   = 1926
Draws  = 6459
Losses = 1615
Av.Op. Elo = 3000

Result     : 5155.5/10000 (+1926,=6459,-1615)
Perf.      : 51.6 %
Margins    :
68 %      : (+  0.3,-  0.3 %) -> [ 51.3, 51.9 %]
95 %      : (+  0.6,-  0.6 %) -> [ 51.0, 52.1 %]
99.7 %    : (+  0.9,-  0.9 %) -> [ 50.7, 52.4 %]

Elo        : 3011
Margins    :
68 %      : (+  2,-  2) -> [3009,3013]
95 %      : (+  4,-  4) -> [3007,3015]
99.7 %    : (+  6,-  6) -> [3005,3017]

Games        :  10000 (finished)

White Wins   :   2034 (20.3 %)
Black Wins   :   1507 (15.1 %)
Draws        :   6459 (64.6 %)

White Perf.  : 52.6 %
Black Perf.  : 47.4 %

Individual statistics:

1 Stockfish 141215 SC T1  : 3005  10000 (+1926,=6459,-1615), 51.6 %
2 Stockfish 141215 T1     : 2995  10000 (+1615,=6459,-1926), 48.4 %
Parent - - By Benno Hartwig Date 2014-12-15 18:35

> Bei dieser kurzen Bedenkzeit machen 4,5 % mehr Geschwindigkeit immerhin 11 Elo aus!


Diese Aussage wäre berechtigt, wenn Verdopplung der Geschwindigkeit einen ELO-Gewinn von ungefähr 170 bedeutet.
Meinst du, dass sich Geschwindigkeitssteigerungen bei kurzen Zeiten wirklich so stark auswirken?
Ich zweifle.

Benno
Parent - By Hauke Lutz Date 2014-12-15 18:40
Im Selftest anscheint schon.
Parent - By Andreas Strangmüller Date 2014-12-15 19:15
Zitat:
Meinst du, dass sich Geschwindigkeitssteigerungen bei kurzen Zeiten wirklich so stark auswirken?

Ja, ich zweifle nicht am Testresultat innerhalb der Fehlertoleranz.
Meine Theorie: je kürzer die Bedenkzeit, desto stärker der Elozuwachs bei gleichem Geschwindigkeitszuwachs.
Bei längeren Bedenkzeiten wird sich der Elozuwachs verringern.

Andreas
Parent - - By Andreas Strangmüller Date 2014-12-16 22:33
Hallo Benno,

hier das Ergebnis bei exakter Vervierfachung der Bedenkzeit, 60s+0.60s
Nun machen die 4,5 % mehr an Geschwindigkeit nur noch etwa 8 Elo aus.

Grüße,
Andreas


     Program                   Elo    +   -   Games    Score   Av.Op.  Draws
  ----------------------------------------------------------------------------
   1 Stockfish 141215 SC T1  : 3004   4   4   10000    51.2 %   2996   71.2 %
   2 Stockfish 141215 T1     : 2996   4   4   10000    48.8 %   3004   71.2 %

Wins   = 1563
Draws  = 7117
Losses = 1320
Av.Op. Elo = 3000

Result     : 5121.5/10000 (+1563,=7117,-1320)
Perf.      : 51.2 %
Margins    :
68 %      : (+  0.3,-  0.3 %) -> [ 50.9, 51.5 %]
95 %      : (+  0.5,-  0.5 %) -> [ 50.7, 51.7 %]
99.7 %    : (+  0.8,-  0.8 %) -> [ 50.4, 52.0 %]

Elo        : 3008
Margins    :
68 %      : (+  2,-  2) -> [3007,3010]
95 %      : (+  4,-  4) -> [3005,3012]
99.7 %    : (+  6,-  6) -> [3003,3014]

Games        :  10000 (finished)

White Wins   :   1781 (17.8 %)
Black Wins   :   1102 (11.0 %)
Draws        :   7117 (71.2 %)

White Perf.  : 53.4 %
Black Perf.  : 46.6 %

Individual statistics:

1 Stockfish 141215 SC T1  : 3004  10000 (+1563,=7117,-1320), 51.2 %
2 Stockfish 141215 T1     : 2996  10000 (+1320,=7117,-1563), 48.8 %
Parent - - By Benno Hartwig Date 2014-12-31 11:24 Edited 2014-12-31 11:32
Thanx.
Inzwischen kam ich dazu, mir das Compiler-Paket mal selbst anzusehen.
https://docs.google.com/file/d/0B4ytljTWAF-bOEgyUmZnbXFWWE0/edit?pli=1
Und es funktioniert super!
64-bit-Stockfish-Kompilate auf Knopfdruck, und sie sind wirklich ein deutliches Stückchen schneller als die Originale-Kompilate.
Ich habe mir gerade den Stockfish vom 30.12.2014 heruntergeladen: die Kompilate und die Sourcen, aus denen mir dieses bunkbail-Paket von Nabil Danial auf einfachste Weise eine Engine baute:
Ich startete gleich mal eine LittleBlitzer-Begegnung, und da steht es jetzt

1.  SF14123009                 769.5/1572  329-362-881    (L: m=82 t=0 i=0 a=280)  (D: r=679 i=102 f=41 s=10 a=49)  (tpm=862.9 d=17.68 nps=581356)
2.  bunkbail141230             802.5/1572  362-329-881    (L: m=60 t=2 i=0 a=267)  (D: r=679 i=102 f=41 s=10 a=49)  (tpm=862.8 d=17.85 nps=609698)

Der bunkbal-Stockfish ist hier also um gut 4,8% schneller geworden
und er führt nun auch "standesgemäß" mit 6 ELO (laut ELOstat)
(jeweils die "modern"-Versionen)

Thanx noch mal für diesen Hinweis.
Herumbasteln mag ich gern mit Hilfe des VisualStudio-Express. Hier erhalte ich aber nur 32-bit-Kompilate.
Und so kann man nun auch auf ausgesprochen einfache Weise sehr schnelle 64-bit-Executables erhalten.

Benno

PS:
Die Patch-Funktionalität habe ich mir bislang nicht näher angesehen.
Parent - - By Thomas Plaschke Date 2014-12-31 21:45
Im Rybka-Forum
http://rybkaforum.net/cgi-bin/rybkaforum/topic_show.pl?tid=28733;pg=4
findet man ein ähnliches Paket, dass der Vater der "Bunkbail"-Zusammenstellung sein dürfte. Das Original erscheint zwar komplizierter, wird aber auch mit den neueren Syzygy-Stockfishen fertig. - Jene kompilierte mir das Bunkbail-Set nicht.
Der Autor des BYO(=Build Your Own)-Pakets aus dem Rybka-Forum, Brice Allenbrand, hat außerdem diverse minGW-C++-Compiler zusammengestellt. Man könnte also Versionsvergleiche für die Compilate einer Stockfishversion anstellen. Alle wesentlichen Versionen von 4.7.3 bis 5.0.0 sind dabei (letztere ist aber noch Beta, glaube ich. - Sie kann keine PGO.). Von der Geschwindigkeit her waren die BYO-Compilate immer Spitze. Anders als bei Bunkbail, sind die verwendeteten Compileroptionen bei ihm relativ leicht zugänglich. Interessierte sollten mal nachschauen und sich wundern.
Das BYO-Paket findet man in der Dropbox unter dieser Adresse: http://goo.gl/Fa5YN1

Viel Spaß und einen Guten Rutsch!
Th. Plaschke
Parent - - By Jörg Oster Date 2015-01-03 15:11
Thomas Plaschke schrieb:

Im Rybka-Forum
<a class='urs' href='http://rybkaforum.net/cgi-bin/rybkaforum/topic_show.pl?tid=28733;pg=4'>http://rybkaforum.net/cgi-bin/rybkaforum/topic_show.pl?tid=28733;pg=4</a>
findet man ein ähnliches Paket, dass der Vater der "Bunkbail"-Zusammenstellung sein dürfte. Das Original erscheint zwar komplizierter, wird aber auch mit den neueren Syzygy-Stockfishen fertig. - Jene kompilierte mir das Bunkbail-Set nicht.
Der Autor des BYO(=Build Your Own)-Pakets aus dem Rybka-Forum, Brice Allenbrand, hat außerdem diverse minGW-C++-Compiler zusammengestellt. Man könnte also Versionsvergleiche für die Compilate einer Stockfishversion anstellen. Alle wesentlichen Versionen von 4.7.3 bis 5.0.0 sind dabei (letztere ist aber noch Beta, glaube ich. - Sie kann keine PGO.). Von der Geschwindigkeit her waren die BYO-Compilate immer Spitze. Anders als bei Bunkbail, sind die verwendeteten Compileroptionen bei ihm relativ leicht zugänglich. Interessierte sollten mal nachschauen und sich wundern.
Das BYO-Paket findet man in der Dropbox unter dieser Adresse: <a class='ura' href='http://goo.gl/Fa5YN1'>http://goo.gl/Fa5YN1</a>

Viel Spaß und einen Guten Rutsch!
Th. Plaschke

In der Tat, da habe ich mich wirklich gewundert!
Ich hatte erwartet, dass ich zwischen den verschiedenen Compiler-Versionen auswählen kann. Weit gefehlt.
Dieses Paket erstellt einfach für alle minGW-Versionen ein Kompilat. Und das nach gefühlten Stunden ...

Na ja, vielleicht habe ich einfach zuviel erwartet.
Trotzdem danke fürs drauf aufmerksam machen.

Gruß, Jörg.
Parent - - By Thomas Plaschke Date 2015-01-03 18:52
Jörg Oster schrieb:
...
Ich hatte erwartet, dass ich zwischen den verschiedenen Compiler-Versionen auswählen kann.
...

Für Dich doch sicher kein Problem, die install.bat entsprechend anzupassen (Die exe lässt sich dazu als 7z-Archiv öffnen.).
Sie enthält mehrere For-Schleifen, in denen die Compiler-Versionen durchgegangen werden.
Die zweite dieser For-Schleifen (die Zeile unter ihr lautet SET FLTO=  einfach von
FOR %%I IN (473 474 483 484 492 493 500) DO (
nach
FOR %%I IN ( 474 ) DO (
ändern und es wird nur noch der minGW C++ 4.7.4-Compiler verwendet.

Bei der Gelegenheit auch den Teil mit der Archivierung "** Compression (7z)" deaktivieren. - Fertig!

Für mich bequemer als bunkbail.

Viele Grüße
Th. Plaschke
Parent - - By Jörg Oster Date 2015-01-03 19:32
Thomas Plaschke schrieb:

Jörg Oster schrieb:
...
Ich hatte erwartet, dass ich zwischen den verschiedenen Compiler-Versionen auswählen kann.
...

Für Dich doch sicher kein Problem, die <code>install.bat</code> entsprechend anzupassen (Die exe lässt sich dazu als 7z-Archiv öffnen.).
Sie enthält mehrere For-Schleifen, in denen die Compiler-Versionen durchgegangen werden.
Die zweite dieser For-Schleifen (die Zeile unter ihr lautet <code>SET FLTO=</code>  einfach von
<code>FOR %%I IN (473 474 483 484 492 493 500) DO (</code>
nach
<code>FOR %%I IN ( 474 ) DO (</code>
ändern und es wird nur noch der minGW C++ 4.7.4-Compiler verwendet.

Bei der Gelegenheit auch den Teil mit der Archivierung "** Compression (7z)" deaktivieren. - Fertig!

Für mich bequemer als bunkbail.

Viele Grüße
Th. Plaschke

Danke Thomas! Wunderbarer Tip!

Gruß, Jörg.
Parent - By Thomas Plaschke Date 2015-01-03 20:01
Der Vollständigkeit halber will ich noch erwähnen, dass das Entpacken des Archives für den Zeitaufwand verantwortlich ist (bestimmt an die 30.000 Dateien). Einmal manuell entpackt kann man immer wieder über die Batch-Datei install.bat den/die Compilierungsvorgang/-vorgänge starten (und kontrollieren ).
Allein für die verschiedenen Compilerversionen lohnt sich der Downoad. - Die Versionen 4.9.3 und 5.0.0 habe ich auf der minGW-Homepage nicht gefunden!

Viele Grüße
Th. Plaschke
Parent - By Benno Hartwig Date 2014-12-13 23:40
Sowohl das tolle Abschneiden der 12.11.-Version bei dir als auch der maue Auftritt von SF in Stage4 (ein paar Spiele zurück) fand ich überraschend.
Und so wollte ich ohne jeden Anspruch auf "Wissenschaftlichkeit" mal einen eigenen Blick auf diese Phänomen-Engines werfen.
That's all.
Klar, ich hätte auch via K testen können. Dann hätte der Test aber die doppelte Anzahl an Partien erfordert.

Benno
Up Topic Hauptforen / CSS-Forum / Stockfish vom 12.11.2014 und 30.11.2014

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill