MC hat Regression bestätigt

By Ralf Mueller Date 2014-05-27 08:27

In meinen Stellungstests finden die Stockfishversionen vom 24.-27. April (bis 23. und ab 28. wieder langsamer) am schnellsten die Lösungszüge. Ich weiß aber nicht, ob das etwas zu bedeuten hat.

By Jörg Oster Date 2014-05-27 11:33

Stefan Pohl schrieb:

Marco hat den Patch symmetric King safety wieder rausgenommen, nachdem auch im Framework-Regression-Test ein Minus rauskam. Was sich ja mit meinen Tests gegen andere Engines deckt.
Das ist natürlich erstmal positiv. Nicht so positiv ist allerdings, daß der Patch ja zunächst die normalen Tests im Framework erfolgreich absolvieren konnte...
Mal sehen, ob und welche Konsequenzen das für das Framework haben wird. Ich hoffe jedenfalls, daß man dort nicht einfach wieder "zur Tagesordnung" übergeht, sondern sich Gedanken macht, wie ein solcher Fehlschlag (der ja eine starke Ressourcenverschwendung bedeutet) vermieden werden kann...

Ich glaube nicht, dass sich da was tun wird. Das ist mit ein Grund, warum ich mich z. Zt. etwas zurückhalte mit neuen Tests.
Ich habe gerade meinen Zweit-PC aufgerüstet. Asus Board und einen i5-4570 mit 8 GB RAM. Wenn ich sehe, was das für einen Unterschied macht zu meinem AMD FX-8120, da war ich erstmal sprachlos. Wenn ich mir dann überlege, welche CPU/OS Vielfalt im Framework vorhanden ist, und welche Auswirkungen das auf die Elo-Leistung hat, dann befallen mich doch große Zweifel, dass man solche Unterschiede alleine durch Anpassung der Zeitkontrolle ausgleichen kann ...
Von daher wird man mit solchen false positives einfach leben müssen.

Gruß, Jörg.

Stefan Pohl schrieb:

Meine Empfehlung für alle Computerschachfreunde ist weiterhin die Stockfish-Version vom 7.Mai, welche bei mir nachwievor an der Spitze liegt...

Stefan

By Stefan Pohl Date 2014-05-27 13:12

Jörg Oster schrieb:

Stefan Pohl schrieb:

Naja, aber die Regression zeigte sich ja auch bei mir, auf meinem nicht gerade besonders schnellen Notebook...

Könntest du mal den Fritzmark deines 4570 posten (am besten mit einem Core und den mit allen 4 Cores). Nur so interessehalber.

Danke - Stefan

By Jörg Oster Date 2014-05-27 14:14

Stefan Pohl schrieb:

Jörg Oster schrieb:

Stefan Pohl schrieb:

Mit dem Fritzmark kann ich nicht dienen, benutze ja Linux, dafür ein paar Benches mit der aktuellen Dev-Version von SF.
http://abrok.eu/stockfish/builds/ad937d0b2d2a9450686b9f3412c891a68ff19310/linux64modernsse/stockfish_14052621_x64_modern_sse42
Alles mit Standardtakt von 3.2GHz, Turbo-Modus deaktiviert.

sudo nice -n -20 taskset -c 0 ./stockfish bench 32 1 17 >/dev/null

===========================
Total time (ms) : 26356
Nodes searched  : 54468859
Nodes/second    : 2066658

===========================
Total time (ms) : 26431
Nodes searched  : 54468859
Nodes/second    : 2060794

===========================
Total time (ms) : 26427
Nodes searched  : 54468859
Nodes/second    : 2061106

./stockfish bench 32 4 17 >/dev/null

===========================
Total time (ms) : 7843
Nodes searched  : 48413499
Nodes/second    : 6172829

===========================
Total time (ms) : 7762
Nodes searched  : 49038537
Nodes/second    : 6317770

===========================
Total time (ms) : 7779
Nodes searched  : 48659984
Nodes/second    : 6255300

Gruß, Jörg.

By Benno Hartwig Date 2014-05-28 12:35

> Wenn ich mir dann überlege, welche CPU/OS Vielfalt im Framework vorhanden ist, und welche Auswirkungen das auf die Elo-Leistung hat, dann befallen mich doch große Zweifel, dass man solche Unterschiede alleine durch Anpassung der Zeitkontrolle ausgleichen kann ...

CPUs sind unterschiedlich leistungsfähig, klar.
Macht es aber für relative(!) Spielstärke so dermaßen viel aus, wenn eine CPU z.B. die doppelte Leistung einer anderen hat?
Verändert das die Reihenfolge wirklich merklich, oder wenigstens die ELO-Differenzen?

Bei z.B. einem Faktor 2 hätte ich das nicht erwartet.

Benno

By Stefan Pohl Date 2014-05-28 12:45

Benno Hartwig schrieb:

Bei normalen Bedenkzeiten sicher nicht. Ich denke, der Knackpunkt im Framework ist der viel zu geringe Fischerbonus von 50ms. Da ist man in einem Bereich, wo Systemeffekte extrem reinstören (können).
Würde man den Fischerbonus auf wenigstens 150ms erhöhen (und dafür ggf. die Basiszeit reduzieren), sollten Hardwareunterschiede eine wesentlich geringere Rolle spielen.

Stefan

By Tom Paul Date 2014-05-28 12:54

Richtig.

By Eelco de Groot Date 2014-05-28 13:50 Edited 2014-05-28 14:03

Stefan Pohl schrieb:

Benno Hartwig schrieb:

Hallo Alle,

Ich kann diese Diskussion nicht ganz mehr folgen? Ich dachte, hat man bessere hardware dann spielt man nicht 1' + 0.05" Parteien, aber schneller. Nur der Fischerbonus ist nicht kalibriert. (insofern ich weiß). Fischerbonus ist nur um Zeitüberschreidungen zu vermeiden (wie ein 'operator bonus')

Eelco