neuer Ipmann Stockfish 260114IP

By Roland Riener Date 2014-01-27 16:33

Hilfe, Karl,

Vielleicht habe ich es überlesen, aber kannst du etwas ausholen, was es mit diesen Ipmann- und Rockwood-Versionen auf sich hat? Habe einzelne heruntergeladen, sie spielen ausgezeichnet. Danke für die Fritz-gerechte Version!

Roland

By Karl Müller Date 2014-01-27 21:30

Hallo Roland,

gut, ist für mich auch nicht so einfach, weil die Experten ja hier Ipmann oder Higgs sind. Also Ipmann ist derjenige der auf ImmortalChess diese besonderen Compilierungen reinstellt und Higgs auf dem Rybka-Forum.

Die Hauptunterschiede sind da einmal die LP, die normalen Stockys nicht haben - umstritten, aber ich bin da sehr zufrieden und die Ergebnisse sind auch ansprechend. Ich spiele z. B.immer mit "LP", ob Blitz oder Lang. Gut, die nehmen dann noch einige Veränderungen in der "neuen" Compilierung vor, Hash usw. und so fort, was aber deren Geheimnis ist oder manchmal auch z. T. bei den Veröffentlichungen drin steht.

Bei Higgs, also Rockwood ist da nun auch die AVX-Version (die andere ist mit NOAVX gekennzeichnet), wenn Du einen i7, vierte Generation besitzt. Ich nutze die immer, weil die bei mir einen Tick schneller sind.

Also frag mich nicht, was die sonst noch so in den Compilierungen drin haben - keine Ahnung, leider?!

Interessant ist die neue Voreinstellung von Higgs hinsichtlich der syzygy's "20", ist extrem und verhindert den Zugriff auf die Syzygy's fast bis zum Schluß. Halte das für übertrieben, habe aber noch nicht ausgetestet.Daher mein Vorschlag, der von einem anderen russischen Tester kommt: für 345 die "6" und wennman auch die "6er" drin hat, dann auf "9".

Der größte Unterschied sind die LargePages (LP) - ansonsten ist das im Trüben grübeln, weil die ja auch nicht alles bekannt machen, was sie so treiben. Ipmann läßt fast immer auch Idle Treads Sleep auf "null", also kein Häckchen drin, während Higgs da das Häckchen drin läßt. Hier gibt es auch unterschiedliche Meinungen, was da besser sein soll.

Für mich gilt, ich nutze die Ipmänner oder die Rockwoods fast nur: Favorit z. Z. der Ipmann 260114IP und der neue Rockwood 27.01.14 - Compilierungen der beiden machen bisher eine hervorragende Figur auf dem Server, mit Blick auf meine bescheidene Hardware.

Grüße

By Benno Hartwig Date 2014-01-27 22:13

Hast du Lust, auf deinem System mal bei ansonsten gleichem Versionsstand und gleichen Büchern diese 3 Versionen (normal, Ipmann und Rockwood) mal gegeneinander antreten zu lassen?
Gern kurze Zeiten (vielleicht Minimum 1m+0,5s oder etwas mehr), ein paar Tage rechnen lassen, sodass mind. 1000 Partien für jede Engine herauskommen, und uns das Ergebnis zu zeigen?
Diese Partienzahl ist vermutlich notwendig, denn die Spielstärkeunterschiede werden wohl allenfalls klein sein, richtig?
Wäre super.
Man bekäme mal eine Ahnung, welche Auswirkungen (groß, klein, garnicht, negativ) diese Modifikationen haben.

Benno

By Karl Müller Date 2014-01-27 22:54

Benno,

1000 Partien - um Gottes Willen, muss mal schauen. Wenn ich schon meinen anderen Rechner hätte, gerne, aber da ich z. Z. grübele, ob der überhaupt in Verbindung mit der Fritz-GUI notwendig ist, wegen dem Bug etc., der ja die Ergebnisse sowieso verfälscht . . .

Heute wieder merkwürdiges auf dem Server festgestellt: Du hast eine "grüne" DSL-Leitung, dein Gegner auch, aber pro Zug Lag bis zu 20 Sekunden. Das ist unmöglich, da wird auch manipuliert - ohne Schei* Die Anschaffung eines i7 4930K oder besser sehe ich schwinden, da ja die Manipulationen nicht aufhören werden, die oder besser dann meine Ergebnisse sicher nicht besser werden, wie andere Ergebnisse von Usern mit 6 oder 12core mir beweisen.

Insofern demnächst mal eine Just-for-fun Ralley von mir auf dem Server - ich werde mal den GULL 2.8 x64 BMI2 laufen lassen, ist ja sowieso egal.

Also, um auf deinen Wunsch zurückzukommen, ich überlege mal . . .

Der Gull hat übrigens heute einen geteilten dritten Platz gegen die stärkst Stocky-Macht, die ich aufzubieten habe eingelegt - bravo GULL

Grüße

By Benno Hartwig Date 2014-01-28 09:52

> 1000 Partien - um Gottes Willen

Naja, da die Engine-Spielstärken sich vermutlich allenfalls ein wenig unterscheiden, wirst du mit 200 oder 300 Partien pro Engine kaum Ergebnisse erhalten, die irgendeine Aussage gestatten. Wirklich nicht!
Auch bei 1000 Partien haben die 95%-Intervalle noch eine Breite von ca. 30 ELO. Selbst da ist die Aussagekraft also noch sehr eingeschränkt, wenn die Engines dicht beieinander liegen.

1500 Partien a knapp ca. 4 Minuten bräuchten gut 4 Tage. Immerhin, aber mehr eben auch nicht.
Im Moment ist halt aus meiner Sicht noch so sehr offen, inwieweit sich eine Beschäftigung mit den beiden Extra-Stockfischen überhaupt lohnt.

Benno

By Karl Müller Date 2014-01-28 15:29

Du hast ja Recht, was deine statistischen Anmerkungen betrifft - ohne Zweifel.

Ich teste die immer nur so 60 Partien, aber immer sind die Ipmänner oder die Rockwood vor den Normalos. Insofern setze ich die ein. Bisher hat in meinen "kurzen" Tests noch nie eine normaler Stockfish vor den beiden anderen gelegen, immer dahinter und oft deutlich. Mir reicht das Ergebnis daher, um zu entscheiden, welche Engine ich gerade auf dem Server nutze.

Grüße

By Benno Hartwig Date 2014-01-31 12:32

> Ich teste die immer nur so 60 Partien, aber immer sind die Ipmänner oder die Rockwood vor den Normalos. Insofern setze ich die ein. Bisher hat in meinen "kurzen" Tests noch nie eine normaler Stockfish vor den beiden anderen gelegen, immer dahinter und oft deutlich...

Ungefähr wieviele derartige 60-Partien-Tests mit Ipmännern, Rockwoods und Normalos, bei denen die versionsmäßig passenden Stockfishe nie auf dem ersten Platz waren (aber durchaus auf dem 2. ?), hast du denn gemacht?

Benno

By Benno Hartwig Date 2014-01-31 10:27

Stefan, haben dich diese SF-Versionen von Ipmann und Rockwood mal interessiert?
Dein Aufbau könnte ja vermutlich recht verlässlich zeigen, ob hinter diesen Linien wirklich etwas Interessantes steckt, oder ob das nicht doch ggf. nur Modifikationen ohne positiven Effekt sind. Ob die hinter diesen Linien stehende Entwicklung etwas taugt.
(oder ist der Ipmann ggf. auch 'nur' ein etwas schnelleres Kompilat. Wäre ja auch gut, aber sicher keinen eingehenden Test wert)

Benno

By Dirk T. Date 2014-01-31 13:54

Servus,

ich denke auch 60 Partien sind nicht aussagekräftig. Hatte auch kurze Tests wo der Rockwood u Ipmann am ende hinter H4 u Komodo lagen (2m+2s+P). Mit Komodo scheinen die übrigens größere Probleme zu haben als der normale Stocki. Aber es waren auch zu wenig Parien um eine klare Aussage zu treffen. Es ist ja auch nicht transparent, auf welcher Grundlage die Kompilierungen vorgenommen werden ander als bei den dev. versions von Stockfish. Ich denke also die sind mit Vorsicht zu genießen. Hier ist wohl eher der Wunsch der Vater des Gedanken

.

Gruß,
Dirk

By Stefan Pohl Date 2014-01-31 14:00 Edited 2014-01-31 14:04

Benno Hartwig schrieb:

Was ich darüber gelesen habe ist folgendes:

what is different between rockwood/stockwood 14/1 and stockfishIP 14/1 ??
SF IP is SF build compiled (from default SF source code) by our esteemed friend 'IpMan'! It adds 'large pages' & occasionally one or two 'tweaks'/settings favorite of IPman. Sometimes IPman also gives us 'passed'/'successful' latest patches tested & proven on 'SF testing framework' but not yet committed & compiled in default SF versions. So we get 'advanced & improved' SF ... IPman builds are stronger than default SF.
Rockwood builds are SF compiled by Bryce Higgs & posted on Rybka forum. Initially he used to compile & provide various builds for all sorts (AMD/Intel Old/Latest) of CPUs. These builds are purported to have all goodies of SF + IpMan compiles + some extras such as avx, PGO (profile guided optimization). Now only two builds are compiled which are supposedly optimized for I7 - one with avx other non avx.
It may appear that since Rockwood builds offer more frills, those are strongest SF variants available. However, in practice on some (actually many) systems RW builds are found to be weaker than default SF. They do not actually use 'Large Pages' (at least on some systems) & no evidence (other than not to be able to create avx built UCI engines on non avx systems) of benefit from avx/PGO has been seen. It has been reported & found that default SF is stronger than RW builds.

Wenn das alles so stimmt, und bisher habe ich keinen Grund was anderes zu glauben, lohnt ein Test m.E. kaum. Zudem Rockwood unter der LittleBlitzerGUI, wenn 3 Rockwoods parallel laufen, ca. 30% niedrigere Knotenzahlen anzeigt, als der normale Stockfish. Damit fällt ein Test von rockwood schon mal aus, da ist offenbar der Wurm drin. Und die Ipmans sind etwas optimierte Vorabcompiles, die aber eben auch schnell von den offiziellen Development-Versionen eingeholt werden. Also sehe ich da keinen Handlungsbedarf...
Wenn aber jemand mal einen Zweikampf eines Ipman-fishes gegen den gleich alten Stockfish macht und da würde Ipman meßbar vorne liegen, dann könnte ich die Version mal testen. Kann gerne mal jemand machen (aber mit Large Pages =false!). Aber bitte mindestens 500 Partien, sonst ist das Ergebnis statistisch wertlos.
Meine PCs sind im Moment mit Firenzina und Gull beschäftigt...Vielleicht mache ich danach mal einen schnellen 1000 Partien-vergleich über Nacht von Ipman gegen den normalen Stockfish gleichen Alters. Mal sehen. Wenns wirklich jemand interessiert...

Stefan

By Benno Hartwig Date 2014-01-31 14:45

Thanx für deine Erklärung, Stefan.

> Vielleicht mache ich danach mal einen schnellen 1000 Partien-vergleich über Nacht von Ipman gegen den normalen Stockfish gleichen Alters...
> Wenns wirklich jemand interessiert...

Klar, auch nach der Erklärung kann man schon vermuten, dass bestenfalls einige Prozent Geschwindigkeitsvorteil entstehen. Oder nicht mal das. Da lohnt sicher keinen größeren Testaufwand. Aber wenn man denn wüsste, dass man keine Software mit 'anderweitigen Würmern' erhält, kann das sogar interessieren. Ein wenig wenigstens.
"Jeder Prozentpunkt ein ELO-Punkte"
Mir ging es aber nur darum, nicht eine Entwicklung zu ignorieren, die schon Erfolge aufweisen könnte.

Benno

By Stefan Pohl Date 2014-01-31 14:55

Benno Hartwig schrieb:

Thanx für deine Erklärung, Stefan.

Klar, auch nach der Erklärung kann man schon vermuten, dass bestenfalls einige Prozent Geschwindigkeitsvorteil entstehen. Oder nicht mal das. Da lohnt sicher keinen größeren Testaufwand. Aber wenn man denn wüsste, dass man keine Software mit 'anderweitigen Würmern' erhält, kann das sogar interessieren. Ein wenig wenigstens.
"Jeder Prozentpunkt ein ELO-Punkte"
Mir ging es aber nur darum, nicht eine Entwicklung zu ignorieren, die schon Erfolge aufweisen könnte.

Benno

Tja. Evt. suche ich mir mal drei gleich alte Versionen von Stockfish (default-Dev, Ipman, Rockwood) und spiele mal je 1000 Partien mit der normalen Dev-Version gegen Ipman und Rockwood. Könnte ich von Sonntag bis Montag mal einschieben, bis Sonntag sollte Firenzina durch sein. Hätte den Vorteil, daß ich den nächsten richtigen Stockfishtest dann erst Montag starten würde, und da Marco gerne am Wochenende neue Patches auf die Menschheit loslässt, wäre das terminlich gar nicht so ungünstig.
Mal sehen, ob ich drei gleich alte Versionen auftreibe. Die Version vom 28.01. könnte klappen...

By Karl Müller Date 2014-01-31 16:29 Edited 2014-01-31 16:35

denke - testet mal die Normalen, das reicht.

Die Getunten sind für uns Anwender in der Praxis auf dem Server oder für die Russen, die die ja sowieso testen, da müsst ihr euch nicht auch noch einen Kopf machen

- aber ich z. B. nutze z. Z. den Original DD, 301113 Ipmann compiliert mit Syzygy und LP auf dem Server, der ist sehr gut. Sag ja immer, die Neuen sind nicht unbedingt besser als die Alten . . . auch der alte 111113IP oder gar der 021113Ip sind bärenstark usw., usw. Normale spiele ich nie

übrigens, der Test von Tomcass,siehe anderer Post, wo der Rockwood 210114 gewonnen hat, das sind 1440 Spiel, nur mal so am Rande

By Tom Paul Date 2014-01-31 16:31

Wieso denn ohne LP?
Wenn Stockfish mit LP besser ist als die aktuelle Dev. Version, dann ist das so.
Da sage ich nur selber schuld wenn MC keine LP möchte.

By Karl Müller Date 2014-01-31 16:39

ja, sage ich ja auch -
daher bin ich ja froh, dass sich da Leute drum kümmern und LP da reinfriemeln

By Stefan Pohl Date 2014-01-31 16:56

Tom Paul schrieb:

Wieso denn ohne LP?
Wenn Stockfish mit LP besser ist als die aktuelle Dev. Version, dann ist das so.
Da sage ich nur selber schuld wenn MC keine LP möchte.

Large Pages=false ist Teil meiner LS-Ranglisten-Testbedingungen. Gleiche Bedingungen für alle.

Stefan

By Karl Müller Date 2014-01-31 17:04

also wüden wir nie erfahren, ob die mit LP tatsächlich besser sind

das ist doch irgendwie auch nicht in Ordnung . . .

insofern, bin ich ja froh das die Russen das testen

ich denke, man sollte auch die Engine mit LP da rein nehmen, man will ja wissen welche Engine tatsächlich vorne liegt. wenn ich alle kastriere, die irgendwie was Anderes drin haben, dann tete ich doch nur . . .
könnte ja auch sein, dass man mit dieser Kastration manche Engine schwächer macht, als sie tatsächlich ist.

es sollte daher ein "Open Testing" stattfinden oder nebenher durchgeführt werden.

na ja, ist auch egal oder so -man hat ja immer mehrere Möglichkeiten der Wahrheit auf die Spur zu kommen.

By Tom Paul Date 2014-01-31 17:19

Ich würde gerne so einen H4 im nTCEC sehen.
Robert Houdart hat ja genug Partien spielen lassen

By Michael Scheidl Date 2014-01-31 18:07

Ich rechne mit einer weiter fortgeschrittenen H4.x-Version. Eine sehr naheliegende Erwartung angesichts des Konkurrenzdrucks von Stockfish.

P.S. Und Komodo...?

By Stefan Pohl Date 2014-02-01 05:37

Karl Müller schrieb:

also wüden wir nie erfahren, ob die mit LP tatsächlich besser sind

Das ist keine Kastration. Ganz im Gegenteil. Um Large Pages zu ermöglichen, muß man das als User manuell unter Windows einstellen und bevorteilt damit dann Engines, die das nutzen. Das ist eine Wettbewerbsverzerrung. Wenn eine Engine dazu selbstständig aus ihrem Programmcode heraus in der Lage ist, so ein Feature anzuschalten und für sich zu nutzen, dann ist das völlig in Ordnung (und ich könnte es ja auch nicht verhindern). Aber als Tester die Systembedingungen zu ändern und so einigen Engines einen (kleinen) Vorteil zu ermöglichen, wäre eben eine Wettbewerbsverzerrung. Das kann man als seriöser Tester einfach nicht machen, meine ich zumindest.
Wenn Leute für ihr Spiel auf playchess oder für Analysen maximale Leistung wollen, ist das eben ein ganz andere Situation, als wenn man eine Rangliste betreibt! Im Letzteren Fall ist die Maxime "gleiche Bedingungen für alle" auf einem normalen, nicht manuell manipulierten Rechnersystem wichtiger, als ein paar Prozent mehr Leistung für ein paar Engines, die so eine Manipulation gerne hätten...

Stefan

By Tom Paul Date 2014-02-01 08:48

Man rechnet bei der Engine mit LP am Ende einfach 100 Elo oben drauf.

By Stefan Pohl Date 2014-02-01 08:59

Tom Paul schrieb:

Man rechnet bei der Engine mit LP am Ende einfach 100 Elo oben drauf.

Genau.

By Roland Riener Date 2014-01-27 22:14

Hallo Karl,

mit deinen dankenswerten Ausführungen kann ich das nun einordnen. Die höherrangigen Details gehen ohnehin über meinen Horizont.

Gruß, Roland