Stockfish startet durch

By Stefan Pohl Date 2013-05-22 07:05

Kurze Ergänzung: Ich teste die neueste Version vom 19.5. (es gibt insgesamt 4 verschiedene an diesem Tag) mit der timestamp 1368993649.

Stefan

By Anogamer Date 2013-05-22 15:54

Hallo Stefan,

ich beobachte das gleiche! Deine Tests bringen noch mehr Klarheit wie gross die Verbesserungen sind.

Alles Gute zuhause!

Grüße
A.

By Horst Sikorsky Date 2013-05-27 08:28

[quote="Stefan Pohl"]
Kurze Ergänzung: Ich teste die neueste Version vom 19.5. (es gibt insgesamt 4 verschiedene an diesem Tag) mit der timestamp 1368993649.

Stefan
[/quote]
Hallo Stefan,
Den habe auch ich getestet und Stockfish erzielte dabei ein gute Ergebniss.
bei gleicher Eröffnungsvorgabe wie bei den Arenaturnier aber 20min+2s.

1 Houdini_3_Pro_x64 +15/-9/=24 56.25% 27.0/48
2 Stockfish_13051922_x64_modern +9/-15/=24 43.75% 21.0/48

By Peter Martan Date 2013-06-02 14:25

Hallo Horst!

Jetzt, wo ich deinen Namen wieder hier lese, glaube ich mich zu erinnern, dass du damals dieses Schwerfigurenendspiel

hier im Forum gepostet hast, mittlerweile ist es über Aquarium in den Lomonosov's abrufbar, deine Vermutung (wenn's denn deine war), dass es Remis ist, lässt sich bestätigen:

http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=60855#pid60855

By Stefan Pohl Date 2013-06-02 06:56

[quote="Stefan Pohl"]

Zwischenstand bisher: Nach knapp 3200 Partien steht Version 130519 bei +21 Elo zu Stockfish 3, allerdings ist erst ein knappes Drittel der Partien absolviert. Dennoch ist dieser Zwischenstand m.E. fast als sensationell zu bezeichnen, wenn man bedenkt, daß zwischen Stockfish 3 und Stockfish 130519 nur 20 Tage Entwicklungszeit liegen...(= pro Tag ein Elopunkt. Wenn ich das aufs Jahr hochrechne wird mir schwindlig...-kleiner Scherz...). Auch der Titel "best-mp-freeware"-Engine (Houdini 1.5a) wäre dann "nur" noch gute 40 Elopunkte weit weg...
Auf jeden Fall geht es bei Stocki seit der Einführung der offenen Test-Umgebung steil bergauf. Ich war ja sofort - wie auch Marco Costalba - der Meinung, daß dieser Schritt eine Zeitenwende in der Engineentwicklung und im Computerschach an sich, bedeutet.
[/quote]

Hallo,

seit gestern Abend läuft bei mir der Test von Stockfish 130601 (neuere der beiden Versionen vom 1.6.13 (die mit dem bugfix), timestamp: 1370096382) unter LS-Bedingungen, da sonst im Moment nix dringendes zum Testen anliegt und Komodo MP sich mal wieder verzögert (welche Überraschung

). Eigentlich will ich ja mehr Zeit zwischen den Tests der development-Versionen von Stocki verstreichen lassen, aber was solls...
Ganz, ganz, ganz früher Zwischenstand: Nach 1250 Partien +10 Elo zur letzten getesteten development-Version vom 19.5.13. Das wird langsam unheimlich...denn da liegen ja wieder nur 13 Tage dazwischen. Allerdings gab es bisher bei Stockfish in unschöner Regelmäßigkeit noch einen Einbruch zwischen Partienummer 3000-5000.

Ergebnis wahrscheinlich am Donnerstag.

Stefan

By Stefan Schiffermueller Date 2013-06-02 11:44

Sie sagten in einem anderen Kommentar, dass Sie das offizielle Kompilat getestet haben, welches aber um 4% langsamer ist als das entsprechende automatische Kompilat, was bei den Entwicklungsversionen benutzt wird. Wenn eine Geschwindigkeitsverdopplung 70 ELO ausmachen, ergibt das bei 4% Unterschied: log2(1.04) * 70 ELO = 4 ELO.

Addiert man diese 4 ELO zu Stockfish 3 in der aktuellen ls-Rangliste, so ist die Version 130519 'nur' noch 15 Punkte besser (statt 19).

By Stefan Pohl Date 2013-06-02 13:42

[quote="Stefan Schiffermueller"]
Sie sagten in einem anderen Kommentar, dass Sie das offizielle Kompilat getestet haben, welches aber um 4% langsamer ist als das entsprechende automatische Kompilat, was bei den Entwicklungsversionen benutzt wird. Wenn eine Geschwindigkeitsverdopplung 70 ELO ausmachen, ergibt das bei 4% Unterschied: log2(1.04) * 70 ELO = 4 ELO.

Addiert man diese 4 ELO zu Stockfish 3 in der aktuellen ls-Rangliste, so ist die Version 130519 'nur' noch 15 Punkte besser (statt 19).
[/quote]

70 Elo sind bei Geschwindigkeitsverdopplung heutzutage deutlich zu hoch gegriffen. 30-40 Elo halte ich für realistisch. Dann wären es nur noch +2 Elo...Aber prinzipiell ist die Argumentation korrekt. Warum der offizielle Release langsamer als die identische development- Version ist, verstehe ich auch nicht. Aber Jim Ablett hat eben bisher immer die offiziellen Compiles gemacht, da wollte man ihn wohl nicht außen vor lassen, auch wenn der Autocompile eben etwas schneller ist.

Stefan

By Stefan Schiffermueller Date 2013-06-02 17:25

[quote="Stefan Pohl"]
[quote="Stefan Schiffermueller"]
Sie sagten in einem anderen Kommentar, dass Sie das offizielle Kompilat getestet haben, welches aber um 4% langsamer ist als das entsprechende automatische Kompilat, was bei den Entwicklungsversionen benutzt wird. Wenn eine Geschwindigkeitsverdopplung 70 ELO ausmachen, ergibt das bei 4% Unterschied: log2(1.04) * 70 ELO = 4 ELO.

Addiert man diese 4 ELO zu Stockfish 3 in der aktuellen ls-Rangliste, so ist die Version 130519 'nur' noch 15 Punkte besser (statt 19).
[/quote]

70 Elo sind bei Geschwindigkeitsverdopplung heutzutage deutlich zu hoch gegriffen. 30-40 Elo halte ich für realistisch. Dann wären es nur noch +2 Elo
[/quote]
Da muss ich widersprechen. Man kann abschätzen, was eine Geschwindigkeitsverdopplung bringt, indem man die Elo-Werte bei 4 Kernen und 1 Kern vergleicht. Wenn man noch annimmt, dass eine Kernverdopplung einem Geschwindigkeitsfaktor von 1.7 entspricht, dann bekomme ich folgende Elo-Differenzen pro Geschwindigkeitsverdopplung:

CEGT 40/20-Liste Stockfish 3 : (3066 Elo - 2969 Elo)/2 / log2(1.7) = 63 Elo
CEGT 40/4-Liste Stockfish 222 : (3086 Elo - 2960 Elo)/2 / log2(1.7) = 82 Elo

Bei kleiner werdender Bedenkzeit vergrößert sich der Wert noch. D.h. für die schnellere ls-Liste sind 70 Elo eher niedrig angesetzt.

By Stefan Pohl Date 2013-06-03 11:02

[quote="Stefan Schiffermueller"]
[quote="Stefan Pohl"]
[quote="Stefan Schiffermueller"]
Sie sagten in einem anderen Kommentar, dass Sie das offizielle Kompilat getestet haben, welches aber um 4% langsamer ist als das entsprechende automatische Kompilat, was bei den Entwicklungsversionen benutzt wird. Wenn eine Geschwindigkeitsverdopplung 70 ELO ausmachen, ergibt das bei 4% Unterschied: log2(1.04) * 70 ELO = 4 ELO.

Addiert man diese 4 ELO zu Stockfish 3 in der aktuellen ls-Rangliste, so ist die Version 130519 'nur' noch 15 Punkte besser (statt 19).
[/quote]

70 Elo sind bei Geschwindigkeitsverdopplung heutzutage deutlich zu hoch gegriffen. 30-40 Elo halte ich für realistisch. Dann wären es nur noch +2 Elo
[/quote]
Da muss ich widersprechen. Man kann abschätzen, was eine Geschwindigkeitsverdopplung bringt, indem man die Elo-Werte bei 4 Kernen und 1 Kern vergleicht. Wenn man noch annimmt, dass eine Kernverdopplung einem Geschwindigkeitsfaktor von 1.7 entspricht, dann bekomme ich folgende Elo-Differenzen pro Geschwindigkeitsverdopplung:

CEGT 40/20-Liste Stockfish 3 : (3066 Elo - 2969 Elo)/2 / log2(1.7) = 63 Elo
CEGT 40/4-Liste Stockfish 222 : (3086 Elo - 2960 Elo)/2 / log2(1.7) = 82 Elo

Bei kleiner werdender Bedenkzeit vergrößert sich der Wert noch. D.h. für die schnellere ls-Liste sind 70 Elo eher niedrig angesetzt.
[/quote]

Interessant! Das gilt dann aber wohl nur für Stockfish, der ja wohl doch als eine der wenigen (einzige?) Engine mit mehr Zeit wirklich überproportional zulegt. Ich habe leider nicht so viel Zeit im Moment. Vielleicht kann jemand diese Vergleiche auch mit anderen Engines mal durchrechnen oder evt. bringen da die Ergebnisse von Andreas Strangmüller bei seinem neuen und (hoffentlich) z.Zt. laufenden Experiment mit unterschiedlichen Bedenkzeiten einiger Spitzenengines mit nun wesentlich verbesserten Rahmenbedingungen neue Einsichten (Vorgabestellungen und gleiche Bedenkzeitrelationen zwischen Basiszeit und Fischerbonus und keine zu kurzen Fischerboni). Bin da schon gespannt.

Noch kurz der aktuelle Zwischenstand beim LS-Testrun von Stockfish 130601: Nach 3750 Partien nun +11 Elo zur Version 130519 (und +30 Elo zum offiziellen Stockfish 3 Release (der ja nur 33 Tage älter ist !!!)). Ich warte noch auf den Stockfish-typischen Einbruch. Bisher blieb er noch aus. Ergebnis (hoffentlich) Donnerstag nachmittag auf meiner Website. Bis dahin gibts keine Zwischenresultate mehr, ein bißchen Restspannung will ich noch erhalten...(kommt der Einbruch oder nicht?!?) - stay tuned!

Stefan

By Silvio Zschako Date 2013-06-07 17:37

Könnte mir bitte jemand zwei drei Worte über die Engine Robodini 1.1 sagen? In den CCRL-Listen wird sie z.B. gar nicht aufgeführt. Warum nicht? Wegen Plagiatsverdacht? Oder ist dies nicht der Fall?

By Michael Hoeppenstein Date 2013-06-07 17:55

Ein H3 Hack von Richard Vida (Critter).

By Silvio Zschako Date 2013-06-07 21:04

Danke.

By Stefan Pohl Date 2013-06-08 06:03

[quote="Michael Hoeppenstein"]
Ein H3 Hack von Richard Vida (Critter).
[/quote]

Korrekt. Ich habe sie nur aufgenommen, weil seinerzeit alle Welt über diese Engine diskutiert hat, aber ohne, daß irgendjemand sie überhaupt mal getestet hatte. Ich mag es einfach nicht, als Blinder über Farben zu diskutieren. Auch habe ich durch den Test gelernt, daß diese "Engine" nicht nur leicht schwächer als das Original ist, sondern auch einen Bug bei der Unterverwandlung in einen Springer hat, was dann illegale Züge nach sich zieht. Das hätte man ohne meinen Test nicht gemerkt, weil das selten vorkommt (bei mir ergab das 38 illegal moves in 11000 Partien...)

Stefan

By Roland Riener Date 2013-06-07 20:28

Hier ein paar Worte mehr zu Robodini, dafür von Richard Vida selbst:

Please read my post on talkchess:
http://www.talkchess.com/forum/viewtopic.php?t=47045

By Silvio Zschako Date 2013-06-07 21:09

Es ging da wohl um eine Wette, daß R. Vida innerhalb ein paar Wochen...
Aber meine Neugier ist mit der ersten Antwort ( H3 - Hack ) eigentlich schon restlos gestillt...
Danke für den Hinweis.

By Christian Schmidt Date 2013-06-08 00:42

Das Interview lässt H3 wieder in einem neuen Licht erscheinen...