Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Neue Stockfish Entwicklungsversion
- - By Stefan Pohl Date 2012-07-27 08:22
Hallo,

eben entdeckt & ganz aktuell (nur 64bit SSE4.2):

http://www.mediafire.com/?sl1n6g8wlabu2r5

(Habs noch nicht getestet, nur entpackt und meine (kostenpflichtige) Antivirensoftware das Ganze mal checken lassen - alles OK (ohne Gewähr versteht sich))

Seit der letzten Version vom 22.06.12 hat sich aber wohl nicht viel geändert. Hab im Moment keine Zeit, evt. laß ich mal nächste Woche ein paar Partien laufen...

Gruß - Stefan
Parent - - By Thomas Schoenegger Date 2012-07-27 15:18
Hallo Herr Pohl, habe einen direkten Vergleichstest mit Stockfish 120727(habe die exe Datei nur abgekürzt und das 64bit SSE4.2 weggelassen) gegen version 120329MP(wurde hier, auch von dir, als bestes Nachfolge-Compile genannt) laufen lassen: Testbedingungen: Little blitzer Gui, Light Speed Tempo 20.000ms+250 ms, M: cp10.000 for 60 moves, D 600 moves,  500er Eröffnungsset aus der Frank Quisinsky Datenbank, in der Hoffnung diese gut ausgewählt zu haben.
Hier das Ergebnis: Erstellt mit Bayeselo mm 0 1
Rank  Name        Elo   +   -  games  scores  oppo.   Draws
1  Stockfish120727       6  7  7  1000  52%  -6  63%
2  Stockfish120329MP  -6         -6  7   7           1000  48%   6  63%
Wie es gegen mehrere Gegner aussieht und mehr Partien, wirst du wenn du dieses Compile testest ja uns selbst berichten. Hoffe, dass ich einigermaßen behilflich sein konnte.
p.s: dürfte wohl das stärkste Nachfolge-Compile z.Zt. sein, ich hoffe das Beste, da von Stockfish keine offizielle Version mehr erschienen ist.

Beste Grüße
Thomas Schönegger
Parent - By Stefan Pohl Date 2012-07-27 15:46
[quote="Thomas Schoenegger"]
Hallo Herr Pohl, habe einen direkten Vergleichstest mit Stockfish 120727(habe die exe Datei nur abgekürzt und das 64bit SSE4.2 weggelassen) gegen version 120329MP(wurde hier, auch von dir, als bestes Nachfolge-Compile genannt) laufen lassen: Testbedingungen: Little blitzer Gui, Light Speed Tempo 20.000ms+250 ms, M: cp10.000 for 60 moves, D 600 moves,  500er Eröffnungsset aus der Frank Quisinsky Datenbank, in der Hoffnung diese gut ausgewählt zu haben.
Hier das Ergebnis: Erstellt mit Bayeselo mm 0 1
Rank  Name        Elo   +   -  games  scores  oppo.   Draws
1  Stockfish120727       6  7  7  1000  52%  -6  63%
2  Stockfish120329MP  -6         -6  7   7           1000  48%   6  63%
Wie es gegen mehrere Gegner aussieht und mehr Partien, wirst du wenn du dieses Compile testest ja uns selbst berichten. Hoffe, dass ich einigermaßen behilflich sein konnte.
p.s: dürfte wohl das stärkste Nachfolge-Compile z.Zt. sein, ich hoffe das Beste, da von Stockfish keine offizielle Version mehr erschienen ist.

Beste Grüße
Thomas Schönegger
[/quote]

Aha, sieht ja ganz gut aus. Demnächst mache ich wahrscheinlich mal einen Testdurchlauf mit der 120727, obwohl ich ja gerade erst die 120622 getestet hab, da wird sich wahrscheinlich nicht viel getan haben. Aber damit die Stockis dann nicht überhand nehmen, werde ich dann wahrscheinlich die schwächere der beiden Entwicklungsversionen aus der Liste streichen, um die Elos der anderen Engines, die ja die Gegner sind, nicht zu sehr zu verzerren. Aber erst nachdem ich eine Liste mit beiden Entwicklungsversionen gepostet habe, damit man vergleichen kann.
Allerdings sind für Berlin morgen üble Gewitter angekündigt, die werde ich sicherheitshalber erst vorbeiziehen lassen, will meinen Rechner nicht gefährden.
Generell sind aber die allermeisten inoffiziellen Stockfishe elomäßig sehr dicht beieinander, was auch der Grund dafür sein dürfte, daß keine neue offizielle Version kommt - Stockfish stagniert leider ziemlich.

Gruß - Stefan
Parent - - By Stefan Pohl Date 2012-07-27 15:59
[quote="Thomas Schoenegger"]
500er Eröffnungsset aus der Frank Quisinsky Datenbank, in der Hoffnung diese gut ausgewählt zu haben.

[/quote]

Laß dich hier im Forum registrieren und schicke mir dann eine email-Adresse per PM. Dann schicke ich dir mein 500er Stellungs-Set, daß ich aus der Frank Q-Datenbank rausgefiltert habe und mit dem ich meine LightSpeed-Rangliste ausspiele. Allerdings habe ich am Wochenende gar keine Zeit, aber nächste Woche schon.

Gruß - Stefan
Parent - - By Thomas Schoenegger Date 2012-07-28 14:01
Wenn du noch ein Nachfolgecompile testest, solltest du das wohl  Letzte und zwar die SFish 120727Q x64.exe sein, spar dir alle anderen Compiles(120622P oder 120625), teste gleich die SFish 120727Q x64.exe. Dann hast du weniger Arbeit, dieser Typ mit dem Nickname Quocvuong82 kompiliert meiner Meinung am Besten. Nimm die Letzte. Ich bin mir zu 100% sicher es wird ein +10/15 Elo zur 2.2.2 Version. Ich bin schon neugierig  auf dein Urteil.
Parent - - By Stefan Pohl Date 2012-07-29 19:58
[quote="Thomas Schoenegger"]
Wenn du noch ein Nachfolgecompile testest, solltest du das wohl  Letzte und zwar die SFish 120727Q x64.exe sein, spar dir alle anderen Compiles(120622P oder 120625), teste gleich die SFish 120727Q x64.exe. Dann hast du weniger Arbeit, dieser Typ mit dem Nickname Quocvuong82 kompiliert meiner Meinung am Besten. Nimm die Letzte. Ich bin mir zu 100% sicher es wird ein +10/15 Elo zur 2.2.2 Version. Ich bin schon neugierig  auf dein Urteil.
[/quote]

Ähem, die 120622 ist bereits in der LS-Liste verzeichnet...

Den Test der 120727 habe ich nach knapp 2000 Partien abgebrochen, sie lag 2% schlechter als 2.2.2 (gegen dieselben Gegner). Die Wahrscheinlichkeit, daß dieses Compile noch besser als die 120622 gepunktet hätte, war fast gleich Null. Ich warte erst mal ein paar Wochen/Monate, bis ich wieder einen Stockfish teste. Es sind nun mal Entwicklungsversionen, da geht es auch mal einen Schritt zurück - besonders das Abschneiden gegen Houdini 2 war bei der 120727 katastrophal (um die 25%).

Gruß - Stefan
Parent - - By Stefan Pohl Date 2012-07-29 20:00
[quote="Stefan Pohl"]
[quote="Thomas Schoenegger"]
Wenn du noch ein Nachfolgecompile testest, solltest du das wohl  Letzte und zwar die SFish 120727Q x64.exe sein, spar dir alle anderen Compiles(120622P oder 120625), teste gleich die SFish 120727Q x64.exe. Dann hast du weniger Arbeit, dieser Typ mit dem Nickname Quocvuong82 kompiliert meiner Meinung am Besten. Nimm die Letzte. Ich bin mir zu 100% sicher es wird ein +10/15 Elo zur 2.2.2 Version. Ich bin schon neugierig  auf dein Urteil.
[/quote]

Ähem, die 120622 ist bereits in der LS-Liste verzeichnet...

Den Test der 120727 habe ich nach knapp 2000 Partien abgebrochen, sie lag 2% schlechter als 2.2.2 (gegen dieselben Gegner). Die Wahrscheinlichkeit, daß dieses Compile noch besser als die 120622 gepunktet hätte, war fast gleich Null. Ich warte erst mal ein paar Wochen/Monate, bis ich wieder einen Stockfish teste. Es sind nun mal Entwicklungsversionen, da geht es auch mal einen Schritt zurück - besonders das Abschneiden gegen Houdini 2 war bei der 120727 katastrophal (um die 25%).

Gruß - Stefan
[/quote]

Ich sehe gerade. daß es schon wieder einen neuen Compile gibt (eben den von dir genannten 120727Q (ich hatte den ohne Q...)). Na gut, laß ich den auch noch mal über Nacht laufen....

Stefan
Parent - By Stefan Pohl Date 2012-07-30 07:18
[quote="Stefan Pohl"]

Ich sehe gerade. daß es schon wieder einen neuen Compile gibt (eben den von dir genannten 120727Q (ich hatte den ohne Q...)). Na gut, laß ich den auch noch mal über Nacht laufen....

Stefan
[/quote]

Moin zusammen,

dieses Compile liegt erheblich besser. Nach bisher 2015 gespielten Partien ist der Erfolgsscore 41.9% (das ist ca. 1.2% (8-9 Elo) besser als die 2.2.2 (gegen die gleichen Gegner)). Sollte das so bleiben, wäre diese Version nochmal einige Pünktchen stärker als die 120622, die ja so 5-6 Elo besser als die 2.2.2 ist.
Ich lasse den Test jetzt auf jeden Fall bis zum Ende durchlaufen.

Gruß - Stefan
Parent - - By Ernest Bonnem Date 2012-07-28 23:02
[quote="Thomas Schoenegger"]1  Stockfish120727       6  7  7  1000  52%  -6  63%[/quote]
Also  Stockfish120727   +6 Elo    aber  +-13 Elo (95% error bar)   
Parent - - By Thomas Schoenegger Date 2012-07-29 08:57
Hallo Herr Bonnem, ich bin kein Profitester, wollte nur ein wenig behilflich sein und einen Test zw. 2 Versionen machen, wobei 1.000 Partien im direkten Vergleich wohl zu wenig sind und ich solche Zahlen sowie nicht interpretieren kann. Das können Andere besser. Deshalb sagte ich, ich bin auf das Urteil von Herrn Pohl gespannt, wenn diese Version gg die Gegner der LS Liste spielen, wo ja wie ich sehe die stärksten Engines, wenn auch sehr Ippo-lastig antritt, aber diese sind nun mal z. Zt wohl die Stärksten, Houdini, Critter,Ivanhoe,Rybka Komodo- Ippolastig mit "?", weiß ich nicht und will hier auch Nichts unterstellen. Aber als Komodo noch Doch war, war diese ja nicht unter den Top3. Ich kann auch nicht das Ergebnis von Houdini 2.0c 3119, und Komodo5 3053 in der LS Liste interpretieren (es sind aber ein +66 Punkte für Houdini),
Zum Vergleich:

Ipon: Houdini2.0 STD 3.022
          Komodo5         3.011
Ja, ich weiß andere Bedingungen, Hardware usw.
Was aber so in anderen Foren zu lesen ist: Man kann davon ausgehen, dass eine Engine im Blitz und vielen gespielten Partien sagen wir 40 Punkte besser ist, bei längeren BZ, diese Punkte sich halbieren oder sogar noch kleiner ausfallen. Aber wie gesagt, ich bin kein Spezialist, nur meine Meinung, gebildet durch sammeln von Informationen, welche von wohl besser Informierten und klügeren Menschen bezüglich Ranglisten und Computerschach geäußert wurden, muß aber auch Nichts Wahres dran sein. Ich teste halt hin und wieder gerne eine neue Version, mehr nicht.
Doch: eine Frage hätte ich, wieviele Partien müssten gespielt werden um die Error Bar so klein als möglich zu erhalten.
Schönen Sonntag
Thomas Schönegger
Parent - By Chess Player Date 2012-07-29 10:23
[quote="Thomas Schoenegger"]
...
Doch: eine Frage hätte ich, wieviele Partien müssten gespielt werden um die Error Bar so klein als möglich zu erhalten.
Schönen Sonntag
Thomas Schönegger
[/quote]

1. es gibt eine  Unschärferelation, die auch auf das Schach übertragbar im weitesten Sinn ist
2. es gibt keine "Absolute Spielstärke", daher ist sie auch nicht messbar, folglich auch keinerlei Errorbar!
Diesen Murks haben "Statistiker" erfunden, hat aber nichts mit Schach zu tun
Parent - - By Stefan Pohl Date 2012-07-30 07:48
[quote="Thomas Schoenegger"]

Doch: eine Frage hätte ich, wieviele Partien müssten gespielt werden um die Error Bar so klein als möglich zu erhalten.
Schönen Sonntag
Thomas Schönegger
[/quote]

Ist doch einfach: Je mehr gespielte Partien, desto kleiner logischerweise die Errorbar. In der IPON spielen die Engines in der Top-Liste 2850 Partien und die Errorbar liegt bei 9-10. In meiner LS-Best-Liste sind es 9000 Partien und da ist die Errorbar 5-6.
Leider ist es so, daß mit 3 mal mehr Partien (wie im hier genannten Beispiel) die Errorbar nicht mal ganz halb so groß wird.

Generell sage ich immer: Weniger als 1000 Partien sind zu wenig, es sei denn, man will nur feststellen, daß Houdini besser als Crafty ist. Und Tests von einer Engine gegen nur einen Gegner (wie es bei Settingtests oft gemacht wird (Setting gegen Default)) sind nur mit viel Vorsicht zu genießen. Ich hatte auch schon Settings entworfen, die gegen die Default-Engine super scorten, aber gegen andere Gegner total einbrachen.

Gruß - Stefan
Parent - By Thomas Schoenegger Date 2012-07-30 08:08
Guten Morgen
Ich danke dir für die Aufklärung. Ja, das testen ist so ne Sache, es ist ein Hobby und macht Spaß.
Lg Thomas
Up Topic Hauptforen / CSS-Forum / Neue Stockfish Entwicklungsversion

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill