Der Stockfish DD Test ist durch, ich kann ihn aber erst morgen einbauen, da ich z.Zt. auf Arbeit bin (falls ich morgen nicht auch noch arbeiten muß, das ist noch unklar (Krankheitsfälle!). Ich kann dir aber schon sagen, daß das Ergebnis praktisch genau mit dem Wert von Stockfish 131111 übereinstimmt. Was ich auch so erwartet hatte, denn seit dem 11.11. ist nur ein minimaler Elorelevanter Patch in Stockfish etabliert worden (2 andere wurden zurückgenommen). Ergo war es zu erwarten, daß das Ergebnis praktisch identisch ist...
Jetzt läuft der Test von Jörg Osters adapted contempt Stockfish DD. Das wird noch bis Samstag dauern. Bisher kann und will ich dazu nur sagen, daß das frühe Zwischenergebnis einige interessante Aspekte aufweist, zu denen will ich mich aber erst detailliert äußern, wenn das Endergebnis vorliegt. Nach einer nennenswerten Elosteigerung sieht es aber (noch) nicht aus. Es sind aber auch erst 1500 Partien absolviert.
Komodo 7 gibts ja noch nicht. Sollte es diese Woche noch kommen, geht es damit natürlich dann Samstag los.

Stefan

Hi Benno,

man muß sich immer vor Augen halten, daß die Zeiten, mit denen ich teste, gar nicht so kurz sind. Bei vollem Brett im Mittelspiel 2-3 Sekunden pro Zug und in langen Endspielen nie unter 0.5 Sekunden pro Zug. Gemittelt ca. 1 Sekunde pro Zug. Das scheint nur wenig, wenn man das aus menschlichem Blickwinkel betrachtet, weil Menschen in so kurzer Zeit nicht viel Durchblick in einer Stellung haben können. Diesen Maßstab aufs Computerschach zu übertragen ist aber falsch und völlig unangebracht. Eine Sekunde Rechenzeit auf einem modernen CPU-Kern ist für eine Engine eine lange Zeit, in der z.B. Houdini mehr als 2 Millionen Stellungen durchrechnet.
Der Mensch hat nur die Eigenschaft, alles in sein eigenes Maßstabssystem zu pressen, auch wenn das für den Bereich Bedenkzeit im Computerschach natürlich völliger Quatsch ist.

Stefan

Davon gehe ich sehr stark aus! Warum dies noch nicht möglich sein soll weiss ich nicht.

70 Jahre? Dann wäre ich 113. Naja, schaun mer mal.
Zu deinen Fragen: Nein, die Eröffnungen sind nicht geordnet. Sie waren es in der ursprünglichen Frank Q SWCR-Datnebank, aber ich habe sie dann per Hand zufällig duchmischt. Kannst sie dir ja bei mir runterladen und dir das anschauen. Und was die LittleBlitzerGUI angeht, so habe ich vor geraumer Zeit den Autor auf den en passant Bug aufmerksam gemacht, der den geschlagenen Bauern auf dem Brett beläßt, wenn en passant in der Eröffnugnsvorgabestellung vorkam - und habe nie eine Reaktion erhalten, geschweige denn, daß es ein bugfix gegeben hätte. Glücklicherweise mußte ich nur 2 meiner 500 Vorgabestellungen austauschen, um meine Vorgabestellungen en passant frei zu bekommen. Ich fürchte, der Autor hat die Arbeit an der LBG eingestellt.

Stefan

Hi Patrick,

nein, das wird es bei mir nicht geben. Denn mir ist meine Objektivität als Tester sehr wichtig, besonders weil ich selbige bei anderen Testern schmerzlich vermisse (Stichwort: Derivate-Boykott!). Und ein Donation-Button könnte mich diesbzgl. in Probleme bringen, wenn z.B. jemand eine größere Donation macht, und mich dann bittet, seine Engine doch zu testen, obwohl sie noch rein privat ist, oder sein superdupertolles Spezialsetting unbedingt sofort zu testen, oder ähnliches.
Da bleibe ich lieber unabhängig, auch finanziell. Es ist nett gemeint, und ich bekomme diese Anfrage auch durchaus häufiger, aber meine Stromrechnung zahle ich lieber selbst. Und neue Hardware auch (und bei der jetzigen Hardwaresituation besteht in absehbarer Zeit noch kein Handlungsbedarf, sofern mir nicht einer meiner Rechner kaputtgeht, denn selbst die schnellsten Prozessorkerne (i7-4930k) sind im moment nur ca. 70% schneller als die Kerne meiner Notebooks, das lohnt auf keinen Fall schon, sich was Neues zu kaufen),

Gruß - Stefan

Mensch Klaus, dich gibts auch noch! Schön mal wieder was von dir zu hören. Ich war ja auch schon damals für die kurzen Bedenkzeiten zuständig...nur sind sie heute eben noch ein wenig kürzer geworden.
Das mit den alten Klassikern ist schon schade. Aber wie ich hier schon mehrfach ausführte und dir natürlich sowieso klar ist, müßte man bei solch großen Elodifferenzen eine zweite Liga aufmachen, weil Tests von Houdini gegen Shredder, Haircs und Co. keine Tests sind, sondern Massaker, die noch dazu statistisch im Randbereich liegen und daher statistisch grober Unfug sind. Und für eine zweite Liga der LS-Rangliste fehlt mir die Hardware und ehrlich gesagt auch das Interesse. Mich hat immer schon der Top-Bereich interessiert. Und würde ich einen meiner 2 Rechner für eine zweite Liga benutzen, könnte ich sehr viel weniger Development-Versionen von Stockfish etc. testen. Das will ich ehrlich gesagt auch nicht. Außerdem ist bei schwächeren Engines eine ungefähre Eloeinschätzung doch ausreichend, und dafür reichen die CEGT-Listen völlig aus.

Wäre super, wenn du dich auch mal wieder mit einem eigenen Test-Projekt einklinken würdest!

Die allerbesten Grüße - Stefan

Nun immerhin gibt es ja die Kreuztabelle des LS-top10-tournaments, in der die Einzelergebnisse einer neu getesteten Engineversion gegen die anderen 10 Engines des top10-tournaments zu sehen sind (sofern die getestete Engineversion gut genug für das top10-tournament ist (bei Stockfish, wie von dir angesprochen, ist das ja der Fall)). In dieser Kreuztabelle gibt es allerdings keine Aufschlüsselung in Siege, Remisen und Niederlagen, das ist wahr. Allerdings hauptsächlich deswegen, weil die Tabelle sonst viel zu breit wäre, um noch auf die Website zu passen...
Wer sich für noch mehr Details interessiert, kann mich ja jederzeit per Kontaktformular ansprechen, dann schicke ich gerne alle 55000 Partien des LS-top10-tournaments oder auch nur die Partien der zuletzt getesteten Engine per mail zu, dann kann man zuhause jede nur mögliche Statistik aus den Partien selbst erstellen.
Ich versuche, den Arbeitsaufwand für die "Wartung" meiner Website möglichst gering zu halten, da ich ja ganz nebenbei noch voll berufstätig bin, noch dazu im Schichtbetrieb...Daher soll und muß der Einbau eines neuen Testergebnisses möglichst einfach und schnell vonstatten gehen. Und so jage ich die Ergebnisse durch bayeselo und lasse mir von der FritzGUI schnell eine Kreuztabelle erstellen und lade das dann hoch. Da die alte Kreuztabelle auch noch auf der Website verbleibt, kann man z.B. bei einer neuen Stockfishversion schön vergleichen, wie die neue Version im Vergleich zur alten Version abgeschnitten hat, indem man die beiden Kreuztabellen vergleicht. Das sollte doch eigentlich im Normalfall genug Information sein, denke ich.

Aber wie gesagt: Wenn du irgendwas genauer wissen willst, dann schicke ich gerne Teile meiner Partiedatenbank per mail zu.

Stefan

Nun ja, die absolut-Werte der Elozahlen sollte man nicht überbewerten. Es geht primär um die Reihenfolge und die Eloabstände zwischen den Engines. Ich habe seinerzeit, als ich mit der LS-Liste anfing, relativ willkürlich entschieden, daß mein Elofixpunkt (Robbolito 0.085g3, der Ur-Ippolit-Stammvater) 3000 Elo bekommen sollte. Einfach auch deshalb, weil das eine schöne, runde Zahl ist. Alle weiteren Zahlen ergaben sich dann aus diesem Ursprungswert...Ob Robbolito 0.085g3 nun "wirklich" 3000 Elo hat oder nicht, kann niemand sagen, da die Engines ja heutzutage nicht mehr gegen Menschen in Turnieren spielen, so wie seinerzeit die Brettcomputer.
Generell ist es so, daß die Eloabstände zwischen den Engines in der LS-Liste etwas größer sind, als in anderen Listen, weil durch die kurze Bedenkzeit und die nur mittelmäßige Hardware die Remisqouten relativ gering sind. Mit mehr Zeit rücken die Ergebnisse näher zusammen.

Stefan

> Die Elozahlen erscheinen mir nicht überhöht.

Das ist das große Computerschachmysterium unserer Zeit, und es wird ggf. in alle Zukungft erhalten bleiben.
Ein anerkennend gemurmeltes "Saustark sind die Burschen!" ist vermutlich noch der konkreteste Spielstärkevergleich, der heute zwischen Menschen und Engines machbar ist.
Benno