LS-Rangliste: Stockfish 131111

By Tom Paul Date 2013-11-20 12:05

Wie viele ELOs mehr hatte Stockfish in Stage 4 im Vergleich zu Stage 3?
Und wie viele ELOs mehr hat der Superfinal Stockfish als der in Stage 4 spielende?

By Benno Hartwig Date 2013-11-20 13:12

[quote="Tom Paul"]Wie viele ELOs mehr hatte Stockfish in Stage 4 im Vergleich zu Stage 3?
Und wie viele ELOs mehr hat der Superfinal Stockfish als der in Stage 4 spielende?[/quote]Kann man fragen. Aber um die sehr(!!!) kleine Partienzahl weißt du, oder?
In welchem Maße schwanken die Stufen-ELO-Werte, wenn hier ein halber Punkte mehr oder weniger kam?

Benno

By Andreas Aicher Date 2013-11-20 13:27

eins was ich jetzt nicht ganz verstehe,
wieso immer der Hinweis auf die geringe Partiezahl, mir ist das ehrlich gesagt zuviel Statistik und zuwenig Schach.
Ranglisten mit grossen Partiezahlen haben unbestritten ihren Sinn, aber mit Statistik alleine geht doch Computerschach kaputt, so zumindest meine Befürchtung.
Mit dieser Bedenkzeit und diesen Bedingungen wird nur beim TCEC gespielt, Vergleiche mit Ranglisten verbieten sich m. M. nach.
Es ist einfach Computerschach auf hohem Niveau und die Engine, die dieses Turnier gewinnt ist für mich die spielstärkste, unabhängig der diversen Ranglisten

Man kann das auch anders sehen, ist nur meine Meinung

Andreas

By Benno Hartwig Date 2013-11-20 13:40

[quote="Andreas Aicher"]Man kann das auch anders sehen, ist nur meine Meinung[/quote]Sie sei dir gegönnt, und man kann ja auch tatsächlich aus 7, 18, oder auch 30 Partien pro Engine jeweils einen ELO-Wert ermitteln.
Und die jeweiligen Erfolge in diesen Stufen werden damit dann auch gut beschrieben.

Benno

By Dirk Triebel Date 2013-11-20 16:39

Servus,

meiner Ansicht nach ist die dann nochmal erheblich stärker (in einer rating list - zumindest war es die 111113 version). Aber im Finale spielt sie ja, wies z.Z. aussieht, nur gegen Komodo. Alle Partien gegen Komodo waren bislang Remis -->Stockfish scheint auch so seine Probleme zu haben mit Komodo.

Mann darf also gespannt sein;-).

Gruß,
Dirk

By Frank Quisinsky Date 2013-11-16 08:48 Edited 2013-11-16 08:51

Hi,

mal ein paar Informationen zu Stockfish ...
In 1. c4 c5 Eröffnungen punktet Stockfish enorm gut als weißer.
Der Aufbau als weißer ist Fantastisch.

Es gibt keine TOP Engine die bei den holländischen Eröffnungen (tödlich für Schachprogramme ist die Eröffnung eh) so schlecht punktet wie Stockfish. Wenn ich mir ansehe was Stockfish da mit den Leichtfiguren zaubert, versucht diese aggressiv ins Spiel zu bringen und geht aufgrund der Bauernstrukturen in der Eröffnung meist unter, geht mit schlechterer Stellung ins Endspiel.

nTCEC interessiert mich weniger.
Finde die ganze Umsetzung und die Idee gut, auch zum zuschauen aber Partien mit längeren Bedenkzeiten haben einen ganz großen Nachteil.

Die Fehlerfindung wird schwieriger weil viele Fehler durch mehr Rechenleistung dann legalisiert werden.
Partien der TOP Engines auswerten mit so hohen Bedenkzeiten ist viel schwieriger und kann nicht Sinn der Entwicklung sein.

nTCEC ist mehr oder weniger "For Fun" aber nicht wirklich etwas mit Aussagekraft ob hinsichtlich Entwicklung oder genauere Unterschiede der Spielstärke.

Partien mit so langer Bedenkzeit oder gigantischer Hardware sind vielleicht eher für Personen interessant, die dann mit den engines analysieren wollen aber der Engine Entwicklung bringen die Partien nichts bzw. kaum was.

Gruß
Frank

By Frank Quisinsky Date 2013-11-16 09:03

Natürlich mit der Maßgabe der SWCR Eröffnungsbuches der Version 5.1.
Informationen hierzu zur Erstellung etc. finden sich in dem 100 MB Download auf meinen Webseiten zur SWCR-1.

By Tom Paul Date 2013-11-16 10:08

Ich schätze die nTCEC Stockfish Partien ganz besonders.
Und mit der neuesten DEV. und meinem Schachwissen finde ich ab und zu 5-15 Fehler in einer Partie.
Wobei Fehler für mich alles ist was ungenau/schlecht/unwissend usw. ist.

By Andreas Aicher Date 2013-11-20 14:51

hallo Frank,
natürlich ist das nTCEC nicht dazu da, Fehler in Engines zu finden, das erledigen die Betatests (bei Houdini und Stockfish sehr umfangreich) und natürlich die durchweg guten Ranglisten.

Ich gehöre zB zu der Spezies Computerschächer, die zwar wissen wollen, welche Engines Fortschritte erzielen, wie die Reihenfolge in den Ranglisten lautet, aber mich interessiert vor allem, wo liegen die Stärken der Engines, welche Engine ist besonders gut für die Analyse zu gebrauchen etc.
Für mich ist und bleibt eben ein Schachprogramm ein Hilfsmittel, nicht Selbstzweck, würde zB nie selbst eine Engine gegen eine andere spielen lassen, sehe aber gerne bei Turnieren wie dem nTCEC zu und schaue mir einige dieser Partien auch gerne an.

Andreas

By Stefan Pohl Date 2013-11-16 10:18

[quote="chess player"]
Hallo Stefan,

du hast ja ziemlich genaue Spielstärkezahlen beruhend auf viele gegebene Eröffnungen.
Wie sähen sie aus wenn du aus deinem Pool nur die Eröffnungen aussuchst die im nTCEC 2013
gespielt wurden? Ist dann Houdini immer noch Spitzenreiter?
[/quote]

Kann ich nicht sagen, ich verfolge das TCEC nur sehr sporadisch. Auf Wunsch sende ich gerne die 55000 Partien des aktuellen LS-top10-tournaments zu (kontakte mich über meine Website, damit ich eine email-Adresse von dir bekomme, wo ich die Partien hinsenden soll), dann kannst du dir das selber in Ruhe ansehen (die 500 Vorgabestellungen kann man ja direkt von meiner Website runterladen). Mir fehlt dafür ehrlich gesagt die Zeit, mich mich solch speziellen Untersuchungen zu befassen. Außerdem sehe ich nicht so Recht, welche Erkenntnis ich daraus gewinnen würde, da mich das TCEC wie gesagt nicht so brennend interessiert.

Stefan

By Tom Paul Date 2013-11-16 23:16

Toll zu sehen, wie Komodo jetzt Naum auseinander nimmt.

Stockfish rechnet seine Gegner immer auseinander.
Komodo manövriert seine Gegner auseinander. Was ich eigentlich beeindruckender finde. Da werden Stellungen mit möglichst großen Chancen auf positionelle Patzer des Gegners angestrebt und verwertet.

By Stefan Pohl Date 2013-11-29 12:57

Benno Hartwig schrieb:

Hallo Stefan,

hast du eigentlich vor, diese Version 191113 von Stockfish in einen Rating-Lauf zu schicken, die im TCEC-Superfinale eingesetzt wird?
Es könnte ja schon interessant sein zu schauen, ob diese Version wirklich besser punktet als die 131102 oder 131111, die schon in deiner Liste stehen. Oder eben ggf. sogar schlechter!!
Ich fänd diesen Test sogar noch interessanter als einen, der sich nun ggf. um die allerletzte SF-Version kümmert.

Benno

Nö.
Diese enthält nur einen minimalen Codepatch, nämlich diesen:

"Use MovePicker moves[] to access already tried
quiet moves. A bit of care shall be taken
to avoid calling stage_moves() when we are still
at ttMove stage, because moves are yet to be
generated. Actually our staging move generation
makes this code a bit more tricky than what I'd
like, but removing an ausiliary redundant
array like quietsSearched[] is a good thing. "

Die beiden anderen Patches wurden wieder zurückgenommen. Ergo ist der Unterschied zur von mir getesteten letzten Version vom 11.11. praktisch gleich Null.
Daher lohnt das m.E. nicht. Und die allermeisten, die sich wirklich ernsthaft fürs TCEC interessieren, halten doch meine LS-Rangliste sowieso für Bullet-Schrott...
Im Moment läuft der Test von Amitis 131016, bis voraussichtlich Sonntag. Daher hätte ich zwar (demnächst) Testzeit (bei Sting SF 4 möchte ich auf einen 64bit-Compile warten) wollte aber ehrlich gesagt dann lieber mit der aktuellsten Stockfishversion weitermachen. Denn am 24.11. gabs wenigstens wieder einen kleinen Fortschritt laut dem Stockfish Testframework.
Aber wenn noch mehr Leute den Test der Version vom 19.11. wollen, könnte ich es natürlich machen. Allerdings läge das Ergebnis erst am Donnerstagmorgen vor. Und da ist das TCEC doch sowieso schon vorbei, oder?

Stefan

By Andreas Aicher Date 2013-11-29 13:06

Hallo Stefan,
also ich interessiere mich ernsthaft für das TCEC, einfach weil es ein aussergewöhnliches Turnier mit aussergewöhnlicher Hardware ist, auch sehr unterhaltend ist, zudem lassen sich, kleine Rückschlüsse auf die Analysefähigkeit (Langzeitanalyse) ziehen.
Ich halte aber trotzdem Deine Liste nicht für "Bullet-Schrott", im Gegenteil, ich finde, Du machst da eine sehr gute Arbeit!
Mich würde die Version vom 19.11. auch interessieren, alleine aus dem Grunde, weil es die Version ist, die das TCEC Finale spielt, also irgendwie eine offizielle Version ist, wenn man so will.

schöne Grüsse
Andreas

By Stefan Pohl Date 2013-11-29 13:25

Andreas Aicher schrieb:

Naja, bis Sonntag früh ist ja noch ein bißchen Zeit. Daher bitte bis dahin gerne noch weitere Meinungen: LS-Test der dann aktuellsten Stockfishversion oder der vom 19.11., die im Moment noch im TCEC Finale spielt? Wie schon erwähnt läge das Ergebnis aber erst am Donnerstag vor und da ist das TCEC schon vorbei, glaube ich zumindest...
Aber wenn dann wirklich noch signifikantes Interesse an dieser Version besteht, würde ich mich natürlich nicht widersetzen.

Stefan

By Dirk Triebel Date 2013-11-29 13:54

Servus,

du hast schon recht mit den geringen Änderungen, aber manchmal machens auck kleine Änderungen.

Der Stocki 191113 ist bei mir in etwa gleich dem 111113, weniger Remis dafür mehr Siege + Niederlagen. Er scheint also ein wenig offensiver aber auch anfälliger zu sein - so siehts ja auch im TCEC aus.

2 Stockfish 191113 64 SSE4.2 : 3189 1950 (+908,=765,-277), 66.2 %

1 Houdini 4 Pro x64 : 3234   13 13 1950 71.9 %   3071   31.7 %
2 Stockfish 191113 64 SSE4.2    : 3189   12 12 1950 66.2 %   3072   39.2 %
3 Stockfish 111113 64 SSE4.2    : 3187   12 12 1950 65.9 %   3072   40.6 %
4 Stockfish 051113 64 SSE4.2    : 3173   12 12 1950 64.2 %   3072   42.4 %
5 Houdini 3 Pro x64 : 3167   12 12 1950 63.3 %   3072   40.4 %

Ein Test unter Deinen LS Bedingungen wäre äußerst interessant mit der "Final Version" vom TCEC.

Gruß,
Dirk

By Benno Hartwig Date 2013-11-29 14:06 Edited 2013-11-29 14:43

> Aber wenn dann wirklich noch signifikantes Interesse an dieser Version besteht, würde ich mich natürlich nicht widersetzen.

Mein Interesse rührt von dem etwas enttäuschenden Auftritt von Stockfish im TCEC-Superfinale her.
SF kann hier einfach nur selten Bissigkeit zeigen. Selbst bei recht deutlichem Vorteil bleibt er verhalten. Und auch wenn dieser SF-Vorteil vom Komodo einigermaßen deutlich betstätigt wird.
Natürlich hat er jetzt in jeder Partie mit Komodo einen superstarken und vor allem grundsoliden Gegner vor sich. Da bieten sich dann nur selten echte Lücken, in die SF stoßen könnte. OK. Reicht das als Erklärung?

Ich würde halt gern bestätigt sehen, dass diese Version tatsächlich keinen ungewollten Rückschritt darstellt.
Im Chat zu TCEC tauchen immer mal wieder solche hadernden Gedanken auf.
Ob das einen Testaufwand lohnt? Vielleicht. Ich lausche mit...

Benno

By Jörg Oster Date 2013-11-29 14:49

Schon seltsam, nach den ersten Partien im Superfinale, als es noch ausgeglichen stand, war davon nichts zu lesen. Jetzt, wo Komodo führt und sich eine Schwäche von SF zumindest andeutungsweise offenbart, liegt es auf einmal an der Version.
Und was dort manchmal im Chat auftaucht, ist eher mit Vorsicht zu genießen. Sag ich jetzt einfach mal.

Du siehst doch selbst an der Commit-Historie, dass sich in der kurzen Zeit zwischen den 2 Versionen kaum was getan hat. Das rechtfertigt m. E. keinen kompletten LS-Testrun.

By Stefan Pohl Date 2013-11-29 15:03

Jörg Oster schrieb:

Du siehst doch selbst an der Commit-Historie, dass sich in der kurzen Zeit zwischen den 2 Versionen kaum was getan hat. Das rechtfertigt m. E. keinen kompletten LS-Testrun.

Sehe ich ja eigentlich auch so. Der einzige Patch, der drin blieb, war der von mir zitierte, in dem der Programmcode etwas umstrukturiert und ein redundanter Array entfernt wurde. Die Änderung wurde ja nicht mal vom Stockfish-Testframework getestet, weil sie als so unbdeutend für die Spielstärke angesehen wurde...
Unter "normalen" Umständen würde ich so eine extrem ähnliche Version nicht testen, sollten aber noch mehr Leute hier danach fragen, könnte ich es als Service für die TCEC-Fangemeinde natürlich dennoch machen. Ich wart mal ab, was hier noch so gepostet wird, und wie die Mehrheitsmeinung aussieht. Vor Sonntag früh kann es sowieso nicht losgehen.

Stefan

By Jörg Oster Date 2013-11-29 15:32

Stefan, hättest du mal Zeit und Lust, meinen Versuch eines adaptiven Contempt unter LS-Bedingungen zu testen? Wäre vielleicht auch für andere von Interesse?
Hier mal der Link zu meinem damaligen Posting im Fishcooking-Forum:
https://groups.google.com/forum/?fromgroups=#!searchin/fishcooking/adaptive|sort:relevance/fishcooking/fKR18xSBQ44/BGabzdffM-4J

Hier der Link zu meinem Branch auf github:
https://github.com/joergoster/Stockfish/tree/adaptive_contempt

Ich habe eben eine exe kompiliert, build=x86-64-modern, also mit Popcount-Support. Bei Interesse kann ich sie dir gerne mailen. Musst mir nur sagen, an welche Adresse. Über dein Kontaktformular auf deiner Homepage kann man ja keine Anhänge mitschicken.

By Stefan Pohl Date 2013-11-30 06:22

Jörg Oster schrieb:

Stefan, hättest du mal Zeit und Lust, meinen Versuch eines adaptiven Contempt unter LS-Bedingungen zu testen? Wäre vielleicht auch für andere von Interesse?
Hier mal der Link zu meinem damaligen Posting im Fishcooking-Forum:
<a class='ura' href='https://groups.google.com/forum/?fromgroups=#!searchin/fishcooking/adaptive|sort:relevance/fishcooking/fKR18xSBQ44/BGabzdffM-4J'>https://groups.google.com/forum/?fromgroups=#!searchin/fishcooking/adaptive|sort:relevance/fishcooking/fKR18xSBQ44/BGabzdffM-4J</a>

Hier der Link zu meinem Branch auf github:
<a class='ura' href='https://github.com/joergoster/Stockfish/tree/adaptive_contempt'>https://github.com/joergoster/Stockfish/tree/adaptive_contempt</a>

Ich habe eben eine exe kompiliert, build=x86-64-modern, also mit Popcount-Support. Bei Interesse kann ich sie dir gerne mailen. Musst mir nur sagen, an welche Adresse. Über dein Kontaktformular auf deiner Homepage kann man ja keine Anhänge mitschicken.

Ja gerne sogar. Habe dir soeben 2 PMs geschickt, u.a. mit meiner email-Adresse.

Gruß - Stefan

By Tom Paul Date 2013-11-29 15:05

Ein Beispiel
30 Partien

10 Partien Remis
7 Siege für Komodo -mehr Fachwissen
3 Siege für Stockfish -Allrounder
Restliche 10 Partien wo Stockfish richtig gut stand aber seinen Vorteil extrem knapp nicht verwerten konnte.

13 Siege

By HS Nahme ist vergeben? Date 2013-11-29 21:27

9 Siege und noch eine schöne Partie!!
Horst