Neues von Stockfish

By Thomas Lagershausen Date 2013-07-24 07:33

Hi Stefan,

was hast Du denn für ein Testnotebook und wieviel kn/sec macht Stockfish darauf?

Gruß

PS: Viel Erfolg - wir freuen uns auf den Houdinijäger.

By Stefan Pohl Date 2013-07-24 08:38

[quote="Thomas Lagershausen"]
Hi Stefan,

was hast Du denn für ein Testnotebook und wieviel kn/sec macht Stockfish darauf?

Gruß

PS: Viel Erfolg - wir freuen uns auf den Houdinijäger.
[/quote]

Auf meiner Website ist das unter Conditions nachzulesen. i7-2630QM Prozessor: 2GHz Quadcore. Stockfish rechnet (teste ja alle Engines im singlecore-Betrieb) auf einem Core (gemittelt über alle Züge in allen Partien (von der LittleBlitzerGUI)) ca. 1.7 Millionen Kn/s. Houdini kommt so auf etwa knapp 2.2 Mio Kn/s.
Von dieser Hardware habe ich seit kurzem 2 identische Notebooks, seit ich mir ein zweites günstig gebraucht in der Bucht dazuersteigert habe. Dadurch stehen mir nun 8 Kerne zur Verfügung. Allerdings spiele ich mit einem der beiden Notebook gelegentlich auch mal auf playchess im Maschinenraum - es gibt auch noch anderes als nur die LS-Rangliste...

Stefan

By Patrick Götz (Mod.) Date 2013-07-24 08:09

Danke dafür dass Du regelmäßig von den Stockfish Entwicklungen und insbesondere Deinen dazu gemachten Testergebnissen berichtest. Aktuell ist das für mich das spannendste im Computerschach.

Gruß
Patrick

By Stefan Pohl Date 2013-07-24 08:53 Edited 2013-07-24 08:56

[quote="Patrick Götz"]
Danke dafür dass Du regelmäßig von den Stockfish Entwicklungen und insbesondere Deinen dazu gemachten Testergebnissen berichtest. Aktuell ist das für mich das spannendste im Computerschach.

Gruß
Patrick
[/quote]

Danke!
Ich werde wohl den Test der neuesten Version, den ich ja heute Abend starte, bis zum Ende durchlaufen lassen (selbst wenn das Ergebnis schlechter sein sollte, als das von Version 130623), damit wir alle wieder eine echte Elozahl der neuesten Version haben. Der letzte komplett-Test war ja der von Version 130623, was jetzt genau einen Monat zurückliegt. Die beiden Tests der neueren Versionen hatte ich ja wegen des enttäuschenden Zwischenstandes abgebrochen (daher nur in der aborted-Sektion meiner Website zu finden, nicht in der LS-Rangliste selbst), zumal alle Stockfishe bei mir zum Ende eines Testruns immer noch etwas abgebaut haben.
Ich werde den Test nun wohl doch auf beiden Notebooks laufen lassen, allerdings jeweils nur 3 der 4 Kerne nutzend, da ja eine extreme Hitzewelle kommen soll. Das Ergebnis sollte dann, sofern alles glattgeht, Sonntag vormittag vorliegen. Zeitangaben wie immer - und bei der Hitze besonders - ohne Gewähr...
Ich kündige hier dann schon mal an, daß ich für jede weitere Stockfish development-Version, die in der LS-Liste auftaucht, die jeweils älteste development-Version löschen werde, denn mehr als 3 development-Versionen der gleichen Engine (zuzüglich zu den offiziellen Releases) will ich nicht in der Liste haben, denn das könnte die Elozahlen der gegnerischen Engines verzerren, wenn sie gegen extrem viele Stockfische spielen müssen und evt. einem oder zwei der Gegner Stockfish nicht liegt (oder besonders gut liegt).
Ähnliches gilt für die Bugfixes von Komodo 5.1. Das Ergebnis von Version 5.1r2 werde ich voraussichtlich Freitag online stellen. Dann sind drei Komodos 5.1 in der Liste. Das lasse ich auch nur kurzzeitig drin, denn das sind zu viele Versionen. Bei einem der nächsten Updates der Website nehme ich dann Komodo 5.1 und 5.1r1 aus der Liste raus und nur 5.1r2 verbleibt. Sofern nicht noch 5.1r3 kommt...

Stefan

By Stefan Pohl Date 2013-07-27 15:23

[quote="Stefan Pohl"]
[quote="Patrick Götz"]
Danke dafür dass Du regelmäßig von den Stockfish Entwicklungen und insbesondere Deinen dazu gemachten Testergebnissen berichtest. Aktuell ist das für mich das spannendste im Computerschach.

Gruß
Patrick
[/quote]

Danke!
Ich werde wohl den Test der neuesten Version, den ich ja heute Abend starte, bis zum Ende durchlaufen lassen (selbst wenn das Ergebnis schlechter sein sollte, als das von Version 130623), damit wir alle wieder eine echte Elozahl der neuesten Version haben. Der letzte komplett-Test war ja der von Version 130623, was jetzt genau einen Monat zurückliegt. Die beiden Tests der neueren Versionen hatte ich ja wegen des enttäuschenden Zwischenstandes abgebrochen (daher nur in der aborted-Sektion meiner Website zu finden, nicht in der LS-Rangliste selbst), zumal alle Stockfishe bei mir zum Ende eines Testruns immer noch etwas abgebaut haben.
Ich werde den Test nun wohl doch auf beiden Notebooks laufen lassen, allerdings jeweils nur 3 der 4 Kerne nutzend, da ja eine extreme Hitzewelle kommen soll. Das Ergebnis sollte dann, sofern alles glattgeht, Sonntag vormittag vorliegen. Zeitangaben wie immer - und bei der Hitze besonders - ohne Gewähr...
[/quote]

Hallo zusammen,

tja, der Test von Stockfish 130724 ist fast durch (Ergebnis morgen früh) und es wird wohl nur eine sehr, sehr geringe Steigerung. Was aber nach den Verschlechterungen der Versionen davor auch schon ein gewisser Erfolg ist. Aber wie das Tester-leben so spielt: Kaum ist man mit dem Test (fast) durch und will eigentlich mal was anderes mit seiner Hardware machen, als nur getrockneten Fisch durchdrehen, da kommt ein neuer Patch, von dem Marco Costalba schwer begeistert ist.
Zitat von Marco:
"Current regression testing is finishing at around +49 ELO from SF 3
This is impressive !! Last one was at 39, this means that Tom's pawn shelter rewrite worths a good +10 ELO increase.
This is an incredible achievement for a single patch !
This kind of super powerful patches are very very rare, say one or maximum two per year on a mature engine.
Kudos to Tom, you've done a real bingo this time

" (Zitatende)

Da bin ich ja als Stockfishfan gewissermaßen moralisch verpflichtet, diese Version auch zu testen. Da sich meine beiden Notebooks bisher als sehr hitzeresistent erwiesen haben (zumindest wenn man nur 3 der 4 Cores benutzt, weil es in meinem Hardwarezimmer mittlerweile erfrischende 29 Grad hat), starte ich den Test der allerneuesten Version sobald ich mit dem aktuellen Stockfishtest durch bin. Sollte alles glatt gehen, könnte das Ergebnis Mittwoch vorliegen (Zeitangaben wie immer ohne Gewähr). Bin gespannt, ob der neue Super-Patch auch gegen andere Gegner so gut scort, oder nicht. Sollte allerdings nach 2000-2500 Partien keine meßbare Steigerung vorliegen, würde ich wohl abbrechen und lieber auf weitere Patches warten, denn alle 3 Tage einen neuen Stockfish testen soll keinesfalls zur Regel werden...

Stefan

By Michael Scheidl Date 2013-07-27 16:20

Danke für den Hinweis! Aufgrund dessen habe ich erstmals in das Stockfish-Entwicklerforum geschaut, https://groups.google.com/forum/?fromgroups=#!forum/fishcooking. Die Teilnehmer dort zeigen sich recht enthusiastisch über die aktuellen Verbesserungen. Möglicherweise gibt es bald eine Version 4, oder zumindest 3.1.

By Stefan Pohl Date 2013-07-28 06:32

[quote="Michael Scheidl"]
Danke für den Hinweis! Aufgrund dessen habe ich erstmals in das Stockfish-Entwicklerforum geschaut, https://groups.google.com/forum/?fromgroups=#!forum/fishcooking. Die Teilnehmer dort zeigen sich recht enthusiastisch über die aktuellen Verbesserungen. Möglicherweise gibt es bald eine Version 4, oder zumindest 3.1.
[/quote]

Ins Entwicklerforum von Stocki zu schauen, lohnt auf jeden Fall! Ich poste da nix (als Außenstehender-Testfreak will ich mich da nicht einmischen und meine Ergebnisse kann man ja auf meiner Website sehen), aber ich lese immer mit - sehr informativ!
Und was den aktuellen Patch angeht: Ob sich +10 Elo auch bei mir (eben gegen andere Gegner als nur Stockfish 3) bestätigen werden, ist durchaus unklar...
Aber interessant ist auf jeden Fall, daß ich ja gerade erst die Version vor dem Patch getestet habe (Ergebnis geht in einigen Minuten online, setze mich gleich ran), sodaß ich den neuen vermeintlichen Super-Patch jetzt auch isoliert testen werde. Das wird interessant!

Gruß - Stefan

By Benno Hartwig Date 2013-07-28 07:20

[quote="Stefan Pohl"]Aber interessant ist auf jeden Fall, daß ich ja gerade erst die Version vor dem Patch getestet habe (Ergebnis geht in einigen Minuten online, setze mich gleich ran), sodaß ich den neuen vermeintlichen Super-Patch jetzt auch isoliert testen werde. Das wird interessant![/quote]Ja, super!
Ein neues offizielles Release zu testen, ist sicher auch gut, aber derartige Ratings findet man dann allerorten (CEGT, CCRL...). Mit dem Test solcher besonderer Zwischendurchversionen bietest du meiner Meinung nach aber eine sehr schöne Extrainformation,

Benno

By Stefan Pohl Date 2013-07-28 07:35

[quote="Benno Hartwig"]
[quote="Stefan Pohl"]Aber interessant ist auf jeden Fall, daß ich ja gerade erst die Version vor dem Patch getestet habe (Ergebnis geht in einigen Minuten online, setze mich gleich ran), sodaß ich den neuen vermeintlichen Super-Patch jetzt auch isoliert testen werde. Das wird interessant![/quote]Ja, super!
Ein neues offizielles Release zu testen, ist sicher auch gut, aber derartige Ratings findet man dann allerorten (CEGT, CCRL...). Mit dem Test solcher besonderer Zwischendurchversionen bietest du meiner Meinung nach aber eine sehr schöne Extrainformation,

Benno
[/quote]

Ja, so ist das auch gedacht. Ich habe aber nie mehr als 3 development-Versionen/betas einer Engine in der Liste, um Verzerrungen zu vermeiden. Und wenn ein neuer offizieller Release kommt, werden die - dann ja veralteten - development-versionen alle gelöscht (die offiziellen Versionen teste ich natürlich alle auch). Aber ich habe seit einigen Tagen in der aborted & problems-Sektion meiner Website einen Abschnitt, wo alle gelöschten Versionen mit Elozahl und Anzahl der absolvierten Partien nachzulesen sind, falls jemand weiter zurückliegende Entwicklungen nachvollziehen will.
Ich finde das Stockfish-Projekt einfach super - sowohl den Spielstil von Stocki als auch den neuartigen Ansatz der offenen Test- und auch Entwicklungsumgebung. Das ist (r)evolutionär! Da bietet es sich für mich an, mit meinem kleinen Ranglisten-Projekt auch einen kleinen Beitrag zu diesem tollen Projekt beizutragen, indem ich immer wieder development-Versionen gegen die top10-engines des Computerschachs mit einer statistisch relevanten Zahl von Partien teste, um zu verifizieren, ob die Fortschritte des Stockfish-Teams sich auch gegen andere Gegner (nicht nur Stockfish 3) bestätigen lassen. Manche Tests breche ich zwar nach >2000 Partien auch mal ab, wenn das Ergebnis zu schlecht ist, aber mindestens ein Mal pro Monat lasse ich einen Test auf jeden Fall komplett durchlaufen, um auf dem (halbwegs) aktuellen Stand zu bleiben.
Daß ich allerdings nun sofort wieder den nächsten Stockfish teste, ist eine Ausnahme, weil der neue Patch so gut sein soll, und ich noch auf die bugfix-Version von PanChess 00.536 und die offiziellen Release-Versionen von Bouquet 1.7 und Sting SF 4 warte.

Stefan

P.S: Ganz früher Zwischenstand (nach 1600 Partien): +9 Elo zu Stockfish 130724. Das ist nicht soooo berauschend, da alle Stockfische in meinen Tests zum Ende hin noch abgebaut haben. Naja, abwarten. Endergebnis (hoffentlich) Mittwoch.

By Stefan Pohl Date 2013-07-28 07:15

[quote="Michael Scheidl"]
Möglicherweise gibt es bald eine Version 4, oder zumindest 3.1.
[/quote]

Also ich denke, man wird erst kurz vor dem nächsten TCEC eine neue offizielle Version releasen. Aber solange ich die auto-compiles habe, ist mir das eigentlich auch relativ egal...zumal zumindest der letzte offizielle JA-Compile gut 4% langsamer war als der dazugehörige auto-compile.

Stefan

By Tom Paul Date 2013-07-28 08:54

Den Spielstil finde ich auch ganz toll und die Stellungen werden ja meistens auch korrekt eingeschätzt.
Aber die Bewertungszahl die man immer sehen kann finde ich schlecht, weil entweder viel zu hoch oder viel zu tief.
Z.B. sagt Stockfish +2.00 und Houdini +0.50, da wäre mir eine Bewertungszahl wie +1.00 von Komodo wesentlich lieber, weil ich auch etwas dazu lernen und die Stellung nicht über- oder unterschätzen will.

Wenn das TCEC beginnt, würde es mich nicht wundern, wenn die Stockfishversion die mitspielen wird gerade mal 1 Stunde alt ist.
Schließlich gibt es alle paar Stunden eine neue Development Version.

By Stefan Pohl Date 2013-07-28 11:12

[quote="Tom Paul"]
Den Spielstil finde ich auch ganz toll und die Stellungen werden ja meistens auch korrekt eingeschätzt.
Aber die Bewertungszahl die man immer sehen kann finde ich schlecht, weil entweder viel zu hoch oder viel zu tief.
Z.B. sagt Stockfish +2.00 und Houdini +0.50, da wäre mir eine Bewertungszahl wie +1.00 von Komodo wesentlich lieber, weil ich auch etwas dazu lernen und die Stellung nicht über- oder unterschätzen will.
[/quote]

Diese Beobachtung ist korrekt. Aber das soll ja bei Stockfish auch so sein, denn nur, wenn eine Engine so hohe Bewertungen hat, kann sie auch mal ein Bauernopfer spielen oder eine Leichtfigur für einen Einschlag am gegnerischen Königsflügel opfern. Bewertet man positionelle Aspekte immer im Bereich <1.00 Bauerneinheiten, wird man auch keine Opferzüge zu sehen bekommen...

Attraktiver Spielstil setzt somit spekulative, hohe Bewertungen voraus. Ob das für seriöse Stellungsanalysen sinnvoll ist, ist natürlich ein anderes Thema. Aber da gibt es ja genügend Alternativen. Ich finde es daher gut, daß eine der Spitzenengines noch so spekulativ bewertet und daher auch hin- und wieder Spektakluäres spielt!

Stefan

By Tom Paul Date 2013-07-28 12:13

Die Engine kann ja auch von mir aus für sich selbst hohe Bewertungen haben, nur wäre es sehr praktisch wenn man diese für uns Menschen auch realistischer darstellen könnte, quasi die Engine bewertet die Stellung mit +2.00 damit sie sich auch mal Bauernopfer erlauben kann und einen interessanten und attraktiven Spielstil hat, gibt für uns Menschen aber +1.00 heraus, damit wir die Stellung für uns realistisch einschätzen und nachvollziehen können.
Wir müssen uns ja auch kein +10 denken damit wir uns ein Bauernopfer trauen.
Ich spiele auch manchmal eine Partie wo die Engine sagen würde ich habe +0.15 Vorteil, trotzdem weiß ich das ein Bauernopfer zu sehr interessantem Spiel führen würde mit vielen guten Chancen für meine Seite, obwohl bei bester gegnerischer Verteidigung mein Vorteil bei +0.15 bleibt.
Die Engine selbst möchte keinen Bauern opfern, bleibt bei einem anderen Zug mit +0.15, der aber keine vielen guten Chancen bietet.
Somit wäre das Bauernopfer doch besser?, wird was in dieser Richtung gemacht?

Wie ist das eigentlich geregelt, wenn die Engine kein >1.00 hat spielt sie dann keine (Opferzüge)?

By Tom Paul Date 2013-07-28 13:06

Und rechnet Stockfish dann mit Bauernopfer/Opferzügen der Gegner wenn Stockfish seine eigene Stellung für besser hält?
Nach dem Motto wenn ich selbst nicht mindestens +1.00 stehe, dann wird der Gegner wenn er genauso viel schlechter steht keine Bauernopfer/Opferzüge spielen.

By Benno Hartwig Date 2013-07-28 16:10

[quote="Tom Paul"]Die Engine kann ja auch von mir aus für sich selbst hohe Bewertungen haben, nur wäre es sehr praktisch wenn man diese für uns Menschen auch realistischer darstellen könnte, quasi die Engine bewertet die Stellung mit +2.00 damit sie sich auch mal Bauernopfer erlauben kann und einen interessanten und attraktiven Spielstil hat, gibt für uns Menschen aber +1.00 heraus, damit wir die Stellung für uns realistisch einschätzen und nachvollziehen können.[/quote]Wenn die Engine einen Stellungsvorteil für doppelt so bedeutend hält wie den Besitz eines Mehrbauerns, dann muss die Engines dies doch mit einem 2,00 darstellen. Natürlich erlebt man dann mitunter, dass die Bewertung in der Folge ggf. wieder zusammenbricht, ohne dass sich materiell sonderlich viel tut. Dann hat die positionelle Bewertung halt nicht hingehauen. Ein Ausnahmefall?
Aber wenn die Engine mit genau diesem Spiel erfolgreich ist, dann ist genau diese Bewertungsanzeige auch sehr passend!
Wenn ein Mensch sich ggf. eingesteht, dass er mit diesem positionellen Vorteil nichts anzufangen wüsste, ist dass aber eine ganz andere Sache.
Entweder erkannte er die Fehlbewertung in diesem Fall (guter Mann), oder er versteht einfach nicht, warum SF so optimistisch wertete.

Benno

By Michael Scheidl Date 2013-07-28 17:18

Für mich sieht das so aus, als ob Stockfish einfach eine andere Skala verwendet als typische(re) Engines. Vielleicht vergleichbar mit verschiedenen Längenmaßen: 3 Fuß sind ~0,9 Meter, die Zahlen sind unterschiedlich groß, aber es ist dieselbe Distanz. Daß Stockfish positionelle Elemente gegenüber dem Material wesentlich größer bewertet, kann ich nicht glauben, denn dann würde die Engine m.E. nicht auf diesem Niveau spielen können das sie hat. Stockfish ist ja auch nicht für besonders auffälliges Operspiel bekannt; das hält sich wohl im Rahmen wie bei den meisten Engines.

Übrigens soll es bei Houdini so sein, daß die "Auflösung" sozusagen intern 1/200 Bauerneinheiten beträgt, statt der offenbar üblicheren 1/100. Das erlaubt sicherlich eine feinere Abstimmung einzelner Parameter. Es trat anläßlich von Strelka 5.5 zu Tage (R.E. von Houdini 1.5), wo schlicht das Runterdividieren für den Output weggelassen wurde.

Die "Magie der großen Zahlen" ist stets wirksam.

By Tom Paul Date 2013-07-28 17:36

Wie ist denn die Auflösung bei Stockfish 1/100?
Und kann mir das mal jemand genauer erklären?

Da Stockfish Stellungen oft sehr hoch bewertet, wäre da eine Auflösung bei Stockfish von 1/1000 nicht besser?

By Benno Hartwig Date 2013-07-28 18:37 Edited 2013-07-28 18:43

[quote="Michael Scheidl"]Übrigens soll es bei Houdini so sein, daß die "Auflösung" sozusagen intern 1/200 Bauerneinheiten beträgt, statt der offenbar üblicheren 1/100. Das erlaubt sicherlich eine feinere Abstimmung einzelner Parameter.[/quote]Da hast du wohl recht. Es findest sich in types.h z.B. die Passage

Code:

  PawnValueMg   = 198,   PawnValueEg   = 258,
  KnightValueMg = 817,   KnightValueEg = 846,
  BishopValueMg = 836,   BishopValueEg = 857,
  RookValueMg   = 1270,  RookValueEg   = 1278,
  QueenValueMg  = 2521,  QueenValueEg  = 2558

Die Ausgabe wird dann wohl nivelliert mit

Code:

s << "cp " << v * 100 / int(PawnValueMg);

Ich denke, ein Wert von 1,00 ist dann am Ende ein Mittelspielbauer, Endspielbauern sind wertvoller.

Bei Stockfish habe ich recht häufig beobachtet, dass plätzlich die Bewertung um deutlich mehr als einen Bauern hochgeht, die Gegnerengine erkennt keine wesentlichliche Veränderung. Und einige Züge später bricht die SF-Bewertung entweder wieder zusammen, oder der Gegner erkennt die Misere.
Interpretiert habe ich das als eine positionelle(?) "Oh, da tun sich Chancen auf!"-Bewertung von SF. Aber ggf. hat SF ja wirklich eine Materialgewinn gesehen, der sich dann doch nicht verwirklichen lies???

Benno

By Benno Hartwig Date 2013-07-28 18:53

PS:
Interessant finde ich, dass SF im MIttelspiel Läufer und Springer mit mehr als 4 Bauern bewertet, den Turm mit gut 6 Bauern und die Dame mit 12 Bauern!
Seinerzeit sprach man halt meist von ungefähr 3, 3, 5 und 9 Bauern.
Benno

By Stefan Pohl Date 2013-07-28 11:06

[quote="Stefan Pohl"]
Sollte alles glatt gehen, könnte das Ergebnis Mittwoch vorliegen (Zeitangaben wie immer ohne Gewähr). Bin gespannt, ob der neue Super-Patch auch gegen andere Gegner so gut scort, oder nicht. Sollte allerdings nach 2000-2500 Partien keine meßbare Steigerung vorliegen, würde ich wohl abbrechen und lieber auf weitere Patches warten, denn alle 3 Tage einen neuen Stockfish testen soll keinesfalls zur Regel werden...

Stefan
[/quote]

Also inzwischen sind gut 2100 Partien absolviert. Und mittlerweile liegt Stockfish 130727 ca. +12 Elo vor Stockfish 130724. Aber jetzt kommt noch ein aber, nämlich zu diesem Testzeitpunkt lag Stockfish 130724 noch ca. +6 Elo vor Stockfish 130623 und am Ende der 10000 Partien war der Vorsprung auf knapp +1 Elo zusammengeschmolzen...Nimmt man für den jetzigen Testrun eine ähnliche Entwicklung an, würde ein Plus von 5-7 Elo übrig bleiben. Das würde ich auch für realistisch halten und für einen Patch wäre das immer noch wirklich super. Aber auf jeden Fall lasse ich den Test bis zum Ende laufen, da das Ergebnis zur Zeit einfach sehr gut ist. Endergebnis hoffentlich Mittwoch, falls alles glattgeht (Hitze + angekündigte Gewitter...).

Stefan

By Stefan Pohl Date 2013-07-31 07:28

[quote="Stefan Pohl"]

Also inzwischen sind gut 2100 Partien absolviert. Und mittlerweile liegt Stockfish 130727 ca. +12 Elo vor Stockfish 130724. Aber jetzt kommt noch ein aber, nämlich zu diesem Testzeitpunkt lag Stockfish 130724 noch ca. +6 Elo vor Stockfish 130623 und am Ende der 10000 Partien war der Vorsprung auf knapp +1 Elo zusammengeschmolzen...Nimmt man für den jetzigen Testrun eine ähnliche Entwicklung an, würde ein Plus von 5-7 Elo übrig bleiben. Das würde ich auch für realistisch halten
Stefan
[/quote]

Nun ist der Test vorbei und das Ergebnis ist +6, also genau so, wie ich es vorhergesagt hatte. Es ist doch beeindruckend, wie sehr sich Ergebnisse in der LS-Rangliste reproduzieren lassen (Komodo 5.1, Komodo 5.1r1, Komodo 5.1r2 landeten mit ihren Ergebnissen alle in einem 2 Elo-Intervall (!!!)) und auch vorhersagen lassen (s.o.). Alles dank der großen Menge an Partien und der daraus folgenden geringen statistischen Unsicherheiten. Das sollte allen Kurztestern, Lange-Bedenkzeit-Freunden, und Statistik-Hassern m.E. ernsthaft zu denken geben...nur wird das natürlich nicht passieren...

Stefan

By Tom Paul Date 2013-07-24 09:01

Wie genau testest du die Engine?
1. Lässt du die aktuelle Development Version von Stockfish gegen die auf der Startseite verfügbare download Version spielen?
2. Lässt du die aktuelle Development Version von Stockfish gegen Houdini und Komodo spielen?
3. Lässt du die aktuelle Development Version von Stockfish hochkomplizierte taktische oder positionelle Aufgaben auf Zeit lösen?
Macht das vielleicht jemand anderes und kann von seinen Ergebnissen berichten?

Hat sich die aktuelle Development Version von Stockfish wirklich verbessert oder ist das nur ein Gerücht und wenn ja wie viel ELO?

By Stefan Pohl Date 2013-07-24 12:51 Edited 2013-07-24 12:54

[quote="Tom Paul"]
Wie genau testest du die Engine?
1. Lässt du die aktuelle Development Version von Stockfish gegen die auf der Startseite verfügbare download Version spielen?
2. Lässt du die aktuelle Development Version von Stockfish gegen Houdini und Komodo spielen?
3. Lässt du die aktuelle Development Version von Stockfish hochkomplizierite taktische oder positionelle Aufgaben auf Zeit lösen?
Macht das vielleicht jemand anderes und kann von seinen Ergebnissen berichten?

Hat sich die aktuelle Development Version von Stockfish wirklich verbessert oder ist das nur ein Gerücht und wenn ja wie viel ELO?
[/quote]

Ich teste gegen die 11 Engines aus dem LS-top 10 tournament abzüglich der Stockfish-Version, die dort gelistet ist. Also Houdini, Komodo, Strelka, Critter, Bouquet, Ivanhoe, Panchess, Robbolito, Firenzina und den Ur-Ippolit von 2009. Das steht alles auf der Conditions-Unterseite auf meiner LS-Website. Ich wäre wirklich dankbar, wenn man dort erst mal alles durchlesen würde und erst dann verbliebene Unklarheiten bei mir nachfragt!

http://ls-ratinglist.beepworld.de/conditions.htm

Stefan

By Ludwig Burgin Date 2013-07-24 13:28

Hallo Stefan

Nimm mal nicht den Stockfish 13072220. Der spielt etwas schwächer.

Gruß Ludwig

By Stefan Pohl Date 2013-07-24 13:44

[quote="Ludwig Burgin"]
Hallo Stefan

Nimm mal nicht den Stockfish 13072220. Der spielt etwas schwächer.

Gruß Ludwig
[/quote]

Ich nehme immer den aktuellsten Stockfish, der zur Verfügung steht. Ich will ja gerade die Anpassungen von heute unter die Lupe nehmen. Die Versionen davor waren nicht gut, daher ja die Rücknahme einer Codemodifizierung am heutigen Tag!
ich hatte ja einen Stockfish vom 21.7. getestet und den Test nach 2600 Partien abgebrochen, weil das Ergebnis -13 Elo schlechter war als die bisher beste von mir getestete Version 130623...

Stefan

By Tom Paul Date 2013-07-24 14:32

Nach deiner LS liegt Stockfish 100 ELO hinter Houdini und 43 ELO hinter Komodo.
Ich glaube nicht das Stockfish es bis September zum nTCEC auf Houdinis Lvl. schaffen wird.
Wobei Jonna Kiiski im Interview gesagt hatte, bei langer Bedenkzeit beträgt der Unterschied zwischen S und H nur 22 ELO.

Bei uns kann man ganz einfach sagen Spieler A ist so viel stärker als Spieler B. Magnus ist so viel stärker als Kramnik.
Nur was soll man bei den Engines sagen? 22 oder 100 oder... ELO?

By Stefan Pohl Date 2013-07-25 11:42

[quote="Tom Paul"]
Nach deiner LS liegt Stockfish 100 ELO hinter Houdini und 43 ELO hinter Komodo.
Ich glaube nicht das Stockfish es bis September zum nTCEC auf Houdinis Lvl. schaffen wird.
Wobei Jonna Kiiski im Interview gesagt hatte, bei langer Bedenkzeit beträgt der Unterschied zwischen S und H nur 22 ELO.

Bei uns kann man ganz einfach sagen Spieler A ist so viel stärker als Spieler B. Magnus ist so viel stärker als Kramnik.
Nur was soll man bei den Engines sagen? 22 oder 100 oder... ELO?
[/quote]

Kann man das wirklich so einfach sagen? Auch bei Menschen gibt es welche, die besser blitzen als sie mit normalem Spieltempo spielen bzw. umgekehrt.
Und zu Stockfish: Ich denke zwar auch, daß Stockfish aufgrund seiner extremen Selektivität mehr von langen Bedenkzeiten profitiert als Houdini, weil sich die Suche nicht so im Variantenbaum festfrißt, aber mit statistisch belastbaren Daten ist das bis heute nicht belegt (was J.Kiiski dazu in einem Interview sagt, ist auch kein Beleg). Erst wenn das große Experiment von Andreas Strangmüller zum Thema Ranglisten mit verschieden langen Bedenkzeiten unter sonst absolut gleichen Testbedingungen abgeschlossen ist, was aber noch einige Monate brauchen wird, kann man wirklich etwas statistisch verläßliches zu diesem Thema sagen. Bis dahin ist das alles Spekulation.
Davon abgesehen ist es prinzipiell ziemlich sinnfrei immer nur auf die Bedenkzeit zu achten, denn es geht immer um die Anzahl der Knoten, die eine Engine durchrechnen kann, bevor sie zieht. Und diese Zahl errechnet sich aus der Zeit und der benutzten Hardware und ihrer Leistung. Anders gesagt: Die Tests bei Turnierbedenkzeit auf einer Hardware von heute sind die Blitztestergebnisse von morgen und das Bulletranking von übermorgen.
Das TCEC-Turnier ist in dieser Hinsicht besonders extrem, weil hier lange Bedenkzeiten und ultraschnelle Hardware (zumindest nach heutigen Maßstäben) zusammenwirken. Sollte es also wirklich zutreffen, daß Stockfish von sovielen berechneten Knoten mehr als Houdini profitiert, könnte Stockfish im TCEC-Turnier in der Tat besser spielen als Houdini. Das heißt aber leider nicht unbedingt, daß Stockfish dann auch wirklich das Turnier gewinnt, denn (das ist ja die Crux mit den langen Bedenkzeiten) aufgrund der langen Bedenkzeiten werden ja nur relativ wenige Partien (50 oder so) gespielt. Dadurch sind alle Resultate reiner Zufall wegen der extrem großen statistischen Schwankungsbreite bei so wenigen Partien.
Das ist genau der Grund, warum ich in der LS-Rangliste mit so kurzen Bedenkzeiten spiele und jede Engine auch nur einen Core zum Rechnen bekommt, denn lieber habe ich statistisch brauchbare Ergebnisse (dank tausender Partien) bei kurzen Bedenkzeiten und rel. wenig Hardwareleistung als gar keine brauchbaren Ergebnisse mit langen Bedenkzeiten und einer Monsterhardware mit zig CPU-Kernen für jede Engine. Aber das ist natürlich Ansichtssache. Viele wollen lieber wenige Partien, die dafür schachlich auf Maximalniveau sind. Das ist ja auch völlig in Ordnung, nur sollte man dann nicht immer versuchen, irgendwelche Rückschlüsse aus den Ergebnissen dieser wenigen Partien zu ziehen (was dann leider immer wieder gemacht wird, obwohl das statistich gesehen grober Unfug ist).

Stefan

By Michael Huber Date 2013-07-25 12:34

Ja das ist eine gute Frage.
Es gibt ja auch Gegner die einem liegen und solche gegen die man kein Licht sieht unabhängig von deren Elozahl (natürlich nur beschränkt).

Nakamura sagte mal er sähe in einem Match gegen Carlsen durchaus Gewinnchancen für sich wogegen er gegen Gelfand seiner Einschätzung nach chancenlos wäre...

Lg, Michael

By Tom Paul Date 2013-07-25 12:55

Beim TCEC stört mich auch das so wenige Partien gespielt werden.
M.M.n sollten es mindestens 4 wenn nicht 6 aber am liebsten 10 Partien jeder gegen jeden sein.
Bin auch kein Fan von Critter, nur da die Engine gleich am Anfang ausgeschieden ist wegen zu wenig Partien, glaube es waren ja nur zwei Stück jeder gegen jeden, da weis ich nicht ob der Turniersieg und die Rangliste als akzeptabel anzusehen waren/sind.

Ich finde es gut das die Engines nicht auf Gegnerzeit rechnen, man müsse sich nur vorstellen bei 55% der gespielten Züge waren sich die Engines einig, also bei fast der Hälfte der Züge dachten die Engines z.B. pro Zug 10 min lang über eine Fortsetzung die der Gegner sowieso nicht spielte =am Ende jedes Zuges bleibt weniger Zeit für das was tatsächlich aufs Brett kam und somit schwächeres Spiel.

Was die Bedenkzeit angeht wäre ich z.B. für 5 min pro Zug und 30 min zur freien Einteilung.
Das sorgt für eine hohe, konstante Tiefe und 30 min für Notstellungen, finde ich einfach besser als 1 mal Tiefe 35 in der Eröffnung und sonst nur Tiefe 25, da bleibe ich lieber dauerhaft bei Tiefe 30 und zur Not kann die Engine auch mal tiefer rechnen.
Meine Engine Turniere dauern meistens 3 Stunden, nach 30 Zügen ist meistens(aber nicht immer) klar wer gewinnen wird.
Auf einem übertakteten sechs Kerner.

By Michael Scheidl Date 2013-07-25 15:24

Es ist nicht das Ziel von TCEC, eine (statistisch) akzeptable Rangliste zu ermitteln, sondern

Zitat:

"The goal of nTCEC is to provide the viewers with a live broadcast of quality chess, played strictly between computer chess engines created by different programmers."

Der Turniersieg ist ein solcher, nicht mehr und nicht weniger... Das Argument zu weniger Partien könnte man mit viel mehr Gewicht auf sämtliche Computerschach-Weltmeisterschaften anwenden.

Sicher ist Schade wenn Mitfavoriten früh ausscheiden. Dafür kamen aber andere Engines relativ überraschend sehr weit, vor allem die Singlecore-Engine Quazar 0.4 und auch Komodo, wovon es ja noch keine fertige MP-Version gab.

Der Veranstalter M.Thoresen meinte unlängst, in Saison 2 (ab September) wird es wahrscheinlich keine Singlecore-Engine geben. - Es ist wohl noch nicht endgültig entschieden, aber ich fände es logisch, denn er hat ja Hardware mit 16 Cores. Wenn ich ungefähr richtig rechne bzw. einschätze, werden gute Engines gegenüber Singlecore auf mehr als das Achtfache beschleunigt, und hätten somit einen Vorteil von ungefähr drei Halbzügen Rechentiefe.

Hm... klingt eigentlich nicht so viel als daß man es nicht machen sollte. Mal sehen ob ein interessantes Feld von 32 (?) MP-Engines zusammenkommt. Umso schwieriger wird es dadurch daß "alte" Engines die nicht weiterentwickelt werden, vermutlich nicht mehr eingeladen werden (Naum, Spike, Spark...), zumindest war es das letzte Mal so. Also eigentlich glaube ich, wir werden schon nochmals ein paar Single-Engines sehen.

By Stefan Pohl Date 2013-07-25 16:05

[quote="Michael Scheidl"]
Es ist nicht das Ziel von TCEC, eine (statistisch) akzeptable Rangliste zu ermitteln, sondern

Zitat:

"The goal of nTCEC is to provide the viewers with a live broadcast of quality chess, played strictly between computer chess engines created by different programmers."

Hi Michael,

Also bei einem Turnier wie dem TCEC wäre ich auch dafür, keine singlecore-Engines zu verwenden. Nicht MP-fähige Engines halte ich heutzutage für bessere Betaversionen. Die kann man in Ranglisten testen, aber wenn man maximales schachliches Niveau haben will, dann sollte man auf diese verzichten. Besonders wenn man einen 16-Kerner PC hat.
Lustig finde ich ja die Aussage mit dem "Engines created by different programmers..." Was hat Critter dann im TCEC verloren? Und das Stockfishteam hat auch kürzlich irgendwo zu dem Thema sinngemäß gepostet, daß alle Engines im Top-Bereich inklusive Stockfish (!) Ippolit-code bzw. Ideen enthalten. Was ich übrigens auch denke. Dann müßte im nächsten TCEC dann wohl Rybka gegen Fritz, Hiarcs und Junior antreten. Und evt. könnte man noch die Shredder-Gruft öffnen...das wird ja ein tolles Turnier werden

Was das dann mit hohem schachlichen Niveau zu tun haben wird, ist eine andere Frage.

Stefan

By Michael Scheidl Date 2013-07-25 16:56

Ich sehe keinen Grund Critter anders zu behandeln als Houdini, siehe:

http://www.top-5000.nl/sim04.htm

Ich beziehe mich auf die Ähnlichkeitsraten "SIM 03" zu Ippolit 0.080a und Robbolito.

Critter 1.4: 56,98/59,87
Houdini 1,0: 67,27/71,07

Man kann die Ähnlichkeit zwischen Critter 1.4 und Houdini 1.0 (60,91) als Folge des obigen interpretieren.

By Tom Paul Date 2013-07-31 07:13

Stockfish dürfte es beim nTCEC schwer gegen Houdini 4 haben.
Nach der LS-Ratinglist vielleicht 150 ELO Unterschied.

By Tom Paul Date 2013-08-01 11:54

28-07-13 mc search diff
ELO: 2.77 +-4.6 (95%) LOS: 88.0%
Total: 9140 W: 1965 L: 1892 D: 5283
20000 @ 15+0.05 th 1 Sample 1/4: margin at 70%
28-07-13 mc search diff
ELO: 2.23 +-5.4 (95%) LOS: 79.2%
Total: 6710 W: 1424 L: 1381 D: 3905
20000 @ 15+0.05 th 1 Sample 2/4: margin at 80%

Was ist Sample margin gemeint und werden beide bei Erfolg übernommen?

By Tom Paul Date 2013-08-02 12:17

Die Frage ist doch was können Houdini und Komodo besser als Stockfish?
Und genau das muss bei Stockfish verbessert werden.
Dann wird Stockfish in der LS-Ratinglist auch besser abschneiden als Komodo und Houdini.

By Thomas Zipproth Date 2013-08-02 12:57 Edited 2013-08-02 13:04

[quote="Tom Paul"]
Die Frage ist doch was können Houdini und Komodo besser als Stockfish?
[/quote]
Ich hab dazu etwas geschrieben, ob das allerdings wirklich auf ein Problem von Stockfish hindeutet, oder einfach auf eine ganz andere Implementierung der Baumsuche zurückzuführen ist, ist mir momentan noch unklar.

http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=62798

Edit:
der Link auf einen speziellen Post scheint irgendwie nicht immer zu funktionieren, es ist im Thread "Test der aktuellen Stockfish Version vom 29.07", Datum 2013-08-02 12:47, Ultrablitz Turnier.

Thomas