LS-Rangliste: Gull 2.3

By Stefan Pohl Date 2013-10-20 13:54 Edited 2013-10-20 13:58

[quote="Stefan Pohl"]
The result of Gull 2.3 is now online.

http://ls-ratinglist.beepworld.de

Stefan

(Perhaps you have to clear your browsercache or reload the website)
[/quote]

Nach 3000 Partien stand Gull noch bei +17. Zum Ende also nochmal ein schöner Zugewinn von knapp 7 Elo und das jenseits der 3000er Marke. Relativ selten.

Ich habe eine kleine Neuerung auf der Unterseite des LS top10 tournaments eingeführt: Ganz unten auf dieser Seite habe ich die Kreuztabelle angehängt, die vor dem Einbau des letzten Testergebnisses aktuell war. Wenn es sich bei dem aktuellen Test (wie meistens und auch in diesem Fall) um ein Update einer bereits zuvor gelisteten Engine handelt, kann man nun die Einzelergebnisse der aktuellen Version und der letzten Version sehr schön vergleichen, indem man die Ergebnisse dieser Engine (in diesem Fall Gull 2.3 und Gull 2.2 Trap) in den 2 Kreuztabellen miteinander vergleicht.
Das macht für mich nicht viel mehr Arbeitsaufwand und ich hoffe, es gefällt...Man sieht z.B., daß der Score von Gull 2.3 gegen Houdini 3 um satte 5% besser geworden ist (im Vergleich zu Gull 2.2 Trap).

Stefan

By Michael Scheidl Date 2013-10-20 15:55

Danke. Es ist interessant zu sehen daß Gull mittlerweile nicht nur bei den Fans "angekommen" ist, sondern sogar mehr Vertrauen genießt als Critter oder Bouquet. Dies zeigt die Umfrage zu TCEC/Stufe 3. Wobei ich glaube daß diese drei über eine Distanz von relativ wenigen Partien dieselben Chancen haben.

By Stefan Pohl Date 2013-10-20 17:15

[quote="Michael Scheidl"]
Danke. Es ist interessant zu sehen daß Gull mittlerweile nicht nur bei den Fans "angekommen" ist
[/quote]

Mittlerweile ist Gull eine echte Spitzenengine geworden und es hat mit den letzten Versionen auch sehr große Elozuwächse gegeben. Was ja im Top-Bereich alles andere als einfach oder selbstverständlich ist. Gull 2 war noch auf Ur-Ippolit-Niveau, mittlerweile sind es ca. 70 Elo mehr. Das muß man erst mal hinkriegen.
Das finde auch ich beeindruckend. Leider hat mir der Autor gerade mitgeteilt, daß er die Crashes, die ich ihm geschickt habe, nicht reproduzieren kann und sich daher im Moment außer Stande sieht, das Problem (oder die Probleme) zu beheben. Es ist wohl ein Problem in der internen Speicherverwaltung, aber er plant eine grundlegende Codemodifizierung für spätere Gullversionen, in deren Folge er das Problem dann hoffentlich eliminieren kann. Aber 9 Crashes in 10000 Partien ist nicht wirklich tragisch. Sollte aber einer Spitzenengine, wie Gull es mittlerweile ja ist, dennoch nicht passieren. Hoffentlich passiert das nicht ausgerechnet beim TCEC (Murphy's Law!!!)...

Stefan

By Michael Scheidl Date 2013-10-20 18:23

Zitat:

(...) nicht ausgerechnet beim TCEC (Murphy's Law!!!)...

Doch, mit Sicherheit!

Das war schon immer so.

By Tom Paul Date 2013-10-20 19:38

Die 70 ELO kriegt man auch ganz leicht, einfach etwas aus dem Stockfish Code einfügen.
Stockfish braucht sehr viel Zeit für 70 ELO + sehr viele Rechner + sehr viele Erfinder die zusammen Arbeiten.
Da ist es schon sehr beeindruckend, dass der Gull Autor die 70 ELO genauso hinkriegt ohne die ganzen Extras und das auf dem Niveau^^

By Stefan Pohl Date 2013-10-21 04:52

[quote="Tom Paul"]
Die 70 ELO kriegt man auch ganz leicht, einfach etwas aus dem Stockfish Code einfügen.
[/quote]

Ich halte mich zwar sonst aus diesen Debatten und Erwägungen möglichst heraus (wer was bei wem abgekupfert hat, da ich prinzipiell alles teste), aber für Gull muß ich hier mal zwei Lanzen brechen, nämlich:
1) Der Code liegt offen
2) Das compilierte Engine.exe File (64bit) ist extrem kurz, nämlich nur 276 KByte (!!!). Das ist extrem viel weniger als Stockfish (fast 4 mal so groß) oder die üblichen Ippo-Derivate (Mars 1 ist ca. 3 mal so groß, Bouquet und PanChess ca. 2 mal). Hier muß also ganz erhebliche Eigenarbeit des Gull-Autors vorliegen, der ja auch immer gesagt hat, für die erste Gull-Version nur die Bewertungen von Ivanhoe übernommen zu haben. Aufgrund der Kürze des .exe-Files erscheint mir das auch glaubhaft.
Daher ist Gull (für mich) eine der interessantesten und innovativsten Engines der Spitzengruppe (im LS top10 tournament ist Gull 2.3 ja mittlerweile auf Platz 6 der weltbesten Engines angekommen und liegt nur 3 Elopunkte hinter Amitis und Critter - Platz 4 ist also sehr greifbar). Und hat - wie schon erwähnt - sehr beeindruckende Fortschritte gemacht. Und die Kürze des .exe-Files deutet auf sehr effiziente Programmierung hin (das Komodo 6.exe-File ist mehr als 6 mal größer!).

Stefan

By Benno Hartwig Date 2013-10-21 05:26

[quote="Stefan Pohl"]1) Der Code liegt offen[/quote]Auf die Gefahr hin, dass ich ein Dutzend unsichtbarer Zwinkersmilys übersah:
Niemand baut so fix Code aus der Suche oder Bewertung einer fertigen Engine in eine andere fertige Engine ein.
Und Codeübernahmen von SF zu Gull wären ja für jeden Interessierten überprüfbar, sind doch beide Sourcen offen.
Aber wahrscheinlich werde ich gerade von virtuellen Zwinkersmilys umflattert und bin zu morgendlicher Stunde einfach noch zu ernst.
Benno

By Stefan Pohl Date 2013-10-21 05:31

[quote="Benno Hartwig"]
[quote="Stefan Pohl"]1) Der Code liegt offen[/quote]Auf die Gefahr hin, dass ich ein Dutzend unsichtbarer Zwinkersmilys übersah:
Niemand baut so fix Code aus der Suche oder Bewertung einer fertigen Engine in eine andere fertige Engine ein.
Und Codeübernahmen von SF zu Gull wären ja für jeden Interessierten überprüfbar, sind doch beide Sourcen offen.
Aber wahrscheinlich werde ich gerade von virtuellen Zwinkersmilys umflattert und bin zu morgendlicher Stunde einfach noch zu ernst.
Benno
[/quote]

Hi Benno,

ich glaube das ja auch nicht (aus genannten Gründen). Besonders nicht, wenn der Code so kurz und damit effizient ist wie bei Gull. Das deutet auf ganz andere Prorammstrukturen hin, in die man bestimmt nicht auf die Schnelle mal was von Stockfish reinmontieren kann...

Stefan

By Ralf Mueller Date 2013-10-21 06:40

Wobei aber ein Großteil der Codekürze dadurch zustande kommt, dass es sich um eine einzige Datei handelt, in die alles hineingeschrieben ist, an Stelle von unterschiedlichen Dateien, die in eine Hauptdatei eingebunden werden.

By Jörg Oster Date 2013-10-21 09:52

Ich habs auch gerade im Fishcooking-Forum geschrieben.
Meine Stockfish-Compiles sind lediglich 328,8 kB groß. Ihr interpretiert da zu viel rein, was einfach nicht stimmt.
Siehe auch den Kommentar von Tord zu Gull.

By Tom Paul Date 2013-10-21 10:38

Frage:
Stockfish 1000 KB
Stockfish 300 KB
Ist derselbe Stockfish?
Und deshalb auch gleich stark?
Oder kleinere KB = besser?

By Jörg Oster Date 2013-10-21 12:41

[quote="Tom Paul"]
Frage:
Stockfish 1000 KB
Stockfish 300 KB
Ist derselbe Stockfish?
Und deshalb auch gleich stark?
Oder kleinere KB = besser?
[/quote]
ja, derselbe Stockfish. Bis auf den letzten i-Punkt die gleichen Sourcen.

prinzipiell ja.

genau das versuche ich ja zu vermitteln, kleiner oder größer heißt nicht automatisch besser oder schlechter.

By Stefan Pohl Date 2013-10-21 10:48

[quote="Jörg Oster"]
Ich habs auch gerade im Fishcooking-Forum geschrieben.
Meine Stockfish-Compiles sind lediglich 328,8 kB groß. Ihr interpretiert da zu viel rein, was einfach nicht stimmt.
Siehe auch den Kommentar von Tord zu Gull.
[/quote]

Interessant! Wieder was dazugelernt. Danke für die Info. Bin eben nur Tester, kein Programmierer.

Stefan

By Benno Hartwig Date 2013-10-21 10:52

Zitat:

Meine Stockfish-Compiles sind lediglich 328,8 kB groß.

Sicherlich lassen sich aus denselben Sourcen Kompilate mit sehr unterschiedlichen Größen erzeugen. Ich denke aber, hier wurde der Umfang der Sourcen verglichen.
Hier mögen Kommentare eine Rolle spielen, und z.B. mit VS ist es doch AFAIK recht einfach möglich, automatisiert lange Bezeichnernamen in kurze zu ändern. Wer also die Ähnlichkeit kaschieren möchte, hat da Tools.
Und die recompile-These könnte dann auch noch mal wieder aufgewärmt werden.

Nein, um Ähnlichkeiten zu erkennen, muss man wohl entweder sehr genau das Spiel anaylieren, oder eben direkt die Programmlogik in den Sourcen.

Benno

By Jörg Oster Date 2013-10-21 12:43

Ich weiß jetzt nicht von was du sprichst.
Ich wollte Stefan und Tom nur erklären, dass man aus der Größe der .exe keine Rückschlüsse auf besser oder schlechter ziehen kann.

By Benno Hartwig Date 2013-10-21 13:32

[quote="Jörg Oster"]Ich wollte Stefan und Tom nur erklären, dass man aus der Größe der .exe keine Rückschlüsse auf besser oder schlechter ziehen kann.[/quote]Sorry. Dann betrachte mein Posting bitte als Zustimmung.
Ergänzung: Eine unterschiedliche Größe des Kompilates gestattet darüber hinaus noch nicht mal einen Rückschluss auf Ungleichheit der Sourcen.
Benno

By Michael Scheidl Date 2013-10-21 10:57

Danke; der Einfachheit halber als Zitat:

Zitat:

I just spent five minutes scanning through Gull's source code. Not sure whether you are looking at source code size or binary size, but the difference in size is simply caused by Stockfish using C++ features like streams and the STL where Gull uses mostly plain C, while the difference in source code is caused by Stockfish making generous use of comments and multiple source code files where Gull uses a single cpp file with no comments.

Superficially, Gull does not seem to be simpler than Stockfish in any other sense than the obvious fact that C is simpler than C++.

https://groups.google.com/forum/#!topic/fishcooking/OMrTouaGs14%5B1-25-false%5D (unten)

By Michael Scheidl Date 2013-10-21 11:11

Im Endspiel dürfte noch viel Verbesserungspotential liegen. Zuletzt (nach Remis gegen Bouquet) wurde Gull 2.3 in einer langen Partie von Komodo niedergerungen. Auffällig ist, wie Gull den großen, entscheidenden Nachteil erst mit großer Verspätung als solchen erkannte:

Komodo (Schwarz) war schon bei -5,88 aber Gull immer noch bei gemäßigten -1,39.

Mir sind beim Kibitzen früher schon ein oder zwei ähnliche Beispiele aufgefallen, leider habe ich vergessen wo und was genau. Das war aber noch Version 2.2.

By Stefan Pohl Date 2013-10-21 11:26 Edited 2013-10-21 11:29

Ich glaube du überschätzt die Wirkung von Endspielregeln (und auch den von Tablebases). Komplexes Endspiel-Zusatzwissen bezieht sich meist auf exotische Stellungen/Materialverteilungen, die in der Praxis des Engine-Engine-Spiels nur sehr, sehr selten vorkommen. Die meisten Endspiele sind totremis oder klar gewonnen - da nützt weder viel Wissen noch die Tablebases. Natürlich lassen sich immer mal Stellungen finden, wo so was vorkommt und wirklich ein halber Punkt verloren ging, aber bei Tests mit grosser Masse (wie meinen) spielt das prozentual (und damit auch in Elopunkten) keine nennenswerte Rolle. Heutzutage rechnen die Engines im Endspiel so tief, daß viel Wissen auch errechnet werden kann, was früher einprogrammiert werden mußte.

Stefan

By Stefan Pohl Date 2013-10-21 05:17

Hallo zusammen,

kurze Info: Ich hatte gestern Nachmittag mit dem Test von Stockfish 131020 begonnen (timestamp: 1382256283). Bis heute morgen war das Ergebnis ganz OK, aber keinesfalls berauschend. Nun habe ich festgestellt, daß gestern Abend noch einige Patches dazugekommen sind, unter anderem auch ein neuer Patch für Bauernstrukturen, der sehr gut gescored hat. Daher habe ich den Test soeben nochmal neu gestartet mit Stockfish 131020 (timestamp: 1382305300). Ergebnis voraussichtlich am Donnerstag, obwohl ich da wenig Zeit habe, also ggf. auch erst Freitag. Schaun mer mal...
Habe das auch kurz auf meiner Website erwähnt, denn sobald ein Ergebnis länger als 3 Tage nach dem letzten kommt, bekomme ich in unschöner Regelmäßigkeit Anfragen, wo das neue Ergebnis bleibt. Schon komisch, immerhin ist die LS-Rangliste ein kostenloser Service für die Community, aber einige stellen da offensichtlich dennoch hohe Ansprüche...Dabei habe ich mein Zweitnotebook erst relativ kurz und vorher dauerten Tests knapp 6 Tage.
Es muß sich hier aber niemand angesprochen fühlen, die Anfragen sind immer auf Englisch.

Stefan

By sachista Date 2013-10-21 06:29

[quote="Stefan Pohl"]
Schon komisch, immerhin ist die LS-Rangliste ein kostenloser Service für die Community
[/quote]

Dann will ich doch hier mal die Gelegenheit nutzen und mich für diesen tollen Service bedanken

Gefällt mir auch, wie tagesaktuell getestet wird, vor allem die Stockfish-Entwicklung lässt sich so sehr gut verfolgen - da macht das Bereitstellen von Ressourcen für die Entwicklung nochmal mehr Spaß

Entsprechend freue ich mich auch, dass nochmal neu mit der ganz aktuellen Stockfish-Version getestet wird, damit sollte sich Stockfish zwischen H3 Tactical und K6 auf ca. 3113 ELO schieben.

By Stefan Pohl Date 2013-10-21 10:51

[quote="sachista"]
[quote="Stefan Pohl"]
Schon komisch, immerhin ist die LS-Rangliste ein kostenloser Service für die Community
[/quote]

Dann will ich doch hier mal die Gelegenheit nutzen und mich für diesen tollen Service bedanken

Entsprechend freue ich mich auch, dass nochmal neu mit der ganz aktuellen Stockfish-Version getestet wird, damit sollte sich Stockfish zwischen H3 Tactical und K6 auf ca. 3113 ELO schieben.
[/quote]

Abwarten! Der Start war jedenfalls ziemlich mau...

Stefan

By Stefan Pohl Date 2013-10-21 11:16 Edited 2013-10-21 11:20

[quote="sachista"]

Gefällt mir auch, wie tagesaktuell getestet wird, vor allem die Stockfish-Entwicklung lässt sich so sehr gut verfolgen - da macht das Bereitstellen von Ressourcen für die Entwicklung nochmal mehr Spaß

[/quote]

Freut mich zu hören, Stockfish kann alle Ressourcen gut gebrauchen, je höher die Spielstärke wird, desto härter wird es noch weiter zu verbessern.
Ich hab das schön öfter hier erwähnt, aber sags in diesem Zusammenhang gerne nochmal: In der LS-Rangliste sind ja immer nur 3 Stockfish-development Versionen verzeichnet (zuzüglich der offiziellen Releases), alle älteren werden von mir aus der Liste entfernt, damit nicht zu viele Stockfische die Messungen verzerren. Alle gelöschten development-Versionen seit Stockfish 3 findet man aber nach wie vor mit Elozahlen und der Anzahl der gespielten Partien auf der "aborted & deleted"-Unterseite (im Moment 8 ältere Versionen!) in der Rubrik "deleted betas/development/outdated-versions". Zuzüglich der 3 noch in der LS-Rangliste verzeichneten Versionen also insgesamt 11 getestete development-Versionen seit Stockfish 3, mit zusammen ca. 130000 gespielten Partien!!! Nicht mitgerechnet die 3 Versionen, deren Test ich vorzeitig abgebrochen hatte...und auch den offiziellen Stockfish 4 nicht mitgerechnet...
Mehr Stockfish-Testen geht nicht! Aber ich mach das gerne, denn erstens finde ich Stockfish auch super (sowohl die Spielweise, als auch die offene Test- und Entwicklungsumgebung), und zweitens weiß ich aus diversen Feedbacks, daß gerade die Stockfishtests sehr gut ankommen und auf größtes Interesse stoßen.

Stefan

By Benno Hartwig Date 2013-10-21 07:11

[quote="Stefan Pohl"]....bekomme ich in unschöner Regelmäßigkeit Anfragen, wo das neue Ergebnis bleibt. Schon komisch, immerhin ist die LS-Rangliste ein kostenloser Service für die Community, aber einige stellen da offensichtlich dennoch hohe Ansprüche...[/quote]Natürlich ist diese Erwartungshaltung daneben, Stefan. Da hast du recht.
Aber nimm dieses Interesse doch auch als ein Lob für deine Arbeit, als Bestätigung dafür, dass du interessante, wichtige Informationen bereitstellst. Infos, auf die gewartet wird.
Und dass das ganze so professionell wirkt, dass dahinter ggf. mehr Leute und mehr Equipment vermutet wird.

Benno

By Stefan Pohl Date 2013-10-21 10:50

[quote="Benno Hartwig"]
[quote="Stefan Pohl"]....bekomme ich in unschöner Regelmäßigkeit Anfragen, wo das neue Ergebnis bleibt. Schon komisch, immerhin ist die LS-Rangliste ein kostenloser Service für die Community, aber einige stellen da offensichtlich dennoch hohe Ansprüche...[/quote]Natürlich ist diese Erwartungshaltung daneben, Stefan. Da hast du recht.
Aber nimm dieses Interesse doch auch als ein Lob für deine Arbeit, als Bestätigung dafür, dass du interessante, wichtige Informationen bereitstellst. Infos, auf die gewartet wird.
Und dass das ganze so professionell wirkt, dass dahinter ggf. mehr Leute und mehr Equipment vermutet wird.

Benno
[/quote]

Du siehst das positiv und richtig. Fällt mir manchmal leider schwer. Aber das ist mein Problem.
Willst du nicht hier in Zukunft das Forum moderieren? Du wärst der ideale Mann für diese Funktion, mit deiner positiven Einstellung.

Stefan