The Ultimate Stockfish 3: PA_GTB-006 verfügbar!

By Michael Scheidl Date 2013-07-09 14:45

Korrektur: Nach Installation bemerke ich gerade, daß die Default-Minimumtiefe für das P.H. eh auf 20 lautet. Das macht m.E. mehr Sinn als 24.

By Michael Scheidl Date 2013-10-20 11:46

An diversen Stockfishvarianten mangelt es nicht.

Die PA_GTB-Versionen mit Gaviotazugriff und Lernfunktion sind sehr attraktiv. Es gibt nun eine auf SF4, oder ich glaube, sogar auf eine relativ aktuelle Dev.-Version aufbauende:

http://open-chess.org/viewtopic.php?f=7&t=2465

(kurz angetestet - läuft normal, Zusatzfeatures funktionieren)

By Benno Hartwig Date 2013-07-09 22:04

[quote="Michael Scheidl"]Jeremy Bernstein hat wieder eine stark erweiterte SF.-Version erstellt. Er tat dies früher bereits für 2er-Versionen, die bei mir immer bestens funktioniert haben.[/quote]Hatte diese 'starke Erweiterung' damals zu einer signifikanten Stärkesteigerung geführt?
Sollten diese Änderungen dann nicht gern auch in dieSF-Hauptlinie einfließen?

Benno

By Ernest Bonnem Date 2013-07-09 23:38

[quote="Benno Hartwig"]Hatte diese 'starke Erweiterung' damals zu einer signifikanten Stärkesteigerung geführt?[/quote]
http://rybkaforum.net/cgi-bin/rybkaforum/topic_show.pl?pid=469608#pid469608
sollte dich interessieren...

By Peter Martan Date 2013-07-10 05:29

Hallo Ernest!

Ich hab ihn mal auf unsere letzte gemeinsame Endspiel- Teststellung aus dem CCC angesetzt, die von Jon Dart, du erinnerst dich.

Nachdem ich mit den "Verführungsvarianten" und PH ein (Maximum Größe, Tiefe 24 Untergrenze der Einträge, ist ja ein Endspiel) den Hash gefüllt hatte, hab ich die .sh gespeichert, verschoben, neu gestartet und wieder geladen, der Output ist schon etwas deutlicher als mit leerem Hash, kommt allerdings drauf an, was man unter deutlich versteht. Die losing eval von 1.Ke2? ist verdoppelt, aber eigentlich gefällt mir in der Alternativvariante 1.Ke2? das 3.b4 der unteren besser als das 3.a5?! der oberen.

Nach 5 Minuten, 8Gb hash mit geladender Lerndatei (ist das ja offenbar eine solche und nicht nur ein Permanent Hash, wie man ihn von Rybka und von Houdini und seiner großen, zum Unterschied von seiner kleinen .dat, kennt) und den 5Steiner Gaviota's:

210: Dart,J - Bonnem,E, CCC
8/1pp2kp1/p4p2/3p2Pp/P4P1P/2PP4/1P6/4K3 w - - 0 1

Analysis by Stockfish PA_GTB 010713 64 SSE4.2PT:

1. = (0.00): 1.f5 g6 2.fxg6+ Kxg6 3.gxf6 Kxf6 4.Kf2 Kf5 5.Kg3 Ke5 6.Kf3 Kf5 7.Kg3 Ke5 8.Kf3 Kf5 9.Kg3
2. -+ (-5.84): 1.Ke2 Ke6 2.gxf6 Kxf6 3.a5 Kf5 4.Kf3 b6 5.axb6 cxb6 6.Ke3 Kg4 7.c4 dxc4 8.d4 Kf5 9.d5 b5 10.Kd4

Und so hatte das nach 5 Min., mit leerem Hash gestartet, ausgesehen:

8/1pp2kp1/p4p2/3p2Pp/P4P1P/2PP4/1P6/4K3 w - - 0 1

Analysis by Stockfish PA_GTB 010713 64 SSE4.2PT:

1. = (0.00): 1.f5 g6 2.fxg6+ Kxg6 3.gxf6 Kxf6 4.Kf2 a5 5.Ke2 Kf5 6.Kf3 b6 7.d4 c6 8.b4 Ke6 9.bxa5 bxa5 10.Ke3 Kf5 11.Kf3 Ke6 12.Ke3 Kf5 13.Kf3 Ke6
2. -+ (-2.77): 1.Ke2 Ke6 2.gxf6 Kxf6 3.b4 Kf5 4.Kf3 b6 5.b5 a5 6.Kg3 Ke6 7.Kf2 Kd6 8.Ke2 Kc5 9.Kd2 d4 10.f5 dxc3+ 11.Kxc3 Kd5 12.Kd2 Ke5 13.Ke3 Kxf5 14.Kf3 g5 15.hxg5 Kxg5 16.Kg3 h4+ 17.Kh3 Kh5 18.Kh2 Kg4 19.Kg2 h3+ 20.Kg1 Kg5 21.Kh2 Kh4 22.d4

Allerdings muss ich dazu auch noch sagen, dass es ComStock3 auch ohne Lerndatei in Minuten vom leeren Hash aus so schafft:

8/1pp2kp1/p4p2/3p2Pp/P4P1P/2PP4/1P6/4K3 w - - 0 1

Analysis by ComStock_3M_VEpop64T:

1. = (0.00): 1.f5 d4 2.cxd4 Ke7 3.b4 Kd7 4.Kd1 Kd6 5.Kd2 Kc6 6.Kc2 Kd5 7.Kc3 Kc6 8.Kc2
2. -+ (-4.16): 1.Ke2 Ke6 2.Kf3 b6 3.gxf6 Kxf6 4.b3 b5 5.a5 Kf5 6.b4 c6 7.Kg3 Ke6 8.Kg2 Kd6 9.Kf2 c5 10.Ke2 d4 11.bxc5+ Kxc5 12.Kd2 dxc3+ 13.Kxc3 Kd5 14.f5 Ke5 15.Kb2 Kd4 16.Kc2 b4 17.Kb3 Kxd3 18.Kb2 Kd4 19.Kc2 Kc4 20.Kb2 b3 21.Kb1 Kd4 22.Kb2 Ke5 23.Kc3 Kxf5 24.Kxb3 g5

Solche Sachen bringen meiner Meinung nach zwar sicher was, wenn man sie mit Thementurnieren, Stellungs- oder noch besser Variantentests untersucht , als reines engine- engine- game- playing von Kurzzugbüchern aus, glaube ich eher nicht, aber dazu ist es ja wohl auch nicht gedacht.
Von einem kleinen Set von Ausgangsstellungen aus, sagen wir 50 oder 100, müsste der Vorteil von eingeschaltetem Hashlernen wohl auch zum Tragen kommen, wird dafür aber von den puristischen Testern sicher nicht gelten gelassen.
Man sieht mal wieder die Stellungsabhängigkeit jeder Art von Spielstärkenbestimmung.

Was ich nicht verstehe: wenn ich die Größe des PH auf Maximum (1024) stelle, wird ein .sh gleich nach dem Starten von über 4Mb geschrieben, die wächst aber dann nur mehr sehr langsam weiter, wenn man eine Weile damit analysiert oder spielt.

By Michael Scheidl Date 2013-07-10 00:14

Leider hat das die Ranglistentester nicht interessiert (ebensowenig wie ComStock 3, die SF.3-Version welche die Robbobases benutzen kann).

Für Leute die ständig innerhalb von ein paar wenigen Eröffnungsvarianten ihres Repertoires, oder eine überschaubare Anzahl von laufenden Fernpartien analysieren, ist der Nutzeffekt von P.H. bzw. Stellungslernen offensichtlich: In den Analysesitzungen werden häufig dieselben Stellungen angetroffen. Mag sein, daß das niemals meßbar in Elo aus Eng-Eng-Partien zu Tage tritt...

Einschalten der Lernfunktion in Ranglistentests ist wieder einmal eine Philosophiefrage. Natürlich gibt das "alten" Engines die schon über viel mehr Partien Gelegenheit hatten zu lernen - umso mehr wenn dauernd dieselben Eröffnungen benutzt werden - einen Vorteil gegenüber neuen. Aber gerade das ist ja der Sinn dieses Features! Warum soll man das abwürgen? Ich bin dagegen. Engines die das nicht können, sind quasi selber schuld und dazu verdammt, ggfs. dieselben Fehler in Ewigkeit immer wieder zu machen. Lernende Engines können dem (manchmal schrittweise irgendwann) ausweichen, und profitieren somit zu Recht davon. Spektakulär groß wird der Effekt vermutlich ohnehin nicht sein, also die paar Elopunkte könnte man ihnen schon gönnen.

By Benno Hartwig Date 2013-07-10 05:43

[quote="Michael Scheidl"]Engines die das nicht können, sind quasi selber schuld und dazu verdammt, ggfs. dieselben Fehler in Ewigkeit immer wieder zu machen. Lernende Engines können dem (manchmal schrittweise irgendwann) ausweichen...[/quote]Wenn normale Partien gespielt werden:
Sind die Fortschritte durch das 'Lernen' ggf. nur von kleinem Wert, da doch nach Verlassen der Bücher ständig andere Stellungen auf dem Brett sind?
Und 'lernt' das Schachprogramm nicht noch schneller dazu, wenn man ihm einfach von Zeit zu Zeit ein überarbeitetes/erweitertes Buch gönnt?

Benno

By Peter Martan Date 2013-07-10 06:05

[quote="Benno Hartwig"]
Wenn normale Partien gespielt werden:
[/quote]
Ich find's lustig, Benno, was Computerschächer unter normalen Partien verstehen.
Für weniger Blechlastige wären das nämlich nicht unbedingt solche, bei denen die Eröffnungen durch möglichst viel Zufall und möglichst kurzzügig aufs Brett kommen.

[quote="Benno Hartwig"]
Und 'lernt' das Schachprogramm nicht noch schneller dazu, wenn man ihm einfach von Zeit zu Zeit ein überarbeitetes/erweitertes Buch gönnt?
[/quote]
Und ja, natürlich, wenn das Buch eines ist, das man für sich selbst oder eine bestimmte engine editiert, macht das Ganze mehr Sinn.

By Benno Hartwig Date 2013-07-10 06:46

[quote="Peter Martan"]Ich find's lustig, Benno, was Computerschächer unter normalen Partien verstehen.
Für weniger Blechlastige wären das nämlich nicht unbedingt solche, bei denen die Eröffnungen durch möglichst viel Zufall und möglichst kurzzügig aufs Brett kommen.

OK, da dachte ich ggf. etwas 'blechlastig', an das simple 'eine Engine und ein Buch'.

Zitat:

Und ja, natürlich, wenn das Buch eines ist, das man für sich selbst oder eine bestimmte engine editiert, macht das Ganze mehr Sinn.

Und wenn man einfach alle paar Monate schaut, welches das beste verfügbare Buch sein könnte, steigt dann nicht ggf. das Wissen weit effektiver als es durch jedes Lernen erfolgen könnte?

Benno

By Peter Martan Date 2013-07-10 07:16

[quote="Benno Hartwig"]
[quote="Peter Martan"]Ich find's lustig, Benno, was Computerschächer unter normalen Partien verstehen.
Für weniger Blechlastige wären das nämlich nicht unbedingt solche, bei denen die Eröffnungen durch möglichst viel Zufall und möglichst kurzzügig aufs Brett kommen.

OK, da dachte ich ggf. etwas 'blechlastig', an das simple 'eine Engine und ein Buch'.

Eine engine und ein Buch ist ja schon viel weniger blechlastig als alle engines mit einem eigens dafür kastrierten Testbuch.

[quote="Benno Hartwig"]

Zitat:

Und ja, natürlich, wenn das Buch eines ist, das man für sich selbst oder eine bestimmte engine editiert, macht das Ganze mehr Sinn.

Und wenn man einfach alle paar Monate schaut, welches das beste verfügbare Buch sein könnte, steigt dann nicht ggf. das Wissen weit effektiver als es durch jedes Lernen erfolgen könnte?

Nein, ich würde sagen, das Wissen im Buch, wenn es denn eigens für die eine engine und ihre eigens dafür angelegte Lerndatei editiert wurde und weiter wird und das in in der korrespondierenden Lerndatei, müssste in Einheit am schnellsten und am effektivsten wachsen, und ich kann dich beruhigen, genau das wird am Server und im Fernschach gemacht werden und in nicht geringer Datenmenge.
Die ist nur im Sinn des puristischen engine- Testens nicht verwertbar, und Du wirst aber vor allem aus anderen Gründen hier im Forum höchst wahrscheinlich nicht viel darüber lesen.

By Stefan Pohl Date 2013-07-10 07:50

[quote="Michael Scheidl"]
Leider hat das die Ranglistentester nicht interessiert (ebensowenig wie ComStock 3, die SF.3-Version welche die Robbobases benutzen kann).

Für Leute die ständig innerhalb von ein paar wenigen Eröffnungsvarianten ihres Repertoires, oder eine überschaubare Anzahl von laufenden Fernpartien analysieren, ist der Nutzeffekt von P.H. bzw. Stellungslernen offensichtlich: In den Analysesitzungen werden häufig dieselben Stellungen angetroffen. Mag sein, daß das niemals meßbar in Elo aus Eng-Eng-Partien zu Tage tritt...

Einschalten der Lernfunktion in Ranglistentests ist wieder einmal eine Philosophiefrage. Natürlich gibt das "alten" Engines die schon über viel mehr Partien Gelegenheit hatten zu lernen - umso mehr wenn dauernd dieselben Eröffnungen benutzt werden - einen Vorteil gegenüber neuen. Aber gerade das ist ja der Sinn dieses Features! Warum soll man das abwürgen? Ich bin dagegen. Engines die das nicht können, sind quasi selber schuld und dazu verdammt, ggfs. dieselben Fehler in Ewigkeit immer wieder zu machen. Lernende Engines können dem (manchmal schrittweise irgendwann) ausweichen, und profitieren somit zu Recht davon. Spektakulär groß wird der Effekt vermutlich ohnehin nicht sein, also die paar Elopunkte könnte man ihnen schon gönnen.
[/quote]

Als Ranglistenbetreiben muß ich ohne Lernen testen (warum ich generell und prinzipiell ohne TBs teste, hatte ich hier schon vor kurzem ausführlich erläutert), selbst dann, wenn man wie ich 500 Eröffnungsstellungen durchspielen läßt, weil es sonst Verzerrungen geben kann, bzw. weil dann die Reihenfolge, in der eine Engine in ihrem Testgauntlet die Gegner "abspielt" plötzlich nicht mehr beliebig ist. Würde die Engine nach einem Verlust in einer Partie anders (und besser) fortsetzen, wäre der nächste Gegner benachteiligt. Wäre diese sehr stark (in Elo), so würde das das Testergebnis der zu testenden Engine verbessern. Wäre der starke Gegner hingegen zu erst "dran" (im Testgauntlet) und danach ein schwächerer, würde das das Testergebnis verschlechtern.
Eine Rangliste ist nun einmal ein Laborexperiment und sollte wissenschaftlichen Testmethodiken unterworfen sein. Und da ist es eine der wichtigsten Regeln, daß für alle gleiche Bedingungen herrschen.
Ergo sollte man in Ranglistenmatches auf jeden Fall das Lernen abschalten. Sollte sich Lernen nicht abschalten lassen, kann man immer noch das Verzeichnis, in dem sich die Engine befindet, schreibschützen.

Wenn Du allerdings Zeit und Rechnerkapazitäten frei hast, kannst du ja mal den lern- und TB-fähigen Stockfish ein paar Hundert oder besser noch ein paar Tausend Partien gegen den "normalen" Stockfish spielen lassen und mal schauen, ob diese Features (in Elo) was bringen oder nicht (und wenn ja wieviel).
Wäre sicher nicht uninteressant.

Gruß - Stefan

By Peter Martan Date 2013-07-10 08:22 Edited 2013-07-10 08:25

Ist schon alles klar, Stefan, ich sage dir nur jetzt mal was voraus:
Wenn die GPL- engine, die jetzt schon eine der besten überhaupt ist, eine Lerndatei hat und die in den Ranglisten und Verkaufszahlen beste auch (Houdini), dann dauert es nicht lange, und die meisten Konkurrenten werden nachziehen (müssen), glaubst du nicht auch?
Und werden dann alle Ranglistenbetreiber auch weiter standhaft dabei bleiben, das engine- Lernen bei allen, die es zwar können, aber nur für die Ranglisten nicht verwenden dürfen, nur denen zuliebe, die es nicht können, abzuschalten?
Oder wird es vielleicht dann demnächst vielleicht doch auch ein paar Lerndatei-ein-Ranglisten geben?

By Benno Hartwig Date 2013-07-10 08:34 Edited 2013-07-10 08:37

[quote="Peter Martan"]Und werden dann alle Ranglistenbetreiber auch weiter standhaft dabei bleiben, das engine- Lernen bei allen, die es zwar können, aber nur für die Ranglisten nicht verwenden dürfen, nur denen zuliebe, die es nicht können, abzuschalten?[/quote]Was würdest du vorziehen?
Wettkämpfe, bei denen ein möglichst effizienter Umgang mit den Wettkampfregeln wichtig ist? ("Ich weiß zwar nicht, warum ich mal gewann, aber ich hatte mal so gewonnen. Dann versuche ich es wieder...")
Oder Wettkämpfe, bei denen ein möglichst gutes Schachspiel/-verständnis wichtig ist?
Die Interessen sind hier ggf. doch unterschiedlich. Und eine Liste, in welcher eine ansonsten gute Engine weit abgeschlagen landet, weil sie immer wieder in dieselbe Falle gelockt wird, müsste auch nicht jedem gefallen.
Benno

By Horst Sikorsky Date 2013-07-10 09:10

HI hi, Ranglisten hin Lernen her
Zum Glück rechen alle Engine, noch oft genug am richtigen Zug vorbei !!

By Peter Martan Date 2013-07-10 10:34 Edited 2013-07-10 10:37

Da hast du ja nun allerdings mal wieder völlig recht, mein Lieber!

Dennoch, wenn jetzt eine engine eine Weile am richtigen Zug vorbeigerechnet hat, und dann doch noch auf den richtigen draufkommt (oder durch manuelle Eingabe durch den vorwitzigen User, der sowas wagt, drauf gebracht wird

), genau dann sollten Lerndateien, so wie ich sie mir vorstelle, funktionieren.
Mir hat's zumindest mal Mark Uniacke so erklärt, was Hiarcs anging, es geht um eval jumps, nicht absolute Werte, sondern das Umschlagen von Bewertungen, die da primär mit den entsprechenden Stellungen gemeinsam abgespeichert werden.
Verstehst du, warum ich da so viel drauf gebe?

By Michael Scheidl Date 2013-07-10 11:55

Das mit den eval jumps dürfte ein überholtes Konzept sein... Obwohl es darstellbar funktionierte! Ich hätte ein Beispiel von Genius 5 gegenüber -3 oder -4. Manchmal wurden die Lerndaten sogar als ASCII-Klartext samt FEN gespeichert, sodaß man sich als User ansehen konnte, was die Engine konkret gelernt hat. Das ist IIRC z.B. bei der guten alten Freewareengine Pharaon so (die vielleicht sogar einen nostalgischen Blick wert ist, da MP-fähig). http://www.fzibi.com/pharaon.htm

Soweit ich verstehe oder glaube verstanden zu haben

ist das neue Konzept, einfach alle Partie- oder Analysestellungen die am Brett erscheinen, samt Bewertung wie in eine Hashtabelle zu speichern. Hierbei ist manchmal konfigurierbar, was die Mindestrechentiefe dafür ist.

In einer typischen Partie wären das also, nach Buch und mit der Engine am Zug, vielleicht 50...60 Stellungen im Durchschnitt. Soweit ich per Google auf die Schnelle ermitteln konnte, ist ein typischer Hasheintrag 16 Bytes groß (was jedoch stark variieren kann). D.h. pro Partie würde so eine Lernfunktion, angenommen die Mindesttiefe wird immer erreicht oder überschritten, etwa 60*16 = 960 Bytes speichern müssen. Weniger als ein Kilobyte.

Demnach hätte sogar die Standardgröße für das Lernfile von 32 MB, die es in Critter und der hier besprochenen SF.-Variation hat, Kapazität für rund 35.000 Partien. Wobei ich das bei mir auf 128, also das Vierfache erhöht habe. Bei einer entsprechend hohen Qualitätsanforderung bzw. Mindestrechentiefe tragen eventuell viele Blitzpartien viel weniger Einträge bei. - Hierbei weiß ich natürlich nicht ob hier mit 16 Bytes oder einer anderen Eintragsgröße operiert wird, aber ich denke, die großen Zahlen sprechen für sich. Es gibt also aus dieser Sicht keinen Grund mehr das Lernen auf große Bewertungssprünge zu limitieren.

P.S. Instructives aus der Info zu PA_GTB-006:

Zitat:

FURTHER INFO:

What makes a position interesting?
- the score is exact, not a fail-high or fail-low
- the search depth is equal or above a certain value (UCI option "Persistent Hash Depth"), 24 being the default (Anm. MS., tatsächlich 20)
- the score is not the result of an Endgame Tablebase hit
- the score is still in the hash table at the end of the present iteration

By Peter Martan Date 2013-07-10 12:15

Danke für die Infos, Michael, aber
[quote="Michael Scheidl"]
Das mit den eval jumps dürfte ein überholtes Konzept sein...
[/quote]

Was Hiarcs angeht, funktioniert's bei dem, glaube ich, immer noch so.

[quote="Michael Scheidl"]
Soweit ich verstehe oder glaube verstanden zu haben

ist das neue Konzept, einfach alle Partie- oder Analysestellungen die am Brett erscheinen, samt Bewertung wie in eine Hashtabelle zu speichern.
[/quote]
Das wäre aber für mich eigentlich einfach ein permanent oder persistent hash, so wie ihn auch Houdini zusätzlich zu seiner Lerndatei anbietet, und wie es ihn auch schon bei Rybka gab und gibt, der ist immer genau so groß nach dem Abspeichern, wie der während des Spielens eingestellte hash war.

Du hast schon recht, dass die Größen der Lernfiles seit Houdini, Critter und jetzt SF sehr gewachsen sind, aber auch Houdini mit default 0,10 cp (auch nicht gerade viel, hmh?) lässt das nur im Kb- Bereich wachsen, bis man 1Mb beisammen hat, muss schon einiges passiert sein, und meinem Gefühl nach hat es sehr wohl etwas damit zu tun, wieviel "Sprengstoff" in den Stellungen ist, die man sich ansieht, weniger darauf, wie lange man automatisch standrechnen lässt.

Bei diesem Novum, dass wir jetzt bei SF haben, fängt zwar, wenn man das Maximum von 1024 einstellt, (mögliche wäre da ja also über ein GB, in der readme des downloads schreibt Jeremy Bernstein ja aber auch schon, er ist neugierig, wann das jemand als Erster erreicht

) werden bei jedem Ein- und wieder Ausschalten sofort mal 4 Mb abgespeichert, dann wachsen die aber wieder sehr sehr langsam, scheint mir, ich bin noch nicht über 4200 KB gekommen, auch mit variantenreichen taktischen Endspielen mit viel tbs- hits nicht, habe allerdings als Tiefe 24 statt 20 eingestellt,

By Michael Scheidl Date 2013-07-10 12:28

Ist bei mir - Einstellung 128 MB und Tiefe 20 - genauso. Offenbar wird das schrittweise, erst je nach Bedarf erweitert. Das zeigt ja wie groß die Kapazität von Lernfiles "gemäßigter" Größe bereits ist. Wieder mal ein Beispiel von: Maximum ist nicht Optimum.

By Peter Martan Date 2013-07-10 12:47

[quote="Michael Scheidl"]
Ist bei mir - Einstellung 128 MB und Tiefe 20 - genauso. Offenbar wird das schrittweise, erst je nach Bedarf erweitert. Das zeigt ja wie groß die Kapazität von Lernfiles "gemäßigter" Größe bereits ist.

Eben, würde da alles, eventuell auch erst ab einer bestimmten Tiefe, aber unselektiert gespeichert, müsste das viel schneller wachsen, das ist eben wie gesagt bei Houdini die große .dat- Datei, die du mit save hash to file abspeicherst, die kleine, die du mit dem Häkchen bei Learning kreieren lässt, hat ja auch dieses cp-Fenster namens Lerning Treshold, da kommt's also darauf an, wie groß die Unterschiede zwischen evals sind, meiner Meinung nach, und ich glaube auch in der Houdini- readme gelesen zu haben, dass das im Prinzip immer noch so, wie für Hiarcs geschildert, funktioniert.
Ah, hab's schon gefunden:

Zitat:

The Position Learning is available in analysis and match play. But remember that it will
only kick in for certain positions in which there is something to learn, i.e. when the
score is significantly above the static evaluation of the position. In quiet, equal
positions there's usually not much to learn.
Position Learning works best for positions where a good move exists that raises the
score significantly above the statical evaluation. Learning is less useful and sometimes
counterproductive for positions where many more or less equivalent moves exist and
the goal is to avoid bad moves. To improve the efficiency of the learning the feature
only kicks in when a certain positive scoring threshold is exceeded. By default this
Learning Threshold is put at 10 centi-pawn (0.1 pawn).

Ganz genau wird's dir wohl kein Programmierer, der so etwas codiert, sagen wollen, wie's bei ihm funktioniert, bei Stockfish könnte man's jetzt auf Codeebene nachlesen, wenn man's denn könnte.

[quote="Michael Scheidl"]
Wieder mal ein Beispiel von: Maximum ist nicht Optimum.

Genau.

By Michael Scheidl Date 2013-07-10 13:00

Ist das ein Zitat von Houdini 3 (hab ich nicht) oder von Hiarcs?

Es ist schwer zu verstehen wie ein Lerneintrag "counterproductive" sein kann, solange geprüft wird - und davon gehe ich logischerweise aus - ob dieser auf größerer Rechentiefe als der aktuellen beruht. Natürlich kann er u.U. immer "schachlich" falsch sein, aber auf geringerer RT. wird die Engine nichts besseres ermitteln können (außer irrtümlich). Und sobald sie tiefer rechnet, ist der Lerneintrag zu ignorieren. Die Logik erscheint simpel.

By Peter Martan Date 2013-07-10 13:38

[quote="Michael Scheidl"]
Ist das ein Zitat von Houdini 3 (hab ich nicht) oder von Hiarcs?
[/quote]

Das ist aus dem User's Guide von H3, entschuldige, das hatte ich eigentlich sagen wollen im Text davor, ist mir offenbar nicht ganz gelungen.

[quote="Michael Scheidl"]
Es ist schwer zu verstehen wie ein Lerneintrag "counterproductive" sein kann, solange geprüft wird - und davon gehe ich logischerweise aus - ob dieser auf größerer Rechentiefe als der aktuellen beruht.

Natürlich kann er u.U. immer "schachlich" falsch sein, aber auf geringerer RT. wird die Engine nichts besseres ermitteln können (außer irrtümlich). Und sobald sie tiefer rechnet, ist der Lerneintrag zu ignorieren. Die Logik erscheint simpel.
[/quote]

Ist sie, ich sehe das Ganze einfach als eine Frage von Zeitaufwand, Einträge zu speichern und wieder abzurufen und mit anderen im Arbeitsspeicher zu vergleichen, immerhin werden die Lernfiles ja auf die Festplatte geschrieben, bei SF kann man jetzt auch einen Stick wählen, glaube ich, wie auch immer, in der readme vom Bernstein- SF steht irgendwo, dass bei sehr kurzen Bedenkzeiten große Lernfiles die Performance beeinträchtigen könnten.

By Peter Martan Date 2013-07-10 09:20 Edited 2013-07-10 09:25

[quote="Benno Hartwig"]
Was würdest du vorziehen?
Wettkämpfe, bei denen ein möglichst effizienter Umgang mit den Wettkampfregeln wichtig ist?
[/quote]

Das kommt auf die Regeln an, Benno, und auch darauf, mit was für mehr oder weniger zählenden Titeln sich der Gewinner dann schmücken darf.

[quote="Benno Hartwig"]
Oder Wettkämpfe, bei denen ein möglichst gutes Schachspiel/-verständnis wichtig ist?
[/quote]

Also mir persönlich wäre das schon lieber als ein MitGewaltRegelnaufstellendamitdieElodannsosindwieichsiegernehabenmöchteWettkampf.
Schachspiel(stärke) ist stellungsabhängig, bei Mensch und bei Maschine, so gesehen gibt es für mich keine fairen Regeln, die sich nicht auch näher mit den Stellungen, um die gekämpft wird, beschäftigen, und Spielverständnis erwarte ich bei Maschinen nicht, ich bitte dafür um ebensolches (Verständnis), wenn ich mich hier nicht deiner wieder etwas blechlastigen Sicht befleißige.
Ich würde sogar soweit gehen, dass ich Schachprogramme nur für so sinnvoll halte, als sie menschlichen Zwecken dienen und der persönlichen Kontrolle der Benutzer und der Programmierer unterliegen und nicht mehr nur der der Automatik, weil selbst die Programmierer nicht mehr beurteilen wollen oder können, was das eigentlich ist, was die Maschinen tun (spielen).

Und das sowohl in Anwendung als auch in Entwicklung, sogar auch dann, wenn man sie als reine bench marker verwenden will, weil auch benchmarks nur so sinnvoll sind, wie noch jemand weiß, was man damit eigentlich messen kann.

By Peter Martan Date 2013-07-10 09:45

Oder etwas einfacher formuliert, mich würde jetzt z.B. mal ein kleines Thementurnier H3, SF-3-PA_GTB, Hiarcs14 und Shredder12 (ja, zugegeben, Shredder 13 wäre mir noch lieber

), mit jeweils eingeschalteten Lerndateien interessieren.

Ich verspreche auch, ich würde keine Elokonsequenzen daraus ziehen müssen.

By Michael Scheidl Date 2013-07-10 14:08

Zitat:

Und für Ranglisten ist es ungeeignet, da es Ergebnisse verzerren kann.

Wieso ist es eine "Verzerrung", wenn eine Engine die lernen kann, das nicht darf? Ich finde, es ist eine Verzerrung wenn man einer Engine diese Fähigkeit abdreht. Ranglisten die Engines solche Fähigkeiten wegnehmen, sind leider nicht 100% repräsentativ. Denn es bleibt ja immer die Frage, um wieviel besser hätte eine Engine performt, hätte man ihr nicht dieses Feature abgewürgt?

Wie schon gesagt, gerade wenn man dauernd dieselben Eröffnungsvorgaben benutzt, sind die Lernmöglichkeiten groß. Der Effekt wird nicht allzu groß sein, aber ich schätze daß er größer ist als Deine Errormargins.

By Stefan Pohl Date 2013-07-10 17:47

[quote="Michael Scheidl"]

Zitat:

Und für Ranglisten ist es ungeeignet, da es Ergebnisse verzerren kann.

Du hast doch deine Frage selbst beantwortet. Da üblicherweise mit Eröffnungsvorgabestellungen getestet wird, ist der Lerneffekt weit größer, als er im praktischen Spiel wäre, weil immer dieselben Stellungen als Vorgabe genutzt werden. Und das verzerrt die Ergebnisse.
Und den Engines wird ja mit den Vorgabestellungen auch die Möglichkeit abgedreht, ihr eigenes Buch zu benutzen, sofern sie eines haben. Und was die LS-Rangliste angeht, so wird zusätzlich allen Engines, die Endspieldatenbanken nutzen können, diese ebenfalls abgedreht, wie du so schön sagst.
ich will das für meine Liste auch so haben, nur die Qualität der Schachalgorithmen soll getestet werden. Alternative wäre Lernen, Bücher und Endspieldatenbanken zuzulassen - und zwar alles drei, sonst wäre das inkonsequent. Dann ergeben sich heutzutage Partien, die 20-30 Züge aus einem lernfähigen Buch gespielt werden und oft genug fangen dann schon die Endspieldatenbankenzugriffe an, sobald das Buch zuende ist. Das ergibt dann - überspitzt formuliert - eine Datenbank-Rangliste mit Enginebeteiligung. Ich für meine Teil möchte aber eine Enginerangliste haben...

Gruß - Stefan

By Michael Scheidl Date 2013-07-10 18:39

Zitat:

Da üblicherweise mit Eröffnungsvorgabestellungen getestet wird, ist der Lerneffekt weit größer, als er im praktischen Spiel wäre, weil immer dieselben Stellungen als Vorgabe genutzt werden. Und das verzerrt die Ergebnisse.

Nochmals, wo ist denn hier die Verzerrung?

Praktische Anwender einer Engine analysieren doch höchstwahrscheinlich in einem noch engeren Repertoire, und über ein paar Fernpartiestellungen herum oder dergleichen. Natürlich nützt dann die Lernfunktion! Das ist doch keine Verzerrung sondern Realismus und gut so; Engines die nicht lernen sind hierbei "mit Recht" leistungsschwächer, weil sie sich immer wieder alles erst neu errechnen müssen.

Keinem normalen Schachspieler wird es einfallen, einer Engine Lernergebnisse zu verweigern oder wegzunehmen.

Engineturniere sind keine normale Anwendung, und wenn man sie veranstaltet um Qualitätsaussagen zu treffen, sollten sie möglichst praxisnah sein. D.h. man will die Engine in ihrer vollen Leistungspracht sozusagen sehen, keine Kastraten.

(Dabei spreche ich aber nicht von einem Eigenbuch, das ist wiederum eine ganz andere Sache...)

(Nichts gegen Kastraten; die sollen im 18. Jahrhundert großartige Opernsänger gewesen sein.

)

By Peter Martan Date 2013-07-10 18:54

[quote="Michael Scheidl"]
Keinem normalen Schachspieler wird es einfallen, einer Engine Lernergebnisse zu verweigern oder wegzunehmen.

Engineturniere sind keine normale Anwendung, und wenn man sie veranstaltet um Qualitätsaussagen zu treffen, sollten sie möglichst praxisnah sein. D.h. man will die Engine in ihrer vollen Leistungspracht sozusagen sehen, keine Kastraten.
[/quote]

Leistungspracht gefällt mir und als alter passionierter, wenn auch ziemlich unbegabter Schachspieler sage ich, für mich ist Leistungspracht nur von interessanten Eröffnungsstellungen aus zu erwarten, alles andere ist alles mögliche, hauptsächlich aber eines : Remisschieberei.
Die kann auch von interessanten Stellungen aus passieren, wenn die Kontrahenten es an Siegeswillen vermissen lassen oder sie sind beide einfach zu ähnlich stark.
Wenn man jetzt von engines nach ungezählten Versuchen weiß, dass wahrscheinlich sogar beide Gründe für sie zutreffen, warum muss man das dann noch dazu mit uninteressanten Eröffnungsstellungen befördern?

Schach hat in den Augen der Meisten und auch in meinen einen Hauptnachteil: es kann sterbenslangweilig sein.
Das hasse ich dann bei menschlichen Meistern ebenso wie bei Programmen, während man es aber bei ersteren nicht verhindern kann, kann man das bei Maschinen sehr leicht, denen wird man ja auch z.B. mal den Stecker ziehen dürfen, wenn es einem zu blöd wird, was sie spielen,

By Benno Hartwig Date 2013-07-10 16:04

[quote="Peter Martan"]...man könnte genau so gut von Wettbewerbsverzerrung reden, wenn etwas, was die eine engine kann und die andere nicht, nicht mitgetestet wird.[/quote]Dann sollte man aber definieren, was der Wettbewerb sein soll. Welche Qualitäten im Wettbewerb stehen sollen.
Der taktisch geschickte Turnierlöwe, oder mehr das abstrakte Schachkönnen.
Benno

By Peter Martan Date 2013-07-10 17:25

[quote="Benno Hartwig"]
Dann sollte man aber definieren, was der Wettbewerb sein soll. Welche Qualitäten im Wettbewerb stehen sollen.
[/quote]

Richtig, Benno, jetzt sag mir nur noch eines, wieso sollte man das im Fall des einen Tests definieren, und im Fall des momentan üblichen Tests nicht?

By Benno Hartwig Date 2013-07-10 17:30

[quote="Peter Martan"]Richtig, Benno, jetzt sag mir nur noch eines, wieso sollte man das im Fall des einen Tests definieren, und im Fall des momentan üblichen Tests nicht?[/quote]Haben die aktuellen Tester durch die Wahl ihrer Methode nicht bereits tatsächlich definiert?
Wenn dies denn trotz Beschreibung des Ablaufs tatsächlich nicht verstanden wurde, sollte es ggf. einfach noch besser beschrieben werden. Wirklich nötig? Sonst unverständlich?
Benno

By Peter Martan Date 2013-07-10 17:54 Edited 2013-07-10 17:58

Du hast doch verlangt, dass es besser definiert wird, was ein Test besagt, das war ja nicht ich.

Ich finde nur auch, wenn du meinst, eine Fähigkeit, die eine engine mit anderen nicht teilt, nicht mit zu messen, weil man es so eben aussagekräftiger findet als umgekehrt, dann ist es deshalb noch nicht unbedingt nur der eine Test von beiden, der dahingehend näher definiert werden muss, was er genau aussagt.

Du bist halt offenbar der Meinung, der Test mit Enginelernen ein sei weniger allgemein gültig, ich verstehe dich, wenn es nur einige wenige sind, die das können.
Wie ich aber schon Stefan gegenüber meinte, wie sieht es aus, wenn es mehr werden, die das können?

Und wieso darf es nicht auch interessieren, wie diejenigen, die es schon können, untereinander abschneiden?

Und wieso darf dann so ein Test, damit er der Fähigkeit des Enginelernens so richtig zu seinem Recht (Zweck) verhülfe, nicht auch in Hinblick auf das Aussuchen der Eröffnungsstellungen überdacht werden und ob das Buchlernen wirklich unbedingt abgeschaltet werden muss, wenn man schon mit Büchern testet?

Und wenn man das Testen mit Büchern schon nicht mehr ganz so gut findet heutzutage, warum darf man dann über die willkürliche Auswahl der Teststellungen (uups, Startstellungen

) nicht auch ganz allgemein, vom Enginelernen und vom Buchlernen mal ganz abgesehen, nicht auch in Hinblick auf die Teststellungen eine genauere Definition des Ergebnisses abhängig von den gewählten Stellungen erwarten?

Ich hab's einfach satt, dass das Totschlagargument gegen Stellungstests immer war und ist, die testen nur die Teststellungen, jetzt erklär mir doch mal du, warum das für Stellungstests gilt und für eng-eng nicht?

Ich meine, wenn wir schon beim näher Definieren sind...

By Benno Hartwig Date 2013-07-10 18:48

[quote="Peter Martan"]Und wieso darf es nicht auch interessieren, wie diejenigen, die es schon können, untereinander abschneiden?
Und wieso darf dann so ein Test, damit er der Fähigkeit des Enginelernens so richtig zu seinem Recht (Zweck) verhülfe, nicht auch in Hinblick auf das Aussuchen der Eröffnungsstellungen überdacht werden und ob das Buchlernen wirklich unbedingt abgeschaltet werden muss, wenn man schon mit Büchern testet?[/quote]Es darf interessieren

aber es muss nicht.

Mich würde nur halt eine Liste weniger interessieren, in der manche Engines deutlich schlecht anschneiden, nur weil sie einmal schlecht spielten und dies dann immer noch einmal wieder ausgenutzt wird.
Klar, kann man auch anders sehen.
Und ggf. passiert das auch gar nicht so extrem häufig...

Benno

By Stefan Pohl Date 2013-07-10 18:15 Edited 2013-07-10 18:18

[quote="Peter Martan"]

Und übrigens schließe ich mich vollinhaltlich den Ausführungen meines Vorredners an (ich meine Michael Scheidls Antwort auf dein posting, siehe oben), man könnte genau so gut von Wettbewerbsverzerrung reden, wenn etwas, was die eine engine kann und die andere nicht, nicht mitgetestet wird.
[/quote]

Naja, das ist ein flotter Spruch, der schnell mal hingetippt ist, aber wenn man mal darüber nachdenkt, was das wirklich bedeuten würde, wird klar, daß diese Forderung völlig irreal ist. Dazu nur 3 Punkte, die mir so auf die Schnelle einfallen:

1. Eine Engine hat ein auf sie abgestimmtes Buch, eine andere nicht. Soll die zweite dann ohne Buch aus der Grundstellung rechnen, oder nimmt man ein neutrales Buch? Und was wäre ein neutrales Buch? Ein zurückhaltend spielender Ippolit hätte da ganz andere Bedürfnisse als z.B. Stockfish
2. Zahl der CPUs. Eine Engine ist singlecore (Komodo CCT, Strelka etc.) eine andere unterstützt 4 Cores, eine weitere 8, eine weitere 12 oder gar 16. Dann müßte der Tester sich ein 16 Core System zulegen, weil sonst die Engine, die 16 Cores unterstützt, benachteiligt würde...Von Clusterprojekten will ich gar nicht erst reden. Und dann spielt eine 16 Core-Engine gegen Komodo CCT oder Strelka auf einem Kern. Das wird ja dann bestimmt hochinteressante Ergebnisse und noch spannendere Partien bringen...Und dann das Pondern. Das dürfte man ja dann auch nicht verbieten. Dann spielen 2 Engines gegeneinander, die 16 Cores unterstützen. Dann wären schon 32 Core-Systeme nötig, damit jede der Engines auch pondern kann.
3. Endspieldatenbanken: Eine Engine unterstützt 3-5 Steiner, eine andere 6-Steiner. Dann müßte ich als Tester alle 6-Steiner (komplett) installieren und einen großen Cache-Speicher im RAM einrichten, nur damit diese Engine nicht benachteiligt würde.

Ergo ist die Forderung, daß alle Engines das tun dürfen sollten, was sie tun können, abwegig, wenn man eine Rangliste erstellen oder sonstwie vernünftig testen will. Sondern genau das Gegnteil ist das, was man tun muß, nämlich allen Engines das Maximum an Möglichkeiten zur Verfügung stellen, was alle Engines tun können - also testen mit dem kleinsten gemeinsamen Nenner. Und das ist Spielen auf einem Core ohne Bücher, Lernen, Endspieldatenbanken. Und genau das findet in der LS-Rangliste statt. Aus gutem Grund. Siehe oben.

Stefan

By Peter Martan Date 2013-07-10 18:41

[quote="Stefan Pohl"]
Ergo ist die Forderung, daß alle Engines das tun dürfen sollten, was sie tun können, abwegig, wenn man eine Rangliste erstellen
[/quote]

Du sagst es, Stefan, wenn man eine erstellen will, die möglichst vielen engines gerecht wird.
Du weißt aber so gut wie ich, dass niemand mehr heutzutage eine Rangliste erstellen kann, die alle engines of interest auch nur noch überhaupt berücksichtigt und allen Anforderungen und Interessen, die User an engines und ihre Verwendung haben, gerecht wird.

Und weil du das auch genau weißt, entschließt du dich, deine Rangliste auf die Art und Weise zu machen, wie dir das am besten erscheint.
Das ist nicht nur dein gutes Recht, es ist die einzige Art, eine Rangliste heutzutage zu erstellen, man sollte aber dann endlich aufhören, so zu tun, als wäre das die eine Rangliste, die die Elo für sich allein gepachtet hat, als Maß, als Ergebnis, als Sinn und Zweck.

Bei allem Respekt für deine Arbeit und die Konsequenz, mit der du sie betreibst, es ist bei weitem und schon lange nicht mehr die einzige Art, auf die man sie betreiben kann und dann noch eines:
Findest du nicht auch, dass das Ganze immer mehr in Arbeit ausartet, wenn man überhaupt noch die Elosion irgendwie aufrecht erhalten will, und dass der Spass an der Sache schön langsam etwas auf der Strecke bleibt?

Der Spass, sich mit Anderen, die das gleiche Hobby halt auf etwas andere Art betreiben, über Maßzahlen, Statistiken und technische Details von Methoden hinweg, die einander mehr trennen als verbinden, einfach über den Inhalt und das Gemeinsame zu unterhalten, und ist das in unserem Fall nicht immer noch mehr das Schach als der Computer?

By Stefan Pohl Date 2013-07-11 12:20

[quote="Peter Martan"]
[quote="Stefan Pohl"]
Ergo ist die Forderung, daß alle Engines das tun dürfen sollten, was sie tun können, abwegig, wenn man eine Rangliste erstellen
[/quote]

Du sagst es, Stefan, wenn man eine erstellen will, die möglichst vielen engines gerecht wird.
Du weißt aber so gut wie ich, dass niemand mehr heutzutage eine Rangliste erstellen kann, die alle engines of interest auch nur noch überhaupt berücksichtigt und allen Anforderungen und Interessen, die User an engines und ihre Verwendung haben, gerecht wird.

Und weil du das auch genau weißt, entschließt du dich, deine Rangliste auf die Art und Weise zu machen, wie dir das am besten erscheint.
Das ist nicht nur dein gutes Recht, es ist die einzige Art, eine Rangliste heutzutage zu erstellen, man sollte aber dann endlich aufhören, so zu tun, als wäre das die eine Rangliste, die die Elo für sich allein gepachtet hat, als Maß, als Ergebnis, als Sinn und Zweck.
[/quote]

Ich habe mehrfach betont, daß es keine perfekte, alleinseligmachende Testmethodik und damit auch keine solche Rangliste gibt. Es sind immer Kompromisse vonnöten, die sich aus dem Teilnehmerfeld, der zur Verfügung stehenden Hardware, der benutzten GUI, der maximal zu investierenden Zeit (Testdauer, manuelle Arbeit am PC zur Präsentation der Ergebnisse) ergeben.
Für meine Hardware, meine Testinteressen (Top-Bereich der Engine-Population, hohe Ergebnisgenauigkeit, nicht-Testen-wollen von Datenbanken (Bücher, Lernfiles, Endspieltabellen), sondern von Schachalgorithmen)) sind die von mir gewählten Testbedingungen das Optimum - meine ich zumindest.
Wenn jemand andere Testinteressen verfolgt, dann muß er auch andere Testbedingungen schaffen. Ich kann mich diesbzgl. nur wiederholen: Wer mit den bestehenden Ranglisten unzufrieden ist (so wie ich es war), der soll selber eine neue Rangliste machen (so wie ich es gemacht habe). Es ist heutzutage auch mit rel. wenig finanziellem Aufwand (Hardware+Strom) möglich, eine gute Rangliste zu erstellen. Das sieht man an der LS-Rangliste, die im Wesentlichen mit nur einem Quadcore-Notebook, welches nur 60Watt im Schach-Vollastbetrieb verbraucht, erstellt wurde. Die LS-Webpage ist in ihrer jetzigen Form auf beepworld komplett gratis und das Einarbeiten eines neuen Resultats ist bei meinem schlichten Webdesign in weniger als 30 Minuten erledigt...
Also einfach selber was auf die Beine stellen. Je mehr statistisch relevante Testarbeit gemacht wird, umso besser. Es ist leichter und billiger als man denkt - zumindest als ich gedacht hatte, bevor ich ernsthaft mit der LS-Rangliste begonnen habe.

Stefan