[Programmierung] Ippo & Co.: Ponder-Trefferrate gegen Rybka

By Peter Martan Date 2010-06-01 11:42

Hallo Karl-Heinz!

Das zu verstehen, bin ich zu sehr Laie. Du meinst, der Ippo-code ist nicht durch disassembling, das ja ohnehin immer fragwürdig in seiner Machbarkeit diesbezüglich war, sondern durch statistische Auswertung von Partienzügen und deren Bewertung nachgebaut worden?

By Karl-Heinz Milaster Date 2010-06-01 15:50

[quote="Peter Martan"]Du meinst, der Ippo-code ist nicht durch disassembling, ... sondern durch statistische Auswertung von Partienzügen und deren Bewertung nachgebaut worden?[/quote]
Hallo Peter,

Optimierungen mit genetischen Algorithmen sind streng genommen keine statistischen Auswertungen.
Auch die in der Spielstärke mehr oder minder stagnierenden verschiedenen Versionen können ein Indiz für ein solches Verfahren sein.
Vielleicht gibt es bei Ippo & Co. ja eine Spielstärken-Verbesserung, wenn genügend Partien von Rybka 4 zugänglichen sind - und in R4 tatsächlich Bewertungs-Parametern geändert wurden.
Allerdings braucht man für solche Optimierungen schon eine gehörige Portion Rechenleistung.

Gruss,
khm

By Karl-Heinz Milaster Date 2010-06-01 16:26

Hallo,

zum Thema Optimierung mit genetischen Algotithmen ist mal was in Computer, Schach und Spiele (1. Halbjahr 2008) - ich glaube, von Lars Bremer - erschienen: Genetische Algorithmen in Denkspielen.
Der Beitrag ist allgemein nicht zugänglich, vielleicht gibts hier noch jemand, der die Online-Version abonniert hat.

Gruss,
khm

By Peter Martan Date 2010-06-01 17:13

Danke, Karl-Heinz!

Wenn du als Fachmann sowas für möglich hältst, interessant. Dennoch, glaubst du nicht auch, dass es immer noch am einfachsten gewesen sein mag, sich noch einmal, wie schon so manch einer davor, den Fruit- Code herzunehmen, dazu noch ein paar andere öffentlich zugängliche Programme, die ja ihrerseits sooo unterschiedlich auch gar nicht sind (von den Kommerziellen wissen wir es zwar nicht, können es aber eigentlich, wenn du dir deren ponderhits anschaust, auch vermuten...) und auf welche raffinierte Art auch immer mit dem entsprechenden hardware- Einsatz "Verbesserungen" herausgetestet hat, ohne wirklich Neues erfinden zu müssen?
Am einfachsten müsste es natürlich nach wie vor Vasik Rajlich selbst gehabt haben, einen Teil der Testarbeit hat er damit an die beflissene Userschar delegiert und ich glaube durchaus, dass die Konkurrenz das Geschäft mit R4 eher belebt haben wird als geschädigt.

By Karl-Heinz Milaster Date 2010-06-01 17:35

[quote="Peter Martan"]Dennoch, glaubst du nicht auch, dass es immer noch am einfachsten gewesen sein mag, sich noch einmal, wie schon so manch einer davor, den Fruit- Code herzunehmen, dazu noch ein paar andere öffentlich zugängliche Programme, die ja ihrerseits sooo unterschiedlich auch gar nicht sind (von den Kommerziellen wissen wir es zwar nicht, können es aber eigentlich, wenn du dir deren ponderhits anschaust, auch vermuten...) und auf welche raffinierte Art auch immer mit dem entsprechenden hardware- Einsatz "Verbesserungen" herausgetestet hat, ohne wirklich Neues erfinden zu müssen?[/quote]

Hallo Peter,

man muss zunächst klar zwischen der Optimierung der Bewertungs-Parameter und der Optimierung der Suche unterscheiden.
Die Mechanismen zur Suchbaum-Optimierung kann man - wie Du es beschrieben hast - sich aus verschiedenen Programmen "zusammensuchen".
Die Bewertungs-Parameter sind in der Regel zwischen den verschiedenen, frei zugänglichen Programmen nicht immer kompatibel - und vor allem in ihren Abhängigkeiten untereinander nicht so leicht zu analysieren wie die Optimierung der Suche.
Deshalb kann es sein, dass in Ippo & Co. (wie in jedem anderen Schachprogramm) für die Suchbaum-Optimierung Ideen von anderen Programmen eingeflossen sind (es ist m.W. beispielsweise nicht bekannt, wer den Nullmove erfunden hat, man findet ihn aber in praktisch jedem Schachprogramm) - bei den Bewertungs-Parametern kann man eine einfache Übernahme ausschliessen.
Wenn in Ippo & Co. die gleichen Bewertungs-Parameter zu finden wären wie in Rybka, hätte sich der Klone-Verdacht erhärten lassen.

Gruss,
khm

By Axel Caro Date 2010-06-01 19:47

Hallo Karl-Heinz (und bei der Gelegenheit ebenfalls: Hallo Peter),

Zitat:

Wenn in Ippo & Co. die gleichen Bewertungs-Parameter zu finden wären wie in Rybka, hätte sich der Klone-Verdacht erhärten lassen.

Hierzu passend (so hoffe ich doch) kann ich nicht umhin immer einmal wieder einige (wie ich finde, bedenkenswerten) Stellungnahmen von Larry Kaufman zu zitieren (Hervorhebung von mir):

Zitat:

It runs thru the plies much faster than R3, even a bit faster than R3 on two cores (adding 3 plies to R3 reported depths for a fair comparison). Apparently the cloners did a good job of choosing which eval features were essential and which ones were barely worth the slowdown. All the eval added from R2 to R3 slowed R3 down by nearly as much as the reported speedup in the clone, and if some of the best R3 eval changes were kept and if code in R3 intended to make cloning difficult were removed this would pretty well explain the results. Maybe also the cloner found ways to optimize the code a bit while doing all the decompiling and analyzing the program.
I think people are just playing word games here. It is obvious that it is not a pure clone, but it is equally obvious that it is a near-clone. One of the tables in the eval is nearly identical to the one I submitted for R3, just some tiny variations (mostly 1/100 of a pawn); I didn't check other tables but it's probably the same story. If you compare evals at fixed depth with R3 1 cpu and remember to add the plies to R3 the scores are usually far closer than with any other program. One exception is positions with a material imbalance (involving pieces); then they can differ quite a bit, as do R232 and R3.
One point to make is that my testing pretty well established that if you speed up a program at the expense of knowledge, it will tend to test well against the slower version of itself, but the "smarter" program will tend to test better against other programs. So before concluding that the clone is stronger than R3 I would need to see a lot of data against unrelated engines, not head-to-head results. It is also true that a faster, dumber program should test increasingly poorly at longer time controls, though I think the first point about playing unrelated engines is more important.
http://rybkaforum.net/cgi-bin/rybkaforum/topic_show.pl?pid=215851;hl=

Zitat:

Well, to be precise a new program that was clearly made by decompiling Rybka 3 and putting it back together with changes to the evaluation function published its source code. So not the entire R3 code is public, but most of it other than the exact evaluation function is. The "author" does not publicly admit that his program was taken from R3, but Vas has said so and I can tell you that the similarities are so overwhelming that any claim to the contrary is a joke.
http://rybkaforum.net/cgi-bin/rybkaforum/topic_show.pl?pid=215772;hl=

Gruß
Axel

By Karl-Heinz Milaster Date 2010-06-01 20:36

Zitat:

I think people are just playing word games here. It is obvious that it is not a pure clone, but it is equally obvious that it is a near-clone. One of the tables in the eval is nearly identical to the one I submitted for R3, just some tiny variations (mostly 1/100 of a pawn); I didn't check other tables but it's probably the same story. If you compare evals at fixed depth with R3 1 cpu and remember to add the plies to R3 the scores are usually far closer than with any other program. One exception is positions with a material imbalance (involving pieces); then they can differ quite a bit, as do R232 and R3.

Hallo Axel,

solange Kaufman den Beweis für seine Behauptung nicht erbringt, muss man seine Aussage in die lange Reihe der unbewiesenen Behauptungen einreihen.
Und obwohl er andere Tabellen nicht untersucht hat, geht der davon aus, dass es probably the same story ist.
Das ist unterste Schublade - um es vorsichtig auszudrücken.
Es wäre doch kein Problem gewesen, die entsprechenden Tabellen zu veröffentlichen - dann wäre die Sache klar.
Und das Bewertungs-Parameter in centipawns definiert werden, ist nun wirklich nichts Rybka-spezifisches.

Gruss,
khm

By Gerhard Sonnabend Date 2010-06-01 20:56

Hi Karl-Heinz !

[quote="Karl-Heinz Milaster"]
[...snip...]
Und das Bewertungs-Parameter in centipawns definiert werden, ist nun wirklich nichts Rybka-spezifisches.
[/quote]

Das ist (war) anders gemeint.
LK spricht von leichten Anpassungen/Veränderungen im 1/100-Bereich.

Viele Grüsse,
G.S.

By Karl-Heinz Milaster Date 2010-06-01 21:07

Hallo Gerhard,

danke für die Berichtigung.

Gruss,
khm

By Axel Caro Date 2010-06-01 22:41 Edited 2010-06-01 22:45

Hallo Karl-Heinz,

das Missverständis mit "mostly 1/100 of a pawn" hat Gerhard ja schon (fast) aufgeklärt: Ich würde es übersetzen mit "meistens [nur] ein Hunderstel einer Bauerneinheit".

Zitat:

Und obwohl er andere Tabellen nicht untersucht hat, geht der davon aus, dass es probably the same story ist.
Das ist unterste Schublade - um es vorsichtig auszudrücken.

Das sehe ich anders. Ich schätze Larry so ein, dass er es nicht nötig hat die "unterste Schublade" zur Argumentation zu bemühen. Eine Vielzahl von Indizien (von denen die geringen Abweichungen von "mostly 1/100 of a pawn" ein Indiz sind) können in der Summe ein recht eindeutiges Gesamtbild ergeben.

Siehe auch http://de.wikipedia.org/wiki/Indizienprozess

Die Schwelle von einer Reihe vorliegender Indizien bis zum Indizienbeweis wird sicherlich jeder individuell interpretieren. Zudem ist die Schwelle von Tat- zu Glaubens-Sachen ebenfalls fließend und subjektiv motiviert.

Gruß
Axel

PS: Ein weiteres Indiz sehe ich übrigens hier:
http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=25712#pid25712

By Karl-Heinz Milaster Date 2010-06-01 22:55

[quote="Axel Caro"]Ich schätze Larry so ein, dass er es nicht nötig hat die "unterste Schublade" zur Argumentation zu bemühen.

Warum tut er es denn?

Zitat:

Eine Vielzahl von Indizien (von denen die geringen Abweichungen von "mostly 1/100 of a pawn" ein Indiz sind) können in der Summe ein recht eindeutiges Gesamtbild ergeben.

Es ist eine Vielzahl von behaupteten Indizien, die nicht nachprüfbar sind.
Ich denke, wir sollten die Diskussion beenden, weil sie nichts Neues zutage fördert.

Gruss,
khm
[EOM]

By Axel Caro Date 2010-06-01 23:33

Zitat:

Ich denke, wir sollten die Diskussion beenden, weil sie nichts Neues zutage fördert.

Einverstanden.

Gruß
Axel

(EOM = End of Maintenance oder End of Message?)

By Urs Maier Date 2010-06-01 23:39

ein behauptetes indiz gibt es nicht. entweder ist es ein indiz oder nicht. viele indizien für eine behauptung ergeben eine hohe wahrschenlichkeit für deren wahrheit.

By Karl-Heinz Milaster Date 2010-06-02 09:52

[quote="Urs Maier"]ein behauptetes indiz gibt es nicht. entweder ist es ein indiz oder nicht. viele indizien für eine behauptung ergeben eine hohe wahrschenlichkeit für deren wahrheit.[/quote]
Deine Postings zeichnen sich kontinuierlich durch ihre gleichbleibende Qualität aus.

By Urs Maier Date 2010-06-02 11:27

ich gehe davon aus, du meinst eine "gleichbleibend hohe" qualität.
danke sehr!

By Karl-Heinz Milaster Date 2010-06-02 11:57

[quote="Urs Maier"]ich gehe davon aus, du meinst eine "gleichbleibend hohe" qualität.danke sehr![/quote]
Das ist Deine Art des Indizienbeweises.

By Urs Maier Date 2010-06-02 12:09

in meinem fall war es eine annahme. es gab kein indiz und keinen beweis. am besten nimmst du dir mal einen duden, um alle unklarheiten zu beseitigen.

By Michael Waesch Date 2010-06-02 10:32

[quote="Axel Caro"]
Ich schätze Larry so ein, dass er es nicht nötig hat die "unterste Schublade" zur Argumentation zu bemühen.
[/quote]

Also wenn man den advocato diaboli spielen wollte, könnte man aber sagen: LK ist Mitautor und daher steht im wohl auch ein Teil des Verkaufserlöses zu. Er könnte daher ein finanzielles Interesse daran haben, daß man die "Klone" nicht ernst nimmt und weiterhin Rybka kauft. Was sind seine Aussagen unter diesem Gesichtspunkt dann noch wert?

Im übrigen habe ich kleinere Turniere mit den "Klonen", Rybka 3 und anderen Programmen laufen lassen und die Ergebnisse stützen LKs Aussagen, daß der Klon hier im Vergleich zu Rybka schlechter abschneiden müsse, nicht.

Mike

By Urs Maier Date 2010-06-02 11:34

auf der einen seite (anonyme authoren, frappierende ähnlichkeit zu rybka, unglaubliche spielstärke für erstlingswerk) pochst du auf die unschuldsvermutung - auf der anderen seite (bekannte, renommierte authoren, absolventen des MIT) spielst du den advokatus diaboli.

also, entschuldigung das nimmt dir doch niemand ab.

By Michael Waesch Date 2010-06-02 11:59

Willst du damit sagen, daß ich die Unschuldsvermutung dahingehend zu interpretieren habe, daß LK umsonst im Rybka-Team mitgearbeitet hat - und nicht, wie von mir vemutet, am Verkaufserlös beteiligt ist, und daher kein finanzielles Interesse an einem reibungslosen und durch Klone ungestörten Verkauf von Rybka hat?

Mike

By Urs Maier Date 2010-06-02 12:14

ich glaube 1. nicht, daß er prozentual am erlös beteiligt war und 2. hieße das noch lange nicht, daß es verständlich wäre, wenn er absichtlich irreführendes behauptet.
3. ist wohl gerade larry kaufman ein sehr nüchterner typ, von dem man das nicht erwarten würde.

By Michael Waesch Date 2010-06-02 13:07

Zwingend können wir in dieser Sache auf überhaupt nichts schließen. Ich sage nur, daß finanzielle Eigeninteressen seine Glaubwürdigkeit schwächen könnten. Wie weit das für den Einzelnen der Fall ist, muß jeder für sich selbst entscheiden. Und ansprechen darf man so etwas schon.

Mike

By Axel Caro Date 2010-06-02 20:27

Im Allgemeinen ist es sicherlich ein erkenntnisförderndes, einseitige Betrachtung relativierendes Mittel einen Sachverhalt aus der Perspektive eines advocato diaboli zu beleuchten. Allerdings sollte die damit einhergehende Argumentation auf einer fundierten Grundlage aufbauen. Diese kann ich bei deinen Argumenten nicht erkennen. Im Gegenteil, scheint mir diese eher auf bloßen Behauptungen, man könnte auch sagen, Unterstellungen, zu beruhen.

Welche Erkenntnisse liegen Dir vor, die ein ehrenrühriges, von finanziellen Interessen geleitetes (Fehl-) Verhalten nahe legen?

Zitat:

(...) könnte man aber sagen (...) könnte daher ein finanzielles Interesse daran haben (...)

Man könnte alles sagen. Ohne plausible Begründungen tendiert der Wert derartiger Aussagen alledings gegen Null.

Wenn man dann noch aus den vielen "Könntes" als Prämissen die Konklusio "sind" zieht ("Was sind seine Aussagen unter diesem Gesichtspunkt dann noch wert?"), dann wirft man mit der inhaltlichen Substanz zugleich auch die Logik mit über Bord.

By Michael Waesch Date 2010-06-02 20:32

Das hast du schön gesagt.

Mike