Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Neues über RobboLito.
1 2 3 Previous Next  
Parent - By peter struwel Date 2009-12-31 17:53
treffend!
Parent - By Klaus Rosenheim Date 2009-12-31 19:12
stimmt
Parent - - By Harry Schnapp Date 2009-12-27 08:29
[quote="Martin Hander"]
[quote="Harry Schnapp"]

Nach meinem Bericht hätte ich von den Lesern Meinungen über diesen "Robbolito" erwartet aber bisher nichts, nur über
meine Bemerkungen bezüglich der Mentalität mancher Spieler auf Playchess.

  Gruß,
   Harry
[/quote]

Das könnte an folgender Zeile aus dem ersten Post liegen:
"Konkret: Ich habe 100 Partien spielen lassen zwischen RobboLito 32-bit(scheint etwas besser zu sein als der 64-bit)"

Ein solches Statement, ohne nähere Erklärung oder Hinweise, deutet eigentlich (wenn es nicht Harry Schnapp wäre) auf einen gewissen (zumindest partiellen) Mangel an grundlegendem
Verständnis über Schach Engines hin. Damit wir der ganze übrige Inhalt des Berichts entwertet, so daß man das Interesse an einer Antwort verliert.

Die 64-Bit Version einer Bitboard basierten Engine wie Robbolito unterscheidet sich von der 32-bit Version nur durch eine höhere Geschwindigkeit,
da sie aus dem (bis auf einige Bitboard Befehle) identischen Sourcecode erzeugt wird. Sofern also nicht ein Compilerfehler vorliegt, muß die 64 Bit Version immer stärker als
die 32 bit Version sein.

Zu Robbolito:

Die Engine ist ohne Zweifel unter "zu hilfe name" von Rybka 3 Source Code entstanden, wahrscheinlich aus einem disassemblierten Rybka 3 oder Rybka 4 Beta.
Ob dies allerdings durch Kopieren von Sourcecode (mit nachträglichen Änderungen/Verbesserungen) passiert ist oder nur durch Neuimplementierung eines Teils der Algorithmen (was eigentlich erlaubt ist) läßt sich nur schwer sagen.

Die Entstehung des Sourcecodes deutet auf Ersteres hin, allerdings bleibt es dann rätselhaft, wieso nicht von Anfang an Multithreading dabei war.

Hätte Vasik Rajlich im normalen Jahresabstand (also August oder September, als noch kaum jemand RobboLito kannte) Rybka 4 veröffentlicht (das es zu diesem Zeitpunkt zweifellos schon gab),
wäre uns dieser ganze Zirkus erspart geblieben, und das Interesse an RobboLito wäre viel geringer gewesen.

Martin Hander
[/quote]

Hallo,
Vor diesem Test habe ich irgendwo unter anderem gelesen daß die 64 Bit Version mangelhaft compiliert sei.Zwei Stunden habe ich die Sache überprüft bevor ich mich entschieden habe doch 
mit dem 32 Bit RobboLito die Partien laufen zu lassen. Was Unterschied zwischen 32 und 64 Bit betrifft da kann ich nur sagen daß der Timo Klaustermayer mir seit Jahren NUR 64 Bit Maschinen baut so das ich darüber nicht belehrt werden muß!

Harry Schnapp
Parent - By Martin Hander Date 2009-12-27 13:04
[quote="Harry Schnapp"]

Hallo,
Vor diesem Test habe ich irgendwo unter anderem gelesen daß die 64 Bit Version mangelhaft compiliert sei.Zwei Stunden habe ich die Sache überprüft bevor ich mich entschieden habe doch 
mit dem 32 Bit RobboLito die Partien laufen zu lassen. Was Unterschied zwischen 32 und 64 Bit betrifft da kann ich nur sagen daß der Timo Klaustermayer mir seit Jahren NUR 64 Bit Maschinen baut so das ich darüber nicht belehrt werden muß!

Harry Schnapp
[/quote]

Hallo,

es sollte auch keine Belehrung sein, bitte um Entschuldigung, falls dieser Eindruck entstanden ist.

Ich wollte nur darauf hinweisen, das eine Erläuterung, warum man die (im Normalfall deutlich langsamere) 32-bit Version der 64-Bit Version vorzieht,
an dieser Stelle schon wichtig und auch interessant gewesen wäre.

Martin Hander
Parent - - By Clemens Keck Date 2009-12-27 15:26
Hallo HArry, und hallo an alle die hier gepostet haben

Ich finde den "Verlauf" Deines Postings ungaublich amüsant. Ja, macht mich nur nieder deswegen!!
Aber es wirkt auf mich wie wenn es ein Komiker für die Bühne geschrieben hat. Wirklich unheimlich witzig.

Als ich das Posting las Harry, wusste ich nicht so recht was damit anzufangen (entschuldige bitte, ich meine das nicht böse ).
Ich wusste einfach nicht was Du uns damit sagen wolltest. Okay, als Ober-Verrückter habe ich mich auch leicht an dieser "verrückten" Aussage gestört, aber vielleicht stimmts ja auch ein wenig... Naja, mich hat es nicht beleidigt jedenfalls.
Nun hat es doch schon fast 40 Antworten darauf gegeben.
Die lustigsten sind die Klugscheisser die sich am "Königsendspiel" aufgeilen.
Danach kommen dann die "entschuldige Dich bitte" Leute und der Rest.
Es ist eine großartige Parodie, und ich hoffe alle können über sich selber mal lachen und werden mich jetzt nicht wegen meiner Ansicht verreissen.

Tschöööö

Clemens Keck
Parent - By Michael Enderle Date 2009-12-27 15:56
hi

warum dich zerreissen - wo du recht hast hast du recht.
ich bin ein "hobby-entertainer" - wenn jemand über meine beiträge lacht ist mir das 100 mal lieber wie wenn jemand darüber heult.
ist es nicht das ziel eines forums auch unterhaltung zu bieten?
nur desshalb antworte ich auf den einen oder anderen beitrag - nur desshalb(auchtung - outing) hab ich wieder ein stammpasswort beantragt(wobei ich mich immernoch von einigen gestalten dieses forums ausdrücklich distanzieren werde).


micha
Parent - - By Harry Schnapp Date 2009-12-27 17:56
[quote="Clemens Keck"]
Hallo HArry, und hallo an alle die hier gepostet haben

Ich finde den "Verlauf" Deines Postings ungaublich amüsant. Ja, macht mich nur nieder deswegen!!
Aber es wirkt auf mich wie wenn es ein Komiker für die Bühne geschrieben hat. Wirklich unheimlich witzig.

Als ich das Posting las Harry, wusste ich nicht so recht was damit anzufangen (entschuldige bitte, ich meine das nicht böse ).
Ich wusste einfach nicht was Du uns damit sagen wolltest. Okay, als Ober-Verrückter habe ich mich auch leicht an dieser "verrückten" Aussage gestört, aber vielleicht stimmts ja auch ein wenig... Naja, mich hat es nicht beleidigt jedenfalls.
Nun hat es doch schon fast 40 Antworten darauf gegeben.
Die lustigsten sind die Klugscheisser die sich am "Königsendspiel" aufgeilen.
Danach kommen dann die "entschuldige Dich bitte" Leute und der Rest.
Es ist eine großartige Parodie, und ich hoffe alle können über sich selber mal lachen und werden mich jetzt nicht wegen meiner Ansicht verreissen.

Tschöööö

Clemens Keck
[/quote]

Hallo Clemens,
Der"Verlauf"meines Postings war genau wie ihn Du beschrieben hast aber amüsant waren manche Dialoge und keinesfalls das Drehbuch.
Wenn Du nicht wusstest was damit anzufangen und was ich damit sagen will das bleibt Dir überlassen,ist aber ziemlich traurig.
Schau Dir Mal an was für ein Wirbel dieser "Robbo" in englischsprachigen Foren ausgelöst hat,es wäre durchaus angemessen auch hier
ein wenig darüber zu diskutieren,einfach und ohne Ansprüche.Daher habe ich auch diesen Test erwähnt als Anlaß für einen kleinen Meinungsaustausch.
Ob Du mich jetzt besser verstanden hast das weiß ich nicht,ist auch egal.
Ich danke jedenfalls denjenigen die sich sachlich geäußert haben.

  Gruß,
  Harry
   
Parent - By Clemens Keck Date 2009-12-27 18:59
Hallo Harry,

ich bin zwischenzeitlich zu der Überzeugung gekommen, dass es sich bei Robbo um einen Clone handelt. Deswegen springe ich auf fast gar nichts an, was diese engine betrifft.
Warte mal wenn die ersten Ratinglisten mit Stockfish 1.6 soweit sind! Das dürfte mit Abstand die neue Nummer 2 werden.
Die Spielweise und die schönen Siege gegen rybka 3 sind wirklich sehenswert.

Ich habe mich nach Deinem Posting gefreut, wieder mal was von Dir zu hören .

LG ; Clemens
Parent - By Benno Hartwig Date 2009-12-28 20:12
[quote="Harry Schnapp"]RobboLito hat mit +29 -21 =50 gewonnen !! .[/quote]Bei sehr kurzen Denkzeiten hatte Robolito schon in sehr vielen Partien seine Überlegenheit gegenüber R3 32bit 1core gezeigt.
Bei längeren Zeiten wurde ja vermutet, dass R3 noch überlegen ist. Gibt es da inzwischen eine aussagefähige Zahl von Spielen?
Ich fand bislang nur kleinere Stichproben.
Benno
Parent - - By Axel Caro Date 2009-12-30 19:22
Hallo Harry,

der Versuch eine neutrale Diskussion über Robbolito zu initiieren ist offensichtlich nicht von Erfolg gekrönt gewesen. Es scheint eine Ausnahme zu sein, dass in einem Thread der rote Faden beibehalten und nicht auf (mehr oder weniger fruchtbare) Nebenkriegsschauplätze ausgewichen wird. Auch ich habe mir (noch) kein abschließendes Urteil über Robbolito (ob Clone oder nicht Clone) bilden können. Meine Erfahrung in solchen Streitfragen zeigt mir, dass es von Vorteil ist, bei der Sammlung und Abwägung von Fakten so weit wie möglich an der Quelle zu bleiben. Diese sind in diesem Fall die "Veröffentlicher" von Robbolito, die auf ihrer Internetseite http://www.chesslogik.com/robbolito.htm einige Argumente aufführen, welche eine Clone-Hypothes widerlegen sollen.

Auf der anderen Seite soll Vasik Rajlich sich konkret zu einem Cloneverdacht geäußert haben (nämlich, dass es sich aus seiner Sicht um einen Clone handelt). Leider habe ich ein entsprechendes Orgiginalzitat nicht finden können (für einen Hinweis wäre ich dankbar). Allerdings hat ein aus meiner Sicht glaubwürdiger, recht aktiver Teilnehmer des Rybkaforums eine für mich nachvollziehbare Argumentation  aufgezeigt:

Zitat:
I don't know if you really believe what you are saying or if you have crossed fingers behind your back with eyes rolled up.  According to Vas, who is probably the only one that can compare sources of Rybka 3 and RL, RL has a VERBATIM (means exactly identical) code from Rybka 3.  As of today, not all of R3 is disassembled and about half of the evaluation code is missing, so the engine has a very fast search ala R3 but without other evaluation functions that can make it stronger at longer time controls.  This gives the engine a somewhat different evaluation than R3 but it can compensate somewhat by being able to run the executable much faster due to the executable being much smaller and running unencrypted.  Now you can say that Vas is a liar and he is making it up and that is fine, but for many of us that have been around Vas know that he will not make up such a claim unless there was solid proof.  Again you can say that YOU personally need to see all of R3's code to make YOUR own judgement ... but maybe releasing all of R3's source code is not in Vas's best interest I would think.  I remember the same thing happening with Strelka ... where Vas also said it was cloned from Rybka, yet you had people again swearing on their mother's life that it had nothing to do with Rybka and it was all original code ... until of course the author of the program actually fessed up and told all.

Now with regards to engines gaining out of release of disassembled Rybka source code ... well you look at it as you wish.  But during both episodes where Rybka clones were released, there was a huge jump in ELO of most engines.  This could be of course just a coincident, but you cannot blame anyone for noticing the timing of such dramatic jumps in ELO.  However I do think there is a HUGE difference between stealing code from an engine and claiming it is your own effort, and taking ideas and data out in the public domain to improve your own engine.
http://rybkaforum.net/cgi-bin/rybkaforum/topic_show.pl?pid=213298;hl=clone


In einem weiteren Post nimmt  selbiger Autor Stellung zu der Frage, wie es zu erklären ist, dass ein Clone spielstärker als das Original sein kann:

Zitat:
Make no mistake about it, the cloned engine mentioned is a "verbatim" copy of Rybka 3.  So far only about 50% of the evaluation has been hacked and many parts are still missing (such as MP etc...).  It has an edge over R3 at very fast time controls because it runs the executable much faster due to being a smaller executable and probably being unencrypted and unobfuscated.    I tested it and found a linear result against R3, where when you reach about 16 minutes a game at 4Ghz it will start to get overtaken by Rybka 3.  I haven't tested longer than that but the results from 1 0 to 16 0 are very linear.  Anyone who is claiming that it has nothing to do with Rybka 3 most certainly has his fingers crossed behind his back.
http://rybkaforum.net/cgi-bin/rybkaforum/topic_show.pl?pid=212454;hl=clone


Nachweihnachtliche und vorsilvesterliche Grüße
Axel
Parent - - By Ingo Bauer Date 2009-12-30 19:49
Hallo Axel,

zuerst würde ich dem Autoren des Textes asu dem Rybkaforum inhaltlich zustimmen wollen (mit Ausnahme das "ein größerer Sprung" bei anderen Engines anch der Veröffentlichung von Strelka gemacht wurde - da nimmt sich jemand zu wichtig (Robbo kann anders sein!)) und auch wenn ich kein Anwalt bin kann ich mir eine Meinung über 'Cloning' bilden.

Wenn man davon ausgeht (und das tue ich) das KEIN Engineprogrammierer ein Patent auf eine technische Methode seines Programms angemeldet hat, ist alles was bleibt das Copyright. http://de.wikipedia.org/wiki/Softwarepatent

Das Copyright wiederum enthält nichts über Dissasemblieren und neuschreiben. Man kann jetzt darüber lamentieren ob das richtig ist oder nicht, aber nach meinem Verständniss ist alles was nicht verboten ist erlaubt.

Ich bin kein Anwalt und lasse mich gerne von einem hier verbessern, aber das was uns hier seit Wochen erregt, dürfte (zumindest in der EU) rechtlich OK sein.

Gruß
Ingo
Parent - - By Axel Caro Date 2009-12-30 20:26
Hallo Ingo,

auch ich bin kein Anwalt. Dennoch bin ich der Meinung, dass nicht alles was erlaubt (weil nicht explizit verboten) ist, auch (nach subjektiven Moralvorstellungen) "richtig"  ist. Für ein abschließendes Urteil, ob "richtig" oder "nicht richtig" liegen mir aber noch immer nicht ausreichend valide Fakten vor.

By the way: Ich wollte anlässlich eines enginematches zwischen Robbolito-Versionen auf Deiner IPON List zwecks Plausibilitätsprüfung nachsehen, habe aber keine Robbolito-Versionen mehr gefunden. Hast Du diese entfernt?

(Ich hatte über die Nacht unter Fritz 12 ein Match zwischen Robbolito085e4 und Robbolito085g3 durchgeführt [Q6600@2,4 Ghz, 4+2, 512 MB hash, Ponder OFF]. Seltsamerweise scheint die Fritz-GUI (?) viele Partien (ca. 25%) nicht zu werten ["line" statt 1-0, 0-1 oder 1/2-1/2] - da werde ich noch einmal händisch nachbessern müssen.)

Gruß
Axel
Parent - - By Ingo Bauer Date 2009-12-30 22:00
Hallo

[quote="Axel Caro"]
....
By the way: Ich wollte anlässlich eines enginematches zwischen Robbolito-Versionen auf Deiner IPON List zwecks Plausibilitätsprüfung nachsehen, habe aber keine Robbolito-Versionen mehr gefunden. Hast Du diese entfernt? ...
[/quote]

Ja, warum steht auch da und hier, einfach mal meine Posts zurückgehen

Gruß
Ingo
Parent - - By Axel Caro Date 2009-12-31 08:18 Edited 2009-12-31 08:25
Hm, suche wohl irgendwie an der falschen Stelle. Zumindest hier im Forum hab ich nichts gefunden. Auf Deiner IPON-Site folgendes:

Zitat:
2009.12.23
Engine added RobboLito 0.085g2 x64 1500 games
As I tested two Robbos with just one day difference, and now there is a newer Robbo out already I
stop testing the engine for a while. Additionaly the difference between them was 'just' 15 Elo, so
I decided to remove the first Robbo version completly of my database because of beeing too close to its
successor. (I like to keep this rating list as a release list and not a beta list)


"(...) already I stop testing the engine for a while." und "(...) remove the first Robbo version (...)" hatte ich interpretiert mit: "Ich entferrne die erste Robbo-Version, lasse die Ergebnisse der zuletzt getesteten  Version drin und warte erst einmal ein zuverlässiges Release ab."

Ob aber mit oder ohne Robbolito, Daumen hoch für Deine qualitativ hochwertige und aussagekräftige Ratingliste!

Zum Thema Robbo-Clone habe ich übrigens soeben eine weitere interessante "quellennahe" Aussage gefunden, nämlich von Larry Kaufman:

Zitat:
At least one idea discussed on other forums that was attributed to Rybka 3 via the clone is already implemented in Stockfish 1.6, and was apparently the main reason for its large jump in strength over 1.5. So at least this idea will surely be in all top programs soon. Some developers will study the clone code themselves, while others may only use ideas they read about that came from the clone, but sooner or later other programs will show large gains from this information. At the very least, once an idea is implemented in a legitimate open-source program like Stockfish, it becomes accepted as something every programmer may use. As for evaluation, actually right now I'm helping Don as much with the search as with eval. I knew very little about search while working on R3, but that's no longer so.
http://rybkaforum.net/cgi-bin/rybkaforum/topic_show.pl?pid=214685#pid214685


Was mich dabei etwas ins Grübeln bringt, ist, dass Larry scheinbar glaubt, dass die Weiterverwendung von "geklauten" Ideen durch Nutzung von Clone-Code in open-source-software wie Stockfish den ursprünglichen Diebstahl legalisiert.

Diese Zitat ist übrigens eine Forsetzung eines Postings, in dem Larry über seine Mitarbeit an DOCH berichtet:

Zitat:
I usually look at the forum once a week or so. Currently I'm working with Don Dailey on the chess program "Doch", rated 7th by both CCRL and CEGT for single core programs (counting only one program per author), and moving up very rapidly. We hope to make the top three soon, unless others besides Rybka and Stockfish make big leaps.
http://rybkaforum.net/cgi-bin/rybkaforum/topic_show.pl?pid=214674#pid214674


Gruß
Axel
Parent - By Axel Caro Date 2009-12-31 08:37
[quote="Axel Caro"]
Hm, suche wohl irgendwie an der falschen Stelle. Zumindest hier im Forum hab ich nichts gefunden. Auf Deiner IPON-Site folgendes:

Zitat:
2009.12.23
Engine added RobboLito 0.085g2 x64 1500 games
As I tested two Robbos with just one day difference, and now there is a newer Robbo out already I
stop testing the engine for a while. Additionaly the difference between them was 'just' 15 Elo, so
I decided to remove the first Robbo version completly of my database because of beeing too close to its
successor. (I like to keep this rating list as a release list and not a beta list)


"(...) already I stop testing the engine for a while." und "(...) remove the first Robbo version (...)" hatte ich interpretiert mit: "Ich entferrne die erste Robbo-Version, lasse die Ergebnisse der zuletzt getesteten  Version drin und warte erst einmal ein zuverlässiges Release ab."

Ob aber mit oder ohne Robbolito, Daumen hoch für Deine qualitativ hochwertige und aussagekräftige Ratingliste!

Zum Thema Robbo-Clone habe ich übrigens soeben eine weitere interessante "quellennahe" Aussage gefunden, nämlich von Larry Kaufman:

Zitat:
At least one idea discussed on other forums that was attributed to Rybka 3 via the clone is already implemented in Stockfish 1.6, and was apparently the main reason for its large jump in strength over 1.5. So at least this idea will surely be in all top programs soon. Some developers will study the clone code themselves, while others may only use ideas they read about that came from the clone, but sooner or later other programs will show large gains from this information. At the very least, once an idea is implemented in a legitimate open-source program like Stockfish, it becomes accepted as something every programmer may use. As for evaluation, actually right now I'm helping Don as much with the search as with eval. I knew very little about search while working on R3, but that's no longer so.
http://rybkaforum.net/cgi-bin/rybkaforum/topic_show.pl?pid=214685#pid214685


Was mich dabei etwas ins Grübeln bringt, ist, dass Larry scheinbar glaubt, dass die Weiterverwendung von "geklauten" Ideen durch Nutzung von Clone-Code in open-source-software wie Stockfish den ursprünglichen Diebstahl legalisiert.

Diese Zitat ist übrigens eine Forsetzung eines Postings, in dem Larry über seine Mitarbeit an DOCH berichtet:

Zitat:
I usually look at the forum once a week or so. Currently I'm working with Don Dailey on the chess program "Doch", rated 7th by both CCRL and CEGT for single core programs (counting only one program per author), and moving up very rapidly. We hope to make the top three soon, unless others besides Rybka and Stockfish make big leaps.
http://rybkaforum.net/cgi-bin/rybkaforum/topic_show.pl?pid=214674#pid214674


Gruß
Axel
Parent - - By Ingo Bauer Date 2009-12-31 10:20
[quote="Axel Caro"]
Hm, suche wohl irgendwie an der falschen Stelle....
[/quote]

Yup, hier nochmal in konzentrierter Form:

von http://www.iwob.de

Regeln: No engines with fake programmer names are accepted!

News: 29.12: I implemented a new, convincing, easy rule which has thrown out RobboLito and Strelka
Please check the rules section for details! ...

und von hier: http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=18338;hl=

Gruß
Ingo
Parent - By Axel Caro Date 2009-12-31 20:56
I see, danke!

Elegant gelöst mit der Fake-Namen-Regel

Larry Kaufmann trägt mit aktuellen Beiträgen im Rybka-Forum seinen Teil dazu bei, etwas mehr Licht ins Dunkel zu bringen. Danach geht er von Reverse-Engineering und ebenfalls von einer Verwendung von Clone-Ergebnissen in Stockfish 1.6 aus.

Larry's Ansicht, dass ein Programmierer (um konkurrenzfähig bleiben zu können) immer versuchen muss, erfolgreiche Ideen anderer aufzugreifen, teile ich uneingeschränkt; zumindest, wenn dieses "aufgreifen" legal geschieht.

Vas hat in seinem Interview mit Nelson Hernandez übrigens ganz klar (und unverkrampft-fatalistisch) zur Clone-Problematik Stellung genommen: Das sei halt die Realität und damit müsse jeder Programmierer leben und umgehen. (S)Eine Art des Umgangs damit wird die Online-Variante von Rybka sein.

Hier einige Zitate von Larry.

Zitat:
I'm not sure I follow you here. Clearly the reverse engineering of Rybka is indeed "the highest form of flattery"; as to why the author(s) of the clone don't openly admit it I can't say. But the specific idea I'm talking about here is attributed to the clone (and hence by implication to Rykba) in the forum where it was discussed, so I don't think Stockfish or any other program which uses this idea is denying its origin. Once a good idea becomes common knowledge, regardless of its origin, programmers must use it (if it helps) to remain competitive.
http://rybkaforum.net/cgi-bin/rybkaforum/topic_show.pl?pid=214818#pid214818


Zur Frage, ob er sich mit Vas überworfen habe, da er jetzt an DOCH arbeite:

Zitat:
I am still on good terms with Vas, and may eventually help make alternate personalities for Rybka as I did with Rybka 3. Working with Don Dailey is much more interesting because we are in constant communication, there are no secrets, and because any ideas I come up with are usually implemented and tested within a day or two. Vas is just much busier than Don, so this level of interaction wasn't generally practical. The time zone difference between USA and Poland was also a drag. Finally I don't think of Doch as competition for Rybka, the gap is just too wide, but I do expect Doch to be competition for Fritz, Shredder etc. Still, you never know what we might discover!
http://rybkaforum.net/cgi-bin/rybkaforum/topic_show.pl?pid=214783#pid214783


Und zur Frage, was genau Rybka und den Clone stärker macht als die Konkurrenz (Stichwort: singular extensions):

Zitat:
I don't think this is the place to publicize ideas from Rybka that were supposed to be secret, but the Stockfish 1.6 notes make it obvious that the big change in this version was a new way of doing "singular extension", improved from the way it was done in Deep Thought/Deep Blue.
http://rybkaforum.net/cgi-bin/rybkaforum/topic_show.pl?pid=214788#pid214788


Guten Rutsch!
Axel
Parent - By Christian Koch Date 2009-12-30 22:28
evtl. mal eine GUI nehmen die gut funktioniert...

SHREDDR12

CB GUI ist voller Fehler.
Parent - - By Benno Hartwig Date 2009-12-30 20:25
Ich kann mir nicht vorstellen, dass jener Autor Recht hat mit seiner Einschätzung:
"So far only about 50% of the evaluation has been hacked and many parts are still missing (such as MP etc...).  It has an edge over R3 at very fast time controls because it runs the executable much faster due to being a smaller executable and probably being unencrypted and unobfuscated."

Wenn es so einfach wäre, eine bei langen Zeiten superstarke Engine bei sehr kurzen Zeiten noch einmal weit überlegen zu machen, indem auf manchen Evaluierungscode einfach verzichtet wird, dann wäre es sicher für jeden Developer eine Kleinigkeit bei kurzen Zeiten diesen Code rein logisch zu deaktivieren, ohne die Engine bei langen Zeiten zu schwächen. Und das hätte Vas, der ja auch den Blitz-Titel mag, sicher realisiert!

Nein. so kann die Überlegenheit von Robolito bei sehr kurzen Zeiten sicher nicht erklärt werden.

Möglich bleibt wohl nur
- doch Eigenentwicklung (von mir aus mit Ideenklau aus diversen Quellen und sehr respektabler und effizienter Zusammenbau!)
- Klau von R3, und logische echte Weiterentwicklung (Respekt immerhin für die sehr gravierende Weiterentwicklung!)
- Klau von R4beta
wobei ich 'Klau' vestehen möchte als Sourcen- oder direkte Ideen-Übername (wie auch immer).

Robbolito einfach als teilübernommene R3 erscheint mir hingegen ausgeschlossen!
Und auf R4 bin ich nun mit Blick auf Robbolito wirklich sehr gespannt.

Benno
Parent - - By Axel Caro Date 2009-12-30 21:17
Hallo Benno,

danke für Deine Ausführungen. Wieder ein paar Puzzelsteine mehr zu einem komplexen Bild. Fraglich ist hier auch, was N ANSARI unter "hacked" versteht. Disassemblieren einer .exe scheint (nach allem was mir als Laien unter die Augen gekommen ist) unwahrscheinlich bis unmöglich - zumindest in einer Art, die konkrete Funktionalitäten aus- und einzubauen erlaubt.

Dein Argument, dass Vas eine dynamische, zeitabhängige Programmcode-Komplexitäts-Anpassung sicher bereits selbst implementiert hätte erscheint plausibel. Ausschließen, dass ein kluger Kopf auch mal eine gute Idee auslässt, möchte ich aber auch nicht.

Die 3 Erklärungsalternativen die Du vorschlägst, sind auch diejenigen, welche ich abwäge:

- Eigenentwicklung mit "kreativem" Ideenklau
- Logische (und kenntnisreiche) Weiterentwicklung eines "geklauten" R3-Codes
- Veröffentlichung (und ggf. geringe Anpassung) eines "geklauten" R4-Codes

In den ersten Wochen der Robbolito (bzw. Ippolit) Clone-Diskussion, war ich fest davon überzeugt, dass es sich nur um einen geklauten R4-Code handeln könnte. Das  für mich ausschlaggebende Argument war das Auftreten der "Schöpfer" der neuen  Wunderengine. Die kindisch-propagandistische und pupertär-weltverbesserliche Art und Weise ihres Internet-Auftritts erschien mir einfach zu unseriös, ja lachhaft,  um überhaupt einen Gedanken daran zu verschwenden, dass dahinter kenntnisreiche, versierte Engineprogrammierer stecken könnten. Vas dagegen halte ich für einen seriösen, integren, geistreichen Charakterkopf  (was natürlich subjektiv begründet ist und lediglich auf Internetkontakten  und  - Informationen  basiert), dessen Aussagen ich für wesentlich glaubwürdiger halte, als  die von jenen selbsternannten Klassenkämpfern.

Das sind natürlich keine schachspezifischen Argumente für oder gegen  einen Clone-Verdacht, nichtsdestotrotz  halte ich sie für triftig.

Auf R4 bin ich auch gespannt. Jedoch hat Vas mit seinen Aussagen im Interview meine Erwartungen  etwas  gedämpft. Danach scheint sein Fokus eindeutig auf der Mulitcore-Online-Variante zu liegen. Eine sensationelle ELO-Steigerung hat er mit folgender Aussage verneint (Hervorhebung von mir):

Zitat:
NH:  Will it be an earthquake in computer chess, or...just a slight tremor?  What's the headline here, "faster, better, stronger"?

VR:  Rybka 4, the commercial release, will be a clear step forward.  It won't be an earthquake on the scale of the previous releases, simply because the earthquake now will be the Internet version.  This is where I'm transitioning, this is the main focus, this is the main thing that will give the most value to people, and in two years, you won't believe that you previously didn't have an Internet version to use, but that's the big step forward now.  Rybka 4, the commercial version, is more of a continuation.  There are some users who will be uncomfortable with the Internet model, there are some users who won't have access to the Internet, and for these users, and also for publicity, we're going to have commercial Rybka 4, and it will be a good product.


Ich rechne mit ca. 50+ ELO zu R3.

Hier der Link zum Interview:

http://rybkaforum.net/cgi-bin/rybkaforum/topic_show.pl?tid=14546

und zur Abschriift eines fleißigen (Rybka-) Forumusers:

http://rybkaforum.net/mwf/rybkaattach/21/214321/NelsonHernandezVasikRajlichinterviewW031.doc

Gruß
Axel
Parent - By Udo Kaiser Date 2009-12-31 00:05
also mich wird jedenfalls eine mietsoftware nicht interessieren.
Parent - - By Axel Caro Date 2010-01-04 21:48
[quote="Benno Hartwig"]
(...) Robbolito einfach als teilübernommene R3 erscheint mir hingegen ausgeschlossen!
(...)


Hallo Benno,

hier eine (wie ich finde) wieder einmal interessante Aussage von Larry Kaufman zum Clone-Thema.

Zitat:
It runs thru the plies much faster than R3, even a bit faster than R3 on two cores (adding 3 plies to R3 reported depths for a fair comparison). Apparently the cloners did a good job of choosing which eval features were essential and which ones were barely worth the slowdown. All the eval added from R2 to R3 slowed R3 down by nearly as much as the reported speedup in the clone, and if some of the best R3 eval changes were kept and if code in R3 intended to make cloning difficult were removed this would pretty well explain the results. Maybe also the cloner found ways to optimize the code a bit while doing all the decompiling and analyzing the program.
     I think people are just playing word games here. It is obvious that it is not a pure clone, but it is equally obvious that it is a near-clone. One of the tables in the eval is nearly identical to the one I submitted for R3, just some tiny variations (mostly 1/100 of a pawn); I didn't check other tables but it's probably the same story. If you compare evals at fixed depth with R3 1 cpu and remember to add the plies to R3 the scores are usually far closer than with any other program. One exception is positions with a material imbalance (involving pieces); then they can differ quite a bit, as do R232 and R3.
     One point to make is that my testing pretty well established that if you speed up a program at the expense of knowledge, it will tend to test well against the slower version of itself, but the "smarter" program will tend to test better against other programs. So before concluding that the clone is stronger than R3 I would need to see a lot of data against unrelated engines, not head-to-head results. It is also true that a faster, dumber program should test increasingly poorly at longer time controls, though I think the first point about playing unrelated engines is more important.
http://rybkaforum.net/cgi-bin/rybkaforum/topic_show.pl?pid=215851#pid215851


M ANSARI schließt sich den Überlegungen an: http://rybkaforum.net/cgi-bin/rybkaforum/topic_show.pl?pid=215861#pid215861

Es scheint mir damit nahezu bewiesen, dass es sich um einen angepassten, reenginierten R3-Code handelt.

Gruß
Axel
Parent - - By Kurt Utzinger Date 2010-01-04 22:14
[quote="Axel Caro"]
Hallo Benno,
hier eine (wie ich finde) wieder einmal interessante Aussage von Larry Kaufman zum Clone-Thema.
Zitat:

One point to make is that my testing pretty well established that if you speed up a program at the expense of knowledge, it will tend to test well against the slower version of itself, but the "smarter" program will tend to test better against other programs. So before concluding that the clone is stronger than R3 I would need to see a lot of data against unrelated engines, not head-to-head results. It is also true that a faster, dumber program should test increasingly poorly at longer time controls, though I think the first point about playing unrelated engines is more important.
http://rybkaforum.net/cgi-bin/rybkaforum/topic_show.pl?pid=215851#pid215851

[...]
Gruß
Axel


Dann warten wir also (endlich) auf Leute, die Tests mit "normalen" Bedenkzeiten - wie sie im
Turnierschach üblich sind - veranstalten, um zu sehen, dass RobboLito nicht besser ist als Rybka.
Alle Blitz-Ranglisten müssen dem Umkehrschluss von Larry Kaufman folgend als nicht relevant
angesehen werden 

Mfg
Kurt
Parent - - By Axel Caro Date 2010-01-05 06:39
...und vor allem sollte Robbolito nicht vorrangig gegen Rybka getestet werden, da dies das Ergebnis (zugunsten von Robbolito) erheblich verzerrt.

Gruß
Axel
Parent - - By Urs Maier Date 2010-01-05 12:51
ich finde sogar, robbolito sollte gar nicht getestet werden. für mich ist das eindeutig illegal erstellte software, die insgesamt schlecht fürs computerschach ist, weil sie denjenigen, die damit geld verdienen wollen, das wasser abgräbt. die hacker, die diese software bereitstellen, haben keinen kreativen input geleistet, sondern kopiert.
Parent - - By Hüseyin Özoguz Date 2010-01-05 13:02
Ich schlage vor, dass man dann Robbolito auch kopiert, wenn man durch Kopieren jedes Mal etwa 50 Elo schafft, dann brauchen wir ja gar nicht so oft kopieren um eine 3500-Elo Engine zu haben.
Parent - - By Urs Maier Date 2010-01-05 13:25
Larry Kaufman:
Well, to be precise a new program that was clearly made by decompiling Rybka 3 and putting it back together with changes to the evaluation function published its source code. So not the entire R3 code is public, but most of it other than the exact evaluation function is. The "author" does not publicly admit that his program was taken from R3, but Vas has said so and I can tell you that the similarities are so overwhelming that any claim to the contrary is a joke.

warum soll ich sowas unterstützen?
Parent - - By Michael Scheidl Date 2010-01-05 13:58
Im selben Thread fand ich Anmerkungen eines Posters names BB interessant, der sich das ganze offenbar sozusagen "codenah angeschaut" hat. Vermutlich ein Programmierer. Der findet die Ähnlichkeiten anscheinend weniger deutlich, geht sehr ins Detail und führt auch Unterschiede an:

http://rybkaforum.net/cgi-bin/rybkaforum/forum_search.pl?uid=2060;mode=uid
Parent - - By Axel Caro Date 2010-01-05 17:12
Hallo Michael,

es wäre natürlich schön, wenn diese Aussagen ein gestandener (deutschsprachiger) Programmierer erläutern und bewerten könnte. Mir fehlt dazu die ausreichende Fachkenntnis. Dennoch erscheinen mir die Darlegungen interessant und nicht aus der Luft gegriffen.

Der wesentliche Aspekt ist und bleibt die Definition des Begriffs "clone"...

Zitat:
BB: Briefly, I agree that the main problem is the word "clone"


...also die Abgrenzung von "geklauten und kopierten" Ideen, zu "aufgegriffenen und eigenständig weiterentwickelten" Ideen.

Gruß
Axel
Parent - By Michael Scheidl Date 2010-01-05 17:38
Ideenübernahme, aber mit selber geschriebenen Code, fände ich harmlos im Vergleich zum direkten Ent- bzw. Übernehmen von Programmteilen, sei es durch Copy & Paste oder etwas lediglich technisch aufwendigeres derselben Kategorie. Ersteres mag u.U. unmoralisch sein, je nach Quelle und wie man damit umgeht, doch um richtig illegal zu sein Bedarf es wohl letzterem.

Im CCC äußern sich derzeit mitunter gern zitierte Kapazitäten dahingehend, daß sie zwar Ippo/Robbolito für einen Clone von "irgendetwas" halten, aber keine Beweise kennen daß es sich dabei um Rybka 3 handelt:

http://talkchess.com/forum/viewtopic.php?topic_view=threads&p=315361&t=31466
http://talkchess.com/forum/viewtopic.php?topic_view=threads&p=315375&t=31466

Nicht daß ich diesen Herren bedingungslos glaube aber mir scheint, da liegen sie richtig. Es ist faktisch das gleichbleibende Bild das sich darbietet, seit diese Engine bekannt wurde.
Parent - - By Thomas Müller Date 2010-01-05 18:58
so schwer ist es vielleicht nicht? ....

geklaut/kopiert = clone
aufgegriffen/weiterentwickelt = ok (wenn es von open source ist & wieder als open source weitergegeben wird)
aufgegriffen/weiterentwickelt aus decompilierten code oder von open source zu close source = clone
eigenständig ist eh klar

--
TM
Parent - - By Axel Caro Date 2010-01-05 20:07
Ich denke, die Frage "clone" oder "nicht clone" ist eher moralischer als rechtlicher Natur. Rein rechtlich dürfte an dem "Decompilieren und Neuzusammenbauen" (ob durch eigene Ideen bereichert oder nicht) nichts auszusetzen sein. Die .exe Datei ist das Eigentum eines jeden Käufers. Da kann er dann ganz legal und nach Herzenslust mit aller möglichen Software daran herumexperimentieren und sich auf die Suche nach den verborgenen Programmiergeheimnissen machen. Jener BB oder Dan Corbit scheinen ebendies ja auch mit unschuldig-leidenschaftlicher Neugier zu betreiben. Die durch jene arbeitsreichen Untersuchungen herausdestillierten Erkenntnisse  dann  in eigenen Produkten nutzbringend weiterzuverwenden mag vielleicht moralisch anstößig ercheinen, kollidiert jedoch mangels hier greifenden Copy-Right-Ansprüchen mit keinem (mir bekannten) Gesetz.

"aufgegriffen/weiterentwickelt aus decompilierten code = clone" hieße in eine moralische Gleichung übersetzt also in etwa:
"Die Ergebnisse geistiger Leistungen anderer aus Mangel an Talent und/oder Fleiß übernehmen = unmoralisch"

Das ist aber nur die Hälfte der moralischen Wahrheit. Die andere (beinahe bedeutendere) Hälfte heißt doch:

"Die Ergebnisse  geistiger Leistungen anderer überrnehmen und als seine eigenen ausgeben = unmoralisch" Also kurz gesagt, sich mit fremden Federn zu schmücken.

Im Ergebnis würde dies heißen: Sollte es sich bewahrheiten, dass die Robollito-Macher aus einem Decompilat von Rybka originäre Ideen von V. Rajlich entnommen, diese in ihrem Programm verwendet und als eigene Ideen augegeben haben, so wäre dies legal aber unmoralisch.

Unabhängig von diesen Moralfragen kann man allerdings  gespannt sein, was die freie Verfügbarkeit des Robbo-Codes für die  Entwicklung der anderen (legalen, kommerziellen und nicht-kommerziellen) engines bedeutet. 

Die Büchse der Pandorra ist  geöffnet und nun nicht mehr zu schließen.
Welchen (ELO-) Wert haben die nun frei zugänglichen Programmierkniffe? Machen sie den Großteil der Rybka-Überlegenheit aus? Sollten sie z. B. 100 ELO Steigerungspotenzial bieten, dann würden wir in Kürze einen Shredder 13 sehen, der Rybka 3 überflügelt. Was ist mit DOCH? Nutzt das Programm bereits die Rybka-Robbo-Techniken und ist deshalb so stark, oder nutzt es sie noch nicht, und wird  daher in Kürze noch wesentlich stärker sein? Und zuletzt: Wird es V. Rajlich gelingen, auch ohne die  kompetente Unterstützung (evaluation) von L. Kaufmann mit R4 (offline) einen relevanten  Leistungszuwachs zu erreichen?

Mit dem Jahreswechsel beginnt ein Neues Kapitel im Computerschach. Schauen wir, was es uns bringt.
Parent - - By Udo Kaiser Date 2010-01-05 20:31
doch nutzt sie noch nicht.
Parent - By Axel Caro Date 2010-01-05 20:44
...das kann ja heiter werden! Zumal Larry Kaufmann und Don Dailey einige Ineressante Ideen in Doch verwirklichen wollen (z. B. einen Spielstil der sich mehr an Großmeistern als an anderen engines orientiert). Wie mir scheint, will L. Kaufman hier etwas (einen Traum?) verwirklichen, was ihm bei der Arbeit mit (unter) Vas nicht, oder nur eingeschränkt möglich war.
Parent - - By Jens Heerklotz Date 2010-01-06 15:51
Lol das ist jemand der Code lese´n kann aber nicht mehr. Solche Sprüche wie

-OTOH, this sort of optimisation might cause the processor to overheat at a lower frequency, and thus might lose much of its potential nowadays.

entlarven den zitierten BB als... naja nicht gerade grossen Fachmann. "Optimierter Code überhitzt die CPU bei niedriger Frequenz" ...

Auf Aussagen solche "Kapazitäten" würde ich nicht viel geben. Mit einem hat er recht:

>>pedone_libero_valu table, which in R3 I think is:

{0x00000000,0x00140014,0x00140014,0x0050006e,0x00c80104,0x017c01f4,0x02620320,0x00000000}

ist die Freibauernbewertung (bzw ein Teil davon), so oder so ähnlich findet man die aber überall (Pedone libero- freier Fussgänger)...

>>It is less clear how their code came to be. The first release of their C code is beyond bizarre.

Das ist das entscheidende, er hat (auch) erkannt das so wie der Releasecode von Robbo/ Ippol aussah... so coded keiner ausser eben ein paar besoffene (und lange verstorbene) tote russische Dichter die ´sehr gut im reengineering sind

Fakt ist doch dfas die Kerle wissen was sie tuen, sehr sehr schnell dazugelernt haben und jetzt orginale Ideen einbringen, was zeigt das sie vom fach sind.´Keine Kritik, das sind meister ihres faches aber sie haben eben als Basis ein anderes programm abgerippt. Nun, manch einer mag sagen "Ja ... is nicht Rybka genau das gleiche? Nen abgerippter Fruit und so!?" aber das lassen wir jetzt mal dahingestellt...

Gruss
jens
Parent - By Martin Hander Date 2010-01-06 20:36
[quote="Jens Heerklotz"]
Lol das ist jemand der Code lese´n kann aber nicht mehr. Solche Sprüche wie

-OTOH, this sort of optimisation might cause the processor to overheat at a lower frequency, and thus might lose much of its potential nowadays.

entlarven den zitierten BB als... naja nicht gerade grossen Fachmann. "Optimierter Code überhitzt die CPU bei niedriger Frequenz" ...
[/quote]

Das kann Unsinn sein, aber nicht zwingend.

Der core i7 (Nehalem) hat 1-3 Übertaktungsstufen (nicht Übertaktung im eigentlichen Sinn, da innerhalb der Spezifikation), die abhängig vom Stromverbrauch eingeschaltet werden.
Wenn nun bei bestimmten Optimierungen die SSE Einheiten genutzt werden, und damit ein Geschwindigkeitsvorteil von sagen wir mal 5% erzielt wird, bei einem gleichzeitig
erhöhten Stromverbrauch von 15%, kann es durchaus sein, das dies sich kontraproduktiv auswirkt, weil dann die nächsthöhere Frequenz nicht aktiviert wird.

Martin
Parent - By Ingo Bauer Date 2010-01-06 23:15
[quote="Jens Heerklotz"]
...
-OTOH, this sort of optimisation might cause the processor to overheat at a lower frequency, and thus might lose much of its potential nowadays.
...
[/quote]

Wenn ich mir den Text so ansehe denke ich dass, wer auch immer das geschrieben hat, ein englischer Muttersprachler ist.

Es ging darum, das 'BB' glaubt das jemand in 6 Monaten, wenn er denn die 'öden' Aufgabe machen möchte, Robbo in Assembler umschreiben 'könnte'. Weiter spekuliert er (wild guess) das dieser Assemblercode evtl noch mal 50% auf die Knoten draufsatteln 'könnte'.

Was dann folgt ist dein obiger Ausschnitt,Ich bin keine Mutterprachler, aber man kann es auch so übersetzen:

Auf der anderen Seite, diese Art der Optimierung (RL/RYB in handgeschriebenem Assembler) überfordert (eher/früher) eine (aktuelle) CPU, und führt dazu das der Assemblercode heutzutage (noch) viel von seinem Potential verlieren könnte.
(Das ist eine wohlmeinende Interpretation des Satzes aber ich kann mir nicht vorstellen das der Schreiber tatsächlich glaubt das Aufgrund des Assemblercodes eine CPU überhitzt)

Gruß
Ingo
Parent - - By Karl-Heinz Milaster Date 2010-01-05 17:52
[quote="Urs Maier"]Larry Kaufman: Well, to be precise a new program that was clearly made by decompiling Rybka 3 and putting it back together with changes to the evaluation function published its source code. So not the entire R3 code is public, but most of it other than the exact evaluation function is. The "author" does not publicly admit that his program was taken from R3, but Vas has said so and I can tell you that the similarities are so overwhelming that any claim to the contrary is a joke.[/quote]
In dieser Angelegenheit ist Larry Kaufmann als Mitglied es Rybka-Teams befangen und damit in seiner Glaubwürdigkeit eingeschränkt.
Parent - - By Urs Maier Date 2010-01-06 12:42
er ist nicht mehr mitglied des rybkateams
Parent - - By Urs Maier Date 2010-01-06 13:00
mein gott. im videointerview bestätigt Vas, daß Kaufman nicht mehr mitarbeitet und Kaufman selber sagt das auch. reicht das?
Parent - - By Udo Kaiser Date 2010-01-06 13:25
ob das was mit dem verschwundenen  code zu tu hat ?
Parent - - By Urs Maier Date 2010-01-06 13:29
sorry, aber auf dem niveau diskutier ich nicht weiter
Parent - - By Udo Kaiser Date 2010-01-06 13:35
kaufmann hat selber geschrieben das sich jemand mit seinem namen angedient und quasi daten umgeleitet hat.
ob da source mit dabei war und kaufmann deswegen draußen ist ? wieso niveau. darf man nicht zitieren oder spekulieren ?
Parent - By Urs Maier Date 2010-01-06 14:57
kaufman ist kein programmierer und hatte nie sourcecode. den würde Vas ohnehin nicht rausgeben.
Parent - - By Karl-Heinz Milaster Date 2010-01-06 17:23
[quote="Urs Maier"]mein gott. im videointerview bestätigt Vas, daß Kaufman nicht mehr mitarbeitet und Kaufman selber sagt das auch. reicht das?[/quote]
Nein. Warum sollte man daran zweifeln, dass die Angaben in der Rybka-Webseite nicht korrekt sind? Oder sollte man das grundsätzlich tun?
Wenn dort steht, dass Kaufman Mitglied des Rybka-Teams ist, habe ich keine Veranlassung, zu recherchieren, ob das auch wirklich stimmt.
Parent - By Urs Maier Date 2010-01-06 17:38
Parent - By Michael Scheidl Date 2010-01-06 19:06
Es war u.a. in Foren zu lesen, daß er seit dem Release von Rybka 3 die Senioren-WM gewonnen hat, dadurch GM geworden ist, eines seiner Bücher für eine italienische Ausgabe bearbeitet hat, und vor allem jetzt mit D.Dailey an Doch arbeitet.

(Die genaue zeitliche Zuordnung all dessen habe ich mir nicht gemerkt.)

Im Bericht zur Pamplona-WM ist übrigens zu lesen, daß Buchautor J.Noomen danach eine Pause eingelegt bzw. sich dem Aktienmarkt zugewandt hat, also derzeit vermutlich kein aktives Teammitglied ist.

http://www.rybkachess.com/index.php?auswahl=Pamplona
Parent - - By peter struwel Date 2010-01-05 13:24
hallo urs,

du bist ja sehr eingenommen von vas und rybka im gegensatz von mir.
ich lege keine hand ins feuer weder für vas noch für die ippo/robbo.. schöpfer.

da ist in beiden fällen einfach viel zu vieles unklar.

trotzdem bin ich der meinung das diese ippo/robbos getestet werden müssen, leugnen hilft
nicht weiter. was für vas gilt muss auch für diese unbekannten gelten.

ich vermute immer noch eine retourkutsche gegen vas!

peter
Parent - By Urs Maier Date 2010-01-05 14:51
dein problem
Up Topic Hauptforen / CSS-Forum / Neues über RobboLito.
1 2 3 Previous Next  

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill