ELO-Differenzen aus Inzest-Begegnungen

By Ingo Bauer Date 2011-09-24 10:49

Hallo Benno

Man bekommt unglaublich hohe Remisquoten wenn die Engines zu dicht zusammen sind. Das alleine langt mir schon um so etwas abzulehnen. Programmierer nutzen das gerne um zu sehen ob die Schwäche einer Vorgängerversion evtl. behoben wurde indem sie sehr viele Spiele machen und hinterher die "gewonnenen" Spiele betrachten.
Für einen Enginetests im Rahmen der Entwicklung mag das noch angehen, für eine Rangliste eigentlich nicht, zumal es auch ein unrealistisches Szenario ist - ausser bei Playchess

.

Gruß
Ingo

By Benno Hartwig Date 2011-09-24 13:35

[quote="Ingo Bauer"]Man bekommt unglaublich hohe Remisquoten wenn die Engines zu dicht zusammen sind.[/quote]Sind die Remisquoten denn tatsächlich höher als bei anderen Engines, die in etwa diesen Spielstärkeunterschied haben?
Wird dies nur vermutet oder gibt es echte Erfahrungen bei einigermaßen großer Partienzahl?
Benno

By Frank Quisinsky Date 2011-09-24 14:01 Edited 2011-09-24 14:07

Hi,

die höheren Remisquoten entstehen auch wenn 2 gleich starke Programme mit unterschiedlichen Namen gegeneinander antreten wenn gleiche Stärken vorhanden sind. Kann ja leicht aus den Ratinglisten bzw. Datenbanken abgelesen werden, erst Recht dann wenn 2 Programme mit gleichen Stärken gegeneinander antreten. Sind die Stärken und Schwächen klar unterschiedlich gibt es "wildere" Partien und natürlich geringe Remisquoten. Rybka - Rybka oder IvanHoe gegen IvanHoe würde bewirken, dass die Remisquote weiter unnötig ansteigt und die ELO fällt. Mit einer höheren Remisquote fällt die ELO bei Bayesian. Besser geeignet für Listen in denen gleiche Programme gegeneinander antreten ist ELOstat.

Warum ich das nicht mache:
Macht für mich keinen Sinn. VFL Bor. M'gladbach - VFL Bor. M'gladbach II zuzusehen macht für mich keinen Sinn. Ganz sicher für den Trainer aber nicht für mich als Besucher. Es sei denn es wäre ein Pokalendspiel

Hertha BSC - Hertha BSC Amateure

Den Lesern im CSS Forum ein schönes sonniges WE.

Viele Grüße
Frank

By Benno Hartwig Date 2011-09-24 15:39

[quote="Frank Quisinsky"]die höheren Remisquoten entstehen auch wenn 2 gleich starke Programme mit unterschiedlichen Namen gegeneinander antreten wenn gleiche Stärken vorhanden sind. Kann ja leicht aus den Ratinglisten bzw. Datenbanken abgelesen werden, erst Recht dann wenn 2 Programme mit gleichen Stärken gegeneinander antreten. Sind die Stärken und Schwächen klar unterschiedlich gibt es "wildere" Partien und natürlich geringe Remisquoten. Rybka - Rybka oder IvanHoe gegen IvanHoe würde bewirken, dass die Remisquote weiter unnötig ansteigt und die ELO fällt. Mit einer höheren Remisquote fällt die ELO bei Bayesian. Besser geeignet für Listen in denen gleiche Programme gegeneinander antreten ist ELOstat.[/quote]Ich schrieb ja schon oft, dass mich insbesondere die Top-Engines interessieren, und die sind ELO-mäßig nicht soo weit auseinander. Da darf man natürlich keine Angst vor Remisen haben. Wenn ich aber die Top-Engines vergleichen soll, indem ich überprüfe, ob sie gegen die Schwachen 85% oder 88% geholt haben, fänd ich das ganz sicher auch nicht übezeugender.

Würden verschiedene Versionen einer Engine deiner Meinung nach denn im direkten Vergleich eine ELO-Differenz erspielen, die ungefähr zu der passt, die die Ratingisten ausweisen? Würden sie häufiger remis spielen als andere Engines mit dieser Spielstärkedifferenz? Könnte wohl sein, aber hat man es wirklich gesehen?

[quote="Frank Quisinsky"]VFL Bor. M'gladbach - VFL Bor. M'gladbach II zuzusehen macht für mich keinen Sinn.[/quote]Schon wahr. Das würde aber andererseits auch ganz sicher nicht an einer besonders hohen remis-Quote liegen!

Benno

By Frank Quisinsky Date 2011-09-24 16:33

Hi Benno,

es ist schon interessant zu sehen wie sich die TOPs gegen schwächere schlagen. Derzeit punktet Umko z. B. sehr gut gegen Komodo 3.0 bei den laufenden Spießroutenläufen. Ich meine wir können ja nur das testen was vorhanden ist und wenn die Lücken innerhalb der TOP-30 weit auseinander klaffen, ja dann ist das heit so.

Nein, verschiedene Versionen gleicher Engnes würden die selbe Differenz eher nicht erspielen. Wird ja schon aus dem PHQ Setting ersichtlich. Stockfish default ist im direkten Vergleich besser als PHQ. PHQ erzeugt aber ein deutlich aggressiveres Spiel und macht demnach mehr Punkte gegen die TOP-30 als Default. Genau das hatte ich ja simuliert mit meiner Datenbank bzw. diese 10x ineinanderkopiert um mehr Partien zu erzeugen. Ich kam auf ein Ergebnis dass die Genauigkeit bei zwei Engines die gegeneinander spielen ca. nach 8.000 Partien bei 67 Punkten liegt. Erspielt eine Engine ein Ergebnis gegen 30 andere und dann wieder 8.000 Partien sind es 4 ELO. Das gilt sicherlich auch für gleiche Engines bzw. anderen Versionen.

Wenn Du z. B. Engine A - Engine A (gleiche Versionsnummer) 1.000 Partien spielen lassen würdest, wäre das Ergebnis gleich als wenn Engine A - Engine B die gleiche Anzahl an Partien spielen wenn die Stärken und Schwächen gleich sind.

Problematisch ist:
Engines die derzeit oben stehen, z. B. IvanHoe und Fire unterscheiden sich augenscheinlich durch andere Analysen. Die Stärken und Schwächen sind aber gleich und mithin produzieren die Engines fast gleiche Ergebnisse.

Wenn wir heute z. B. hingehen und eine Ratingliste produzieren möchten, dann sagen ... ich sortiere alles aus was gleich spielt ist es schon schwierig überhaupt 10 Programme zu finden die nur 300 ELO auseinander liegen. Aufgrund dieser Tatsache kann dann wirklich jede Ratingliste angezweifelt werden bzw. sind wir überhaupt nicht in der Lage zu noch genaueren Ergebnisse zu kommen als die die wir heute kennen.

Du hast selbst genug Wissen zu dem Thema aufgebaut und musst da eigentlich gar nicht nachfragen. Viele Dinge werden Dir bekannt sein. Selbst bin ich oft überrascht wenn ich Statistiken durchführe weil die Ergebnisse sich nicht decken mit meinen Vermutungen. Es ist auch schwierig Statistiken zu erzeugen die eindeutiges feststellen. Nur die Kombination aus vielen Statistiken mauschelt mir ein logisches Ergebnis vor.

Viele Grüße
Frank

By Benno Hartwig Date 2011-09-25 08:05

[quote="Frank Quisinsky"]es ist schon interessant zu sehen wie sich die TOPs gegen schwächere schlagen.[/quote]Klar, auch das kann interessieren.
Und z.B. deine Listen zeigten ja auch, dass die Ergebnisse gegen weit Schwächere doch gut zu den Erwartungen passten, die die Spiele gegen die Starken weckten.

Aber angenommen die starke Engine A sieht gegen die ungefähr gleichstarke Gegnerschaft B durchschnittlich sehr gut aus. ELO_B
Aber sie spielt gegen die Gruppe S der Schwachen durchschnittlich schwächer als die Gruppe B. ELO_S
Angenommen, die Gruppe der Schwachen ist doppelt so groß wie die der Starken.
Welche ELO-Einschätzung wäre dann passend?

"ELO_B, denn die besten Engines interessieren mich"
"(ELO_B + ELO_S)/2, denn beides sollte eingehen."
"(ELO_B + 2*ELO_S)/3, denn jeder Gegner zählt gleich viel"
"ELO_S, nein dafür fällt mir keine Begründung ein

"

Benno

By Peter Martan Date 2011-09-25 11:20

Hallo Benno!

Ich finde, du kommst der Elo_W immer näher, W wie Wirklichkeit oder Wie es euch gefällt. Der Buddhist meint halt, hinter den vielen Wirklichkeiten gäbe es nur eine Wahrheit, die ist aber, nicht nur was die Elo angeht, sondern auch sonst schwer zu finden.

Das mit den Versionsvergleichen hat übrigens für den Entwickler, der in erster Linie wissen will, was hat sich im Spielbetrieb relativ zur Vorversion geändert, natürlich auch einen ganz besonderen Aussagewert, wenn es ganz etwas anderes erbringt, als in den Ranglisten, sagt das ja auch was aus, oder wie man auch immer sagt, es gibt keine dummen Fragen, nur dumme Antworten.

By Frank Quisinsky Date 2011-09-25 11:45

Hi Benno,

gute Frage!
z. B. bei Komodo der Fall.

Komodo macht weniger Punkte als Engines mit gleichen Stärken (Fire, IvanHoe, Rybka, Houdini) gegen das Mittelfeld und verliert auch gegen diverse Engines aus den unteren Regionen mehr Punkte.

Für mich bedeutet das dann wirklich das diese Engine komplett andere Stärken und Schwächen hat, was aber auch klar aus dem Spielstil ersichtlich wird. So ist das Potenzial dieser Engines sehr wahrscheinlich noch lange nicht ausgenutzt und es ist abzusehen das Komodo deutlicher zulegen wird als die Anderen mit gleichen Stärken die eher zur Zeit stehen. Da nun auch die Sorucen dieser anderen bekannt sind, die von Komodo aber nicht ... kommt das noch als weitere Tatbestand hinzu.

Vermutungen, die aber irgendwie für mich logisch sind, erst Recht wenn ich mir die Komodo Partien selbst anschaue. Schrieb schon seinerzeit bei Doch 09.980 ... das diese Engine ein wahnsinniges Potential hat und die Nummer 1 werden könnte, begründete das auch im CSS Forum, musst mal raussuchen. Glaube daraus entwickelte sich eine längere Diskussion mit Gerhard Sonnabend.

Maßgeblich ist ja ferner nicht die Gruppe der Schwächeren allein. Das Mittelfeld spielt "offenbar" eine größere Rolle. Wir haben ja auch folgende Situation (rein nach den Gruppierungen):

3000-2850 ... Oberes Feld ... SWCR = 7 Engines
2850-2675 ... Mittelfeld ... SWCR = 20 Engines
und die aufgenommen Programme darunter

Bedeutet, das eigentlich die 7 starken zu gut bewertet werden, je mehr dazu kommen, desto geringer die ELO der, die ganz oben stehen. Das Mittelfeld ist stabil und insofern könnte auch das untere Feld stabil werden wenn weitere dazu kommen. Die 7 die open stehen ... ELO kann um 10-20 fallen je mehr hinzu kommen die sich hier bewegen, so die Ausgaben der Simulationen die ich hier und dort mache.

Viele Grüße
Frank

By Frank Quisinsky Date 2011-09-25 12:38 Edited 2011-09-25 12:46

Ach so,

wenn überhaupt eine Ratingliste angezweifelt werden kann, dann nicht aufgrund vom Mittelfeld oder der Engines die darunter stehen, sondern aufgrund der die oben stehen. Die 7 in der SWCR haben alle eine gleiche Stärke und das ist der Übergang zum Endspiel. Die sind hier alle so stark, dass das auch der Grund für die höheren Zahlen im Vergleich zum Mittelfeld ist.

Stufen wir weiter ab, meine jetzt bei den TOP-7 haben wir ...

1. Komodo ... mit den zusätzlichen Stärken im positionellen Bereich. Komodo spielt sehr zickig, gibt sich kaum geschlagen und macht im Endspiel deutlich weniger Remispartien bzw. kämpft um jeden 0.1 Punkt.

2. Stockfish und Critter ...
Die kommen dann mit zusätzlichen taktischen Stärken daher.

3. Houdini ...
So ein Mix zwischen Komodo und Stockfish. Macht beides gut was die oberen beiden auch gut machen aber ist im Detail ausgeglichener mit weiteren Vorteilen im Endspiel.

4. Fire / Ivanhoe
Die spielen eher komplett auf Sicherheit, riskieren wenig und bauen fast ausschließlich auf die starke Partiephase die alle anderen die oben stehen auch haben.

5. Rybka
Durch die Exp. Settings aggressiver und ich Richtung Stockfish / Critter gehend. Die Standardeinstellungen gehen in Richtung Fire / Ivanhoe.

Dennoch ...
Die kompletten Engines die oben stehen haben alle eine Stärke und das macht genaue Abstufungen schwierig. Je mehr dazu kommen desto feiner und die Engines verlieren Punkte.

Simuliere ich jetzt einfach einen Junior zu den TOP-7 dazu, gebe Junior 2.000 Partien und hebe die Gewinnquote z. B. auf 15% an. Dann fallen die TOP-7 komplett durchschnittlich um 3 ELO ab. Bei nur einer neuen TOP Engine auf dem Level 2.850-3000 die hinzu kommt. Wohl auch weil Junior krass anders spielt als die oben aufgeführten. Sind es z. B. anstatt 7 dann 20 Engines kannst Du davon ausgehen das alle 7 ca. durchschnittlich um 20-25 fallen, nicht aber Komodo !!

Auch ein Anzeichen dafür welches Potential in Komodo steckt.
Sind so Sachen die ich hier und da mal mit Datenbanken simuliere und mir aber nicht sicher bin ob das auch alles so OK ist. Daher schreibe ich hierzu relativ wenig. Bin mir einfach nicht sicher.

Gruß
Frank

Schlussfolgernd denke ich mir dann ...
Die ausgegebenen Ratings der TOP-7 ... egal wie viele Partien ... fallen um bis zu 20 ELO mit mehr Gegnern, wenn diese vergleichbar stark sind. Bestätigung finde ich dann in der Statistik "Anzahl der Gegner" die aber auch ein wenig von der Spielstärke abhängig ist.

Vergleichen wir z. B. Shredder mit 2.800 ELO ist es eher tatsächlich so, dass keine 200 ELO Unterschied zu Houdini 1.5 bestehen, sondern vielleicht 175-180. Aber selbst wenn es so wäre, wir haben schon genaue Zahlen und die 20-25 ELO würden in diesem Fall den Braten auch nicht mehr fett machen. Spielen nur diese 7 in einer Liste wird es viel viel ungenauer als wenn wir das Mittelfeld hinzunehmen. Kaum einen Unterschied macht es die 7 mit Mittelfeld zu testen und die unteren weg zu lassen (ca. 5 ELO).

By Michael Scheidl Date 2011-09-24 14:07

Nicht daß ich Deinen Wissensdurst bremsen möchte, aber hätten Antworten auf diese Fragen, wie immer sie auch ausfallen mögen, irgendwelche praktischen Auswirkungen? Soll irgend jemand jetzt Ranglisten unter dem Konzept "Engines gegen ihre Vorversionen" starten oder so...?

Wenn nicht, kann ich jedenfalls mit der Ungewißheit leben

By Benno Hartwig Date 2011-09-24 15:30

[quote="Michael Scheidl"] Soll irgend jemand jetzt Ranglisten unter dem Konzept "Engines gegen ihre Vorversionen" starten oder so...?[/quote]Es soll niemand was.
Aber es wird oft so vieles behauptet, insbesondere tatsächlich auch die 'Schädlichkeit' derartiger Begegnungen (für Ranglisten).
Und mich interessiert (dich offensichtlich nicht), ob dies immer mal wieder so ohne Grundlage aus dem Bauch heraus behauptet wurde, oder ob es hier reale, aussagekräftige Erfahrungen gibt.
Manche Behauptungen werden halt gern solange wiederholt, bis mancher beginnt, sie für Tatsachen zu halten. Ich fänd das hier schade.
Benno

By Thomas Mayer (Quark) Date 2011-09-24 16:01

Hallo Benno,

es dürfte Unterschiede geben, ob man nun quasi Evolutionsstufen der gleichen Engine betrachtet oder ob der Nachfolger ein Rewrite ist (zumindest bei Fritz weiß ich, daß die neue Version sehr oft eigentlich komplett neu war, auch wenn sicher viele Dinge übernommen wurden). Ich denke der Effekt dürfte bei Rewrites geringer sein als bei Evolutionsstufen.
Ein Gedankenexperiment:
Durch irgendeinen Trick schaffe ich es, daß meine Engine zwei Halbzüge tiefer kommt, ansonsten habe ich nichts verändert. Gegen die vorherige Version wird sich dies extrem auswirken, weil ich sie praktisch immer überrechne - gegen andere Engines wird dies natürlich auch was bringen, aber eben nicht so viel, weil bestimmte Schwächen z.B. im positionellen Wissen werden weiterhin bleiben, d.h. auch wenn ich zwei Züge tiefer rechne kann ich mitunter mit dem gleichen Trick reingelegt werden, weil ich dafür blind bin, egal wie tief ich rechne.
Im Prinzip stopfe ich ja Lücken im alten Programm, die dann die Nachfolgeversion insbesondere gegen das eigene Programm nützen kann - gegen andere Engines ist das nicht so effektiv.
Auch der umgekehrte Fall ist denkbar: Ich blende im Suchbaum bewußt bestimmte Bereiche aus um tiefer zu kommen. Die Vorgängerversion kann das ausnützen, weil sie die Dinge nicht wegschneidet, die Gegner schneiden vielleicht genau so und deshalb schneide ich gegen die anderen Programme besser ab als gegen die eigene Vorgängerversion.
Die Effekte jedenfalls sind vielfältig und kaum zu kalkulieren, deshalb dürfte eine Rangliste ohne solcherlei Programme du zuverlässigeren Ergebnisse liefern. Prinzipiell falsch ist es natürlich trotzdem nicht, mit der Vorgänger-Version zu vergleichen und solche Ergebnisse auch mit aufzunehmen, ich denke Ingo hat ausreichend erläutert, daß eine eindimensionale Spielstärkezahl der eigentlichen Spielstärke an sich eh nicht gerecht werden kann.

Gruß, Thomas

By Ingo Bauer Date 2011-09-24 16:05

.

Nö, habe doch nichts zu sagen.

Gruß
Ingo

By Michael Scheidl Date 2011-09-24 16:12

Für allgemeingültige Tatsachen habe ich das ohnehin nie geahalten, da es sicherlich von Engine zu Engine und von Version zu Version unterschiedlich ist. Die langjährige Computerschach-Erfahrung sagt: Nachfolgeversionen sind in 99,x% der Fälle stärker als die Vorversionen (um wieviel auch immer; das schwankt allerdings stark).

Vor einigen Jahren war ich überrascht zu lesen, wie unter Fans anerkannte Dogmen widerlegt werden: Ultrakurze - gemeint ist die Zeitkontrolle - Partien sagen nichts aus, und schon garnichts gegen den eigenen Vorgänger. Falsch, erfolgreiche Engines wurden von ihren Entwicklern mit (zahlreichen!) urltrakurzen Partien quasi gegen sich selbst getestet, und im Erfolgsfalle released und es hat sich unter allen anderen Testmethoden bestätigt.

Bitte mich daher zu entschuldigen wenn ich solche Dogmen wie "1+0 sagt nichts aus" oder so nicht mehr ernst nehme, die Realität spricht eine überzeugend andere Sprache.

By Ingo Bauer Date 2011-09-24 16:25

Hallo

[quote="Michael Scheidl"]
...
Vor einigen Jahren war ich überrascht zu lesen, wie unter Fans anerkannte Dogmen widerlegt werden: Ultrakurze - gemeint ist die Zeitkontrolle - Partien sagen nichts aus, und schon garnichts gegen den eigenen Vorgänger. Falsch, erfolgreiche Engines wurden von ihren Entwicklern mit (zahlreichen!) urltrakurzen Partien quasi gegen sich selbst getestet, und im Erfolgsfalle released und es hat sich unter allen anderen Testmethoden bestätigt.
...
[/quote]

So allgemeingültig scheint mir das nicht! Wenn wir davon ausgehen das die IPON im großen und ganzen von anderen Listen bestätigt wird erinnere ich mich an 2 Versionen von Stockfish. Bei der einen waren die Macher positiv überrascht das einige ELOs Plus dabei herrauskamen bei der anderen waren sie entäuscht das nichts herrauskam. Interessanterweise haben sie bei dem Plus nicht daran gedacht ihre Testmethodik zu überdenken, bei dem fehlenden Plus dann doch. Houdini 2 scheint ein weiteres Bsp. Der Programmierer hat tatsächlich 20-25 ELo plus getestet. Wei es scheint, wird das aber nirgendwo (seriös) bestätigt ....

Aber: Sicherlich ist die von dir erwähnte Testmethode im Moment das MAß aller Dinge um eine Engine überhaupt vorranzubringen. Ich fürchte nur, das vielleicht auch Elogewinne der Engines nicht nachgewiesen und womöglich ignoriert werden. Schade wäre es!

Gruß
Ingo

PS: Wobei 1+0 (besser 1+1) ist lang genug. Die Programmierer testen deutlich kürzer!

By Thorsten Czub Date 2011-09-24 20:39

nana frueher hatte mein pc 8, später 20 mhz.
heute 2.3 und dann mehrere cores. und heute ist er auch schon alt. gibt schnelleres.

insofern ist ultra-kurz heute gar nicht mehr so kurz verglichen mit gestern.

By Benno Hartwig Date 2011-09-25 07:02

[quote="Michael Scheidl"]Bitte mich daher zu entschuldigen wenn ich solche Dogmen wie "1+0 sagt nichts aus" oder so nicht mehr ernst nehme, die Realität spricht eine überzeugend andere Sprache.[/quote]Wenn ich an irgendwelchen Engines rumfummele, spiele ich 1+1. Man mag solche Zeiten nicht toll finden, aber nur so bekomme ich in erträglicher Zeit etwas statistisch einigermaßen Auswertbares hin.

Ich versuche so aber nicht zwei Engines direkt zu vergleichen.
Ich spiele zuerst mit der alten Version gegen einen Satz Gegner einen Satz Ausgangsstellungen aus bei 1+1.
Und die veränderte Engine tritt gegen dieselben Gegner und Stellungen an. Und dann werden die Erfolge vergleichen. Jeder Version erhält so eine Hausnummer.

Ich hoffe einfach mal, dass sich eine Verbesserung so meist erkennen lässt, auch bei 1+1. (gegen 1+0 habe ich allerdings eine gefühlsmäßige starke Abneigung, da längerePartien dann häufig durch Züge entschieden werden, die wirklich nur noch 4 plys oder so ermöglichen. Das will ich dann doch nicht! Ob dabei aber wirklich was Falsches rauskommen würde, weiß ich nicht wirklich.)

Benno

By Ingo Bauer Date 2011-09-24 15:59

[quote="Benno Hartwig"]
[quote="Ingo Bauer"]Man bekommt unglaublich hohe Remisquoten wenn die Engines zu dicht zusammen sind.[/quote]Sind die Remisquoten denn tatsächlich höher als bei anderen Engines, die in etwa diesen Spielstärkeunterschied haben?
Wird dies nur vermutet oder gibt es echte Erfahrungen bei einigermaßen großer Partienzahl?
Benno
[/quote]

Ja, zumindest für Shredder (und Betas) waren Remisquoten von 75, 80 oder noch mehr Prozent keine Seltenheit. Warum fragst du? Ich habe den Eindruck, dass, wenn ich etwas schreibe, du aus Prinzp nochmal nachfragst ob das auch wirklich so ist ... Nimm einfach einen Rechner mit 2 Kernen (oder einem und Ponder OFF) und lass R4 und R4.1 oder J12 und J12.5 oder H1.5 und H1.5a oder H13.0, H13.1, H13.2 oder meinetwegen zwei dichte Versionen von Fire 2.x oder Ritter 0815 gegen 0816 (Nummern laufen rückwärts, die sind was besonderes!) je 1 + 1 laufen. In 24h hast du rund 500 Partien zusammen. Wenn du die Zeiten länger wählst, geht die Remisquote weiter hoch. Ist wirklich nichts besonderes und Ruck-Zuck erledigt. Viel Spaß - ich mache so etwas nicht mehr da es keinen Sinn macht und höchstens den akademischen Wissensdrang befriedigt. Bei solchen Fragen: Selbst ist der Mann!

Gruß
Ingo

By Willi Prinz Date 2011-09-24 21:30

Ich finde Computerschach ist am Ende.
Es wird natürlich jede Menge Leute geben die das bestreiten.
Darum geht es ja auch garnicht,es geht darum das es ja inzwischen egal ist wer den ersten Platz in der Rangliste erreicht.
Houdini scheint der beste zu sein,aber Rybka ist auch nicht weit dahinter.
Auch andere mischen irgendwo da mit.
Das soll keine Abwertung sein,für Stockfish oder sowas,es ist eben so.
Es geht ja auch zum ersten mal darum,das nicht mehr kommerzielle Engines auf dem ersten Platz stehen,sondern Freeware.
Ich finde das erstaunlich,wenn ein Freewareprogramm besser ist als eins was 100 Euro kostet ist doch irgendwas faul im Staate Dänemark.
Es ist mir auch egal,wenn Leute solche 100 Europrogramme kaufen,jeder kann schließlich kaufen was er will.
Das ganze Problem stellt sich doch anders.
Was nutzen 10000 Spiele von dem Frank oder irgend einem anderen,( und es gibt da viele) wenn alle Ranglisten sowieso irgendwie gleich sind.
Mal in Blitz oder Längere Spiele gibt es ein paar Unterschiede,ja,kommt vor,aber im Prinzip statistisch ist fast alles gleich.
Ich möchte auch keinem den Spass hier verderben ! Computerschach war mal wichtig für mich,ist es inzwischen nicht mehr,wie vieles im Leben.
Für mich hat Computerschach eigentlich nur Spass gemacht,als ich noch gewinnen konnte.
Dann konnte ich das nicht mehr,aber die Gms konnten gewinnen.
Dann konnten die normalen Gms auch nicht mehr gewinnen,nur noch die Supergms.
Inzwischen können auch die Supergms nicht mehr gewinnen.
Für was brauche ich dann sowas?
Es ist ein Video Game geworden,keiner kann gegen ein Video Game gewinnen ,wenn man es auf einen level stellt der für Humanos unerreichbar ist.
Das sind die Schachprogramme von Heute.
Kein Programierer würde ein einziges Spiel gegen einen Supergm gewinnen,niemals,aber wenn er lange genug Zeit hat,vielleicht Jahre,kann er ein Programm schreiben,was den Supergm schlägt.
Die Frage ist ja,was ist das Wert??????????????????????????????
Gruss Willi

By Thomas Mayer (Quark) Date 2011-09-24 21:50

Hallo,

tja, was ist das Wert ? Das ist bei einem Hobby immer eine Grundsatzfrage. Mangels Zeit kommt das Hobby leider seit Jahren zu kurz, aber in den Fingern würds mich immer noch Jucken. Es gibt so viele interessante Sache. Pablo Restrepo (Auch als "Father" bekannt) hat mich mal angesprochen, ob man wohl eine Engine machen könnte, die so spielt wie er, also auf Blockade spielt und im Prinzip nur ein Remis anstrebt bzw. versucht auf Zeit zu gewinnen, d.h. die Engines auszutricksen. Ich glaube sowas wäre möglich und ich fände es sogar ziemlich interessant. Das Programm hätte dann mitunter sogar einen praktischen Nutzen, man könnte eventuell die normalen Programme damit so verbessern, daß sie eben ohne spezielle Settings oder Eröffnungen auf so einen Trick NICHT mehr reinfallen würden und das OHNE insgesamt an Stärke zu verlieren. Jedenfalls könnte dies ein richtig interessantes Projekt sein.
Tja und im Endspiel gäbe es noch sehr viele Möglichkeiten, die Engines besser zu machen. Viele Dinge, die Menschen auf den ersten Blick sehen müssen sich Engines durch ultra-Tiefe Berechnungen erst erarbeiten. Es muß doch einfach möglich sein, ihnen in diesem Bereich mehr Wissen einzutrichtern.
Oder wieso bringen so wenig oder sind evtl. sogar kontraproduktiv ? Möglicherweise weil wir sie falsch nutzen, weil wir die Möglichkeiten nicht ausnützen.
Und auch die Baumsuche bietet sicher noch viele Möglichkeiten, sowohl durch noch effektiveres Beschneiden als auch durch bessere Nutzung vieler Cores.
Tja, und der Nutzen für den Menschen ? Programme der Zukunft sollten irgendwann mal ihre Züge auch erläutern können, warum sie einen bestimmten Zug bevorzugen, welche Schwächen sie in einem anderen sehen etc. Vielleicht wäre es auch möglich irgendetwas spekulatives einzubringen, d.h. das die Programme versuchen, falls sie z.B. schlechter stehen die Stellungen zu verkomplizieren in der Hoffnung dort vielleicht noch einen Sieg zu finden.
Interessante Gebiete gibt es jedenfalls en Masse.
Kommerziell allerdings ist die große Zeit wohl vorbei, jedenfalls die große Zeit der Programme, ich glaube mit GUIs, sofern die clevere neue Möglichkeiten bieten, wird man auch weiterhin gutes Geld verdienen können. Tja, und die Zeit der großen Computerschachturniere, die Süchtigentreffs der Programmierer, sind wohl leider auch vorbei.

Gruß, Thomas

By Thorsten Czub Date 2011-09-25 02:10

ich finde nicht das computerschach "am ende" ist.

frueher haben die menschen einfach einen schachcomputer gekauft.
mittlerweile sind schachcomputerfirmen alle pleite gegangen, und was sie uns
damals verkauft hatten kam auch selten ueber 30 mhz hinaus.

heute bauen sich die enthusiasten die schachcomputer selber !!

http://www.miclangschach.de/index.php?n=Main.Mysticum

was ist daran bitteschön "am ende" ??

ich finde diese geräte bieten ganz neue perspektiven. man kann
ueber workshops vom KONSUMENTEN zum Produzenten seines eigenen Schachcomputers werden.
man kann sich die hardware selber aussuchen und das brett kreativ selbst gestalten.

dein "ende" ist mein anfang.

By Christian Schmidt Date 2011-09-25 03:07

Das Ziel ist doch nicht, den Computer im Schach zu schlagen. Ein Marathonläufer tritt auch nicht gegen Autos an. Der Sinn von menschlichen Erfindungen ist es ja, dass sie dem Menschen Vorteile bringen. Es war eh erstaunlich, wie lange der Mensch mit dem Computer mithalten konnte. Der große Nutzen heute ist doch, dass jeder Hobbyspieler seine Partien vom Computer, der stärker als jeder SGM spielt und trotzdem kein preislich unerschwinglicher Deep Blue ist, auf Fehler überprüfen lassen und so seine eigene Spielstärke verbessern kann. Das ist doch großartig. Davon hätte ich früher geträumt.

Thomas Mayer zeigt zudem in seiner Antwort ja schon ein paar Möglichkeiten auf, in welche Richtungen auch noch weiter geforscht werden kann.

Um die Zukunft des Computerschachs mache ich mir daher überhaupt keine Sorgen. Es wäre schön, wenn ich dies mit der gleichen Gewissheit auch vom Euro und dem Finanzsystem sagen könnte.

MfG,
Christian Schmidt

By Benno Hartwig Date 2011-09-25 07:21

[quote="Willi Prinz"]Ich finde Computerschach ist am Ende.[/quote]Eine gewagte These, insbesondere angesichts deiner Argumentation.

Als es nur die SSDF-Liste gab war CC nicht am Ende, und jetzt, wo das Interesse größer wurde und mehrere Listen betrieben werden, ist CC deshalb am Ende?

Weil die Qualität dank der fortwährenden Leistung der Entwickler und des Interesse, welches ihnen entgeen gebracht wird, jedes Jahr wieder rasant stieg, sodass GMs abgehängt wurden, ist CC am Ende? Ich hätte sicher das Gegenteil gefolgert.

Weil Freeware heute saustark ist und sich damit viele neue Leute auf die richtig guten Lösungen stürzen können, die andere zu genau diesem Zweck veröffentlichten, und weil genau das auch getan wird, ist CC am Ende?

OK: mit reinen Schachengines Geld verdienen zu wollen, ist vielleicht eine auslaufende Idee. da könnte was dran sein.
Andererseits: Hätte Houdini 2.0 100 ELO zulegen können, dann wäre diese Engine auch heute noch gut verkaufbar gewesen.
Aber: Computerschach lebt heute sicher nicht weniger als in früheren Jahrzehnten. Und selbst die Unkenrufe sind eigentlich nicht häufiger geworden.

Benno

By Frank Quisinsky Date 2011-09-25 13:09

Hallo Willi,

Du hast das Thema ja schon öfters angesprochen, sofern ich mich richtig erinnere.

Glaube nicht an Verallgemeinerung mit dem Ergebnis Computerschach is out.
Allerdings verhält sich die Szene sehr zweifelhaft weil klare Richtungen fehlen.

Streitbares wird ausgeschlachtet ohne das aus Erfahrungswerte ein Nutzen gezogen wird.
Hilflosigikeit ist das Ergebnis!

Viele User mögen das, weil für diese Gruppe ist Leben in der Bude.
Also ich kann mir Sachen vorstellen die interessanter sind als das!

Computerschach ist deswegen aber nicht out und schon mal gar nicht weil starke freie Programme die oben Listenplätze einnehmen. Das war schon in Zeiten als die Kompatibilitäten siegten abzusehen. Es ist klar das Gruppen mehr auf die Reihe bekommen als einzelne Personen oder kleinere Gruppen. Nur was daraus gemacht wird ist natürlich nicht immer so schön und ganz ehrlich ... entspricht in dieser Form auch nicht mehr der eigentlichen Idee. Die gute Idee wird mehr oder weniger missbraucht und genau das stößt bei vielen Personen auf.

Computerschach heute ist anders. Immer mehr dem gesellschaftlichen Leben angepasst .... was interessiert mich was mein Mitmensch macht. Ich kann mich nur schützen in dem ich Abstand nehmen. Menschen ziehen sich zurück oder springen bevorzugt auf einen Zug auf. Durch die Personen die aufspringen wird der Zug auf Dauer aber immer uninteressanter und dann doch lieber mit dem Auto. Menschen distanzieren sich, in diesem Fall von einer guten Idee!

Dennoch, es steckt genug Spannung im Hobby und Möglichkeiten sich mit Computerschach zu beschäftigen. Wir müssen vielleicht auch nur den nötigen Abstand zu Dingen finden die nicht mehr so spannend verlaufen wie einst und auch bereit sein umzudenken.

Viele Grüße
Frank

By Benno Hartwig Date 2011-09-25 07:09

[quote="Ingo Bauer"]Warum fragst du? Ich habe den Eindruck, dass, wenn ich etwas schreibe, du aus Prinzp nochmal nachfragst ob das auch wirklich so [/quote]Mir war nicht klar gewesen, ob dies einfach die 'allgemein vertretene Meinung' war, der selbstverständliche "Na, das weiß doch jeder!"-Standpunkt, oder ob dies bei einigermaßen aussagefähiger Partienzahl und möglichst mehreren Versionen-Vergleichen tatsächlich(!) so beobachtet wurde.
Benno

By Ernest Bonnem Date 2011-09-25 17:33

[quote="Ingo Bauer"]Man bekommt unglaublich hohe Remisquoten wenn die Engines zu dicht zusammen sind. [/quote]
Naja, mit Houdini 2.0 x64 gtb gegen Houdini 1.5 x64 gtb habe ich bekommen (2'+1", no ponder):
+65 -45 =80 105-85 (55,26% für Houdini 2.0, mit 190 Spiele)

Also die Remisquote war "nur" 42,1%, was nicht "unglaublich hoh" ist.

Aber diese Vater-Sohn Matches überteiben meistens den Elo Unterschied zwischen den Versionen: hier kriege ich 37 Elo

By Ingo Bauer Date 2011-09-25 17:38

Moin Ernest,

[quote="Ernest Bonnem"]
[quote="Ingo Bauer"]Man bekommt unglaublich hohe Remisquoten wenn die Engines zu dicht zusammen sind. [/quote]
Naja, mit Houdini 2.0 x64 gtb gegen Houdini 1.5 x64 gtb habe ich bekommen (2'+1", no ponder):
+65 -45 =80 105-85 (55,26% für Houdini 2.0, mit 190 Spiele)

Also die Remisquote war "nur" 42,1%, was nicht "unglaublich hoh" ist.

Aber diese Vater-Sohn Matches überteiben meistens den Elo Unterschied zwischen den Versionen: hier kriege ich 37 Elo
[/quote]

Was dein Bsp sehr schön zeigt ist, das diese beiden Versionen eben nicht so dicht zusammen sind. Ich gehe danach davon aus, dass an H2.0 vieles verändert wurde ... interessant!

Gruß
Ingo

By Benno Hartwig Date 2011-09-26 13:06

[quote="Ingo Bauer"]Was dein Bsp sehr schön zeigt ist, das diese beiden Versionen eben nicht so dicht zusammen sind. Ich gehe danach davon aus, dass an H2.0 vieles verändert wurde ... interessant![/quote]Mich würde interessieren, ob solche Ergebnisse zwischen Schwesterengines tatsächlich meistens zu große ELO-Differenzen zeigen. Ob die Remisquote tatsächlich meistens gar nicht so anders ist, als es bei ungefähr gleich starken Engines zu erwarten wäre.
Benno

By Thorsten Czub Date 2011-09-26 21:37

ich glaube man kann gar nicht sagen: es gibt zu grosse oder zu kleine anzeigen.
was wichtig ist, das das abtesten m.E. nicht zu einem sinnvollen ergebnis fuehrt.
wenn man nur gegen eigene engines testet, in superschnellen autopartien,
dann darf man m.E. nicht sicher sein, ob die ermittelten werte am ende auch einen
spielstärkezuwachs abbilden.

es könnte sein das die neue version schlechter ist, oder das der vorsprung nicht so gross ist.

By Benno Hartwig Date 2011-09-28 07:24

[quote="Thorsten Czub"]es könnte sein das die neue version schlechter ist, oder das der vorsprung nicht so gross ist.[/quote]Stimmt: könnte sein.
Und ob dies so ist, war meine Frage.

ELO-Zahlen sind ja ein Hilfmittel, um die Spielstärkedifferenz zu anderen Engines zu bestimmen.
Wenn eine neue Engines-Version auf den Markt kommt, dann finde ich interessant ihre Stärke relativ zur aktuellen Egine-Wildbahn zu sehen.
Dass bedeutet dann u.a.:
1) keine besonders starke Bewertung der Leistung speziell gegen deutlich schwächere Engines.
2) wie sieht die Engine aus auch gegen die doch noch sehr häufig vertretene Vorgängerversion.
Wenn Houdini 2 laut Ratinglieste gegen die 1.5 nur 20 ELO zulegt, ist das eine Information.
Ob Houdini 2.0 direkt gegen die 1.5 z.B. aim Maschinenraum aber ggf. +40 ELO schafft

oder sogar unterlegen ist

, wird auch manchen interessieren.

"nur gegen 'eigene Engines'" testen will ich eigentlich ja gar nicht.
Das brachte ich nur in die Diskussion, um mal zu klären, ob Bruderkämpfe überhaupt sinnvoll, wengistens OK oder 'schädlich' für das Rating sind.

Benno

By Peter Martan Date 2011-09-28 08:00

[quote="Benno Hartwig"]
"nur gegen 'eigene Engines'" testen will ich eigentlich ja gar nicht.
Das brachte ich nur in die Diskussion, um mal zu klären, ob Bruderkämpfe überhaupt sinnvoll, wengistens OK oder 'schädlich' für das Rating sind.
[/quote]

Hallo Benno!
Weil du mir immer noch sehr viel mehr Fragen aufzuwerfen als zu beantworten scheinst:
Glaubst du nicht auch schön langsam, dass alle diese Fragen einfach in Einzelfällen sehr verschiedene einzelne Antworten haben?

Z.B: Du willst wissen, wie Houdini 1.5 und 2.0 im direkten Vergleich gegeneinander abschneiden (um es nicht zu kompliziert zu machen, von dem Teststellungsmix deines Vertrauens aus

), wie wirst du diese Frage am besten beantworten?

Anderes Beispiel: du willst wissen, wie sich 2.0 im Vergleich zu 1.5 gegen den engine- Mix, der für dich (und Andere

) gerade am relevantesten ist, schlägt, sicher nicht so gut mit nur 1.5 gegen 2.0 2er Match zu testen.

Ganz anderes Beispiel: du willst wissen, wie sich die Lernfunktion (ich meine engine- Lernen, diejenige .dat- Datei, in der von der engine selbst gelernte Stellungen gespeichert werden) von 2.0, die es bei 1.5 nocht nicht gab, bei bestimmten Eröffnungen auswirkt, dazu meine Vorschlag einer Antwort: Thema- Turnier von immer dieser einen bestimmten Eröffnungsstellung aus, die du untersuchen willst, ob jetzt wieder nur gegen 1.5 oder auch gegen andere engines, von denen du bisher schon angenommen hast, dass sie mit dieser Eröffnung gut klarkommen, gegen solche ohne Lerndatei oder nur gegen solche, die auch lernen können, ist natürlich auch wieder völlig dir überlassen.
.....

Ich bin wieder unnötig ausführlich, will aber einfach sagen, warum sollte sich irgendjemand, der außer den Interessen, die von den paar großen Ranglisten meiner Meinung nach völlig abgedeckt werden, noch andere hat (Interessen nämlich), davon abhalten lassen, seine ureigensten Testbedingungen maßzuschneidern?

Was genau willst du eigentlich?
Den Ranglistenbetreibern, die das schon ewig lang zu allgemeinen Zufriedenheit machen, Tips geben, was sie schon lange falsch machen, ihnen helfen die Listen auf ein völlig einheitliches Niveau zu bringen, die eine einzigste Liste unter all den anderen küren oder

willst du einfach nur für dich persönlich die für deine persönlichen Interessen besten Testbedingungen herausfinden?
Wenn Letzteres, weiß du schon genau, was du willst?
Das wäre nämlich in jedem Fall die unverzichtbare erste Voraussetzung für alles weitere.

By Benno Hartwig Date 2011-09-28 14:09

[quote="Peter Martan"]Was genau willst du eigentlich?[/quote]Ich glaube, der Hintergrund meiner Frage ist:
Ohne für mich nachvollziehbare Gründe dafür anzugeben, werden bestimmte Rahmenbedingungen bei den Listen gesetzt (ist natürlich OK, man muss mir nicht alles erklären, und vernünftig sind diese Listen ja auch so aufgesetzt!)
und ohne echte Gründe dafür anzugeben wird bisweilen rigoros erklärt, dass abweichende Vorstellungen 'schlecht', 'schädlich' oder 'sinnlos' sind.
Und da versuche ich eben, diese 'so offensichtlich schädliche Sinnlosigkeit' zu hinterfragen.
Benno

By Peter Martan Date 2011-09-28 15:15

Ok, Benno, das ist ja so weit klar, nur
ohne, dass ich das im Detail für jede einzelne engine selbst nachgeprüft hätte, glaube ich halt sicher,
dass im einen Fall eine neue Version andere Elo gegen ihre Vorversion erspielen wird als gegen den üblichen Gegnermix, im anderen Fall sehr ähnliche Elo und
man daher, will man beides wissen, wie sie gegen den Vater und wie sie gegen die Onkeln und Tanten spielt, beides wird probieren müssen, interessiert einen nur das eine, ist's wörtlich einfacher.
Du willst Regeln, hier habe ich eine: Statistik sagt nichts über den Einzelfall aus.

By Thorsten Czub Date 2011-09-28 18:19

ein philosophisches system lebt von seinen Annahmen und Voraussetzungen. in sich sind philosophische Systeme ja häufig sehr schluessig. nur ist die Annahme oft das Hauptproblem. Ähnlich ist es auch bei Theorien in der Physik (siehe Einstein und die Lichtgeschwindigkeit als Maximalgeschwindigkeit ).
Man setzt einen Wert voraus (lichtgeschwindigkeit) um andere relativitäten zu bedingen.
wuerde man die voraussetzung wegnehmen, wuerde die theorie gar nicht funktionieren.

und so ist das mit allen andere bereichen der gesellschaft.

Das macht es so schwer zu entscheiden wer nun recht hat, schopenhauer oder kant.
hegel oder popper.

ich halte nix von x gegen x+1 matches.

wenn ich partien spiele dann gegen viele unterschiedliche Gegner.
dafuer dann nicht soviele Partien pro gegner , dabei sehe ich mir die partien selber an,
und beobachte welches programm wann einen sachverhalt zuerst richtig eingeschaetzt hat.

d.h. ich korreliere die HV, rechentiefen und bewertungen mit meinen eigenen ansichten ueber den partietrend.

und wenn das dann zu den daten passt, gebe ich ein urteil ab oder schreibe einen artikel.

aber so dinge wie houdini 2.0 gegen 1.5 spielen lassen , 100 oder 1000 partien, um dann
zu einer erkenntnis (wie auch immer) zu kommen, das liegt mir nicht.
ich halte die programme fuer zu ähnlich-

selbst wenn houdini2 im direkten match gegen 1.5 besser spielt heisst das ja nicht das es auch gegen andere so ist.

By Benno Hartwig Date 2011-09-28 19:34

[quote="Thorsten Czub"]selbst wenn houdini2 im direkten match gegen 1.5 besser spielt heisst das ja nicht das es auch gegen andere so ist.[/quote]Klar, stimmt.
Andererseits gilt auch: selbst wenn H2.0 gegen andere Engines kaum erfolgreicher ist als H1.5, könnte H2.0 gegen H1.5 deutlich gewinnen oder sogar schlechter abschneiden.
Aber natürlich gibt es sehr vieles auf der Welt, für das man sich getrost nicht interessieren darf.
Benno

By Peter Martan Date 2011-09-29 20:09

Aber übrigens nur noch um zu zeigen, dass ich deine Zweifel an der unumstösslichen Realität der "gängigen" Ranglisten durchaus teile, und wir sicher schon länger nicht mehr die Einzigen sind:
Hierüber bin ich im Open Chess gestolpert:
http://www.open-chess.org/viewtopic.php?f=7&t=1623
Auch eine durchaus nicht völlig von der Hand zu weisende Frage, was wäre, wenn man nur die paar Zweitplatzierten gegeneinander spielen ließe, (Komodo, Critter, einen Ivan, Stocki und R4 schlägt der mir ansonsten unbekannte poster dort vor) ohne Houdini und ohne irgendeinen deutlich schwächeren, würde das nicht eigentlich mehr Aussage auf die direkte eingeschränkte Frage nach dem zweiten Platz bringen oder fiele es auch unter Inzest- Begegnungen?

Bräuchte es mehr oder weniger Partien für eine klare Antwort als der gängige Gegnermix und wie wäre es wohl mit der Remis- Häufigkeit?
Fragen über Fragen, die siehst, Benno, das gäb's noch viel zu forschen, wenn's denn wirklich irgend eine Sau interessierte, ich muss wieder mal Michael Scheidl zitieren.

By Benno Hartwig Date 2011-09-29 21:55

[quote="Peter Martan"]würde das nicht eigentlich mehr Aussage auf die direkte eingeschränkte Frage nach dem zweiten Platz bringen oder fiele es auch unter Inzest- Begegnungen?[/quote]Zunächst mal wieder käme die Frage "Was ist der zweite Platz?"
Also konkret: "Ist der 2. Platz denn ohne die Nummer 1 auszuspielen, oder sind die Erfolge gegen die Nummer 1 zwingender Bestandteil?"

Benno

By Peter Martan Date 2011-09-29 22:02

Und andererseits, warum gerade dieses Kollektiv nicht? Ich meine, wenn das nun mal die am engsten beieinander liegenden engines sind?

Übrigens wollte ich ja nur darauf hinaus, dass den Möglichkeiten, subjektiv interessante Konstellationen zu finden, keine Grenzen gesetzt sind.
Oder anders gefragt, warum gerade die engines, die sonst so miteinander verglichen werden?

By Benno Hartwig Date 2011-09-28 15:56

[quote="Benno Hartwig"]Ob Houdini 2.0 direkt gegen die 1.5 z.B. aim Maschinenraum aber ggf. +40 ELO schafft

oder sogar unterlegen ist

, wird auch manchen interessieren.[/quote]
Und dies ist bei Houdini vielleicht gerade deshalb interessant, weil 1.5 freeware war und 2.0 Geld kostet.
Vermutlich wird in der freien Wildbahn (z.B. im Maschinenraum) nun wirklich eine muntere Mischung von H1.5 und H2.0 die Fauna bilden. Wer mit dem einen Houdini kommt, spielt dann eben auch viel gegen den anderen.
Benno