Hallo Wolfgang,

schön das Du Dir die Zeit genommen hast !!
Ich habe ganz offensichtlich zu viel davon (eigentlich eher gar nicht) !

Zu den CEGT Listen:

Ah verschrieben, also ich schaue auf 40 in 20 ponder = off (immer schon) und beobachte die Liste von Gerhard Sonnabend mit 5+3 und Ponder = on. Finde die 5+3 mit Ponder = on kommt hinsichtlich Aufbau und Durchführung meinen Arbeiten sehr gleich. Auch ziehe ich mir hier natürlich die Anhaltspunkte, um neue Engines zu testen, denn ne Quelle was ich teste brauche ich natürlich auch. Ferner vergleiche ich dann natürlich! Aber ich habe wie in allen meiner Listen immer das Problem, dass der direkte Vergleich hinkt, weil bei mir ... warum auch immer ... Shredder im Vergleich zu anderen Listen eher unter Wert spielt. Ich rede mir das selbst schön und vermute, dass liegt daran, das Shredder eher mit mehr Zeit abbaut anstatt zulegt. Beobachte ich im Grunde ein bissel und es gibt auch noch andere Beispiele bei Engines, die zwischen w32 und x64 quasi "Null" profitieren. Modernere Engines mit Prozessoroptimierungen für modernere Prozessoren sind hier zusätzlich im Vorteil. Schaue ich dann aber auf das Verhältnis zwischen den Engines, stimmt im Rahmen der typischen Abweichungen ja fast immer alles. Glaube auch, dass wenn ich ohne Aufgabefaktor spielen würde, das eine oder andere Ergebnis anders ausfallen würde. Wenige Punkte mehr oder weniger bei 1.000 Partien haben größere Folgen. Gibt so viele kleine Beeinflussungsfaktoren, die aber wenn mehrere davon aufeinander treffen dann schon den einen oder anderen leicht sichtbaren Unterschied ausmachen. Immer wieder stelle ich genau das fest und immer wieder zweifle ich dann wieder an irgend einen eigenen Eindruck.

Übrigens, Eure 40 in 120 schaue ich mir hier und da auch mal gerne an !!
Nur selbst hätte ich daran kein Interesse vergleichbares zu erstellen, kann so lange einer Partie nicht konzentriert folgen.

Ponder:

Ich war es satt mit Ponder = on zu testen. Zu viele Fehler bei zu vielen Engines. Habe darauf echt die Lust verloren. Wie gesagt, einfach kein großes Interesse mehr immer wieder Fehler zu melden. Im Grunde sind es ja die Ratinglistenbetreiber (Werner ist das beste Beispiel), die durch die Meldungen meist dazu beitragen, dass die Fehler behoben werden. Aber so wie ich meine Liste aufbaue, bin ich zeitlich schon etwas mehr als gedacht ausgelastet und die Aktivität reicht mir wie sie ist. Wollte das ja auch erst gar nicht mehr öffentlich machen und sendete nach der Pause nach SWCR1 nur 3 oder 4 Leuten meine Liste per eMail, so auch Werner. Ja, es ist wichtig das bei einer Ponder = On Liste wirklich das Pondern auch stimmt, sonst zu viele Hänger und wir sitzen ja auch nicht den ganzen Tag am PC um laufend zu korrigieren. Ponder scheint heute immer noch ein Problem zu sein, gerade in Verbindung mit einer vernünftigen Zeiteinteilung. Nun ja, die Zeiteinteilung hat sich aber in den letzten Jahren deutlich bei den Engines verbessert.

Clones:

Rybka = Fruit
IPP = Rybka
Houdini = IPP
Und dann wieder Critter ist Houdini
Naum schaut wie Rybka aus
Equinox ist IPP und offenbar auch der letzte Fritz
Und dann noch die vielen anderen IPPs ...

Da gibt es wieder einen interessanten Thread im Orgin Forum bei TalkChess.
Im Grunde hat Robert auch Recht behalten auch wenn er immer so gerne schreibt ... wir prüfen ja im Rahmen der offiziellen Turnierteilnahmen und jenes und dieses ist nicht geprüft weil keine offizielle Anmeldung von Programm x oder y erfolgte (er redet sich da immer selbst wieder raus, er meint bzw. argumentiert in anderen Threads eher klar Anti-Clone und stellt offizielle Prüfarbeiten nur zu gerne vor seinen Eindrücken um diese auf eine seriöser wirkende Art zu untermauern). Zumindest das finde ich bei der offiziellen Organisation gut. Wir dürfen hier den Clones einfach keine Bühne geben, dass wäre nicht OK und gerade die vielen sehr guten Arbeiten von Programmierern, die Gutes leisten würden ... wenn es anders wäre ... direkt mit in Frage gestellt. Es würden noch mehr die Lust verlieren. Insofern bleiben die IPPs und sonstigen Clones die "Wohnzimmer Engines" für User A oder B und das ist auch gut so.

Für uns, wie Du es beschrieben hast, ein echtes Problem !!!
Wir brauchen, um die wirklichen TOP-Entwicklungen wie Komodo oder Stockfish, GullChess zu testen, mehr Gegner. Woher nehmen wenn nicht aus dem Lager der Clones. Aber das hat dann immer alles auch einen faden Beigeschmack, denn im Grunde halten die Clones immer die gleichen Stärken. Spielen zu viele in einer Liste, wäre das vergleichbar, als wenn wir ein Turnier mit 10 Engines spielen und bei den 10 Engines sind 6 dabei die nichts anders sind als Spielstil Veränderungen, wie in TheKing Zeiten, auf höherem Niveau. Dann haben wir das Problem, dass die wirklich eigenen Entwicklungen zu ungleichen Teilen auf Gegner treffen.

Beispiel:
Stockfish spielt gegen:
Komodo, Houdini, Critter, Rybka, Equinox und Gullchess je 100 Partien ...

Die Realität ist dann ...
Stockfish spielt gegen Komodo 100 Partien
Stockfish spielt gegen GullChess 100 Partien
Stockfish spielt gegen Clone Fraktion 400 Partien (da im Grunde gleiche Stärken und Schwächen ein ungleicher Test).

Also ein Verhältnis von 100 / 100 / 400 und wenn Stockfish besonders gut die Clone Fraktion punktet, wird der ermittelte Wert in Elo ... egal wie viele Partien vorliegen ... zu stark beeinflusst und das Ergebnis ist nicht wirklich ein Ergebnis wie wir es uns wünschen würden. Das brauchen wir auch nicht schön zu reden weil es so ist wie es ist. Umso unsinniger die Diskussionen um Ratinglisten wie Anzahl der Partien ... wenn wir Äpfel mit Birnen vergleichen.

Was also tun?
Clones komplett blocken und dann haben wir folgendes Problem ...
Das von Dir beschriebene ... es fehlen die Gegner und Engines wie Stockfish müssen gegen zu viele klar Schwächere antreten. Da die Schwächeren gerne viele Remispartien gegen die Stärkeren produzieren wird auch hier ein wenig negativ beeinflusst ... sowohl bei den Ausgabewert der Schwächeren Engine als auch bei Stockfish.

Clones kommen und gehen und blockieren nur Plätze in kleineren Ratinglisten für echte Entwicklungen.
Je weniger drin sind desto mehr wirklich interessantes kann getestet werden.
Klar, warum ich so vorgehe wie ich vorgehe!

Also ...
Mit welchen Übel leben wir bei der Erstellung einer Liste oder welches Übel ist das Geringste?
Das kann ich auch nicht sagen aber ich persönlich habe deutlich mehr Spaß beim Zusehen und testen wenn viele unterschiedliche Kräfte gegeneinander spielen.

Bei der CEGT aufgrund der Masse der getesteten Engines ja fast egal weil die Masse gleicht leichte Unwägbarkeiten wieder aus. Nur in einer kleineren Liste, wie ich das derzeit praktiziere, würden 5 Clones die Einzelergebnisse der Anderen zu stark beeinflussen. Das hatte ich sehr schön mit der SWCR2 festgestellt. Dort spielten auch Houdini, Critter, Equinox, Naum etc.. Je mehr ich davon rausgeworfen haben desto mehr haben die Elo der anderen -echten Engine Entwicklungen- teilweise deutlicher verändert. Die SWCR2 war so scheiße das ich das Konzept in die Tonne treten musste und neu aufgebaut habe.

Du kannst schon mit 1.000 Partien ein richtig gutes Ergebnis produzieren aber das wird auch nur dann richtig gut wenn weitestgehend die Unwägbarkeiten so gut es geht ausgeschaltet werden. Das ist dann mein Ding, mit geringen Mitteln versuchen das Ergebnis immer weiter und weiter zu verbessern, wie das Buch an dem ich arbeite. So macht es dann auf längere Sicht Spaß sich mit dem Thema zu beschäftigen. Und bei mir gilt immer ... blos nicht wieder die Lust verlieren! Durch Clones verliere ich aber stetig das Interesse und das versuche ich zu vermeiden.

---

Und zurück rudern und die Clones wieder rauswerfen.
Würden die Ratinglistebetreiber das machen hätte das Auswirkungen auf das Nutzungsverhalten der User.
CEGT ist da ja sehr konsequent geblieben und hat dann erst so nach und nach mal eine kritische Engine hinzugenommen. Meist stellt sich auch erst später heraus das eine Engine mal wieder geklont wurde. Erkennen können wir das nicht immer direkt, auch ich nicht mit den Stats die ich durchführe. Sind hier auch angewiesen auf Informationen die heute ja sehr schön und einfach produziert werden können. Also, heute ist es einfacher einen Clone zu erkennen und wenn 1x in der Liste und schon x Partien gespielt ... so ging es mir ja auch schon oft ... am besten neu beginnen wenn es die Arbeit eines einzelnen ist. Ich beende sehr schnell wenn mir etwas nicht passt aber CEGT ist heute etabliert und da kann ein Konzept nicht mal so direkt von jetzt auf gleich geändert werden und wie gesagt die Frage ist ob das überhaupt sinnvoll ist.

Wenn dann nur aus einen einzigen Grund ...
Den Clones die Bühne zu nehmen!

Schwieriges Thema und auch ich habe in SWCR1 und SWCR2 x davon drin gehabt.
Aber je mehr ich merkte die Liste wird interessanter mit unterschiedlichen Programmen je mehr richte ich mich gegen dieses Thema aus.
Zumal die Clones nicht wirklich eine Bereicherung darstellen, gibt heute kein Clone mehr welcher wirklich durch irgend etwas besonders auffällt was andere echte Entwicklungen nicht auch haben oder können. Vielleicht redet der eine oder andere User sich das ein wenn er für einen Clone in den eigenen Geldbeutel greifen musste. Wir wissen aus der Vergangenheit das für viele kommerzielles was gutes darstellen muss. Auch ich habe seinerzeit ein Interview mit Vas gemacht, habe ihn in x mails kommerziell beraten hinsichtlich wie wird vermarktet und wo gehe ich hin. Da hatte ich auch nicht die Infos die ich heute habe. Bei Houdini war es aber Gott sei Dank von Anfang an klar weil das sehr früh einige andere Programmierer in TalkChess schön dargestellt haben und auch beweisen konnten.

Viele Grüße
Frank

Also nach wie vor ...
Ob Clone Topic oder wie testen ...
Die CEGT macht eine gute Arbeit und ich möchte erst mal jemanden sehen der so beständig eine Leistung erbringt.
100%ig geht es nicht und in jeder Liste steckt auch immer das eine oder andere Problem. Nichts ist perfekt aber fügen wir alles zusammen wurde im Bereich Listenerstellung hervorragendes geleistet. Und maßgebend daran beteiligt ist nun mal die CEGT sprich Du und die anderen Tester.