Warum 100 Spiele gegen eine Engine nicht langen ...

By Peter Martan Date 2010-03-17 09:59

Verflixt, das juckt schon wieder so.

Wir hatten in der letzten Zeit schon hin und wieder die Überlegung, was für Eröffnungs-(Test-)stellungen mögen wohl die besten sein.
Begriffe wie ausgewogen, praxisrelevant, im Gleichgewicht...., kommen da immer wieder vor, eigentlich wissen wir nur, dass es keine "besonderen" sein sollen, was nachweisbare best moves hat, ist als Ausgangsstellung natürlich pfui, die engine, die den bm findet, profitiert nicht nur einmal davon, (vorausgesetzt, die Gegnerengine findet ihn nicht, dann verliert sie wahrscheinlich gleich relativ sicher einen halben bis einen ganzen Punkt), sondern zweimal, weil automatischer Farbwechsel muss ja sein und wenn nun die in diesem Fall halt eindeutig doofere engine den Lösungszug auf der einen Seite nicht findet, findet sie mit einer gewissen Wahrscheinlichkeit vielleicht auch nicht einmal auf der anderen Seite die beste Fortsetzung, zu dumm aber auch, wie kann man sowas auch nur als Teststellung für ein ordentliches match erwägen?
Naja, man könnte defetistischer Weise einwenden, jede Stellung müsste genau genommen einen besten Zug haben, man findet ihn nur in manchen Stellungen schwerer, daher bezeichne ich diese Stellungen jetzt mal wieder frech als schwere Stellungen, so takisch knifflig eine bm- Aufgabe auch ist, sie ist eine einfachere Stellung, einfach weil der besten Zug vermutlich (was weiß man schon

) ein einziger sein dürfte und noch dazu kann man ihn finden.
Soweit ist's ja noch halbwegs einfach, kompliziert wird meine Überlegung jetzt dann erst:
Man will also mit ausgewogenen Teststellungen nicht besondere taktische Fähigkeiten der engines belohnen, man will überhaupt gerecht sein und nimmt daher gerechter Weise ausgewogene Stellungen, ich nenne sie noch einmal schwer, kenne dann aber jedenfalls einfach keine ausgewogenere oder schwerere Stellung als die Grundstellung.
Verzeih mir wieder mal eine, ich geb's gleich mal wieder unumwunden zu, rhetorische Frage dazu, ich fürchte du wirst mich so durchschauen, worauf ich hinaus will, dass du gleich gar nix antworten wirst und mach's daher gleich wieder selber, warum nicht doch einfach die matches ohne Bücher, ohne Stellungsvorgaben, von der Grundstellung aus laufen lassen?
Ich weiß schon, das ist ungerecht, weil damit engines belohnt werden, die mit der Grundstellung am besten zurecht kommen, ist das aber nicht wenigstens auch irgendwie gerecht im Hinblick auf die Relevanz dieser als Teststellung? Zumindest gehen doch alle anderen Teststellungen aus ihr hervor, nicht?
Verstehe, es kommt darauf an, dass es viele viele viele Teststellungen sein sollen, damit keine einzelne von den vielen vielen vielen engines (das macht das Ergebnis ja auch viel viel relevanter, wie wir wissen, als wenn immer nur eine gegen eine spielt, leuchtet mir auch ein) von einer einzelnen bestimmten Stellung viel viel profitiert.
Je mehr Teststellungen und je ausgewogener dieselben, desto gerechter das Ergebnis.
Halt, wäre es nicht eigentlich gerechter, man würde genau die Hälfte genau halb so "schwerer", "ausgewogener" Stellungen nehmen und die andere Hälfte wäre genau doppelt so schwer und ausgewogen, sagen wir also einfach, wir nehmen zur Hälfte Stellungen wie bisher, schwer und ausgewogen und die andere Hälfte sozusagen zweitbestmove- Aufgaben?

Naja, überlegenswert wär's schon, wenn wir nicht engines bevorzugen wollen, die weniger taktisch auf Zack sind und dafür positionell stark, hmh?
Was schätzt du, wieviele Partien müsstest du wenigstens bei der Einfachheit halber nur 2 Gegnern spielen, wenn du statt deiner wenigstens 50 Teststellungen wenigstens 100 (halt pro engine, wenn wir das dann weiter rechnen wollen) nehmen, um nicht die eine von der du ja auch schon einfach vorab mit einem Probelauf (Vorsicht Stellungstest !

) feststellen kannst, wie gut sie mit welchen Teststellungen zu recht kommt, zu benachteiligen?
Ich schäme mich für die vielen Fragen und fasse sie zu einer zusammen, warum machst du nicht wenigstens auch mal den Versuch zu echten Doppelblindstudien?

By Ingo Bauer Date 2010-03-17 12:05

Hallo

[quote="Peter Martan"]
...warum nicht doch einfach die matches ohne Bücher, ohne Stellungsvorgaben, von der Grundstellung aus laufen lassen?
[/quote]

Weil ich dann bei einer Single Enigne womöglich 100 gleiche Spiele bekomme. Die Grundstellung als EINE valide Eröffnungsstellung mit in einem Test macht durchaus Sinn. Tatsächlich habe ich ein paar SEHR kurze Eröffnungen (2-3 Züge) die nur in eine bestimmte Richtung weisen sollen und ich überlasse danach den Engines das Feld.

[quote="Peter Martan"]
..
Was schätzt du, wieviele Partien müsstest du wenigstens bei der Einfachheit halber nur 2 Gegnern spielen, wenn du statt deiner wenigstens 50 Teststellungen wenigstens 100 (halt pro engine, wenn wir das dann weiter rechnen wollen) nehmen, um nicht die eine von der du ja auch schon einfach vorab mit einem Probelauf (Vorsicht Stellungstest !

) feststellen kannst, wie gut sie mit welchen Teststellungen zu recht kommt, zu benachteiligen?
[/quote]

Zwei Dinge:
1. Obigen Satz gekürzt um zur Frage zu kommen: Wieviel Partien müßte man spielen wenn man statt 50, 100 Teststellungen nehmen würde.
Genauso viele wie mit 50. Die Abweichung hängt mit der Anzahl der Spiele zusammen und nicht mit der Anzahl der Teststellungen. Es kommt auf die "Güte" der Stellungen an. Wer natürlich 50 verschiednene Sizilianer nimmt hat ein Problem. Aber: ein Test mit Büchern ändert am Problem nichts, da bei 50 oder 100 Stellungen genau so schlechte Stellungen für eine Engine gepsielt werden können ... Man muß sich natürlich kritisch mit den gewählten Eröffnungsstellungen auseinander setzen. Das muß man nicht mal mit Verständniss für sie Stellung tun, sondern kann einfach Statistisch über alle Engines aussagen treffen ob eine Position vorwiegend mit Weiß gewonnen oder verloren wird. Weicht dieser Durchschnitt weit vom Durchschnitt über alle Stellungen ab ist sie als Eröffnungsstellung ungeeignet. Ich habe mal mit einem 50er Set angefangen und über die Jahre insgesammt 15 Stellungen ausgetausch. Natürlich darf man nicht so lange austauschen bis man nur noch Remisen fabriziert - sondern muß sehen das die "+=-" Quote im ganzen ungefähr dem allgemeinen Durchschnitt entspricht. Ich untersuche gelegentlich meine Datenbank um zu sehen ob eine Eröffnung weit von meinem Durchschnitt abweicht, mußte jetzt aber seit gut einem Jahr nicht mehr ran ...

2.Es tut mir leid, aber ich will und kann nicht mehr ewig über deinem etwas 'selbstverliebtem' Stil brüten. Entweder benutzt du deutlich mehr Punkte und Kommas oder meine Antworten werden weniger. Das Problem ist, dass du selbst im oben zitierten Satz Kommas nicht setzt, womit die Übersichtlichkeit verloren geht und ich auch noch sicher bin, dass er gramatikalisch falsch ist. Ich verlange nicht das jemand perfekt Kommas setzt oder seine Sätze bis ins letzte Ausfeilt, ich selber bin weit davon entfernt, wenn man aber zu Bandwurmsetzen neigt, sollte man das auch beherschen. Sprich, wer den meint lange Sätze wären wertvoll muß auch wissen wie es geht. Deine Texte kostet meinem beschränkten Intelekt eine Unmenge an Zeit um ihn zu verstehen. Ich nicht bereit diese zu investieren - sorry!

Gruß
Ingo

PS: Wenn du mal ein paar schöne Bsp für perfekte lange Sätze lesen willst darf ich dir Kleist im allgemeinen und "Der zerbrochenen Krug" im Besonderen empfehlen!

By Peter Martan Date 2010-03-17 12:55

[quote="Ingo Bauer"]
Zwei Dinge:
1. Obigen Satz gekürzt um zur Frage zu kommen: Wieviel Partien müßte man spielen wenn man statt 50, 100 Teststellungen nehmen würde.
Genauso viele wie mit 50. Die Abweichung hängt mit der Anzahl der Spiele zusammen und nicht mit der Anzahl der Teststellungen. Es kommt auf die "Güte" der Stellungen an.
[/quote]

Gute Güte, so etwas hatte ich doch wirklich auch schon vermutet.
Stop
Gesetzt den Fall, du nimmst nicht nur die Grundstellung und nicht nur Sizilianer:
Deren gibt's in der Literatur schon mehr als das meiste andere, wenn du absichtlich nicht danach gehst, was wem liegen könnte, solltest du daher um der Literatur irgendwie ein Recht einzuräumen, jedenfall mehr Sizilianer nehmen als Skandinavier, oder dich prinzipiell der Bewertung der Literatur in dieser ihrer Statistik der Meisterpraxis völlig entschlagen.
Stop. (War aber auch höchste Zeit für Satzende, uff.)
Wie willst du das machen, auch wenn du kein "Buch" nimmst, sondern die Stellungen von Hand wählst, irgendwo sind sie zu Hause oder wir kommen wieder zur Grundstellung.
Stop
Wenn du einfach sehr nahe der Grundstellung bleibst mit möglichst allen Stellungen wird der Unterschied im Ergebnis von dem "ohne Buch" nicht sehr weit weg sein, was meinst du?

Nur eine bestimmte engine die Bewertung in +- der Stellungen vornnehmen zu lassen, kann's auch nicht sein, oder?
Auch wird sie dir nicht sagen, wie weit in die Eröffnung du mit deinen Teststellungen hinein gehen sollst.
Stop.

Aus all dem folgere ich, wie auch immer du versuchst, ausgewogen zu sein, deine Wahl wird mehr Einfluss haben, als ob du dann mit deinen 50 Stellungen 100 Partien spielst, oder 200, oder 400, oder 800,
Stop, stop, stop.

Ich würde also sagen, nimm lieber, statt mit 50 Teststellungen 100 Partien zu spielen, 500 Teststellungen für 1000 Partien, darunter machst du's ja sowieso nicht, zählen tun die einzelnen Stellungen doppelt beim Farbwechsel, jede einzelne Partie nur einmal.
Stop, das war unnötig einem Mathematiker und Statistiker gegenüber, tschuin.

[quote="Ingo Bauer"]
2.Es tut mir leid, aber ich will und kann nicht mehr ewig über deinem etwas 'selbstverliebtem' Stil brüten. Entweder benutzt du deutlich mehr Punkte und Kommas oder meine Antworten werden weniger. Das Problem ist, dass du selbst im oben zitierten Satz Kommas nicht setzt, womit die Übersichtlichkeit verloren geht und ich auch noch sicher bin, dass er gramatikalisch falsch ist. Ich verlange nicht das jemand perfekt Kommas setzt oder seine Sätze bis ins letzte Ausfeilt, ich selber bin weit davon entfernt, wenn man aber zu Bandwurmsetzen neigt, sollte man das auch beherschen. Sprich, wer den meint lange Sätze wären wertvoll muß auch wissen wie es geht. Deine Texte kostet meinem beschränkten Intelekt eine Unmenge an Zeit um ihn zu verstehen. Ich nicht bereit diese zu investieren - sorry!
[/quote]

Danke, dass du noch ein letztes Mal in deinen Antworten trotz der immer länger werdenden Fragen nicht kürzer geworden bist, sondern vielleicht sogar selbst noch länger als sonst, wäre ich wirklich boshaft, würde ich sagen, du hast dich in deinem Stil sogar schreibend schon fast meinem angenähert,
stop, stop, stop, das ging jetzt wirklich unter unser beider Niveau.
Ich will dich tatsächlich nicht ärgern, Ingo, so leicht würde mir das ja bei dir vermutlich auch gar nicht gelingen, selbst wenn ich es wollte.
Meine Fragen haben und hatten schon einen Inhalt zum Thema Statistik.
Dass ich nicht nur was fragen wollte, sondern auch gleich was dazu sagen, ist ja auch kein Geheimnis, so sokratisch ist meine Ironie wieder nicht.
Daher noch einmal in der von dir zu Recht geforderten Klarheit, man konnte es wahrscheinlich bisher wirklich noch nicht so ganz einfach verstehen:
Ich glaube, dass statistisch betrachtet, mehr als die Zahl der Spiele, die Zahl der Teststellungen zählt und dass es an der Randomisierung mangelt, wenn du um 100 Spiele zu spielen, 50 Stellungen willkürlich auswählst.
Was das dann für welche sein sollen, musst du nämlich irgendwie entscheiden und es zählt einfach je mehr, je mehr Spiele du mit ein- und denselben spielst.
Schachliche Gerechtigkeit wirst du in dieser Frage sehr schwer definieren können, wenn du sie auch irgendwie in Zahlen ausdrücken müsstest, sagen wir einfach:
Wieviel zählt die Häufigkeit einer Eröffnungsstellung in der Statistik in der Meisterpraxis (warum gerade nicht in der?

)?
Wenn sie nicht zählt, triffst du dann nicht erst recht deine Enscheidung nach reinen Computer- und nichtschachlichen Maßstäben oder deinem eigenen schachlichen Urteil?
Deshalb, weil sich ein paar Tester auf ein paar Teststellungen geeinigt haben, heißt das wirklich, dass sie ausreichend sind in der Zahl und konnte man sich nicht vielleicht nur dadurch so leicht darüber einigen, dass man meinte, sei eh wurscht?
Hat man sich nicht geeinigt, kann man dann die Kriterien, die zur Auswahl verwendet werden, unter einen Hut bringen und wie setzt man sich den schachlich gesehen, auf?
Oder wäre es jetzt mal vom schachlichen mal ganz abgesehen nicht doch eigentlich rein statistisch betrachtet zu fordern, die Tester sollten gar nicht wissen, mit welchen Teststellungen sie testen?
Diese Definition von Doppelblindstudie hätte ich dir auch nicht noch nachreichen müssen, weil das hattest du eh schon verstanden, dass die engines nicht wissen, was sie spielen, davon geh ich aus.

(Dass das eigentlich auch nicht so ist, stimmt zwar, würde es jetzt aber wirklich unnötig kompliziert machen.

)
Uff, jetzt kann ich nur noch hoffen, dass ich die Beistriche halbwegs gleichmäßig über den Bildschirm verteilt habe, an denen kann's aber bei mir und dem, was ich so schreibe, immer wieder ohnehdies viel weniger mangeln, wenn's nicht gleich alle verstehen...

[quote="Ingo Bauer"]
PS: Wenn du mal ein paar schöne Bsp für perfekte lange Sätze lesen willst darf ich dir Kleist im allgemeinen und "Der zerbrochenen Krug" im Besonderen empfehlen!
[/quote]

Kenn ich, kenn ich, das ist doch der, der so lange zum Brunnen geht, bis man bricht, nicht?
Ach nein, doch nicht, dein Beispiel ist auch gut, wie jeder Vergleich hinkt er (nicht der Dorfrichter, der Vergleich) aber, weil:
das ist ein Bühnenstück, Ingo, das ist zum Anschauen- und -Hören, nicht zum Lesen.

By Ingo Bauer Date 2010-03-17 13:22

Moin

[quote="Peter Martan"]
...
Ich würde also sagen, nimm lieber, statt mit 50 Teststellungen 100 Partien zu spielen, 500 Teststellungen für 1000 Partien,...
[/quote]

Nur kann ich bei 500 Stellungen, Farbwechsel, also 1000 Partien die Prämisse gegen möglichst viele Engines zu spielen nicht erfüllen ...

Das Ganze ist natürlich ein Kompromiss; und mit 50 Stellungen, also 100 mit Farbtausch, bewege ich mich gefühlt auch durchaus am unteren Rand dessen was mir noch sinnvoll erscheint.

Gruß
Ingo

By Peter Martan Date 2010-03-17 14:21

[quote="Ingo Bauer"]
Nur kann ich bei 500 Stellungen, Farbwechsel, also 1000 Partien die Prämisse gegen möglichst viele Engines zu spielen nicht erfüllen ...

Das Ganze ist natürlich ein Kompromiss; und mit 50 Stellungen, also 100 mit Farbtausch, bewege ich mich gefühlt auch durchaus am unteren Rand dessen was mir noch sinnvoll erscheint.
[/quote]

Wenn du das wirklich so meinst, wie du schreibst, Ingo, sind wir uns fast einig, am unteren Rand, meinem Gefühl nach eher drunter, aber ich will dich nicht dein Handwerk lehren, verzeih, wenn es manchmal so klang.
Warum das für mich ganz viel Konsequenz hat über das Listenerstellen hinaus, ganz allgemein computerschachlich, kommt vielleicht demnächst in einem eigenen thread von mir, derzeit bin ich es fast schon etwas müde, das Ganze.

By Udo Kaiser Date 2010-03-17 14:46

das ist ja das "Problem" das es ein Kompromiß ist. Einfacher wäre m.E. weniger Partien und dafür in die Partien hereinschauen.

By Ingo Bauer Date 2010-03-17 14:56

Hallo

[quote="Udo Kaiser"]
das ist ja das "Problem" das es ein Kompromiß ist. Einfacher wäre m.E. weniger Partien und dafür in die Partien hereinschauen.
[/quote]

Ich weiß, es geht um Provokation, aber trotzdem: Mit "hineinschauen" kann man keine Rangliste erstellen!

Ingo

By Udo Kaiser Date 2010-03-17 16:09

mag sein. aber braucht man denn eine ratingliste erstellen wenn es schon 3 andere gibt , die das auch machen ?

Und nein, es geht nicht um Provokation.
Sondern um die Sinnfrage.

By Bert Rinzel Date 2010-03-17 16:18

Es könnten doch ein erbsen zählfehler vorliegen.

Und der liegt vor, da man die besten erbsen bewußt nicht mitzählt.

Code:

Viel mehr ist mir 'bange' vor ein paar "kleineren" Engines, von denen ich weiß, dass sie überdurschschnittliche Chancen haben. Da sieht es dann nämlich nach riesiger Überraschung aus und ist viel schlechter fürs Ego

Aber auch im unteren mittelfeld vergißt man erbsen zu zählen, da sie das gute aussehen der eigenen favorisierten erbse beeinträchtigen könnte.

By Ingo Bauer Date 2010-03-17 16:51

Ach Bert,

Ich bin ganz sicher du weiß was ich von dir halte!

Ingo

By Bert Rinzel Date 2010-03-17 17:17

ich bin mir auch ganz sicher: du weißt genausogut, was ich von dir halte.

By Ingo Bauer Date 2010-03-17 16:53

[quote="Udo Kaiser"]
mag sein. aber braucht man denn eine ratingliste erstellen wenn es schon 3 andere gibt , die das auch machen ?

Und nein, es geht nicht um Provokation.
Sondern um die Sinnfrage.
[/quote]

Hmm, muß man ein Buch erstellen wenn es schon 3 andere gibt? Muß man ein Auto bauen wenn es schon 3 andere gibt? Muß man Briefmarken sammeln wenn es schon 3 Sammler gibt? Glaube ich, dass du über deine Frage nachgedacht hast?

Nein es geht nicht um Provokation ... na dann ist ja gut.

Ingo

By Kurt Utzinger Date 2010-03-18 20:19

Hallo Peter
Ohne Dir nahe treten zu wollen, eine Frage: Ist/wäre es Dir nicht möglich, Deine
Gedanken sprachlich etwas klarer/kürzer zu formulieren. Vielfach habe ich
echt Mühe, Dir zu folgen, ohne Deine Texte zwei- bis dreimal zu lesen. Das
kann dann nach einem ermüdenden Arbeitstag dazu führen, dass ich gar
nicht erst zu lesen beginne, was u.U. schade sein könnte.

Mfg
Kurt

By Peter Martan Date 2010-03-18 21:03

Hallo Kurt!
Nur damit du siehst, wieviel einfacher das dir gegenüber geht:
Die Zahl und die Wahl der Eröffnungs- oder Teststellungen macht mehr aus als die Zahl der Partien.
Dich brauch ich davon ja auch nicht zu überzeugen und Ingo gegenüber wird es mir auch noch so wortreich nicht gelingen.

By Kurt Utzinger Date 2010-03-18 22:30

Hallo Peter
Wunderbar, ein klares und kurzes Statement.
Mfg
Kurt

By Frank Quisinsky Date 2010-03-17 11:14

Hi Ingo,

ein Shredder Fan wird enttäuscht sein wenn ein Ktulu in der Liste ist.
Ktulu punktet überdurchschnittlich gut gegen Shredder 12.

Es ist wirklich wichtig viele unterschiedliche Engines in einer Liste zu haben.
100 Partien zwischen zwei Engines sind meiner Meinung nicht notwendig (ein vielleicht schlechtes Ergebnis nach weniger Partien relativiert sich bei vielen unterschiedlichen Gegnern) aber sei es drum. Besser ist natürlich immer mehr Partien zu haben auch wenn die Statistiken kaum noch berührt werden.

Schönes Beispiel ist z. B. Junior.
Auf mein Notebook habe ich mal Just for Fun Junior 2000 - Junior 11.1, 40 in 20 spielen lassen.
2 GHz, 32-Bit, Ponder = On, je mit 256Mb für Hash.

Ergebnis war +52 nach 80 Partien für Junior 11.1
Wäre das so, würden sich viele freuen

Von daher sind auch Matches, Rybka 3 - Clone X nicht sonderlich aussagekräftig. Selbst für den direkten Vergleich sagen solche Matches wenig aus. Auf der anderen Seite, viele haben die Zeit, Hardware nicht um Ratinglisten zu erpsielen, ganz zu Schweigen von der Lust darauf. Und irgendwie möchte ja jeder ein wenig testen.

Ich empfehle immer kleine Schweizer Turniere spielen zu lassen. Das macht Spaß. Die Ergebnissen von vielen kleinen Turnieren können auch zu einer kleinen Liste zusammengefasst werden. Liegen ca. 350 Partien gegen viele unerschiedliche Engines vor, wäre das schon ein diskussionswürdiges Ergebnis.

Viele Grüße
Frank

By Ingo Bauer Date 2010-03-17 12:33

Moin Frank

[quote="Frank Quisinsky"]
...
ein Shredder Fan wird enttäuscht sein wenn ein Ktulu in der Liste ist.
Ktulu punktet überdurchschnittlich gut gegen Shredder 12.
...
[/quote]

Ktulu kenne ich nicht, aber ich schaue schon ein bischen, zumindest bei den Topengines, ob eine Engine extrem weit ausserhalb des Durchschnitts gegen eine andere Engine punktet.

Man könnte argumentieren daß natürlich Rybka der Angstgegner aller Engines ist, aber dem ist nicht so. Rybka punktet gegen die meisten Engine im Rahmen seiner Erwartungen. Viel mehr ist mir 'bange' vor ein paar "kleineren" Engines, von denen ich weiß, dass sie überdurschschnittliche Chancen haben. Da sieht es dann nämlich nach riesiger Überraschung aus und ist viel schlechter fürs Ego

"Kenne den Feind ... " möchte ich da nur Copyrightfrei zitieren!

Gruß
Ingo

By Frank Quisinsky Date 2010-03-17 12:52

Hi Ingo,

hier die Ktulu 9.03 Ergebnisse, wie gesagt läuft in der SWCR als Beta-Version (nur Bugfixes zur offiziellen 9.0).
Ist aber noch nicht stabil ...

Shredder führt jetzt zwar mit 5:2 muss aber in jeder Partie wirklich kämpfen und hat schon 2 Partien verloren (sehenswerte Partien von Ktulu). In der aktuell laufenden Partie gibt es gegen Naum 4.1 die nächste Packung. Mal schauen wie das endet ...

Code:

Ktulu auf Q9550 ...

ktulu-903
Ktulu 9.03 - Critter 0.52b  4.0 - 4.0  50.00%   
Ktulu 9.03 - Fruit 05_11_03  3.5 - 4.5  43.75%   
Ktulu 9.03 - Hiarcs 12.1 Sharpen PV  4.0 - 4.0  50.00%   
Ktulu 9.03 - Komodo 1.0  4.0 - 4.0  50.00%   
Ktulu 9.03 - Loop 13.6  5.0 - 3.0  62.50%   
Ktulu 9.03 - Naum 4.1  0.5 - 6.5  7.14%   
Ktulu 9.03 - Onno 1.1.1  4.0 - 3.0  57.14%   
Ktulu 9.03 - Protector 1.32  1.0 - 6.0  14.29%   
Ktulu 9.03 - Rybka 3  1.5 - 5.5  21.43%   
Ktulu 9.03 - Shredder 12  2.0 - 5.0  28.57%   
Ktulu 9.03 - Sjeng WC-2008  3.0 - 4.0  42.86%   
Ktulu 9.03 - SmarThink 1.20  4.0 - 3.0  57.14%   
Ktulu 9.03 - Spark 0.3a  3.5 - 3.5  50.00%   
Ktulu 9.03 - Stockfish 1.6.3  1.5 - 5.5  21.43%   
Ktulu 9.03 - Thinker 5.4d Inert  1.5 - 5.5  21.43%   
Ktulu 9.03 - Twisted Logic 20100131x  3.5 - 3.5  50.00%   
Ktulu 9.03 - Zappa Mexico II  3.5 - 3.5  50.00%   
  50.0 - 74.0  40.32%   

124 von 680 Partien gespielt 
Spielstufe: 40 Züge in 10 min

Gegen Junior 11.1 und Deep Fritz 12 dann wieder unter der Fritz GUI.
Ergebnisse Shredder 12 GUI Spießrutenlauf.

Frank

By Benno Hartwig Date 2010-03-17 15:12

[quote="Frank Quisinsky"]Es ist wirklich wichtig viele unterschiedliche Engines in einer Liste zu haben.[/quote]Ich mag auch gern gemischte Listen um von vorn herein sowas wie Lieblingsgegner und Angstgegner und sehr speziell getunte Engines zu entschärfen. Auch wenn das übervorsichtig sein sollte.
Aber wie real sind diese Phänomene wirklich?
Gibt es wirklich Engines, die gegen andere Engines signifikant besser oder schlechter abschneiden als es aufgrund der ELO-Differenzen zu erwarten ist?
Ist das mal wirklich mit statistisch relevanten Partienmengen erkannt worden?

Solche Listen wie jetzt die von Ingo (und die erfordert ja sicher auch schon bei der Erstellung reichlich Mühe, thanx Ingo) tauchen bisweilen auf, und es wären die Abweichungen der jeweiligen errechneten ELO-Werte wohl allein durch die mit 100 jeweils sehr geringe Partienzahl problemlos erklärbar.
Ich vermute mal, er hätte auch 10 mal gegen dieselbe Engine 100 Partien spielen lassen können, und die 10 errechneten ELO-Werte hätten eine ähnliche Streuung bekommen.

Das sollte ich eigentlich mal genauer betrachten...

Benno

By Gerhard Sonnabend Date 2010-03-17 15:36

Zitat:

Ich mag auch gern gemischte Listen um von vorn herein sowas wie Lieblingsgegner und Angstgegner und sehr speziell getunte Engines zu entschärfen. Auch wenn das übervorsichtig sein sollte.
Aber wie real sind diese Phänomene wirklich?
Gibt es wirklich Engines, die gegen andere Engines signifikant besser oder schlechter abschneiden als es aufgrund der ELO-Differenzen zu erwarten ist?
Ist das mal wirklich mit statistisch relevanten Partienmengen erkannt worden?

Solche Listen wie jetzt die von Ingo (und die erfordert ja sicher auch schon bei der Erstellung reichlich Mühe, thanx Ingo) tauchen bisweilen auf, und es wären die Abweichungen der jeweiligen errechneten ELO-Werte wohl allein durch die mit 100 jeweils sehr geringe Partienzahl problemlos erklärbar.
Ich vermute mal, er hätte auch 10 mal gegen dieselbe Engine 100 Partien spielen lassen können, und die 10 errechneten ELO-Werte hätten eine ähnliche Streuung bekommen.

Das sollte ich eigentlich mal genauer betrachten...

Hallo Benno !

Aus meiner "Erbsenzähler-Praxis" kann ich folgendes vermelden:
die von Ingo genannten "Streuungen" kommen immer vor. Für meine *QBRL
http://www.pcschach.de/Punkt3.htm ist das bei fast jedem Testdurchgang der Fall.
Abweichungen von +- 70 Punkte in der ELO-Performance bei einem Test gegen 20 verschiedene Gegner
(also 2000 Games) sind "normal" und eben dem Kompromiss geschuldet, dass 100 Spiele gegen jeden
Gegner die Obergrenze sind. Wichtig ist das Gesamtresultat und hierbei kann man Tag für Tag
erkennen, dass sich die Resultate fast aller Listen sehr stark angleichen. Und das trotz z.T.
doch deutlichen Unterschieden bei den Durchführungsbedingungen, also PCs, PB on/off, Bücher oder
Vorgabestellungen, Bedenkzeit, Grösse der HTs etc. etc.
Wiederholungen einzelner Matches jedoch haben (zumindest bei mir) bislang keinerlei bemerkenswerte
Streuungen produziert ! Das würde mir auch zu Denken geben und mich an den Testbedigungen zweifeln
lassen.
Ein weiteres Beispiel:
Wolfgang lässt für die CEGT-Blitz-Ratingliste meist mit Kurzbüchern spielen. Ich selbst verwende
ausschliesslich Vorgabestellungen. Oftmals lassen wir beide die selbe Engineversion die Tests
durchlaufen. Natürlich unterscheidet sich auch hierbei die Einzelperformance. Was jedoch sehr
wichtig und gleichzeitig sehr beruhigend ist ist die Tatsache, dass wir nach einer vernünftig hohen
Anzahl an Spielen fast immer zu 100% die selbe Gesamtperformance erhalten !

Viele Grüsse,
G.S.

By Ingo Bauer Date 2010-03-17 15:46

[quote="Benno Hartwig"]
...

Solche Listen wie jetzt die von Ingo (und die erfordert ja sicher auch schon bei der Erstellung reichlich Mühe, thanx Ingo) tauchen bisweilen auf, und es wären die Abweichungen der jeweiligen errechneten ELO-Werte wohl allein durch die mit 100 jeweils sehr geringe Partienzahl problemlos erklärbar.
Ich vermute mal, er hätte auch 10 mal gegen dieselbe Engine 100 Partien spielen lassen können, und die 10 errechneten ELO-Werte hätten eine ähnliche Streuung bekommen.

[/quote]

Hallo Benno,

Zunächst mal Danke für das Danke. Ein wenig Zuspruch tut auch mal gut!

Ansonten glaube ich nicht, das ich nach 100 Spielen, wenn ich sie auf einerm Single 10 mal wiederhole ich Abweichungen von den oben erwähnten 65 Elo bekomme. Ich habe versehentlich die ein oder andere Enginekombination schon 2 mal gespielt und bin eigentlich sehr erstaunt wie konstannt die Ergebnisse bei Wiederholung sind (Single!) (natürlich NICHT gleich!). Wenn ich nicht völlig daneben liege sind 7 Elo rund ein 1%. Um also die 65 Elo abweichung zu bekommen müßte es in 100 Spielen 6.5 Punkte mehr oder weniger geben ...
Ich habe zwar keinen 10fach Test, aber immerhin einen aktuellen 2fachen laufen. J11.1 und J11.1a. Wie es scheint spielen beide Engines ungefähr gleich. Heute Abend bin ich mit 11.1a durch, dann poste ich mal die Ergebnisse beider Versionen gegen je die selben Gegner. Mal sehen wie die Ergebnisse sich gleichen oder voneinander abweichen.

Ansonsten sind 100 Spiele, wie ich schon schrieb, zu wenig. Aus obiger Liste kann man keinen Angstgegenr ableiten, sondern höchstens das Junior mit Hiarcs besser klar kommt als mit Sjeng. Mehr zu schließen wäre schon gewagt.

Gruß
Ingo

By Ingo Bauer Date 2010-03-17 18:42 Edited 2010-03-17 18:46

[quote="Ingo Bauer"]
... Wenn ich nicht völlig daneben liege sind 7 Elo rund ein 1%. Um also die 65 Elo abweichung zu bekommen müßte es in 100 Spielen 6.5 Punkte mehr oder weniger geben ...
[/quote]

Hmm, Kopfrechnen 6 - setzen!

Natürlich sind es bei 7Elo/% und 65 Elo Unterschied 9.29% respektive 9.29 Punkte bei 100 Spielen und nicht obige falsche Zahl!

Gruß
Ingo

By Frank Quisinsky Date 2010-03-17 18:00

Hallo Benno,

ich denke das eine wissenschaftliche Arbeit nicht notwendig ist (Anzahl Partien bei einer Eng-Eng Match Gestaltung für eine Ratingliste). Wichtig sind einfach nur viele unterschiedliche Gegner, die auch nicht zu weit voneinander entfernt liegen dürfen, ca. 200 ELO. Das ist aber bei den TOP-20 nicht möglich, denn die liegen 300 ELO von einander weg. So werden die Ratinglisten genauer, wenn die Remis-Partien, sprich die Remisquote steigt.

Spielst Du jetzt 40, 80 oder 120 Partien pro Match ist es klar das ein Match bei 40 Partien ein ungenauere Ergebnis zu Tage bringt. Aber das gleicht sich mit anderen Matches wieder aus. Wird die SWCR also verglichen mit der IPON sind die Ergebnisse gleich, Ausnahme ist der gute Junior.

Über Anzahl der Partien habe ich ja schon so oft geschrieben. Vor 2 Wochen habe ich das nochmals berechnet und war überrascht das bei dem Anspruchsdenken "Genauigkeit +-10" im Grunde knappe 700 Partien notwendig sind. Bei 700 Partien dann in 1 von 41 Fällen lt. statistischer Hochrechnung eine höhere Abweichung von +-5. Bei +-10 sind es nach meinen neues Berechnungen keine 380 sondern 410 Partien. Und je mehr ELOs die Engines auseinander liegen desto mehr Partien werden notwendig bzw. selbst bei 4.000 Partien pro Engine in einer Liste wo Platz 1-20 500 ELO auseinander liegen, reichen nicht mehr aus. Platz 1-2 und 19-20 ist immer bevorteilt / benachteiligt.

Nun möchte ja jeder der eine Liste erstellt ein möglichst genaues Ergebnis. Daher macht es natürlich besonders viel Spass wenn eine Engine deutlich zulegt. Die ganze Liste wird genauer.

Zu dem anderen Teilbereich der Frage:
Es gibt Angstgegner Konstellationen. Bei Ktulu scheint es Protector zu sein. Die Engines liegen normal ca. 50 ELO auseinander. Wird eine Serie an Partien gespielt sind es wahrscheinlich 150 bei einem solchen Eng-Eng Match. Oder Onno mag Fritz überhaupt nicht. Onno spielt z. b. sehr eigensinnig. In der SWCR ein Paradebeispiel für sehr gute Ergebnisse bis sehr schlechte Ergebnisse (im Verhältnis zur ELO). Wie gesagt, daher ist es wichtig viele unterschiedlichen Programme in der Liste zu haben.

Ich könnte z. B. ein Engine - Engine Turnier aus 6 Teilnehmern so gestalten, dass eine der Engines ein um 50-100 ELO besseres Ergebnis erreichen wird. Wenn mir diese Engine wichtig ist, oder ich böses im Schilde führen würde um eine Werbeattacke zu fahren

So Dinger habe ich nie gemacht aber rein theoretisch denkbar mit dem Wissen aus der beständigen Arbeit an einer Ratingliste.

Dann gibt es auch noch Konstellationen die auf den ersten Blick nicht auffällig sind.

Beispiel:
Crafty spielt gegen Thinker. Zwischen den Engines liegt ca. 160 ELO. Spielen die beiden gegeneinander wird Thinker deutlich gewinnen aber niemals mit 160 ELO mehr Ausbeute. Das fällt dann kaum auf, denn Thinker hat einfach nur gegen Crafty gewonnen.

Gruß
Frank

By Ralf Badera Date 2010-03-17 11:22

[quote="Ingo Bauer"]
... um eine Engine zu bewerten.

Insofern ist die erste Prämisse bei einem Enginetest eine möglichst große Zahl an verschiedenen Gegnern.

Gruß
Ingo
[/quote]
Das ist doch völlig unstrittig und führt hoffentlich nicht erneut zu der sinnfreien Diskussion, ob es besser ist, je 20 Partien gegen 5 Gegner oder 100 Partien gegen 1 Gegner zu spielen. Den Erbsenzähler-Schach-Verachtern geht es doch nicht um die Anzahl der Gegner, sondern um die Menge der in kürzester Zeit produzierten Partien.

MfG,
Ralf
(Der jetzt einen Antrag an die FIFA formuliert, Fussballspiele nicht mehr in 90 Minuten austragen zu lassen, sondern in der gleichen Zeit lieber 90 Spiele in je einer Minute - der statistischen Sicherheit wegen. )

By struwel Date 2010-03-17 11:57

[quote="Ralf Badera"]
[quote="Ingo Bauer"]
... um eine Engine zu bewerten.

Insofern ist die erste Prämisse bei einem Enginetest eine möglichst große Zahl an verschiedenen Gegnern.

Gruß
Ingo
[/quote]
...

(...Fussballspiele nicht mehr in 90 Minuten austragen zu lassen, sondern in der gleichen Zeit lieber 90 Spiele in je einer Minute - der statistischen Sicherheit wegen. )

[/quote]
ich lieg grad unterm tisch

By Udo Kaiser Date 2010-03-17 11:59

noch besser wäre diese kostenintensiven Fußballspiele abzuschaffen und das Ergebnis durch eine amtliche Ziehung zu ersetzen.
Für die Tabellenfreunde der Bundesliga würde sich ja nichts ändern.
Sie könnten weiterhin ihre Meisterschaft feiern. Bayern wäre immer noch Meister. Nur die sinnlosen Spiele könnten wir uns schenken
und die 90 Minuten Spiel durch ein Zahlenergebnis ersetzen. Geht schneller. Ist energiesparender.
Ich schlage vor 2 mal zu würfeln. Einmal für den einen Gegner. Die 2. Würfelzahl für den Gegner.
Schon haben wir das Ergebnis, sagen wir mal 2-4 für Schalke vorliegen.
Die gesparten Gehälter für Mannschaften und Trainer und Mediziner und Stadien könnte man einem gemeinnützigen Zweck zukommen lassen.

An der statistischen Aussagekraft würde sich nichts ändern.

By Ingo Bauer Date 2010-03-17 12:12

Hallo

[quote="Ralf Badera"]
[quote="Ingo Bauer"]
... um eine Engine zu bewerten.

Insofern ist die erste Prämisse bei einem Enginetest eine möglichst große Zahl an verschiedenen Gegnern.

Gruß
Ingo
[/quote]
Das ist doch völlig unstrittig und führt hoffentlich nicht erneut zu der sinnfreien Diskussion, ob es besser ist, je 20 Partien gegen 5 Gegner oder 100 Partien gegen 1 Gegner zu spielen. Den Erbsenzähler-Schach-Verachtern geht es doch nicht um die Anzahl der Gegner, sondern um die Menge der in kürzester Zeit produzierten Partien.
[/quote]

Das ist eben nicht unstrittig, nicht umsonst tauchen hier in letzter Zeit immer wieder Riesenmatche zw. zwei Engines auf, die belegen sollen wie viel besser eine der beiden Engines ist.

[quote="Ralf Badera"]
(Der jetzt einen Antrag an die FIFA formuliert, Fussballspiele nicht mehr in 90 Minuten austragen zu lassen, sondern in der gleichen Zeit lieber 90 Spiele in je einer Minute - der statistischen Sicherheit wegen. )

[/quote]

Das geht am Thema vorbei, da eine Rangliste eben ein Rangliste und NICHT ein Spiel ist. Die Ästetik eines Spieles ist von einer möglichst akuraten Rangliste ziemlich weit entfernt und ist etwas was ich nie bestritten habe. Das eine hat aber mit dem anderen nichts zu tun.
Aber schon klar, es gibt halt ein paar hier die gerne spotten ... ok.

Gruß
Ingo

By Ralf Badera Date 2010-03-17 14:10

[quote="Ingo Bauer"]
Das ist eben nicht unstrittig, nicht umsonst tauchen hier in letzter Zeit immer wieder Riesenmatche zw. zwei Engines auf, die belegen sollen wie viel besser eine der beiden Engines ist.[/quote]
Solche Beiträge sind mir wohl entgangen.
[quote="Ingo Bauer"]
Das geht am Thema vorbei, da eine Rangliste eben ein Rangliste und NICHT ein Spiel ist.
[/quote]
Und ich dachte immer, eine Rangliste ist eine Ergebnisauswertung von SPIELEN.

[quote="Ingo Bauer"]
Die Ästetik eines Spieles ist von einer möglichst akuraten Rangliste ziemlich weit entfernt und ist etwas was ich nie bestritten habe. Das eine hat aber mit dem anderen nichts zu tun.[/quote]
Ästhetik nicht, korrekt, aber Spielverlauf und ähnliches. Mannschaft A kann nur eine Halbzeit aufdrehen, holt eine 2:0 Führung binnen einer Minute heraus und ihr gehen danach die Kräfte aus. Mannschaft B nutzt in der zweiten Halbzeit die nachlassenden Kräfte für den Ausgleich oder gar Sieg. Was kann ich hier also erkennen im Gegensatz zu 90 1-Minute-Spielen?
[quote="Ingo Bauer"]
Aber schon klar, es gibt halt ein paar hier die gerne spotten ... ok.

Gruß
Ingo
[/quote]
Es gibt Fälle, in denen man Kritik und Spott an sich abprallen lassen sollte, es gibt aber auch Fälle, in denen man sich die Kritik zu Herzen nehmen sollte. Es ist halt Deine Art, Daten zu sammeln, statt sich mit Inhalten auseinander zu setzen. Knöpfchen drücken, Ergebnis ablesen, fertig. Jeder wie er mag. Das sollte man respektieren, verstehen muss man es indes nicht. Dass hier offenbar mehr Leute als ich dachte eine andere Herangehensweise bevorzugen, finde ich sehr erfreulich.

Und wenn Dich die Frotzeleien stören, frotzel doch einfach zurück.

MfG,
Ralf

By Gerhard Sonnabend Date 2010-03-17 18:39

[quote="Ralf Badera"]
[...snip...]
Es gibt Fälle, in denen man Kritik und Spott an sich abprallen lassen sollte, es gibt aber auch Fälle, in denen man sich die Kritik zu Herzen nehmen sollte. Es ist halt Deine Art, Daten zu sammeln, statt sich mit Inhalten auseinander zu setzen. Knöpfchen drücken, Ergebnis ablesen, fertig. Jeder wie er mag. Das sollte man respektieren, verstehen muss man es indes nicht. Dass hier offenbar mehr Leute als ich dachte eine andere Herangehensweise bevorzugen, finde ich sehr erfreulich.

[...snip...]
[/quote]

Nun, 1.5 Personen (Portionen) als "mehr als ich dachte..." zu bezeichnen halte ich für recht gewagt.

Viele Grüsse,
G.S.

By Gerhard Sonnabend Date 2010-03-17 18:35

[quote="Ralf Badera"]
Das ist doch völlig unstrittig und führt hoffentlich nicht erneut zu der sinnfreien Diskussion, ob es besser ist, je 20 Partien gegen 5 Gegner oder 100 Partien gegen 1 Gegner zu spielen. Den Erbsenzähler-Schach-Verachtern (*) geht es doch nicht um die Anzahl der Gegner, sondern um die Menge der in kürzester Zeit produzierten Partien.
[/quote]

Gibt es die (*) denn tatsächlich ?
Mal abgesehen von den 1.5 Personen (Portionen),
welche sich dazu schon mal hier gemeldet hatten ??

Viele Grüsse,
G.S.

By Udo Kaiser Date 2010-03-17 12:02

Zitat:

Insofern ist die erste Prämisse bei einem Enginetest eine möglichst große Zahl an verschiedenen Gegnern.

in der Tat eine Binsenweisheit.

By Ingo Bauer Date 2010-03-17 12:08

[quote="Udo Kaiser"]

Zitat:

Insofern ist die erste Prämisse bei einem Enginetest eine möglichst große Zahl an verschiedenen Gegnern.

in der Tat eine Binsenweisheit.

Um so erschreckender das man sie immer wieder formulieren muß!

Gruß
Ingo