Vergleich SWCR zu CEGT ...

By Ingo Bauer Date 2010-09-30 22:35 Edited 2010-09-30 22:37

Hallo Frank,

Mathematisch ist deine Liste fast fertig!

Warum?: Hättest du in deiner Liste nicht zufällig auf Shredder, sondern auf Umko angepasst, hättest du fürchterliche Abweichungen. Auch Shredder wird nicht genau in der Mitte der Abweichungen liegen, deswegen ist eine Anpassung notwendig.

Ich bin vor ein paar Monaten ähnlich rangegangen - und wurde erstmal - zurecht - zurechtgewiesen

Du mußt nur noch deine (oder die CEGT) Liste so lange rauf oder runteschieben bis die durchschnittliche Abweichung minimiert ist.
Auf Deutsch: Alle Abweichungen der Engines die in beiden Listen vorhande sind addieren, das Ergebniss durch die Anzahl an Enignedifferenzen dividieren und deine Elowerte danach um den übriggebliebenen Betrag anheben oder absenken.
Angenommen du addierst alle Werte, dividierst duch 30 Engines und erhälst "-5" am Schluß als durchschnittliche Engineabweichung. Dann mußt du deine Liste nur 5 Elo erhöhen um eine 0 (Duchschnittliche Abweichung) zu erhalten. Fertig. Schau dir einfach mal die LibreOfficetabellen an die ich vor ein paar Monaten rumgeschickt habe.
(Wobei ich nicht weiß ob deine Differenzen CEGT zur SWCR oder umgekehrt sind. Je nach Referenz kann es sein, dass du dann bei -5 deine Liste um 5 absenken mußt.)

Wenn du nun ein duchschnitliche Abweichung von 0 hast, sind die Aussreißer nach oben oder unten interessant. Wenn du eine Errorbar Abweichung hast ist das schon interessant, sollten die Abweichung ausserhalb der Errorbar BEIDER Listen (Die Errorbars überlappen also nicht mehr) liegen kann man mal genauer hinsehen.

Eigentlich müßte das mit dem Quadrat der Differenz gemacht werden, aber der Unterschied ist minimal, habe ich ausprobiert. An dieser Stelle nochmal Danke an meinen Lehrer, ich weiß das er das liest und hoffe ich habe das richtig wiedergegeben

Gruß
Ingo

By Ingo Bauer Date 2010-09-30 22:49

Hallo

Ich habe gerade mal in eine Tabelle gehauen. Shredder ist zufällig im Moment fast in der Mitte, nur eine Abweichung von -1.32. Da du die Abweichung VON der CEGT berechnet hast, also CEGT die Referenz ist, müßte deine SWCR 1.32 Elo rauf (-74 Elo Gesammtabweichung bei 56 Enignes). Sicherlich vernachlässigbar, aber ums korrekt zu machen ...

Gruß
Ingo

By Frank Quisinsky Date 2010-09-30 22:52

Hi Ingo,

ah, OK!
Dann spare ich mir die Arbeit

Danke Ingo!

Gruß
Frank

By Frank Quisinsky Date 2010-09-30 22:51

Hi Ingo,

ist mir jetzt aber zu viel Arbeit, wollte gleich noch etwas anderes machen

Aber ein Dank für Deinen Hinweis!

Wollte einfach mal einen schnellen Vergleich erstellen.
Dennoch, schaut doch recht einheitlich aus.

Wenn ich Deine Erläuterungen jetzt aber auf die schnelle richtig verstanden habe, wird sich kaum etwas wesentliches ändern.
Alleine deswegen, weil die Unterschiede zur CEGT einfach im Durchschnitt zu gering sind.

Schaue mir das aber nächste Woche mal im Detail an.

Gruß
Frank

By Ingo Bauer Date 2010-09-30 22:59

Hi

[quote="Frank Quisinsky"]
Hi Ingo,

ist mir jetzt aber zu viel Arbeit, wollte gleich noch etwas anderes machen

Aber ein Dank für Deinen Hinweis!
[/quote]

Sooo viel Arbeit war das auch nicht.

[quote="Frank Quisinsky"]

Wenn ich Deine Erläuterungen jetzt aber auf die schnelle richtig verstanden habe, wird sich kaum etwas wesentliches ändern.
Alleine deswegen, weil die Unterschiede zur CEGT einfach im Durchschnitt zu gering sind.

...
[/quote]

Das ist wirklich Zufall das Shredder so gut passt. Wenn du dich für Naum 4.1 entschieden hättest (gleiche Spielstärke wie Shredder) wäre diene Abweichung irgendwo bei 20 Elo. Du kannst nicht davon ausgehen das es stimmt weil die Abweichungen klein sind. Es könnte auch erst stimmen wenn manche Enigne ganz extrem auseinander liegen ...

Gruß
Ingo

By Frank Quisinsky Date 2010-09-30 23:21 Edited 2010-09-30 23:27

Hallo Ingo,

ja ist nachvollziehbar.

Wobei ich gezielt auch wieder Shredder 12 genommen habe, schon allein aufgrund der Anzahl der bei mir gespielten Partien. Auch scheint Shredder 12 w32, egal auf welche Liste ich schaue recht einheitliche Ratings zu haben. Nicht Shredder 12 x64

Bei der CEGT geht es auch für Shredder 12 x64 nach unten. Werde in Kürze noch 600 Shredder 12 x64 Partien spielen lassen.

Also im Grunde passt bei mir der Wert für Onno 1.1.1 x64 nicht so richtig. Naum 4.1 w32 ist etwas kritisch. Spark 0.4 w32 sollte mit mehr Partien in der CEGT steigen. Habe für jede Engine eine ELO-Entwicklungskurve nach Anzahl der gespielten Partien. Bei Spark 0.4 w32 war diese sehr früh absolut stabil. Bei Naum 4.1 w32 könnte es sein, dass diese Engine mit mehr Partien bei mir etwas fallen würde (lt. meiner Entwicklungskurve sehr unstabile Ergebnisse). Aber das sind dennoch alles Mutmaßungen, die Statistiken müssen hier nicht unbedingt stimmen.

Interessant ist aber Komodo 1.2.
Ich korrigiere die Partien die in Remisstellungen auf Zeit verloren werden und dennoch hat die CEGT und auch IPON eine bessere Performance für Komodo 1.2.

Tja und die Ponder Frage kommt jetzt auch wieder auf.
Bei so geringen Unterschieden (bei der von Dir berechneten Abweichungen solltest Du GullChess 1.0 x64, Umko 1.1 x64 und Chronos 1.99 nicht berücksichtigen, siehe Kommentare in der Excel Tabelle) sind wirklich kaum Unterschiede zu spühren. Spricht dafür, dass die CEGT sehr ausgewogen ist.

Bei mir spielen ja viele verschiedene Engines immer die gleiche Anzahl an Partien gegeneinander (40 Partien). Bei der CEGT nicht und sicherlich haben die Engines in der CEGT auch nicht so viele unterschiedlichen Gegner. Insofern spricht das eigentlich gegen einige meiner Statistiken. Viele meiner Statistiken beruhen auch auf Thesen die trotz vieler Partien auch nicht klar bewiesen sind.

Nun ja, ein wirklich 100iger Vergleich ist natürlich auch nicht möglich, zumal die CEGT nicht so viele Engines mit einem einem Core im letzten Jahr getestet hat und auch meist deutlich weniger Partien bei der CEGT zu den von mir getesteten Engines vorhanden sind. Allerdings dafür sind die Unterschiede wieder gering ... zumindest die These dass so viele Partien gar nicht notwendig sind passt dann wieder. Denke im Grunde das wirklich 500 Partien ausreichen bzw. erhalte ich ein zufriedenstellendes Ergebnis bei exakt 620 Partien

Aber lasse uns jetzt nicht wieder die Standard Fragen diskutieren

Nur weil ich mich jetzt hier ein wenig ausgelassen haben.

Gruß
Frank

PS: Wenn ich die SWCR mit der CCRL (CCRL spielt im Vergleich ca. mit 40 in 15) wäre das eine einzige Katastrophe. Sehr viele für mich unerklärliche Abweichungen.
Zur CEGT nicht wirklich eine grobe Abweichung. Glaube nicht das dies mit dem kleinen Zeitvorteil zusammenhängt ... kann nicht sein bei 33,3% mehr Rechenleistung.

By Ingo Bauer Date 2010-09-30 23:40

Hi

[quote="Frank Quisinsky"]
PS: Wenn ich die SWCR mit der CCRL (CCRL spielt im Vergleich ca. mit 40 in 15) wäre das eine einzige Katastrophe. Sehr viele für mich unerklärliche Abweichungen.
Zur CEGT nicht wirklich eine grobe Abweichung. Glaube nicht das dies mit dem kleinen Zeitvorteil zusammenhängt ... kann nicht sein bei 33,3% mehr Rechenleistung.
[/quote]

Ich mache diese Vergleiche für alle gängingen Listen ja schon länger, die CCRL ist Mist, die passt zu keinem anderen. Entweder sind alle anderen falsch oder die CCRL (was durchaus eine Erklärung wäre)!
Der Zeitvorteil ist irrelevant, siehe meine Auslassungen vor ein paar Wochen. Sowohl dein als auch die CEGT 40/20 zeigen im Moment maximale Abweichung zw. einer und zwei Errorbars zu meiner Liste . Man könnte auch schließen, dass lange Zeitkontrollen zur Erstellung einer Rangliste reine Stromverschwendung sind!

Gruß
Ingo

By Frank Quisinsky Date 2010-09-30 23:53 Edited 2010-10-01 00:00

Hi Ingo,

kann ja auch mal einen Vergleich zur IPON machen.
Bei meinem letzten hatten wir auch keine relevanten Abweichungen, glaube bei Zappa gab es eine bzw. bei irgend einer Junior Version, aber auch keine wirklich gravierende.

Könntest Du Deine Liste mal auf Shredder w32 2.989 ELO eichen und mittels ELOstat 1.3 berechnen lassen.
Mir dann die ELOstat Auswertung mailen. Das wäre dann einfach für mich, so könnte ich die Excel Tabelle um die IPON Werte ergänzen.

Wollte eigentlich noch was anders machen aber was solls ...

Viele Grüße
Frank

By Ingo Bauer Date 2010-10-01 00:07

Moin

[quote="Frank Quisinsky"]
...
Könntest Du Deine Liste mal auf Shredder w32 2.989 ELO eichen ...
[/quote]

Frank, So was ist doch gar nicht nötig wenn du die Abweichung wie oben erklärt auf 0 bringst! Ich kann Shredder auf Pi eichen, spätestens nach der Abweichungsangleichung (tolles Wort) stimmen das alles wieder!
(Du kannst direkt deine auf 2800 geeichte Liste nehmen und mit der CEGT 3100 abgleichen, fertig)

[quote="Frank Quisinsky"]
... und mittels ELOstat 1.3 berechnen lassen.
[/quote]

Ja, die selbe Grundlage ist schon nötig, aber ich mache keine offizielle Elostat mehr - und wenn du das auf deine Seite bringst wäre das offiziell. Nimm meine Bayesliste, die ist sowieso besser (aber vielleicht komt bald etwas noch besseres!)

Bye
Ingo

By Frank Quisinsky Date 2010-10-01 09:30

Hallo Ingo,

ich hatte die Tabelle nach unserer Diskussion noch verändert und den Durchschnittswert ausgeben lassen.
Dabei natürlich Umko 1.1 x64, Chronos 1.99 x64 und GullChess 1.0a x64 herausgerechnet.

Viele Grüße
Frank

By Ingo Bauer Date 2010-10-01 10:09

Hallo

Die Liste mußt du noch um die Errorbar für die SWCR und die CEGT erweitern. Ob eine Enigne 20 Elo abweicht ist irrelevant ohne die Info wie weit und ob sich die Fehler überlappen. (Siehe mein Tabellen von vor ein paar Monaten)

Ansonsten: Warum Gull 1.0a ohne Ponder? Die Engine pondert doch gut!? (Dein Schluß das GULL 1.0a zw. PON und POFF um 40-45 Elo abweicht weil das bei Crafty so war halte ich für gewagt, aber womöglich hast du da auch Glück, genauso wie mit der Wahl von Shredder 12 der zufällig fast in der Mitte der Abweichungen liegt.

)

Gruß
Ingo

By Frank Quisinsky Date 2010-10-01 10:19 Edited 2010-10-01 10:29

Hi Ingo,

GullChess 1.0a spielt doch mit Ponder, aber in der Liste die zur Berechnung herengezogen wurden sind es noch zu wenige Partien (Engine spielt gerade).
Umko 1.1 x 64 und Chronos 1.99 x64 können nicht pondern, spielten bei mir aber mit. Daher benachteiligt und ein Vergleich zur CEGT geht natürlich nicht.
Bei diesen drei macht ein Vergleich daher aus den beiden beschriebenen Gründen keinen Sinn.

Die ErrorBar nehme ich nicht dazu.
Ich halte von diesem Wert persönlich absolut rein gar nichts! Weil wenn schon denn schon ... dann müsste neben der ErrorBar auch eine Wahrscheinlichkeitsberechnung durchgeführt werden. Die ErrorBar führt nur in die Irre. Habe schon öfters überlegt ob ich das auf meinen Webseiten gar ausblende oder durch eine vernünftige Wahrscheinlichkeitsberechnung ersetze an der ich aber selbst schon nach unzähligen Versuchen der Erstellung gescheitert bin.

Diese ganzen Berechnungen von ELOstat und Bayesian (weichen gar zwischen den Berechnungsprogrammen stark ab) sind genauso am hinken wie die ganze ELO-Berechnung selbst. Nun, wir haben nichts besseres aber da Computerschachprogramme bekanntlich sich immer gleich verhalten, macht eine vernünftige Wahrscheinlichkeitsberechnungen bzw. Berechnungen mehr Sinn.

Bin mir sicher, dass viele Statistiker sich an der ErrorBar anstoßen würden. Da schon für die ELO-Berechnung jegliche mathematische Logik in Abrede gestellt werden kann schaut die ErrorBar dazu eher wie ein willkürlicher Abklatsch von gewollt aber nicht gekonnt aus. Das z. B. Dr. Frank Schubert nichts besseres herausholen konnte liegt schon deshalb auf der Hand, weil die ELO-Berechnung selbst fragwürdig ist. Insofern liegt es mir fern seine Arbeit anzugreifen, ganz im Gegenteil. Ob die These mit Wahrscheinlichkeiten zu arbeiten besser ist, ist natürlich genauso fraglich.

Treffe nächste Woche einen Statistiker und werde ihm das mal erläutern, vielleicht hat er etwas Zeit dafür (er ist eigentlich bei solchen Fragen immer recht neugierig und interessiert).

Gruß
Frank

By Ingo Bauer Date 2010-10-01 10:46

Hallo

[quote="Frank Quisinsky"]
...

GullChess 1.0a spielt doch mit Ponder, aber in der Liste die zur Berechnung herengezogen wurden sind es noch zu wenige Partien (Engine spielt gerade).
Umko 1.1 x 64 und Chronos 1.99 x64 können nicht pondern, spielten bei mir aber mit. Daher benachteiligt und ein Vergleich zur CEGT geht natürlich nicht.
Bei diesen drei macht ein Vergleich daher aus den beiden beschriebenen Gründen keinen Sinn.
[/quote]

Ok, dann hatte ich das mit dem Pondern irgendwie falsch gelesen.

[quote="Frank Quisinsky"]
Die ErrorBar nehme ich nicht dazu. Ich halte von diesem Wert persönlich absolut rein gar nichts! ...
[/quote]

Man kann über die Genauigkeit von Elo streiten (http://kaggle.com/chess), ohne Zweifel. Die Sache mit der Errorbar ist in sich allerdings völlig korrekt. Es mag dir gefallen oder nicht, aber wenn du es richtig machen willst kommst du nicht drumherum. Die Errorbar ist unumgänglich!

Du darfst natürlich 'glauben' was du willst.

Gruß
Ingo

PS: Zum Kaggle Wettbewerb. Elo ist im Moment an 86er Stelle. Ich bin mal gespannt wie viel "anders" der Gewinner oder Uris System (Im Moment zweiter) am Ende ist. Eine Errorbar werden die alle haben!

By Frank Quisinsky Date 2010-10-01 11:08 Edited 2010-10-01 11:17

Hi Ingo,

den Kraggle Wettbewerb kannte ich gar nicht, voll verpasst vor lauter Eng-Eng, Listen und Abstürze korrigieren, Beiträge schreiben die eh keiner lesen möchte

Guter TIPP, fast so gut wie der Tipp mit dem "X".
Nenne dich ab heute nur noch Mister X.

BTW:
Mich würde jetzt wirklich brennend interessieren ob Spark 0.4 w32 1Core ein 1/52 der Fall in der CEGT ist.
Vielelicht liest ja ein Tester der CEGT mit und läßt sich überreden mal 400 Partien mit diesser Engien nachzuschießen.

Gruß
Frank

1/52, nach meiner Wahrscheinlichkeitsberechnung kommt es in 1 von 52 Fällen zu einer solchen Abweichung wie bei dem Ratinglistenvergleich zwischen CEGT und SWCR.
Interessant, haben 53 Vergleichswerte und einen 1/52 Fall dabei

Mein 1/52 Fall könnte Naum 4.1 w32 sein.

Die Wahrscheinlichkeit genau einen 1/52 Wahrscheinlichkeitsfall zu haben liegt bei 1/3.
Ich liebe diese Wahrscheinlichkeitsberechnungen ...

Werde ich vielleicht auch mal veröffentlichen!
Aber dafür muss ich das alles erst vernünftig ausarbeiten und dann bietet sich auch wieder die Buchform an.

By Frank Quisinsky Date 2010-10-01 11:19 Edited 2010-10-01 11:24

Die Wahrscheinlichkeit genau einen 1/52 Wahrscheinlichkeitsfall zu haben liegt bei 1/3.
Ich liebe diese Wahrscheinlichkeitsberechnungen ...

Die doppelt hinreichende Wahrscheinlichkeit im Umkehrschluss!

By Benno Hartwig Date 2010-10-01 13:50

[quote="Frank Quisinsky"]Werde ich vielleicht auch mal veröffentlichen!
Aber dafür muss ich das alles erst vernünftig ausarbeiten und dann bietet sich auch wieder die Buchform an.[/quote]Ich empfehle einen Spielfilm!
Oder wenigstens einen Musicclip!
Benno

By Frank Quisinsky Date 2010-10-01 13:56

Hallo Benno,

Oder ein YouTube Video!

Wie koche ich richtig ein Ei, auch schon mal an dieser Aktion beteiligt gewesen ... ist auch nicht einfach

Aber hier hat sich so viel Material angesammelt, das würde ein 20 Bänder mit je 500 Seiten nicht ausreichen.
Muss das doch irgend wann mal alles zufriedenstellend los werden, nicht wichtig ob das dann jemand kauft bzw. sich das antun möchte.

Gruß
Frank

By Benno Hartwig Date 2010-10-02 18:42

[quote="Frank Quisinsky"]Aber hier hat sich so viel Material angesammelt, das würde ein 20 Bänder mit je 500 Seiten nicht ausreichen.[/quote]Wenn du gut bei Stimme bist, dann kann ich auch http://www.vorleser.net/ empfehlen.
Frank Quisinsky eingereiht zwischen Edgar Allan Poe und Rainer Maria Rilke.
Benno

By ernst happe Date 2010-10-01 11:02

[quote="Frank Quisinsky"]
...
Da schon für die ELO-Berechnung jegliche mathematische Logik in Abrede gestellt werden kann
...
schon deshalb auf der Hand, weil die ELO-Berechnung selbst fragwürdig ist.
...

Gruß
Frank
[/quote]
hi frank,

starker tobak.
kannst du bitte deine beiden thesen einmal ausführlich erläutern?

bin gespannt auf deine antworten, dann aber bitte butter bei die fische.

ernst

By Frank Quisinsky Date 2010-10-01 12:14

starker tobak.

Nein VOODOOooooooo

Frank

By Benno Hartwig Date 2010-10-01 13:55

[quote="Frank Quisinsky"]Die ErrorBar führt nur in die Irre.[/quote]Dies aber vermutlich nur, weil nicht ausreichend erklärt wird, was diese Werte bedeuten.
Wie das laufen soll (wie du die sehr unterschiedliche Verlässlichkeit von Werten, die aus 100 oder 1000 Partien entstanden sind, skizzieren möchtest) ist mir dann sehr unklar.
In einen Topf werfen willst du die ja sicher nicht, oder?
Und nur die Partienanzahl hinzuschreiben lässt den Leser noch verwirrter zurück.
("Zehm mal so viele Spiele? dann wird der Fehler wohl auch nur 1/10 sein, oder?"

)

Benno

By Frank Quisinsky Date 2010-10-01 14:06 Edited 2010-10-01 14:11

Hallo Benno,

Benno schrieb:
Dies aber vermutlich nur, weil nicht ausreichend erklärt wird, was diese Werte bedeuten.

Oder immer wieder in einer falschen Annahme darauf zurückgegriffen wird, weil der hierdurch begründete Denkfehler zu logisch erscheint.

Mittels Vergleichsberechnungen sind Wahrscheinlichkeitsberechnungen nicht so schwierig.
Schwierig ist eher verschiedene Vergleichsberechnungen so zu verknüpfen das eine Wahrscheinlichkeitsberechnung dabei heraus kommt. Aber das ist "wahrscheinlich"

mein Fehler.

Eine Vergleichsberechnung als Beispiel:

Engine A - Engine B ... 1.000 Partien, hieraus resultierende ELO ... und dann schaue Dir mal die ErrorBar an

Eine zweite Engine wird hinzugefügt ...

Engine A - Engine C ... 1.000 Partien, hieraus resultierende ELO für sich alleine und in Kombiantion mit Engine B
Oh Hilfe, ist die Error Bar schon jetzt kräftig am wackeln ... Aussagekraft = 0
Mit diesem einen Biespiel außer Gefecht gesetzt und es gibt 3 weitere Konstellationen!

Und so weiter ...
Und betrachte dabei immer die so hochgelobte ErrorBar

Und von diesen Geschichten dann mehrere verschiedene Vergleichsberechnungen verknüpfen, daran scheitere ich beständig.
So habe ich Aussagen die für sich allein stehen und auch logisch sind ... z. b. das die Schwelle im erwähnten Beispiel bei Engine 23 erreicht wurde, bzw. danach die Unterschiede nicht mehr von Bedeutung sind.

Und woran scheitert dann wieder eine wirklich genaue Berechnung ... jetzt nur mal vom Beispiel A.
Daran, dass nicht wirklich alle Engines unterschiedliche Spieleigenschafften aufweisen.

Aber egal jetzt, geht hier alles zu weit und mein Beitrag würde irre lang werden.
Dieses Thema ist mir zu komplex für ein Schachforum, zumal ich selbst nie zu 100% von den eigenen Thesen überzeugt bin, weil es einfach nicht in meiner Macht steht diese ausreichend zu beweisen anhand von Beispielen. Die Fehlerbreite bei dem von mir vorliegenden Material ist noch viel zu groß.

Der Weg ist das Ziel und wenn dabei herauskommt ... nun gut, alles war für die Katz ... ja dann ... dann hat es dennoch Spass gemacht sich auch mit diesem Thema mal richtig zu beschäftigen. Erkenntnis flattern ja nicht täglich ins Hirn wenn dieses nicht arbeitet, sondern pausenlos nur ans fressen denkt ... mein Problem

Gruß
Frank