Interessantes zu großen Elodifferenzen

By Benno Hartwig Date 2014-01-03 14:23

PS:
Und ich befürchte, die hier skizzierte Art der 'Irrheit' findet in den ELO-Berechnungen der diversen Ratinglisten tagtäglich statt!
Und die ermittelten ELO-Zahlen sind entsprechend 'verschoben'.
Bei einem Kunterbunt der Gegner-ELO-Zahlen fällt das ja auch gar nicht wirklich auf.

Aber das ist natürlich kein Vorwurf an die Ranglistenbetreiber, denn diese Art der Berechnung ist etabliert und sie ist (wichtiger noch!) wohl kompatibel zur etablierten ELO-Berechnung in den Turnieren von Menschen. Bei jedem Turnier, bei dem nur sehr wenige oder sogar nur eine Partie gegen die Gegner gespielt wird, ist das wohl auch gar nicht anders machbar.

Benno

By Ingo B. Date 2014-01-03 14:57

Das hat überhaupt nichts mit "irre" zu tun. Du machst genau den Fehler den Gerhard oben beschrieben hat. Du nimmst Elozahlen, die auf ganz andere Weise ermittelt wurden und wunderst dich das die "Durchschnittsbildung" nicht klappt.

Entweder du ermittelst ALLES irgendwie mit den Grundrechenarten oder ALLES mit der Eloformel. Ich habe oben mit meinem Bsp dargelegt (Punkteliste) wie man ALLES mit den Grundrechenarten machen könnte, nur muß man dazu entsprechende Daten haben, die normale Ranglisten aber nicht haben. Also muß man zu ausgefeilteren Methoden greifen - Bayeselo, Elostat, Ordo ... am Schluß läuft es auf die Eloformel raus.

Gruß
Ingo

By Benno Hartwig Date 2014-01-03 16:15

> Du machst genau den Fehler den Gerhard oben beschrieben hat.

Mag sein, dass ich doch was falsch verstanden habe. Kannst du bitte kurz vorrechnen, wie man es anhand meines sehr übersichtlichen Beispiels richtig gerechnet hätte:

Code:

Gegner   ELO    gewonnen   verloren
A        2000       500       500
A        2000       500       500
A        2500        53       947

Welcher ELO-Wert kommt da bei tatsächlich richtiger Rechnung heraus?
Intuitiv wir will hier nur 2000 als richtig erscheinen.

Benno

By Ingo B. Date 2014-01-03 16:22

"Intuitiv" hilft dir hier nicht. Siehe den Auszug den Gerhard zitiert hat. ("Iterativ" wäre besser

)

Gib mir die Einzelergebnisse, oder schmeiß es gleich selbst in eines der Auswerteprogramme. Noch einen Offset drauf und du wirst sehen, dass sich natürlich auch die Ratings deiner zwei Gegner ändern, die bleiben ja nicht gleich wie in deinem Bsp.

Gruß
Ingo

By Ingo B. Date 2014-01-03 16:50

Aber um es konkreter zu machen

A + B haben keine Spiele untereinenader gespielt, ebensowenig gegen C. Du hast gerade mal lausige 5.3% gegen den 2500 gemacht, was "Zufällig" 2000 Elo sind.

Ich würde mal tippendas du am Ende bei 2000 stehen wirst und die anderen alle da bleiben wo sie sind.
DAS erscheint mir logisch (und jetzt sitze ich in der Patsche wenn ein Eloprogramm etwas anderes sagt

)

Gruß
Ingo

By Benno Hartwig Date 2014-01-03 19:26

Vielleicht liege ich ja daneben.
Ich würde halt trotzdem gern ganz konkret sehen, was bei der 'richtigen' Berechnung in einem sehr übersichtlichen Fall herauskommt.
Also gebe ich mal die Ergebnisse der Spiele von A, B und C, die du vermisst hast:

Vorbewertung
#############
A ist mit 2000 ELO vorbewertet
B ist mit 2000 ELO vorbewertet
C ist mit 2500 ELO vorbewertet

bisherige Spiele
#################
A gegen B spielten 500,0 : 500,0 (entsprechend ELO-Differenz 0)
A gegen C spielten   53,0 : 947,0 (entsprechend ELO-Differenz 500)
B gegen C spielten   53,0 : 947,0 (entsprechend ELO-Differenz 500)

und nun komme ich (D) dazu und spiele
######################################
D gegen A 500,0 : 500,0 (entsprechend ELO-Differenz 0)
D gegen B 500,0 : 500,0 (entsprechend ELO-Differenz 0)
D gegen A 53,0 : 947,0 (entsprechend ELO-Differenz 500)

Sehr einfach und übersichtlich. Ich würde daher nun schon erwarten, es als richtig empfinden, intuitiv,
- dass ich (D) nun 2000 ELO bekomme
- oder dass ich dann zumindest gleich viele ELO habe wie A und B,
   und dass das 500 ELO weniger sind bei C.

Findet das so statt? Kann ich das irgendwie selber prüfen?
Beim ELOSTAT aus Arena wurde ich nicht fündig.

Ich orientierte mich halt bei meiner Rechnung an Gerhards Beispielrechnung:

Engine:

vs Critter 1.4 x64 4CPU             [3062] 69.5-30.5 perf=3205
vs Deep Sjeng 3.0 x64 4CPU          [2793] 95.0- 5.0 perf=3305
vs Deep Onno 1.2.70 x64 4CPU        [2810] 96.5- 3.5 perf=3386

3062 + 2793 + 2810 / 3 = 2888 (ELO-Durchschnitt der Gegner)
69.5 + 95.0 + 96.5 = 261 aus 300 Spielen = 87.0% = + 330
Wertungszahl = 2888 + 330 = 3218

Oder habe ich in dieser Rechnung was falsch verstanden?
Oder war die Rechnung doch falsch? (solche Rechnungen habe ich aber auch anderswo schon gesehen)

Benno

By Gerhard Sonnabend Date 2014-01-03 19:59

Benno Hartwig schrieb:

[...snip...]
Kann ich das irgendwie selber prüfen?
Beim ELOSTAT aus Arena wurde ich nicht fündig.
[...snip...]

Das ist ganz einfach.

Erzeuge eine Textdatei, welche Du wenn alles fertig ist in *.pgn umbenennst.
Baue in diese Textdatei einen normalen PGN-Header + Resultat in der Art:

Code:


[Event "CEGT Blitz 40/4 (2Ghz)"]
[Site "?"]
[Date "2013.12.04"]
[Round "1.4"]
[White "Gull 2.3 x64 1CPU"]
[Black "Komodo TCEC x64 1CPU"]
[Result "0-1"]
[ECO "A37"]
[PlyCount "136"]
[EventDate "2013.??.??"]

0-1

1-0, 0-1 oder 1/2-1/2 sind die möglichen Ergebnisse.

Das ganze dann via "copy/paste" zig-mal wiederholen bis Dein Wunschergebnis
für die entsprechenden Matches steht und Du mit der Anzahl der Spiele leben kannst.

Dann durch ELO-Stat oder Bayes jagen - fertig ist die Auswertung.

Mit Datenbankprogrammen geht das natürlich auch, zum Teil sogar schneller/einfacher,
ich bin halt ein "Konsolenkind".

Viele Grüsse,
G.S.

By Ingo B. Date 2014-01-03 22:15

Hallo Benno,

Ich habe gerade eben eine Stunde damit zugebracht dir, mit Beispielrechungen, darauf zu antworten und dann bei der Suche nach etwas anderem aus Versehen das Fenster geschlossen ... ahhhh.

Ich mache es deswegen jetzt sehr kurz:

Benno Hartwig schrieb:

Vorbewertung
#############
A ist mit 2000 ELO vorbewertet
B ist mit 2000 ELO vorbewertet
C ist mit 2500 ELO vorbewertet

OK, wir starten also mit diesen Werten.

Benno Hartwig schrieb:

bisherige Spiele
#################
A gegen B spielten 500,0 : 500,0 (entsprechend ELO-Differenz 0)
A gegen C spielten 53,0 : 947,0 (entsprechend ELO-Differenz 500)
B gegen C spielten 53,0 : 947,0 (entsprechend ELO-Differenz 500)

Sind die obigen Werte nun vor dem Turnier oder danach? Wenn davor haben A und B danach nämlich 2083 Elo.

553 Punkte aus 2000 Partien sind 27,65%. Bei einem Gegnerschnitt von (2000+2500)/2 = 2250

http://de.wikipedia.org/wiki/Elo-Zahl

Formel umgestellt, weil wir haben die erspielte Erwartung, aber nicht den neuen Elowert gibt:

Ra = Rb - 400*log(1/Ea - 1)

Rb = 2250; Ea = 0.2767

2250 - 400*log(1/0.2767 - 1) = 2083 Elo.

Spieler C bleibt bei 2500.

Benno Hartwig schrieb:

und nun komme ich (D) dazu und spiele
######################################
D gegen A 500,0 : 500,0 (entsprechend ELO-Differenz 0)
D gegen B 500,0 : 500,0 (entsprechend ELO-Differenz 0)
D gegen A 53,0 : 947,0 (entsprechend ELO-Differenz 500)

Sehr einfach und übersichtlich. Ich würde daher nun schon erwarten, es als richtig empfinden, intuitiv,
- dass ich (D) nun 2000 ELO bekomme
- oder dass ich dann zumindest gleich viele ELO habe wie A und B,
und dass das 500 ELO weniger sind bei C.

Wenn A + B = 2000 und C = 2500 dann war dein Gegnerschnitt (2000+2000+2500)/3 = 2167 Elo.
D(u) ha(s)t 1053 Punkte aus 3000 Spielen oder 35,1% geholt.

Ra = Rb - 400*log(1/Ea - 1)

Rb = 2167; Ea = 0.351

2167 - 400*log(1/0.351 - 1) = 2060 Elo. (nicht 2000, zumindest sieht das Arpad ELo so!)

Benno Hartwig schrieb:

Kann ich das irgendwie selber prüfen?

Siehe oben. Und Elo ist nicht intuitiv - wieso sollten sie?

Ich habe übrigens vor Jahren mal ein kleines Windowsprogramm geschrieben, dass genau diese obige Elo Formel umsetzt. Zwei Elowerte und man bekommt eine Wahrscheinlichkeit, ein Elowert und eine Wahrscheinlichkeit und man bekommt den zweiten Elowert.

Ich habe das mal hier hin gelegt und lasse das 24h verfügbar. Kinderkram, aber ich würde mich freuen wenn sich ein paar melden die es geladen und damit rumgespielt haben:
https://www.dropbox.com/sh/dkecm01sjzt1769/7yPSc-Bje6
Dot.net erforderlich.

Bei großen Turnieren gilt aber was Gerhard schon aus der Elostat Readme zitiert hat:

"ELOStat verwendet das Iterationsverfahren nach Thompson bzw. Elo (method
of successive approximations). Bei diesem Verfahren wird allen Programmen zu
Beginn der gleiche Elostartwert zugeordnet (evtl. im PGN-Header angegebene
Elozahlen bleiben also unberücksichtigt !). Danach wird die gesamte Datenbank
wie ein einziges großes Turnier behandelt und gemäß der Eloformel ausgewertet.
Die somit ermittelten Elozahlen werden anschließend den Programmen zugewiesen,
d.h. sie ersetzen den anfänglichen Elostartwert. Mit den nunmehr aktualisierten
Elozahlen wird erneut eine Datenbankauswertung gestartet. Dieses Vorgehen wird
solange wiederholt, bis die Elozahlen aller Programme nahezu konstant bleiben
(die Elozahlen konvergieren gegen einen bestimmten Grenzwert)."

Deswegen will Gerhard von dir eine große PGN weil das was ich oben einmal gemacht habe will wirklich niemand viele, viele, viele .... male von Hand machen!

Ich hoffe das hat geholfen, mir raucht der Kopf!

Gruß
Ingo

By Benno Hartwig Date 2014-01-04 07:48

Thanx,
ich lese das nachher mal richtig durch.
Dank für deine Mühe!

Grüße,
Benno

By Benno Hartwig Date 2014-01-05 18:26

Gerhard hat es freundlicherweise mal durchgerechnet für den Thread "Benno vs Player A, B und C"
http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?tid=6597

Das Ergebnis fand ich erstaunlich, unintuitiv, irgendwie unplausibel, "falsch", auch wenn ich nicht anzweifle, dass es richtig gerechnet wurde.
Ich habe in dem Thread dann meine Bedenken angemeldet.

Aber Thanx noch mal.
Benno

By Ingo B. Date 2014-01-03 16:51

Also in deinem Bsp bleiben die Ratings gleich. Das ist aber Zufall bzw. von dir so angelegt. Im Normalfall ändert sich natürlich das Rating aller beteiligten.

Gruß
Ingo

By Gerhard Sonnabend Date 2014-01-03 15:24

Benno Hartwig schrieb:

[...snip...]
Aber das ist natürlich kein Vorwurf an die Ranglistenbetreiber, denn diese Art der Berechnung ist etabliert und sie ist (wichtiger noch!) wohl kompatibel zur etablierten ELO-Berechnung in den Turnieren von Menschen. Bei jedem Turnier, bei dem nur sehr wenige oder sogar nur eine Partie gegen die Gegner gespielt wird, ist das wohl auch gar nicht anders machbar.
[...snip...]

Nein, das stimmt so nicht.
Die diversen Programme, ELO-Stat, Bayes, etc. erzeugen eine Ratingliste als
wäre ein einziges "grosses Turnier" gespielt worden.

Hier der entsprechende Ausschnitt aus der ELO-Stat Readme:
"ELOStat verwendet das Iterationsverfahren nach Thompson bzw. Elo (method
of successive approximations). Bei diesem Verfahren wird allen Programmen zu
Beginn der gleiche Elostartwert zugeordnet (evtl. im PGN-Header angegebene
Elozahlen bleiben also unberücksichtigt !). Danach wird die gesamte Datenbank
wie ein einziges großes Turnier behandelt und gemäß der Eloformel ausgewertet.
Die somit ermittelten Elozahlen werden anschließend den Programmen zugewiesen,
d.h. sie ersetzen den anfänglichen Elostartwert. Mit den nunmehr aktualisierten
Elozahlen wird erneut eine Datenbankauswertung gestartet. Dieses Vorgehen wird
solange wiederholt, bis die Elozahlen aller Programme nahezu konstant bleiben
(die Elozahlen konvergieren gegen einen bestimmten Grenzwert)."

Einer der Hauptgründe hierfür ist/war, dass man (zurecht) annimmt, dass die
Spielstärke einer Engine immer konstant ist.

"Menschen-ELO" hingegen wird vollkommen anders berechnet !

Viele Grüsse,
G.S.

By Benno Hartwig Date 2014-01-03 16:24 Edited 2014-01-03 16:27

Ah, Thanx für die Info.
Wie wäre dann für mein kleines Beispiel die richtige Berechnung?
(Das fragte ich eben auch schon mal Ingo. Wenn mir einer von euch antwortet, würde das natürlich reichen)

Code:

Gegner   ELO    gewonnen   verloren
A        2000       500       500
B        2000       500       500
C        2500        53       947

Als intuitiv richtig würde ich immer noch letztlich nur 2000 ansehen wollen.
(Habe eben erst gesehen, dass ich in den anderen Postings alle Maschinen mit A bezeichnete. Blöde Copy-and-paste-Fehler. Da waren natürlich A,B und C gemeint. Aber ich denke, dass verwirrte nicht)

Benno

By Frank Quisinsky Date 2014-01-03 20:08

Hi Gerhard,

und das ist auch so eine Fehlannahme.

Die Spielstärke der Engines ist nicht immer konstant!!
Die Spielstärke einer Engines verändert sich mit der Spielstärke des Gegners beim Testen Eng-Eng.

Es wird nicht passieren, das eine Engine gegen unterschiedliche Gegner selbst nach 1.000.000.000 Partien pro Eng-Eng Match immer ein gleiches Rating erzeugt egal gegen welchen Gegner also die 1.000.000.000 Partien erzeugt werden. Es ist eher so, dass wir sagen könnten das es wahrscheinlich ist das in etwa die gleiche Spielstärke erzeugt werden sollte. Tatsächlich wird das aber nicht passieren.

Allein schon hier wird durcheinandergeworfen:
- eine Engine spielt in den Stellungen gleich bzw. produziert gleiche Analysen.
- heißt aber nicht das dies auf eine Spielstärkeberechnung abgewälzt werden kann.

Das ist unlogisch!
Wie so viele Dinge die unlogisch sind und mithin herrscht bei der genauen Messung derzeit Willkür.

Gruß
Frank

By Gerhard Sonnabend Date 2014-01-03 20:20

Das sehe ich ganz anders !
Gegen einen Mix an Gegnern mit einem Durchschnitt von Y ELO,
wird Engine A immer und immer wieder die selbe Performance
erzielen, so denn alle Lernfunktionen deaktiviert wurden und auch
die sonstigen Rahmenbedingungen gleich geblieben sind und auch
nicht zu wenig Games in die Rechnung eingingen.
So zumindest meine, nun auch schon über 10-jährige, Erfahrung.
Wir von der CEGT sehen das z.B. bei der 40/4 Liste fast täglich.
Oftmals spielen bei uns Engines wie Nimzo 7.32 oder 8.0 oder
Fritz 6 oder 7 gegen topaktuelle Programme und die Resultate
entsprechen so gut wie immer den (ELO)Erwartungen !!

Viele Grüsse,
G.S.

By Frank Quisinsky Date 2014-01-03 20:39 Edited 2014-01-03 20:42

Hi Gerhard,

und dann sind wir wieder beim Thema.

Bei einem Mix von Gegner gebe ich Dir recht.
Und je größer der Mix ist desto genauer wird es ...

Thema: Maßgeblich für die ELO Berechnung ist die Anzahl der Gegner!

Und wenn bei einem Mix von Gegner die Berechnung genauer wird gilt die Frage zu beantworten:
Ab wann wir die Berechnung genauer, also wie viele müssen es sein.

Und dann stellt sich die Frage ...
Wenn wir wissen wie viele es sein müssen ...
Wie kann ich nun die Partiezahl herunterschrauben um mit geringen Mitteln den größtmöglichen Erfolg zu erzielen.

Und wenn diese Frage beantwortet ist kommt irgend wann der Punkt ...
Wie kann ich das ganz Gehänge besser gestalten um es weiter zu optimieren.

Und wenn wir das jetzt mal wirken lassen stellen wir fest ...
Was wir mit der Engine Entwicklung treiben, denn so wird entwickelt, könnten wir auch mit der Entwicklung von aussagekräftigeren Ratings treiben.

Drehen uns immer im Kreis.
Es ist die Auslegung die uns oft aneinander geraten lässt.

Der eine ist noch bei Frage 5, der andere ist bei Frage 2 und der nächste ist bei Frage 24 oder 32 oder 15.
Natürlich ist nicht jeder den Weg gegangen nach Frage 1, Frage 2 abzuarbeiten und von daher ein heilloses durcheinander.

Gruß
Frank

By Gerhard Sonnabend Date 2014-01-03 20:45

Aber auf das:
Zitat F.Q.: "und das ist auch so eine Fehlannahme."
und das:
Zitat F.Q.: "Die Spielstärke der Engines ist nicht immer konstant!!"
bist Du nun nicht (mehr) eingegangen ?
Weshalb ?

Viele Grüsse,
G.S.

By Frank Quisinsky Date 2014-01-03 21:03

Hi Gerhard,

doch bin ich doch oder habe ich jetzt etwas falsch verstanden?

Engine A - Engine B ... xbeliebige Anzahl von Partien (im Grunde egal was da an ErrBar Shit ausgegeben wird) = 2.400 und 2.500 ELO
Engine A - Engine C ... xbeliebige Anzahl von Partien = 2.350 und 2.550 ELO

Das ist was ich meine ...
Eine Engine produziert niemals immer die gleiche Spielstärke es sei denn sie spielt gegen sich selbst.
Daher logisch was bei Stockfish gemacht wird wenn es zu kleinen Änderungen kommt.

Die ermittelte Spielstärke ist nie gleich, weil der Gegner ein anderer ist (beim Eng-Eng testen).

Wenn nun Engine D, E, F dazukommt wird es genauer.
Und dann die Frage: Wann reicht uns die Genauigkeit aus bei x Partie pro Engine Match.

Der zitierten Aussage stimme ich dann zu wenn ausreichend Gegner in diesem Turnier sind.

Gruß
Frank

By Frank Quisinsky Date 2014-01-03 21:21 Edited 2014-01-03 21:26

Ach so, verstehe die Frage besser ...

Die Zahlen bleiben nicht konstant wenn sich die Gegner ändern. Ob das ein Gegner ist (da wird es offensichtlich) oder ob es 20 sind in einem Turnier. Wenn eine Engine in einem Turnier mit 19 Programmen startet und die gleiche Engine spielt gegen 19 andere ein Turnier kannste so viele Partien produzieren wie Du willst. Es wird nicht immer ein gleiches Ergebnis dabei heraus kommen als im ersten Turnier.

Wir versuchen immer mit dem dritten Auge zu betrachten, welches uns sagt, ich will etwas festes und den beiden eigentlichen Augen ... hirnmäßig ... vorgaukelt.

Eine ultimative Bewertung wird es nie geben.
Wenn User Manfred ELOfein sich Liste A anschaut und sieht bei Houdini 3.100 ELO, dieser Herr ELOfein nun auch fündig wird und sieht das Person B die gleichen Bedingungen hat aber 3.070 ELO feststellte wird sich ELOfein denken ... MIST warum denn das. Na ganz einfach, weil B andere Engines als A genommen hat. ELOfein nimmt seinen Hut und verabschiedet sich vom Betrachten der Listen. Unsere Aufgabe ist es Herrn ELOfein wieder für die Listen zu begeistern.

Und insofern eine bessere Bewertung als ELO zu entwickeln liegt nahe.

Gruß
Frank

PS: Übrigens eine meiner nie wirklich beantworteten Fragen ist:
Warum hat die CEGT bei ungleichmäßiger Anzahl von Partien, unterschiedlichen Gegnern bei geringer Partiezahl so genaue Zahlen?
Wenn ich diese mit im kleinsten Detail durchgedachten SWCR Listen verglichen haben waren die Unterschiede gering und das in deutlich mehr Fällen als eigentlich sein dürfte. Alles an ELO ist nun auch nicht falsch aber einiges muss berichtigt werden.

By Benno Hartwig Date 2014-01-03 15:22

PPS:
Wenn meine 3 Gegner 2000, 2500 und 2500 ELO haben und ich spiele gegen sie genau so, wie es den ELO-Differenzen zu mir (2000 ELO) entspricht, dann billigt mir die 'richtige' Berechnungsmethode sogar 2095 ELO zu. Also 95 ELO mehr, als es mir richtig erscheint.

Und wenn meine Gegner 1850, 2500 und 2500 ELO haben, dann gibt mir die 'richtige' Methode sogar 2110 ELO, also ELO mehr als erwartet!

Code:

Gegner   ELO   gewonnen   verloren
A       1850      703        297
B       2500       53        947
B       2500       53        947

Was brauche ich also, um viele ELO zu machen?
Einige etwas Schwächere, um viele Punkte einzufahren, und etwas mehr ziemlich Starke, um den Gegner-ELO-Schnitt zu heben.

Aber ggf gibt es auch irgendeine Obergrenze, bis du der die ELO-Differenz in dieser Art eingehen kann.
Sonst wäre ich ja richtig fein raus, wenn statt des einen 2500-Spielers, gegen den ich ja auch kaum Punkte hole, ein 3000er kommt.
Gegen den hole ich statt 53 nur noch 3 Punkte.

Macht nix, denn mein ELO wird dann trotzdem auf 2262 geschätzt! Wohlgemerkt nach der 'richtigen' Methode.

Benno

By Chess Player Date 2014-01-03 16:54

die beispiele enthalten keinerlei remisquote! daher ist die berechnung so nicht richtig!!!

By Benno Hartwig Date 2014-01-06 08:33

> die beispiele enthalten keinerlei remisquote! daher ist die berechnung so nicht richtig!!!

Spielt die Remisquote da wirklich mit rein?
Wenn A gegen B beispielsweise ein 70,0:30,0 holt, spielt es für die ELO-Berechnung dann wirkliche eine Rolle, ob dieses Ergebnis durch ein
70 Siege, 0 Remisen, 30 Niederlagen
oder
55 Siege, 30 Remisen, 15 Niederlagen
oder
40 Siege, 60 Remisen, 0 Niederlagen
zustande kommt?

Benno

By Klaus Meier Date 2014-01-06 09:57

Benno Hartwig schrieb:

Die Reihenfolge der Spielergebnisse spielt auf jeden Fall eine Rolle
(55 Siege in Folge danach 30 Remis in Folge am Schluss noch 15 Niederlagen)
sind etwas anderes als
(55 Siege in Folge, danach 15 Niederlagen am Schluss 30 Remis)

Beispiel1 :
Zu Beginn der Spielfolge (100 Spiele)
haben zwei Spieler
START : Spieler1 = 2000 ELO ; Spieler2 = 2000 ELO
nun die Ergebnisfolge , Spieler1-Spieler2 :
(55 mal 1-0 )...(30 mal 1/2-1/2)...(15 mal 0-1)
==>
ENDE : Spieler1 = 1946 ; Spieler2=2053
-------------------------------------------------------------------

Beispiel2 :
Zu Beginn der Spielfolge (100 Spiele)
haben zwei Spieler
START : Spieler1 = 2000 ELO ; Spieler2 = 2000 ELO
nun die Ergebnisfolge , Spieler1-Spieler2:
(55 mal 1-0 )...(15 mal 0-1)...(30 mal 1/2-1/2)
==>
ENDE : Spieler1 = 2005 ; Spieler2=1996
-------------------------------------------------------------------

Beispiel3 :
Zu Beginn der Spielfolge (100 Spiele)
haben zwei Spieler
START : Spieler1 = 2000 ELO ; Spieler2 = 2000 ELO
nun die Ergebnisfolge Spieler1-Spieler2:
(70 mal 1-0 )...(30 mal 0-1)
==>
ENDE : Spieler1 = 1932 ; Spieler2=2068
-------------------------------------------------------------------

Beispiel4 :
Zu Beginn der Spielfolge (100 Spiele)
haben zwei Spieler
START : Spieler1 = 2000 ELO ; Spieler2 = 2000 ELO
nun die Ergebnisfolge Spieler1-Spieler2:
(30 mal 0-1 )...(70 mal 1-0)
==>
ENDE : Spieler1 = 2189 ; Spieler2=1811
______________________________________________

Im 4. Beispiel besonders gutes Ergebnis für Spieler1
wegen seiner 70 Gewinne in Folge am Ende der Spielfolge

Dagegen 3. Beispiel 70 Gewinne zu Beginn der Spielfolge dann am Ende der Folge noch 30 Niederlagen
gibt keine so gute ELO-Wertung zum ENDE hin.

Apard ELO gemäss muss schliesslich jedes Spiel einzeln chronologisch eingerechnet werden.
Das bedeutet , das Spiele in der nahen Vergangenheit einen stärkeren Einfluss auf die aktuelle ELO-Bewertung haben,
als Spielergebnisse, die schon länger zurückliegen.

By Klaus Meier Date 2014-01-05 11:27 Edited 2014-01-05 11:34

Benno Hartwig schrieb:

Wie das zu berechnen ist, ist halt festgelegt und du hast es richtig beschrieben.
Eigentlich möchte ich aber eher diese offizielle(?) Berechnungsart als 'irre' bezeichnen.

Ein fiktives Beispiel, dass dies sehr gut illustriert:
Mein ELO: 2000 (jaja, mal frech angenommen)
Ich spiele gegen drei Gegner (ELO: 2000, 2000, 2500) jeweils 1000 Partien, und zwar möglichst genau so, wie es der jeweiligen ELO-Differenz entspricht:

Code:

Gegner   ELO    gewonnen   verloren
A        2000       500       500
A        2000       500       500
A        2500        53       947

Nun sagt mir die offizielle, 'richtige' Berechnungsmethode:
durchschnittliche Gegner-ELO: 2167
Erfolgsquote: 35%
ELO-Diff: -107 (ggü. dem Gegner-Durchschnittswert)
ELO-Wert für mich: 2167-107=2060.
Obwohl ich also gegen jeden Gegner genau so spielte, wie es gemäß der jeweiligen ELO-Differenz zu erwarten war, obwohl also jede dieser Begegnungen eine Bestätigung meiner genau 2000 ELO war, werde ich nun mit 2060 eingeschätzt. 60 mehr als ich hatte!!
Das finde ich eigentlich ziemlich irre.

Die 'falsche' Berechnungsmethode hingegen weist mit genau die 2000 ELO zu, die ich erwartet habe. (hier sehe ich erst mal nicht 'Irres')

Dass man sich auf eine Berechnungsmethode einigen muss sehe ich ein.
Und die 'richtige' ist gegen jede Gegnerschaft anwendbar, auch bei jew. einem Spiel gegen sehr viele Gegner. Das leistet die andere nicht. Auch klar.
Aber irgendwie ist diese 'richtige' Methode doch auch nicht zufriedenstellend, oder?

Benno

ELO berechnet sich sukzessive von Spiel zu Spiel
es gibt dabei keinen "Gegnerschnitt" der sich als Mittelwert aus mehreren Gegnern
berechnen lässt.
die offizelle ELO-Methode liefert dann für D natürlich 2000 ELO
wie folgt:
D ist mit 2000 vorbesetzt (aus den Spielen gegen A und B ergibt sich für D=2000)
nun erreicht D gegen C 53 Punkte in weiteren 1000 Spielen
Das sind also nacheinander 1000 Spiel Ergebnisse, die per ELO-Formel
cronologisch auszuwerten sind
D könnte z.B. die ersten 53 Spiele aus 1000 gewinnen dann allle weiteren verlieren,
jedenfalls egal wie die 53 Punkte auf eine Folge aus 1000 Spielergebnissen verteilt sind.
Am End ist D=2000. (von möglichen Rundungsfehlern mal abgesehen die evtl. +- 1 ELO Punkt ausmachen könnten)

Mit einem Gegnerschnitt rechnet ELO offizell doch garnicht.

Anders sieht es bei der Berechnung einer DWZ aus.
Hier wird Turnierweise gerechnet.
Nun gibt es auch einen DWZ-Durchschnitt aus den Turniergegnern.
Tatsächlich würde eine DWZ dann auch anders ausfallen,
wenn 3000 Spielergebnisse zu einem Turnier zusammengefasst werden, statt nur die letzten 1000 Spielergebnisse.
Schliesslich ist der Gegnerschnitt aus den 3000 Spielen mit 3 verschiedenen Gegnern anders als Der Gegnerschnit aus den letzten 1000
Spielen mit nur einem einzigen Gegner.

By Klaus Meier Date 2014-01-05 12:31 Edited 2014-01-05 12:34

Klaus Meier schrieb:

D könnte z.B. die ersten 53 Spiele aus 1000 gewinnen dann allle weiteren verlieren,
jedenfalls egal wie die 53 Punkte auf eine Folge aus 1000 Spielergebnissen verteilt sind.
Am End ist D=2000. (von möglichen Rundungsfehlern mal abgesehen die evtl. +- 1 ELO Punkt ausmachen könnten)

Hopla,
Startwerte D=2000 C=2500
Wenn D (2000) die ersten 53 Spiele gegen c (2500) alle gewinnt
dann ist D=2400 und C = 2100
daraufhin soll nun D die restlichen Spiele gegen C alle bis zum 1000 Spiel verlieren
dann ist am END der 1000 Spiele
D = 865
während C nun plötzlich mit 3600 glänzt

also auch die Reihenfolge mit welcher die Ergebnisse in die Berechnung eingehen
spielt eine Rolle.
Daran kann man auch gut sehen, wie trügerisch eine ELO sein kann.
Eine ELO gibt niemals eine echte Spielstärke eines Spielers wieder,
sondern bewertet , wie ein Spieler in der jüngsten Vergangenheit
abgeschnitten hat. Mehr nicht.

By Klaus Meier Date 2014-01-02 16:53

Klaus Meier schrieb:

Wie im wahren Leben sollten bei diesen Tests und Turnieren möglichst weitgehend gleichstarke Engines gegeneinander spielen und so getestet werden.

Werden Turniere nach dem Schweizer-System ausgespielt, dann geschieht das automatisch.

Das kann mit einer grossen Zahl Engines und großer Bandbreite der Spielstärken
sehr gut erreicht werden, wenn die Turniere nach dem Schweizer-System gespielt werden.

Die ELO-Durchschnitt aller Gegner konvergiert dann bis zum Turnierende gegen die Engine-ELO.
In der CEGT ist das offenbar ganz gut schon realisiert.

Engine-ELO und Av.Op. (ELO-Durchschnitt aller Gegner) liegen bei der Mehrzahl der getesteten Engines nah zusammen.
Was in diesen Listen fehlt, ist eine Information darüber, wie Häufig die Engine mit den weissen Steinen gewonnen hat.
Die Rating Liste könnte um eine Spalte "WhiteWin" erweitert werden. Dann liesse sich als aussenstehender Beobachter weit mehr
mit der Liste anfangen, als bisher.

etwa so :

no Program Elo + - Games Score Av.Op. Draws WhiteWin

Statt WhiteWin ist es vielleicht besser die
White Perf. zu jeder ENGINE als weitere Spalte mit
anzugeben, etwa so :

no Program Elo + - Games Score Av.Op. Draws WhitePerf

Die Angabe einer WhitePerf zu jeder Engine in der Liste
könnte im Falle das ELO und die DurchschnittELO (AV.OP.) der Gegner
für jede Engine nahe beieinander liegen dann eine ganz sinnvolle
Zusatzinfo sein.

By Chess Player 2 Date 2014-01-03 11:58

Klaus Meier schrieb:

...

Das ist auch nicht der Bringer!

Was ich mir vorstellen kann ist eine graphische Darstellung einer Elo Entwicklung über den ECO Code.

Da sieht man sofort die Schwachstellen der Engines. Nur so machen Auswertungen einen Sinn!

By Frank Quisinsky Date 2014-01-03 13:18

Hi,

denke ECO ist nur ein Teilbereich der sich ergibt aus den maßgeblichen Infos.
Wenn wir wissen das eine Engine überproportional wenige Punkte bei x Figuren auf dem Brett erreicht, können wir die Partien filtern und leicht feststellen ob ein oder mehrere ECO Codes dafür verantwortlich sind. Das Thema könnten wir mit genauen Auswertungen hinten dran schieben wenn wir Tools haben die z. B. nach Anzahl der Figurren auf dem Brett filtern und wird das dann direkt in einer Tabelle sehen. Hat den Vorteil wir wissen es durch wenige Blicke direkt von allen Engines und können dann sehr einfach stochern ... und nicht nur das wir könnten die ganzen Infos auch dazu einsetzen um letztendlich den Programmierer den Hinweis zu geben, schaue mal hier und dort.

Haben wir z. B. eine Datenbank bei der Die Partien gesammelt sind bei 6 Zügen auf dem Brett, können wir leicht filtern welche 6 Figuren waren es und gibt es da Probleme mit der Mattführung oder Remiserkennung. Um darauf zurückzukommen, wie ich feststelle ob Engine das falsche Läuferpaar nicht beherrschen.

Viele Grüße
Frank

By Gast Ulrich Date 2014-01-03 13:26

Frank Quisinsky schrieb:

Haben wir z. B. eine Datenbank bei der Die Partien gesammelt sind bei 6 Zügen auf dem Brett, können wir leicht filtern welche 6 Figuren waren es und gibt es da Probleme mit der Mattführung oder Remiserkennung. Um darauf zurückzukommen, wie ich feststelle ob Engine das falsche Läuferpaar nicht beherrschen.

Viele Grüße
Frank

Was bitte ist das "falsche Läuferpaar"? Bitte um Aufklärung.

Ulrich

By Frank Quisinsky Date 2014-01-03 19:58

Falsche Läuferpaar?
Gut das ich nicht falsches Turmpaar geschreibselt habe

Unterschiedlich feldrige Läufer mit Randbauern.

By Klaus Meier Date 2014-01-03 13:47

Chess Player 2 schrieb:

Hat eher an etwas einfacheren gedacht.
Z.B. Wie kann das bestehende Bewertungssystem mit kleinen Verfeinerungen schrittweise so verbessert werden,
so das mit weniger gespielten Partieen die gleiche Genauigkeit der Bewertung erreicht werden kann.
Das spart zumindest schon mal Rechenzeit bei den Turniertestläufen
weil statt wie bissher 3000 Spiele nach der Verfeinerung des Bewertungssystems dann nur noch
300 Spiele nötig sind, um auf eine gleichwertige Fehlerrechnung (Errorbar) zu kommen.
So wie ich euch hier verstehe, ist nun ein Rundumschlag im Bewertungssystem für die Computerschachprogramme geplant.

na da lehne ich mich bei einer Tasse Kaffee dann erst mal in meinem Sessel zurück und schaue euch dabei zu.

Viele Grüße

By Frank Quisinsky Date 2014-01-03 19:39

Hallo Klaus,

300 werden nicht ausreichen aber vielleicht 800 wenn die Randbedingungen gut sind, die Formel für die Berechnungen auf Computerschach angepasster ist.

Letztendlich wollen wir alle Strom sparen und ich finde und das ist ganz wichtig ...
Jeder sollte in der Lage sein für sich eine Ratingliste zu erstellen und für sich mittels dieser Liste zu erkennen was besonders gut bei den Testkandidaten ist. Das macht Spaß, wird die eigene Spielstärke durch beobachten steigern und bringt neue Entwicklungsideen.

Ziel kann es nicht sein, die Zahl der Partien künstlich nach oben zu hieven. Steht dem kontraproduktiv entgegen.
Und dieses künstliche nach oben hieven kommt maßgeblich zu Stande aufgrund der schwachen Berechnung die wir haben oder aufgrund von meines Erachtens offensichtlich fehlerhaften Auslegungen zu einer offensichtlich fehlerhaften Formel. Mag sein das beim "Menschenschach" alles noch irgendwie geflickt zusammenhält. Wie so eine Hose die schon 100x geflickt worden ist. Aber beim Computerschach hängen da nur noch Fetzen am Bein die künstlich zusammengehalten werden aufgrund irgendwelcher Tricky Methoden die so Tricky sind, dass am Ende von Tag die "Willkür" siegt.

Und weil wir gar nicht anders können, weil wir gar nichts anders haben schreiben wir Abhandlungen über "Willkür" und vergewaltigen Willkür auch noch mit Wahrscheinlichkeitstheorien. Das ist so, wie soll ich mich ausdrücken, derart peinlich für eine Szene, welche glorreich schon mehrfach bewiesen hat wie die künstliche Intelligenz in Schach gehalten wird. So paradox, als ob auf ELO der Heiligenschein steht und Personen sich berufen fühlen weil sie ELO für sich empfangen haben.

HILFE

Wenn das nicht mal langsam geändert wird sind wir bald allein mit unseren vierstelligen Zahlen, ganz allein ...
Noch nicht mal ne Spinne verirrt sich dann zu uns ...

Sehr überspitzt aber ELO muss weg oder stark modifiziert werden.

Gruß
Frank

By Frank Quisinsky Date 2014-01-03 19:54

Und letztendlich werden auch die Diskussionen in den Foren spannender zu lesen sein.
Eine Verknüpfung zu anderen Gruppen wie Fernschachspieler wird hergestellt.
Die Möglichkeiten das der Austausch flüssiger wird werden größer.

Gebe den Beteiligten die Mittel und der Erfolg stellt sich ein.

Haben die Wahl, wir können natürlich auch noch ein paar Jahre über ELO diskutieren und uns vierstellige Zahlen anschauen.
Die Entscheidung hierfür liegt nur bei den Beteiligten selbst.

Also Klaus, wie lange brauchst Du um das alles zu programmieren?

Den Kaffee bekommste dann vor mir geschickt.
Trinke die PDFs von Tchibo, meine die Kapseln.
Die sind gut, Kaffee ist schnell gemacht und Du verschwendest keine Zeit.

Gruß
Frank

By Klaus Meier Date 2014-01-03 21:01 Edited 2014-01-03 21:10

Frank Quisinsky schrieb:

Also Klaus, wie lange brauchst Du um das alles zu programmieren?

Hab ichs doch geahnt,das die Frage kommt...

Ich benötige selber nur eine kleine Abschätzung, die mir sagt,
wie die Gewinnerwartung in Abhängigkeit der ELO-Differenz aussieht, wenn der ELO-Stärkere Spieler
den Anzug hat, oder den Nachzug hat.

Das gibt dann drei Fallunterscheidungen mit Näherungsgleichungen für die Performance Erwartung.

Es kann sogar linear gerechnet werden so das nicht mal eine Tabelle benötigt wird
Die Perf. in Prozent für den ELO-stärkeren Spieler ist dann wie folgt :
perf[%]= deltaELO/12 +56 (für WEISS, falls WEISS ist ELO-stärker oder gleichstark wie SCHWARZ)
perf[%]= deltaELO/11 +47 (für SCHWARZ falls SCHWARZ ist ELO-stärker oder gleichstark wie WEISS)
perf[%]= deltaELO/11 +50 (für den ELO-stärkeren Spieler, falls dessen ELO kleiner oder gleich 1400 ist.)
hierbei ist deltaELO die positive ELO-Differenz zwischen zwei Spielern.
Das lässt sich mit wenig zeitaufwand in einen kleinen Taschenrechner programmieren.

By Frank Quisinsky Date 2014-01-03 22:16 Edited 2014-01-03 22:18

Hallo Klaus,

ja, ist ja OK aber irgendwie ...
Das ist ja auch nur ein Tropfen auf dem heißen Stein.

Na, zumindest haste den Anfang gemacht.

Aber wer A sagt muss auch B sagen.
Das sagte sich kürzlich das Hannibal Team, der Houdini Programmierer und nun bist Du am Zug.

Gruß
Frank

Bis ich das in meinem Casio drin habe haste schon den zweiten Step in Petto.
Außerdem habe ich da kaum noch Speicherplatz frei wegen Kal. Verbrauch beim Fahrradfahren.
Müsste das ganze Zeug löschen.

By Klaus Meier Date 2014-01-04 09:44 Edited 2014-01-04 09:52

Frank Quisinsky schrieb:

Hallo Klaus,

ja, ist ja OK aber irgendwie ...
Das ist ja auch nur ein Tropfen auf dem heißen Stein.

Na, zumindest haste den Anfang gemacht.

Tropfen auf den heissen Stein...
Man übe sich in Bescheidenheit.
Immer in kleinen Schritten geht es weiter.

Die dritte der Formeln habe ich nun an ELO angepasst,
so das diese Abschätzungen für ELO kleiner 1350 in die bekannte
linearisierte ELO-Formel übergeht.

Es sind drei Fallunterscheidungen definiert , entsprechend Spielfarbe sowie
ELO größer oder kleiner 1350. Für ELO=1350 gibt es keine Definition.

Die Perf. in Prozent für den ELO-stärkeren Spieler ist dann wie folgt :
a) Wperf[%]= deltaELO/12 +56 (für WEISS, falls WEISS ist ELO-stärker und dessen ELO > 1350)
b) Bperf[%]= deltaELO/11 +47 (für SCHWARZ falls SCHWARZ ist ELO-stärker und dessen ELO >1350)
c) perf[%]= deltaELO/8 +50 (für den ELO-stärkeren Spieler, falls dessen ELO kleiner 1350 ist.)
hierbei ist deltaELO der Betrag der ELO-Differenz zwischen zwei Spielern.

Die Gleichung c) habe ich nun einer bekannten ELO-Linearisierung angepasst,
nach welcher etwa gilt :
+-deltaELO=8*(perf[%]-50)

In den drei Gleichungen a) b) c) ist somit die ELO-Systematik mit enthalten.

By Klaus Meier Date 2014-01-04 12:03

Im Grunde ist der ganze Übergangsbereich zwischen 1300 und 1400 Elo
eher caotisch weil die schwächeren Spieler unter 1300 haben noch nicht den
Anzugvorteil umsetzen gelernt, während die Spieler mit ELo >1400
das in der Regel dann gelernt haben. In dem Übergangsbereich
zwischen 1300 und 1400 ist das nicht so klar.

Jedenfalls geht das aus den
Spielergebnisdatenbanken aus Spielen zwischen Menschen
weitgehend so hervor.

In der Regel intressieren ja auch vornehmlich die stärkeren Spieler für ein Bewertungsmodell
also rechnet sich dann mit a) und b)

a) Wperf[%]= deltaELO/12 +56 (für WEISS, falls WEISS ist ELO-stärker und dessen ELO > 1350)
b) Bperf[%]= deltaELO/11 +47 (für SCHWARZ falls SCHWARZ ist ELO-stärker und dessen ELO >1350)

Die klassische ELO :
c) perf[%]= deltaELO/8 +50
--> in den Mülleimer

Viele Grüße zum neuen Jahr 2014 von
Klaus

By Klaus Meier Date 2014-02-20 04:50

Frank Quisinsky schrieb:

Den Kaffee bekommste dann vor mir geschickt.
Trinke die PDFs von Tchibo, meine die Kapseln.
Die sind gut, Kaffee ist schnell gemacht und Du verschwendest keine Zeit.

Gruß
Frank

Hii Frank,
Na prima ! Hab genau die Kaffeemaschine auch !!
Darfst dann die erste Packung Kaffee-Kapseln verschicken

Aber bitte ein ordentliches Packet, das sind ja einzeln nur so kleine Kaffeekapseln.

Zur Problemlösung
siehe auf folgender WEB-Seite:
http://www.chetan.homepage.t-online.de/schach/s_13_14.htm
in dem Informationsfenster
"Gedanken zu Arpad Elo"
und
"Das Spielniveau (Spn)"

Es gibt sogar schon eine Grafik, welche ein Spielniveau Spn anhand des hier diskutierten Ansatz
für einige der weltstärksten Schachspieler darstellt.

K.M.

By Gerhard Sonnabend Date 2014-02-20 09:25

Frank Quisinsky schrieb:

[...snip...]
Den Kaffee bekommste dann vor mir geschickt.
Trinke die PDFs von Tchibo, meine die Kapseln.
Die sind gut, Kaffee ist schnell gemacht und Du
verschwendest keine Zeit.

Hi Frank !

Dann könnte das hier für Dich interessant sein:
http://www.ecaffee.de/ecaffe-kapseln
resp. das hier:
http://www.ecaffe.at/ecaffe/shop.nsf/show/sorten

Diese Kapseln sind für die Tchibo passend,
ich bestelle diese schon seit einigen Jahren.

Mein Favorit: CAFFÈ CREMA.

Viele Grüsse,
G.S.

By Klaus Meier Date 2014-02-25 12:01

Hallo Frank
Auch lässt sich das Spielniveau (Spn) und eine Elo-Zahl von Schachcomputerprogrammen errechnen.
Einen Überblick zu einigen bekannten handelsüblichen Programmen gibt die folgende Tabelle:

Programm Name..   Spn   Elo   Auswertung_Jahr
Rybka 4.1...........   3473   3094   2013
Stockfish 250413.   3353   3091   2013
Hiarcs 14............   2899   2975   2013
Shredder 12........   2815   2963   2013
Junior 13.3.........   2711   2891   2013

(Quelle: http://www.chetan.homepage.t-online.de/schach/s_13_14.htm)

By Klaus Meier Date 2014-02-25 13:03

Vergleiche ich nun solche Ergebnisse mit der Grafik welche eine Spn-Entwicklung einiger weltbekannter Schachspieler darstellt,
wird mir klar, das Menschen mit entsprechend guter Vorbereitung heutzutage viel stärker spielen , als Schachprogramme.
Verwunderlich dabei bleibt mir : Wie konnte es dazu kommen, das Anand gegen Carlsen den WM-Titel abgegeben hat ?
Man bedenke mal:
Spn-Carlsen nur schlappe : 9892
Spn-Anand jedoch..........: 14786

K.M.