SWCR Blitz Ratingliste eingestellt ...

By Bert Rinzel Date 2010-04-20 00:46

Code:

Blitz ist damit für mich endgültig gestorben.

Hast aber lange gebraucht um zu dieser erkenntnis zu kommen.

Wie du schon selber feststellst: reine stromverschwendung.

By Frank Quisinsky Date 2010-04-20 01:05

Hi,

ich gebe Dir äußerst ungerne Recht.

Aber wenn es bei den vielen möglichen Zeiteinstellungen beim Blitz in 30% der Fälle zu Abweichungen zwischen 30-50 ELO kommt (egal wie viele Partien) ... macht das alles keinen Sinn mehr. Kein Leser einer Zeitschrift kann mit einem solchen statistischen Zahlenspiel wirklich etwas anfangen.

Die Erkenntnis hatte ich schon vor 10 Jahren. Allerdings dachte ich, dass diese Probleme mit der schnelleren Hardware aufgehoben sind ... Irrglauben!

Kann jetzt natürlich an die eigene Ergebnisse glauben und alle anderen in Frage stellen aber selbst wenn ich "fremde Listen" vergleiche sieht es nicht anders aus. Keine der Blitz-Listen gleicht sich an und zu so groben Abweichungen nach vielen Partien darf es nicht kommen. Selbst nach dem ganzen Wissen und Erkenntnissen bei der Erstellung von solchen Ratinglisten darf es nicht mehr zu nicht erklärbaren Abweichungen kommen. Sind diese aber dennoch erkennbar und treten zu häufig auf, ja dann macht die Erstellung keinen Sinn mehr.

Da sehen die Listen mit mittleren Bedenkzeiten, zumindest im Jahr 2010, absolut einheitlich aus. Wie es im Jahr 2015, bei vielleicht 4x schnellerer Hardware, dann wieder ausschaut, ist zugegeben nach dieser Theorie auch wieder fraglich.

Wahrscheinlich macht es gar keinen Sinn eine Ratingliste über einen längeren Zeitraum zu führen. Mit Hardwarewechsel und den vielen neuen Engine Versionen sollten besser von Zeit zu Zeit neue Listen generiert werden. Ach egal, so richtig stellt sich hier keine Weisheit ein.

Gruß
Frank

By Bert Rinzel Date 2010-04-20 01:14

Wenn ich es richtig verfolgt habe, hast du single versionen getestet.

Bei mp versionen sind die abweichungen sicher noch größer.

Aber die energieversorger freuen sich über eure bemühungen.

By Frank Quisinsky Date 2010-04-20 01:21 Edited 2010-04-20 01:25

Hi,

richtig.
SWCR Blitz war 32-Bit, 1 Core und Ponder = On.

Wie gesagt, bei mittleren Bedenkzeiten scheinen sich die Listenersteller mit Ihren Ergebnissen deutlich mehr anzunähern als beim Blitz. Aus dieser Erkenntnis heraus macht es dann auch Sinn solche Ratinglisten zu erstellen, weil ein klares und sich bestätigendes Ergebnis dabei heraus kommt. Informationen können entnommen werden, die durch die vielen Listen mehrfach bestätigt sind.

Wissenschaftliche These des sich zu bestätigenden Beweises.

Aber beim Blitz scheinen andere Gesetze zu gelten und viele logischen Thesen hinsichtlich Zeitkomponenten, die Spielstärkebeeinflusssend wirken, treffen in zu vielen Fällen nicht mehr zu.

Gruß
Frank

By Bert Rinzel Date 2010-04-20 09:13

Code:

SWCR Blitz war 32-Bit, 1 Core und Ponder = On.

Schon allein diese auswahl macht in meinen augen keinen wirklichen sinn.

Die, die sich eine engine kaufen, um selbst damit zu spielen, sind in der regel längst bedient und mit Fritz 9 oder so überfordert.

Spitzenspieler hingegen, die schach leistungsmäßig betreiben - wozu von mir aus auch fernschach (sie bilden sich zumindest ein spitzenspieler zu sein) gehört - verwenden heute keine single versionen mehr und haben längst eine 64bit maschine zuhause stehen.

Wenn man also schon testet, macht es in meinen augen nur sinn, von jeder engine nur die jeweils beste version zu testen. Das sind nun mal in aller regel 64bit mp versionen.

Hinzu kommt, dass jedes halbe jahr eine neue hardware generation erscheint, mit der auch die programme immer leistungsfähiger werden. Obwohl es keine garantie dafür gibt, dass 1 oder 2 halbzüge tiefere rechenleistung einen besseren zug ergibt.

By Frank Quisinsky Date 2010-04-20 14:21

Hi,

also bei 64-Bit, mehreren Cores vertrete ich die Meinung dass dies nur Zeitkomponenten sind.

64-Bit wird sich jetzt offenbar auch durchsetzen. Die ersten Windows 7 Notebook der mittleren Preisklasse werden nun mit 64-Bit verkauft. Immer mehr Hersteller ziehen mit. Das sollte dann der Startschuss für 64-Bit sein. Ganz sicher haben die Mehrzahl der Schachspieler noch kein 64-Bit.

Die SWCR gleicht aus, durch die Information des 64-Bit Zuwachs in den Tabellen auf den Webseiten oder bei den Interviews (Standardfrage).
Hatte gestern noch im News-Ticker die Info gesetzt, das die SWCR zum Jahresende auf 64-Bit umgestellt wird.

Denke das ist ein guter Zeitpunkt und ferner liegen dann auch ausreichend 32-Bit Ergebnisse vor um besser innerhalb der Engines Vegleiche anstellen zu können.

Gruß
Frank

By Michael Waesch Date 2010-04-20 05:39

Böse Zungen würden jetzt wohl behaupten, daß das auch gut so ist, denn dann könnten sie wieder ein Fritz-Match sponsorn. Ich tendiere allerdings zu der Ansicht, daß wenn ein Energieversorger mal eben ne Million für ein solches Match zur Verfügung stellen kann, dann zahl ich wohl zuviel für meinen Strom ...

Mike

By Benno Hartwig Date 2010-04-20 13:52

[quote="Frank Quisinsky"]Aber wenn es bei den vielen möglichen Zeiteinstellungen beim Blitz in 30% der Fälle zu Abweichungen zwischen 30-50 ELO kommt [/quote]
Wie könnten solche größeren Abweichungen denn erklärbar sein?

Natürlich lese ich viel von den Vorbehalten gegen kurze Zeiten.
Unstrittig sollte aber trotzdem sein: Auch bei 5 min/Partie bei vorgegebenen anderen Rahmenbedingungen gibt es für zwei Engines A und B eine Zahl pA, die die Erfolgsaussichten von A gegen B beschreibt. Und bei vorgegebener Partienzahl (1000 oder so) sollte die Streuung für die Schätzung eines solchen Wertes pA nicht größer sein als bei längeren Zeiten. Sie hängt halt nur von der Partienanzahl (und natürlich der Beibehaltung der Rahmenbedingungen!) ab.
Wenn diese Streuung doch von manchen als größer angesehen wird, wäre ich an einer Begründung interessiert, welche nicht in Konflikt mit der Wahrscheinlichkeitsrechnung gerät.

Benno

PS:
Den Vorbehalt gegen kurze Zeiten akzeptiere ich natürlich gern, wenn jemand erklärt, dass solch ein Wert pA bei langen Zeiten etwas anders sein könnte. Das stimmt natürlich. Aber einen besseren Schätzwert wird er bei längeren Zeiten allerdings erst dann erhalten, wenn er eine auch sehr große Partienzahl spielt, was nach meiner Befürchtung eben häufig nicht geschieht.
'Kurze Zeiten mit vielen Partien' liefert nach meinem Eindruck einen deutlich genaueren Schätzwert für die relative Spielstärke bei langen Zeiten als 'lange Zeiten bei recht wenigen Partien'.

By Frank Quisinsky Date 2010-04-20 14:16

Hallo Benno,

ja genau.
Nachvollziehbar was Du schreibst, absolut.

Aber ich kann jetzt auch nicht mehr dazu schreiben bzw. die Frage beantworten, siehe auch meine anderen Bemerkungen.

Sage mal so ...
Wenn in einer Liste eine Engine bei tausenden von Partien zu einem ELOstat oder Bayesian Ergebnis +-10 kommt, darf in einer andere Listen nicht plötzlich 40 ELO Unterschied sein wenn diese zu +-20 kommt. Wiederholt sich das zu oft können nur die Rahmenbedingungen der Listen verantwortlich sein. Davon gibt es gerade beim Blitz zu viele bzw. wirken sich offenbar drastischer aus als bei längeren Bedenkzeiten. Dürfte und sollte auch beim Blitz nicht der Fall sein daher bin ich selbst total überfragt.

Die Enttäuschung liegt bei mir deswegen Nahe weil sich solche Ergebnisse nicht mehr mit eigenen Erfahrungswerten decken bzw. bei egal was verglichen wird wiederholen.

Komme daher nur zu dem banalen Ergebnis das sich die unterschiedlichen Testbedingungen beim Blitz deutlich extremer auswirken als bei mittleren Bedenkzeiten. So schwammig diese Erklärung auch ist. Werde mir das mit mehr Zeit mal näher ansehen.

Gruß
Frank

By Benno Hartwig Date 2010-04-20 14:41

[quote="Frank Quisinsky"]Wenn in einer Liste eine Engine bei tausenden von Partien zu einem ELOstat oder Bayesian Ergebnis +-10 kommt, darf in einer andere Listen nicht plötzlich 40 ELO Unterschied sein wenn diese zu +-20 kommt. [/quote]Sowas kann sicher passieren! Aber, OK, es sollte nicht besonders häufig passieren.
Dieses +-10 bedeutet ja, dass größere Abweichungen ja durchaus auftreten können, nur eben dass dies Wahrscheinlichkeit dafür recht klein (z.B. 5%) ist. Dies bedeutet dann z.B. auch, dass zu erwarten ist, dass ungefähr jedes 20te Ergebnis deutlicher von dem realen Wert abweicht, als es die dazugehörige "+-"-Angabe so selbstbewusst 'behauptete'!

Die Anzahl der Postings zu diesem Thema ist recht groß. Ist schon mal von jemandem konkretes Zahlenmaterial zu den Differenzen zusammengetragen worden?
Wie ist die Streuung der geschätzten ELO-Differenzen bei längeren Zeiten denn tatsächlich?
Wie ist die Streuung der geschätzten ELO-Differenzen bei Blitzzeiten denn tatsächlich?

Gerade weil vermutlich recht viele Blitz-Tabellen existieren, ist es nicht erstaunlich und geradezu zu erwarten, dass man solche findet, die erhebliche Abweichungen präsentieren.
Bei z.B. 10 Listen mit jeweils 40 Engines wäre verteilt auf die Listen mit ca. 20 grob falsch beurteilten Engines (die einen zu gut, die anderen zu schlecht) zu rechnen. Und da können dann sicher beeindruckende Beispiele gefunden werden werden. Nur welche Aussagekraft hat das?
Diese wären bei langen Zeiten und gleicher Listen-Anzahl ebenso vorhanden.

Es müsste schon versucht werden, jeweils die Gesamtheit der Listen zu betrachten, wenn man erfahren will, ob Blitzergebnisse in irgendeinem Sinne unzuverlässiger sind.
Extreme oder auch 2 oder 3 Beispiele heraus zu picken, wird uns nicht helfen.

Benno

By Thomas Mayer (Quark) Date 2010-04-20 14:23

Hallo Benno,

der erste Fehler ist sicherlich, daß hier wieder 2 Listen zusammengeworfen werden mit EINER EINZIGEN Engine als Vergleichsmaßstab. Dass dies mathematisch vollkommen daneben ist haben wir mehr als einmal hier durchgekaut. Wenn die Listen dann richtig gegenübergestellt sind, dann müssen wir mal nochmal schauen, wieviel Abweichungen es gibt. Teilweise liegen sicherlich auch viel zu wenige Partien vor.

Gruß, Thomas

By Frank Quisinsky Date 2010-04-20 14:37

Hi,

würde ich z. B. hingehen und Shredder auf 2.785 eichen (im Blitz) bzw. auf 2.800 bei 40 Züge in 10 Minuten würde eine gigantisch gute Übereinstimmung der beiden SWCR Listen dabei heraus kommen. Die Unterschiede die es dann noch gibt sind alle sehr einfach erklärbar (Engine bedingt).

Könnte bedeuten:

1. Liegt am Pondern (glaube ich nicht), beide Listen mit Ponder = On

2. Shredder 12 eignet sich nicht zum eichen, spielt bei längeren Bedenkzeiten besser (glaube ich bedingt)

3. So viele Partien sind nicht notwendig bzw. verzerren die Liste wenn unregelmäßig mehr Partien gespielt sind (glaube ich bedingt). Siehe z. B. die Abweichungen der 40 in 10 SWCR Liste wenn alle gegeneinander 40 Partien gespielt haben oder dann alle Partien in einem Topf geworfen werden. Die Liste wird ungenauer mit mehr Partien !!! Hatte dazu mal einen Beitrag in den SCHACHWELT News-Ticker gesetzt.

4. Remisquoten nehmen ab. Die Blitzratinglisten haben deutlich geringere Remisquoten, dies sorgt auch für größere Abweichungen.

Zusammenwerfen von 2 Listen:
Das ist natürlich richtig, dass dies mathematisch nicht die beste Lösung ist. Dennoch sollten grobe Abweichungen nicht erkennbar sein. Denke Abweichungen im Bereich von bis zu 20 ELO sind da normal. Was darüber hinaus geht ist zu beachten, sind es gar 35 oder mehr wird es fraglich.

Die Partiemenge ist es nicht, vergleiche z. b. IPON mit SWCR oder andere Ergebnisse bei mittleren Bedenkzeiten z. B. CEGT mit SWCR. Da sieht alles sehr gut aus.

Kann mich natürlich irren aber eigentlich würde das dann gegen sämtliche eigene Erfahrungswerte sprechen. Natürlich sind meine nicht der Weisheit letzter ...
Klar !!

Gruß
Frank

By Benno Hartwig Date 2010-04-20 15:08

[quote="Frank Quisinsky"]Das ist natürlich richtig, dass dies mathematisch nicht die beste Lösung ist. Dennoch sollten grobe Abweichungen nicht erkennbar sein. Denke Abweichungen im Bereich von bis zu 20 ELO sind da normal. Was darüber hinaus geht ist zu beachten, sind es gar 35 oder mehr wird es fraglich.[/quote]Man wird sich die '+-'-Werte ansehen (ausgelegt für 95% Konfidenz?).
Bei 95% wird ungefähr ein 20tel der ELO-Werte um mehr als die '+-'-Angabe abweichen, ggf. auch deutlicher. Ein Teil nach oben, ein Teil nach unten. Jeder ELO-Fehler einer Engine bedeutet diverse ELO-Differenz-Fehler, über die du ja vermutlich den Vergleich der Listen machst.
Und wenn du nun auf der Suche nach eklatanten Beispielen solche Differenzen wählst, bei denen eine Engine deutlich zu gut und eine deutlich zu schlecht bewertet wurde, erhältst du einen doppelt so großen Fehler, mit dem du dann in die andere Liste gehst, (in der mit Pech diese Engines Fehler mit vertauschten Vorzeichen machten, wenn wahrscheinlich auch nicht so doll. -> ein ungefähr verdreifachter Fehler?)

Die größere Anzahl von Blitz-Listen bietet eben auch häufiger Fälle, die sich besonder schlecht zu vertragen scheinen.

Stochastik und Statistik sind Themen, bei denen man auch in bester Absicht und trotz Bemühen und auch einigem Sachverstand sehr schnell auch gravierende Fehler macht.

Benno

By Ralf Badera Date 2010-04-20 08:45

Hallo Frank!
[quote="Frank Quisinsky"]
Je mehr Vergleiche ich mit anderen Blitz-Ratinglisten durchführe desto mehr Murks kommt dabei heraus.
[/quote]
In Physiker-Elektriker-Elektrotechniker-Elektroniker-Kreisen sagt man:
Wer misst, misst Mist. Wer viel misst, misst viel Mist.

[quote="Frank Quisinsky"]Lange Rede kurzer Sinn (siehe auch Thread Vergleich CEGT und SWCR Blitz, habe auch andere Listen mit SWCR verglichen) ...
Blitz ist damit für mich endgültig gestorben.

Gruß
Frank
[/quote]
Welche Bedenkzeiten hältst Du jetzt für sinnvoll? Worin denkst Du liegt der Unterschied? Warum wirkt sich die schnellere Hardware nicht aus?

MfG,
Ralf

By Frank Quisinsky Date 2010-04-20 14:11

Hallo Ralf,

ich kann Dir die Frage nicht wirklich beantworten, nur schätzen bzw. hochrechnen.

Schaue ich mir die Ratinglisten an, so scheint in etwa bei ca. knapp 20 Minuten im Vergleich zu der doppelten Zeit die Ergebnisse in der Tat vergleichbarer zu sein.

Wahrscheinlich bewirken die "kleineren" Bedenkzeiten zu viele Abweichungen, zumindest stellt es sich so für mich dar.
Kann ja auch jeder selbst verfolgen der die Listen vergleicht.

Eigentlich dürfte das aber nicht der Fall sein. Wahrscheinlich haben dann wirklich die Beeinflussungsfaktoren große Auswirkungen die bei den mittleren Bedenkzeiten wie gesagt nicht so grob ersichtlich werden.

Wenn ich sehe das sich die Listen nicht gegenseitig bestätigen bzw. es zu viele Abweichungen gibt stellt sich wirklich die Frage ob es Sinn macht eine solche Liste zu erstellen. Sicherlich für den privaten Anwender der einfach Spaß daran hat aber ich kann jetzt für den Leser einer Zeitschrift den Nutzen nicht erkennen.

Kann die Fragen von Dir jetzt nicht beantworten. Dafür müsste ich mir das sehr viel tiefer ansehen und auch für jede Engine eine Auswertung vornehmen. Die Zeit hatte ich noch nicht.

Gruß
Frank

By Ingo Bauer Date 2010-04-20 08:54

Hallo Frank,

[quote="Frank Quisinsky"]

Bin bedient ... 16.000 Partien für die Tonne, nun gut konnte einige Fehler bei Engines feststellen.
Immerhin um eine Erfahrung reicher geworden.

[/quote]

Du "überreagierst" und dein Temperament geht mit dir durch.

Ich nehme mal an deine Zweifel an der Blitzliste gehen mit deinen untenstehenden Vergleichen mit der CEGT Blitz einher. Ich habe mich in der Vergangenheit auch etwas mit der CEGT Blitz beschäftigt...

Wenn ICH zwischen den beiden Listen wählen müßte würde ich nicht DEINE Liste in Zweifel ziehen!

Gruß
Ingo

By Frank Quisinsky Date 2010-04-20 11:59

Hallo Ingo,

doch nicht nur wegen einer anderen Liste. Das hatte ich doch geschrieben. Habe mehrere verglichen und nicht nur SWCR zu X sondern X zu Y.

In Zweifel ziehe ich persönlich keine der Listen. Warum sollte ich das tun? Gibt dafür überhaupt keinen Grund denn hier spielen Engines Partien gegeneinander und am Ende erfolgt eine Auswertung. Die ist so wie sie ist und darüber sollte es keine Zweifel geben.

Ich zweifel eher an eine Aussagekraft der Blitz-Listen überhaupt. Denn es gibt in den unterschiedlichen Listen zu viele Aussetzer. Das kannst Du selbst herausfinden wenn Du Dich mit dem Thema beschäftigst.

Gruß
Frank

By Thomas Müller Date 2010-04-20 09:17

Listen 1:1 zu vegleichen macht aber keinen Sinn, das weisst du doch.
Und selbst wenn wir auf 2800 eichen ist durch die unterschiedlichen methoden kein vergleich möglich.
Kann das jetzt nicht so ganz nachvollziehen deine gedanken bzw denke wie ingo "du machst dich da grad verrückt"?

grüße thomas

By Frank Quisinsky Date 2010-04-20 12:02

Hi Thomas,

sicher können die Listen aufgrund der verschiedenen Bedingungen nicht direkt miteinander verglichen werden. Aber eine Tendenz sollte doch ersichtlich sein, oder? Wenn es bei den Blitz-Listen zu viele unterschiedlichen Ergebnisse gibt kann sich im Grunde jeder das beste Resultat herauspicken und daran glauben. Aber das hat dann nicht wirklich etwas mit Aussagekraft zu tun.

Ja, war total enttäuscht als ich zunächst die SWCR mit der CEGT verglichen habe. Dachte dann das kann eigentlich so krass nicht sein und bei jedem anderen Vergleich sind dann wieder total andere aber auch merkwürdige Ergebnisse herausgekommen.

Bei mittleren Bedenkzeiten habe ich das nicht festgestellt.
Also ich frage mich dann ob es Sinn macht diese Liste weiterzuführen.

Komme zu dem Ergebnis: Macht keinen Sinn.

Gruß
Frank

By Gerhard Sonnabend Date 2010-04-20 10:16

Hi Frank !

Meiner Meinung nach hältst Du Dich zu sehr an (kleineren) Schwankungen fest.
Im Prinzip genügen für einen Vergleich die Platzierungen der Engines untereinander.
Dass es die eine oder andere Punktedifferenz gibt ist vielen Dingen geschuldet:
Bedenkzeit, PB=on/off, Grösse der HTs, die verwendete Hardware, Bücher,
Vorgabestellungen etc. etc.
Diese unterschiedlichen Bedingungen (isoliert betrachtet) würden wohl kaum Unterschiede
hervorrufen, in Kombination(en) jedoch kann ich mir das schon eher vorstellen und die
Praxis scheint das zu bestätigen.

Sieh Dir das mal an (alle Engines x64-1CPU):

Code:


                CEGT    CEGT    IPON
                40/4    40/20    6+3
Rybka 3          1.      1.      1.
Stockfish 1.7.1  2.      2.      2.
Naum 4.2         3.      3.      3.
Shredder 12      4.      4.      4.
Komodo 1.0       5.      5.      5.
(DF 12 habe ich ausgelassen, da bei der CEGT noch nicht oder zuwenig getestet)

Übrigens sind diese Übereinstimmungen auch bei SMP (2- und 4-CPU) sehr gut zu erkennen.
Die laufenden Tests mit Stockfish 1.7.1 x64 4CPU zeigen das mal wieder sehr deutlich auf.
Sollte nichts ganz unvorhersehbares passieren, dann wird auch nach diesem Tests alles
weiterhin übereinstimmen.

Viele Grüsse,
G.S.

By Frank Quisinsky Date 2010-04-20 12:07

Hallo Gerhard,

"kleine Schwankungen" ... so klein sind diese gar nicht.

"Platzierungen der Engines untereinander"
Da stimme ich Dir zu, die stimmen meist bzw. stark überwiegend.

Völlig richtig was Du schreibst zu den unterschiedlichen Bedingungen.
Im Blitz ist es so, dass dann die Ergebnisse der Listen zu unterschiedlich sind.
Bei mittleren Bedenkzeiten ist dem nicht so bzw. sorgen selbst leicht veränderte Bedingungen nicht für so viele Schwankungen.

Blitz-Listen können also nicht so gut miteinander vergleichen werden wie Listen mit mittleren Bedenkzeiten.
Zu dieser Aussage bin ich gekommen und von daher sehe ich in der Blitz-Liste keinen wirklichen Nutzen für eine Zeitschrift.
Daher eingestellt.

Gruß
Frank