Sind die Computer Elo Ratinglisten real? am Beispiel CEGT

By Ben Hur Date 2011-11-16 14:07

Guckst Du hier: Deutscher Schachbund "DWZ - Datenbank",
dann in Tabellenkalkulation importieren, graphisch auswerten, und schupps, alles gewünschte erscheint!

ob 16000 oder 1605... alles scheissegal für das Prinzip

MfG

Ben Hur

By Thomas Mayer (Quark) Date 2011-11-17 15:06

Hi Ben,

Du meinst mit "Durschnittlicher Schachspieler" = "Durchschnittlicher gewerteter Spieler" - das ist natürlich Unsinn, ein Großteil der Schachspieler ist nicht in Vereinen organisiert und hat auch keine DWZ oder Elo-Wertung.
Unabhängig davon: Die SSDF-Liste wurde 2 mal um jeweils 100 Elo erniedrigt, der berühmte Superconny hat auf der Liste nun 1628 Elo, wird aber unter gewerteten Spielern eher über 1800 erspielen.
Das Spiel von Smirf mag phasenweise erschreckend schwach aussehen, taktisch spielt er jedoch recht präzise, d.h. Deine Einschätzung ist sicher falsch, Smirf dürfte sich unter 2000 Elo-Spielern sicher gut behaupten, im Blitz auch noch eine ganze Ecke höher.

Gruß, Thomas

By Ben Hur Date 2011-11-17 15:24

Hi Thomas,

[quote="Thomas Mayer (Quark)"]
Hi Ben,

Zitat:

Du meinst mit "Durschnittlicher Schachspieler" = "Durchschnittlicher gewerteter Spieler"

Code:

ja!

Zitat:

- das ist natürlich Unsinn, ein Großteil der Schachspieler ist nicht in Vereinen organisiert und hat auch keine DWZ oder Elo-Wertung.

Code:

Deine Annahme ist falsch, da man nur Äpfel mit Äpfel vergleichen kann, hier Turnierspieler "Mensch" vs. Turnierspieler "Computer"

Zitat:

Unabhängig davon: Die SSDF-Liste wurde 2 mal um jeweils 100 Elo erniedrigt, der berühmte Superconny hat auf der Liste nun 1628 Elo, wird aber unter gewerteten Spielern eher über 1800 erspielen.

Code:

Da stimme ich mit dir überein! O.K. ob über weiss ich nicht, aber 1800 halte ich für möglich.

Zitat:

Das Spiel von Smirf mag phasenweise erschreckend schwach aussehen, taktisch spielt er jedoch recht präzise, d.h. Deine Einschätzung ist sicher falsch, Smirf dürfte sich unter 2000 Elo-Spielern sicher gut behaupten, im Blitz auch noch eine ganze Ecke höher.

Code:

Deswegen mein Vergleichsvorschlag (habe es hier schon öfter vorgeschlagen) ihn gegen den Superconny antreten zu lassen.

Gruß, Thomas

Gruß,
Ben

By Michael Scheidl Date 2011-11-17 15:45

Zitat:

Die SSDF-Liste wurde 2 mal um jeweils 100 Elo erniedrigt, der berühmte Superconny hat auf der Liste nun 1628 Elo, wird aber unter gewerteten Spielern eher über 1800 erspielen.

Vielen Dank für dieses Beispiel, es schwirrte mir auch im Kopf herum. Die SSDF hat damals (meiner Interpretation nach) aus "Angst", daß die in erstauliche Höhen gestiegenen Topratings nicht ernst genommen würden, die Liste linear abgewertet(*). Ich glaube das war erstens methodisch falsch und zweitens hatte man sich noch nicht damit angefreundet, daß FIDE- bzw. Verbands-Elo einerseits und Computerratings andererseits verschiedene Skalen ohne statistischen Zusammenhang wurden...

*) daß das zweimal um -100 geschah, war mir nicht bewußt - ist das sicher? Das war alles vor der Internet-Zeit und kann nicht gegoogelt werden...

By Ben Hur Date 2011-11-17 16:03

[quote="Michael Scheidl"]
...

*) daß das zweimal um -100 geschah, war mir nicht bewußt - ist das sicher? ...

Code:

ziemlich sicher

[/quote]

By Peter Krug Date 2011-11-17 15:50

By Ben Hur Date 2011-11-16 12:48

Dann ist der Aufwand natürlich dreimal höher als bei meiner Methode, dafür vielleicht genauer.
Eine Referenz genügt vollkommen.

By Chetan Reinhard Date 2011-11-17 10:12

Es werden mind. 2 Referenzen (Stützpunkte) beötigt, um eine lineare Formel (Geradengleichung) angeben zu können. Drei Referenzen ergibt schon ein etwas überbestimmte lineare Umrechnung. Etwas Redundanz zur Kontrolle Kann aber nicht schaden. Es sollten sich doch drei Engins finden lassen von denen eine Fide-vergleicbare ELO bekannt ist. Also eine schwächere Engin so um 1800 bis 2200 ELO, eine mittelstarke um 2400 bis 2700 ELO und eine der stärksten Engins um 3000 ELO. Mir fällt da auf anhieb ein :
Crafty , (ca. 2100 ELO )
Fritz 5.0 (ca. 2500 ELO) und vielleicht
Rybka 3 (ca. 3000 ELO) oder so...
Grüsse
Che

By Ben Hur Date 2011-11-17 10:32

Also, wenn schon drei, dann:

- oberes Ende der Skala
- Mitte Ende der Skala
- unteres Ende der Skala

würde ich plausibler halten.

By Benno Hartwig Date 2011-11-17 13:41

[quote="Ben Hur"]- oberes Ende der Skala
- Mitte Ende der Skala
- unteres Ende der Skala[/quote]Unteres und 'Mitte Ende'

finde ich gut.
Aber welcher menschliche Schachspieler soll denn Houdini so auf den Zahn fühlen, dass sich daraus eine vernünftige Spielstärke-Abschätzung für Houdini ergibt?

Bislang hatte ich gemeint, man wolle einfach versuchen, die Computer-ELO-Liste so zu 'verschieben', dass sie möglichst gut zu der menschlichen Liste passt. Dabei sollten gleich ELO-Werte aber möglichst gleiche Spielstärke bedeuten.

Der Ansatz mit den 2 oder 3 Testengines würde dann sogar eine Kalibrierung der Spreizung ermöglich. Es ist halt nicht selbstverständlich, dass ein Computer mit 2500 ELO, der also gegen 2500-ELO-Menschen im Durchschnitt ausgeglichen spielt, jeweils im Mittel gegen Menschen mit 2300 ELO und Computer mit 2300 ELO gleich erfolgreich spielt.
Das könnte so grundsätzlich korrigiert werden.

Die 'Ankerpunkte' durch die 2 bis 3 Engines müssten dann aber seehhr verlässliche Werte ergeben!!
Wenn die irgendwie doch nur ungefähr richtig sind, bekommen wir eine komplett verquarste Computer-ELO-Liste. Und das umso mehr, je dichte sie beieinander liegen. Darauf zielte ja auch deine Bemerkung.
Ich würde sowieso lieber deutlich mehr Engines vorschlagen, jeweils ggf. gar nicht mit so besonders vielen Partien (und damit größerer Streuung), und ich würde die Kalibrierung dann durchführen wollen mit Methoden der Ausgleichsrechnung.
http://de.wikipedia.org/wiki/Ausgleichsrechnung
"Wie sollte die Kalibrierung sein, damit die festgestellten Ergebnisse mit möglicht großer Wahrscheinlichkeit auftreten konnten?"
Wenn dabei herauskommt, dass bestimmte Engines deutlich erfolg-reicher/loser gegen Menschen sind, als es ihr Computer-ELO-Wert erwarten ließ, wäre das ja auch eine sehr interessante Erfahrung.

Benno

By Ben Hur Date 2011-11-17 14:45

[quote="Benno Hartwig"]
...
Ich würde sowieso lieber deutlich mehr Engines vorschlagen, jeweils ggf. gar nicht mit so besonders vielen Partien (und damit größerer Streuung), und ich würde die Kalibrierung dann durchführen wollen mit Methoden der Ausgleichsrechnung.
...

Benno
[/quote]
Ich würde das Problem vielleicht noch anders angehen wollen:

- man nehme z.B. die CEGT Rangliste so wie sie ist
- dann sieht man, wenn man sie auseinanderpflückt gegen wen, wie oft, welche Eröffnungen gespielt wurden
- man erkennt, dass die Engines mit unterschiedlichem Gewicht eingehen
- und diverse andere Erkenntnisse sind möglich...

Da die gespielten Partien gespeichert sind, kann man sie zu einer neuen Rangliste verwursten nach folgendem Prinzip:

- der Ranglistenerste spielt (simuliert, per Zufallsgenerator) gegen das volle Spektrum z.B. gegen den
Ranglistenplatzinhaber Platz Nr. 10, 20, 30, ...,Ende der Rangliste, eine feste Anzahl in gleichem Eröffnungsbereich, xx Partien
- für den Ranglistenzweiten die gleiche Prozedur wie oben
- u.s.w.u.s.f.
- fehlende Spiele müssen nachgeholt werden, so dass alle Engines die gleiche Partienanzahl aufweisen

Würden sich die "Elo Zahlen" gross unterscheiden?

Ben Hur

P.S.

So ist dann der menschliche Faktor der Gegnerauswahl ausgeschlossen!

By Benno Hartwig Date 2011-11-17 20:32

[quote="Ben Hur"]Da die gespielten Partien gespeichert sind, kann man sie zu einer neuen Rangliste verwursten nach folgendem Prinzip:[/quote]?
Bin ich im falschen Film?
Ich dachte es geht um eine sinnvolle Kalibrierung der Computerliste zur Menschenliste?
Da wirst du aus meiner Sicht auf Spiele zwischen Computern und Menschen kaum verzichten können.
Benno

By Ben Hur Date 2011-11-17 23:40

Nein,

vor der Kalibrierung sollte man versuchen alle bekannten systematischen Fehler aus der vorhandenen
Computer Schach Elo Liste zu eliminieren! Daher erst einmal die Liste neu berechnen. Dann erst kalibrieren!

MfG

Ben Hur

By Ben Hur Date 2011-11-18 12:59

Wichtige Zusatzbemerkungen:

1.) Die Fide Elo Liste ist eine internatianale Ratingliste
2.) Nationale Menschen-Schach Ratinglisten
3.) Die Computerschach Ratinglisten sind sogenannte Lust und Laune Ratinglisten

zu 1.) Auch diese Liste ist mehrfach angepasst worden, oder irre ich mich? Ist dann also keine Konstante!
zu 2.) Zur Historie: es gab z.B. in Germany viele regionale Listen, die zu einer Gesamtliste zusammengeführt wurden.
   Mit anderen Worten, 1500 NWZ in Hamburg ist nicht 1500 NWZ in Bavaria!
   Auch hier in der Geamtliste mussten definitiv mehrfach NWZ Werte nachjustiert werden.
   Zum Beispiel wurden im unteren Bereich die Zahlen angehoben (mehr als 100 Punkte)!
zu 3.) Hier kommt es auch, wenn man die Zahlen global um 200 Elopunkte absenkt, zu dem Effekt, dass
   im unteren Bereich auch nachjustiert werden muss

Daher finde ich, dass drei Stützpunkte zum Vergleich der Elo Werte schon ganz vernünftig sind.

By Benno Hartwig Date 2011-11-18 15:12

[quote="Ben Hur"]zu 3.) Hier kommt es auch, wenn man die Zahlen global um 200 Elopunkte absenkt, zu dem Effekt, dass im unteren Bereich auch nachjustiert werden muss[/quote]Angenommen, man hätte die Computer-ELO-Liste so justiert, dass bei jeder ELO-Zahl ungefähr gegeben ist, dass Computer und Engines mit diesem ELO-Wert annähernd ausgeglichen spielen.
Also: Spreizung korrigiert, und Liste angemessen verschoben.

Wenn dann ein 2000-ELO-Mensch spielt gegen einen 2300-ELO-Menschen und eine 2300-ELO-Engine, wären dann eigentlich die Erfolgsaussichten gleich?

Benno

By Ben Hur Date 2011-11-18 15:55

Ja, natürlich. So lange bis das Gegenteil bewiesen werden konnte.

Ben

By Benno Hartwig Date 2011-11-18 18:42

[quote="Ben Hur"]Ja, natürlich. So lange bis das Gegenteil bewiesen werden konnte.[/quote]Und was erwartest du persönlich zwischenzeitlich Kraft all deines Computerschachurteilsvermögens, bis diese These eben bestätigt oder widerlegt wurde?
Benno

By Ben Hur Date 2011-11-18 20:16

Ja, so ist es in der Wissenschaft. Die Physiker basteln sich ihr Weltbild so kompliziert zusammen mit
Formeln die nur sehr schwer verständlich sind. Tausende von Experimenten scheinen alles so
zu bestätigen, bis nur ein einziges Experiment das komplette Weltbild zum zusammenbrechen
bringt!

Ja, ja.

Ben

By Michael Scheidl Date 2011-11-17 14:08

Crafty nur 2100?! Niemals. Crafty ist stärker als Fritz 5, mittlerweile sogar stärker als Fritz 8.

Außerdem: Von welcher Hardware reden wir? Die Geschwindigkeitsbandbreite ist beträchtlich und somit die absolute Spielstärke ein- und derselben Engine in gegebener Bedenkzeit sehr unterschiedlich, je nach Hardware.

Das hat alles keinen Sinn. Es gibt keine Daten für eine Kalibrierung. Was einzelne Spieler gesagt haben, wie stark diese oder jene Engine sei, ist auch nicht sehr wertvoll da sie ja sicherlich - wie meistens - die Hardware nicht spezifiziert haben, und vermutlich auch nicht konkret gesagt haben welche Bedenkzeit sie meinten. Relativ zu Menschen spielt das bekanntlich eine große Rolle.

Manchmal muß man lernen, mit der Ungewißheit zu leben.

By Benno Hartwig Date 2011-11-16 14:49

[quote="Chetan Reinhard"]Eine Kalibrierung wäre nicht so schwierig. Mann müsste lediglich drei unterschiedlich starke Engins ("KalibrierEngins") , deren ELO bekannt ist und auf deren ELO-Werte sich alle einigen können, in jedem neuen Computer-Auswerteturnier mitspielen lassen.[/quote]Im Prinzip nicht schlecht!
Aber:
Damit die Spielstärke dieser Engines genügend verlässlich bekannt ist, müssten sie schon etliche ernstgenommene Partien gegen passend starke Menschen spielen. Die Engines und Menschen sollten eine nicht zu sehr abweichende Spielstärke haben, damit wir nicht 95% : 5% Ergebnisse auswerten müssen.
Welche menschliche Spielstärke wäre dafür realistisch? 2000 ELO? Vielleicht 2200 ELO? Oder doch nur weniger?
Die Top-Engines wären dann so weit davon entfernt, dass ich kaum glaube, dass wir für die dann noch einen wirklch belastbaren Wert erhalten können. Da muss dann doch wohl zu weit extrapoliert werden.

Trotzdem (und weil ich einfach nichts besseres anzubieten habe) fänd ich es toll, wenn sowas ernsthaft versucht würde.

Benno

By Michael Scheidl Date 2011-11-16 13:23

Ja, das ist mir aufgefallen, aber nur zwischen IPON und The Base soviel ich gesehen habe?

Zur absoluten Größe dieser Zahl läßt sich wenig beweisen, aber wenn Shredder 12 auf der jeweiligen Testhardware und -Konfiguration (wobei ich jetzt die Bedenkzeit ignoriere) Carlsen oder Anand relativ klar schlagen könnte - und das nehme ich an - dann sind 2800 als plausibler Ansatz wohl zu niedrig gegriffen, da beide Spieler selber schon etwas mehr haben. Ich würde 3000 für (irgend-)eine Top 10-Engine nicht ausschließen, aber das ist auch nur rein spekulativ.

By Thomas Müller Date 2011-11-16 13:34

Hallo,

von IPON und SWCR weiß ich es definitiv das shredder 12 auf 2800 als startelo geeicht wird.
Das ist bei den beiden listen sogar nur 1-core bei nicht mal super-HW.
Die steigerungen zu 4-core oder sogar noch mehr sind ja auch bekannt.
S12 muss doch nur remis (50%) gegen anand/carlsen spielen um 2800 zu haben?!
Im blitz sind die blechkisten stärker einzustufen als bei turnierstufe. Siehe ingos Comp-Account auf playchess!
3200/3300 halte ich aber auch für zu hoch für die topengines.

"spekulativ" bleibt es trotzdem

By Benno Hartwig Date 2011-11-16 15:38

[quote="Simon Gros"]Ich kann mir keinen Super-GM denken, welcher gegen dieses Programm bei den angegebenen Bedenkzeiten besser als 50-50 abschneiden würde.[/quote]Eine interessante These, die ggf sogar stimmt. Nur: wie willst du sie belegen? Plausibel machen?
"Gefühl und Wellenschlag" wäre nicht ausreichend. Damit würden wir nichts gewinnen.
Erst wenn Super-GMs sehr ernsthaft eine größere Anzahl Partien spielen würden gegen Spike 1.2.
Die Vesuche, über den Daumen zu kalibrieren, haben halt zu den ggw. Listen-ELO-Werten geführt, die wir mit Vorsicht betrachten, wenn wir den Vergleich zum Menschenschach suchen.

Benno

By Wolfgang Battig Date 2011-11-16 20:56

[quote="Simon Gros"]
Ich habe gerade nachgesehen und vermute, daß die CEGT (Blitzliste und 40 in 20 Liste) auf das Programm Spike 1.2 mit einem Wert von ca. 2770 kalibriert hat. Dieser Wert erscheint mir plausibel. Ich kann mir keinen Super-GM denken, welcher gegen dieses Programm bei den angegebenen Bedenkzeiten besser als 50-50 abschneiden würde.
Simon_G
[/quote]

knapp daneben...

Es ist in beiden Listen Shredder 9.1 mit 2750!

Gruß
Wolfgang

By Chetan Reinhard Date 2011-11-17 17:47

Hallo,
ganz eherlich, mir ist es völlig egal ob jemand Infos dazu hat oder das jemand beurteilen kann oder nicht. Ich habe ein paar Gedanken hier zu dem Thema aus momentaner Langeweile beigetragen. Tatsächlich intressiert es mich persönlich überhaupt nicht in wie fern COMPUTER-ELOS vergleichbar sein könnten mit den Fide-ELOS. Vermutlich werden Computer völlig überschätzt und ein Rybka mit 3300 Computer - Elos hätte im Spiel mit einem 2900 Fide-Elo menschlichen Schachweltmeister nach etwa 50 Turnier-Partien keine Gewinnchance mehr, weil der Weltmeister die einfallslose Spielweise des Computers nach spätestens 50 Partien durchschaut hat... Insofern ist die Disskussion über eine Vergleichbarkeit solcher Bewertungen vermutlich völlige Zeitverschwendung.
Grüsse
Che

By Benno Hartwig Date 2011-11-17 20:24

[quote="Chetan Reinhard"]...Ich habe ein paar Gedanken hier zu dem Thema aus momentaner Langeweile beigetragen. Tatsächlich intressiert es mich persönlich überhaupt nicht...[/quote]Ach so!
Benno

By Werner Mueller Date 2011-11-17 09:46

[quote="Benno Hartwig"]
[quote="Werner Mueller"]Richtig ist, dass die 'Elo-Zahlen' der Ranking-Listen keine ELO-Zahlen sind. Weder von der Philosphie noch von der Mathematik her.[/quote]Der wesentliche Unterschied der mathematischen Vorgehensweise ist, wenn ich dich recht verstanden habe, der Umfang der für die Berechnug hinzugezogenen Partien. Richtig?
...
[/quote]
Nein, das ist kein wesentlicher Unterschied.

Man kann eigentlich gar nicht von Unterschieden reden, es ist eine völlig andere Vorgehensweise (weil die Problemstellung eine völlig andere ist).
http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=44006

By Benno Hartwig Date 2011-11-17 14:15

[quote="Werner Mueller"]Man kann eigentlich gar nicht von Unterschieden reden, es ist eine völlig andere Vorgehensweise (weil die Problemstellung eine völlig andere ist).
[/quote]Ich habe eine völlig andere Vorstellung von der Bedeutung von 'völlig anders'.

Ich beschrieb ja, warum ich die Gemiensamkeiten hier als dominierend empfinde. Dass man sich hier mit kurzen Testsequenzen und großer Ungenauigkeit begnügt, dort aber umfangreiche Sequenzen nutzt umd größere Genauigkeit zu erreichen, ist lediglich der schwankenden Spielstärke der Menschen geschuldet.
In beiden Fällen werden mittlere Spielstärken abgeschätzt, nur eben über unterschiedliche Partienzahlen, und bei gar nicht schwankenden

Computerspielstärken.

Benno

By Werner Mueller Date 2011-11-17 17:20

[quote="Benno Hartwig"]
[quote="Werner Mueller"]Man kann eigentlich gar nicht von Unterschieden reden, es ist eine völlig andere Vorgehensweise (weil die Problemstellung eine völlig andere ist).
[/quote]Ich habe eine völlig andere Vorstellung von der Bedeutung von 'völlig anders'.

Ich beschrieb ja, warum ich die Gemiensamkeiten hier als dominierend empfinde.
[/quote]
Ich kann ehrlich gesagt nicht verstehen, wie man das nicht verstehen kann.

[quote="Benno Hartwig"]
Dass man sich hier mit kurzen Testsequenzen und großer Ungenauigkeit begnügt, dort aber umfangreiche Sequenzen nutzt umd größere Genauigkeit zu erreichen, ist lediglich der schwankenden Spielstärke der Menschen geschuldet.
In beiden Fällen werden mittlere Spielstärken abgeschätzt, nur eben über unterschiedliche Partienzahlen, und bei gar nicht schwankenden

Computerspielstärken.

Benno
[/quote]
Da ist jede Aussage exakt falsch.

Übrigens auch die Mär von einer schwankenden Spielstärke nur(!) beim Menschen.
Schau Dir mal konkrete Listenergebnisse an. Da sind Serien drin - deutlich extremer als dies i.d.R. bei Menschen der Fall ist. ELO- (und nicht 'Elo'-) ausgewertet, würde die Spielstärke der Engines quasi Achterbahn fahren.
Diese scheinbare Konstanz ist ein Trugschluss, den man natürlich machen muss, wenn einem nicht klar ist, dass 'Elos' im Gegensatz zu ELOs Mittelwerte sind (und um keine Missverständnisse aufkommen zu lassen, das ist natürlich nicht der einzige Unterschied!). Klar, wenn erst mal Hunderte Partien gespielt sind - dann kann fast schon passieren was will, der Mittelwert ändert sich kaum.

By Benno Hartwig Date 2011-11-17 20:28

[quote="Werner Mueller"]Übrigens auch die Mär von einer schwankenden Spielstärke nur(!) beim Menschen.[/quote]Die absolute Spielstärke der Engines bleibt gleich, solange du Hardware und Software nicht modifizierst.
Die ELO-Zahl-Entwicklung der Engine hängt natürlich auch von der sich ändernden Gegnerschaft ab, und wird darüber hinaus gestaltet durch den Zufall.
Wo ist das Märchen?
Benno

By Werner Mueller Date 2011-11-17 21:41

[quote="Benno Hartwig"]
[quote="Werner Mueller"]Übrigens auch die Mär von einer schwankenden Spielstärke nur(!) beim Menschen.[/quote]Die absolute Spielstärke der Engines bleibt gleich, solange du Hardware und Software nicht modifizierst.
Die ELO-Zahl-Entwicklung der Engine hängt natürlich auch von der sich ändernden Gegnerschaft ab, und wird darüber hinaus gestaltet durch den Zufall.
Wo ist das Märchen?
Benno
[/quote]
Was verstehst Du unter 'absoluter Spielstärke'?

Schau Dir die Ergebnisse von Testern zwischen einer Engine und NUR EINEM Gegner an (nix mit sich ändernder Gegnerschaft). Da siehst Du nicht selten unglaubliche Serien, die es so im menschlichen Schach gar nicht gibt. Die Schwankung der Spielstärke im Sinne der Eloschen Theorie ist bei Engines deutlich ausgeprägter als i.d.R. bei Menschen.

Die Spielstärke im Sinne der Computer-Rating-Listen (d.h. die mittlere Spielstärke aus den Messwertstatistiken) sollte allerdings nicht wild schwanken - ansonsten könnte man die Sache gleich bleiben lassen.

By Benno Hartwig Date 2011-11-18 15:26

[quote="Werner Mueller"]Was verstehst Du unter 'absoluter Spielstärke'?[/quote]Das was dank der implementierte Algorithmen geschieht.
Ist durch den Algorithmus festgelegt und ändert sich nicht. (absolute Spielstärke, vorhanden ohne Kenntnis der Gegnerschaft, ohne jede gespielte Partie)
Wie erfolgreich das gegen Gegner ist, hängt von der sich verändenden Gegnerschaft ab. (relative Spielstärke)

[quote="Werner Mueller"]Schau Dir die Ergebnisse von Testern zwischen einer Engine und NUR EINEM Gegner an (nix mit sich ändernder Gegnerschaft). Da siehst Du nicht selten unglaubliche Serien, die es so im menschlichen Schach gar nicht gibt. Die Schwankung der Spielstärke im Sinne der Eloschen Theorie ist bei Engines deutlich ausgeprägter als i.d.R. bei Menschen.[/quote]Nein. Bei Serien gegen einen Gegner ist es besonders simpel:
Es gibt unbekannte Wahrscheinlichkeiten p_gewinn, p_remis und p_verlust=1-p_gewinn-p_remis.
Und mit welchen Wahrscheinlichkeiten bestimmte Serien auftreten, wie heftig es schwankt, hängt allein von diesen 3 Wahrscheinlichkeiten ab.
Da spielen spezielle Engine-Eingenschaften, einzelne Stärken oder Schwächen gar keine Rolle mehr. Da haben wir nur noch Stochastik.
Dass wir diese p_* nicht kennen, tut nichts zur Sache.

Falls du tatsächlich beobachtet haben solltest, dass Menschen weniger schwanken, wäre als Erklärung wohl nur sowas denkbar wie:
"Ach, nun habe ich ja sooo oft gewonnen, da kann ich es jetzt mal ruhiger angehen lassen!"
und zugleich
"Manno, ich verliere so viel, ich muss mich jetzt mehr anstrengen!"
Nivellierende Charaktereigenschaften.
Aber das das wirklich wirksam stattfindet, mag ich nicht glauben. Glaubst du?

Benno

By Werner Mueller Date 2011-11-18 15:51

[quote="Benno Hartwig"]
[quote="Werner Mueller"]Was verstehst Du unter 'absoluter Spielstärke'?[/quote]Das was dank der implementierte Algorithmen geschieht.
Ist durch den Algorithmus festgelegt und ändert sich nicht. (absolute Spielstärke, vorhanden ohne Kenntnis der Gegnerschaft, ohne jede gespielte Partie)
Wie erfolgreich das gegen Gegner ist, hängt von der sich verändenden Gegnerschaft ab. (relative Spielstärke)

[quote="Werner Mueller"]Schau Dir die Ergebnisse von Testern zwischen einer Engine und NUR EINEM Gegner an (nix mit sich ändernder Gegnerschaft). Da siehst Du nicht selten unglaubliche Serien, die es so im menschlichen Schach gar nicht gibt. Die Schwankung der Spielstärke im Sinne der Eloschen Theorie ist bei Engines deutlich ausgeprägter als i.d.R. bei Menschen.[/quote]Nein. Bei Serien gegen einen Gegner ist es besonders simpel:
Es gibt unbekannte Wahrscheinlichkeiten p_gewinn, p_remis und p_verlust=1-p_gewinn-p_remis.
Und mit welchen Wahrscheinlichkeiten bestimmte Serien auftreten, wie heftig es schwankt, hängt allein von diesen 3 Wahrscheinlichkeiten ab.
Da spielen spezielle Engine-Eingenschaften, einzelne Stärken oder Schwächen gar keine Rolle mehr. Da haben wir nur noch Stochastik.
Dass wir diese p_* nicht kennen, tut nichts zur Sache.

Falls du tatsächlich beobachtet haben solltest, dass Menschen weniger schwanken, wäre als Erklärung wohl nur sowas denkbar wie:
"Ach, nun habe ich ja sooo oft gewonnen, da kann ich es jetzt mal ruhiger angehen lassen!"
und zugleich
"Manno, ich verliere so viel, ich muss mich jetzt mehr anstrengen!"
Nivellierende Charaktereigenschaften.
Aber das das wirklich wirksam stattfindet, mag ich nicht glauben. Glaubst du?

Benno
[/quote]
Du willst die Existenz eines Phänomens bestreiten - indem Du mir erklärst, welche Gründe für eben dieses Phänomen verantwortlich sind bzw. sein könnten!?!

Da komme ich nicht mehr mit.

By Benno Hartwig Date 2011-11-18 18:47

[quote="Werner Mueller"]Du willst die Existenz eines Phänomens bestreiten...[/quote]
a) ich habe die Existenz des Phänomens nicht erkannt (es mag ein Fehler von mir sein, oder einer von dir zugrunde liegen)
b) ich bot sogar Erklärungen, die ich aber nur mäßig glaubhaft finde. Wenn dein Phänomen existiert, sollte es belastbare Begründungen dafür geben. Ich vermutete halt angesichts deiner These Interesse bei dir.
(Ich deutete nur vorab an, welche Seite dieses Phänomens keine Geheimnisse mehr birgt)
Jetzt kommst du sicher wieder mit.

Benno

By Frank Quisinsky Date 2011-11-13 10:22

Hallo Christian,

ja, so ist es.
Schon allein wenn beobachtet wird wo z. B. ein Ruffian 2003 Leiden heute liegt. 8 Jahre nach dem Titel in Leiden und seinerzeit die Nummer 2 hinter Shredder.

Ich glaube viele wissen gar nicht wirklich wie stark z. B. 2.900 ELO wirklich sind.
Ich finde die ELO-Ausgaben der SWCR sehr realistisch und habe da auch keine Bedenken.

Halte mich hier auch an guten Informationen die mir vorliegen.

Bei der CEGT z. B. dachten wir damals, dass die Engine so hoch liegen. Es kamen immer mal Zweifel auf ob es wirklich so hoch geht wie im Gründungsjahr der CEGT. Ich diskutierte oft mit van Kempen darüber und testete ja auch mal ein wenig bei der CEGT mit. Ich denke die CEGT Ausgaben sind ca. 200 ELO zu hoch, eher so amerikanische ELO Verhältnisse

Aber das macht nichts!
Und genau wissen wir das alle nicht.

GMs sind da eher auch ziemlich pessimistisch, denn viele sehen es ja auch gar nicht so gerne, dass die Engines schon so hohe Ratings erreichen. GM Meyer sagte z. B. ich habe maximal eine Chance gegen Rybka 3 auf Remis wenn ich gut aus der Eröffnung komme und die Schwäche einer Engine hier noch ausnutzen kann bzw. dann fehlerfrei spiele. Spielt eine Engine aber die Eröffnung schlecht, dann gelingt mir natürlich auch der Sieg. Die Eröffnung ist der Schwachpunkt spielstarker Engines!!

Einiges steht aber auch in dem Interview, musst mal nachlesen!
Sollte auf der SCHACHWELT Seite liegen!

Gruß
Frank

By Ben Hur Date 2011-11-13 11:00

[quote="Frank Quisinsky"]
...
GM Meyer sagte z. B. ich habe maximal eine Chance gegen Rybka 3 auf Remis wenn ich gut aus der Eröffnung komme und die Schwäche einer Engine hier noch ausnutzen kann bzw. dann fehlerfrei spiele. Spielt eine Engine aber die Eröffnung schlecht, dann gelingt mir natürlich auch der Sieg. Die Eröffnung ist der Schwachpunkt spielstarker Engines!!
...

Gruß
Frank
[/quote]
Hi Frank,

Gut formuliert!

Also ein GM Meyer traut sich ein Sieg! zu, b.z.w. wenn er fehlerfrei spielt Remis!

Lt. FIDE: GM Georg Meier Land: Deutschland Laufendes ELO: 2659 Geburtsjahr: 1987
Lt. CEGT: Rybka 3.0 Dynamic w32 1CPU 3008 ist der schlechteste Elowert den ich auf die schnelle gefunden habe.

Die Differenz beträgt: 3008 -2659= 349 Elo!!!

Das ist doch eindeutig.

Ben Hur

By Frank Quisinsky Date 2011-11-13 11:24 Edited 2011-11-13 11:33

Hallo Ben,

bei den ganzen ELO Berechnungen von Engines darfst Du nicht vergessen ...

3.000 ELO täuscht über Schwächen bei Eröffnungen nicht hinweg. Die GMs kennen Ihre favorisierten Systeme aus dem FF, kennen die Stärken und Schwächen der Positionen. Ein Schachprogramm ist zunächst mal dumm und kann keine eigene intelligenten Rückschlüsse auf Eröffnungspositionen / Eröffnungswissen ziehen. Versteht eine Engine die Eröffnung nicht, kann diese auch 3.500 ELO haben, der der GM ist bei fehlerfreiem weiteren Verlauf dann _auch_ in der Lage das Programm zu bezwingen. Vermutlich haben die TOP-7 die alle über 2.900 ELO liegen im frühen Mittelspiel nicht mehr als 2.700 ELO. Das wird z. B. schön ersichtlich bei Datenbankanalysen der frühen Partiephasen. Engines wie Spark sind gar Houdini beim Spielaufbau überlegen, dass wird schon an der Königssicherheit (wenige schnelle Verustpartien) oder schnelle Gewinnpartien ersichtlich. Den Turbo bekommen die Engines bei immer weniger Figuren auf dem Brett, den imensen Suchtiefen und natürlich auch in der Tatsache, dass Fehler gnadenlos ausgenutzt werden.

Ich vermute folgendes:

Nehmen wir Houdini 1.5 als Beispiel:

Partiephase 1: Bis ca. 25 Züge ... 2.700 ELO
Partiephase 2: Bis ca. 45 Züge ... 2.850 ELO
Partiephase 3: Bis ca. 70 Züge ... 3.000 ELO
Partiephase 4: darüber ... 3.100 ELO

Klingt fantastisch und paradox. Erst Recht wenn wir wissen wie das früher mal war. Je weniger Figuren desto schwächer. Da hat sich Computerschach ganz schön gewandelt. Überhaupt denke ich auch, dass für Menschen eher das späte Mittelspiel und frühe Endspiel auch problematisch ist. Hier steckt zu viel Strategie und Taktik verborgen und die Schwäche des Menschen zeigen dann die Engines genau hier gnadenlos auf.

Da beim Computerschach, sofern ohne Aufgabefaktor gespielt wird, die durchschnittliche Partielänge ca. 85-86 Züge bei Engine höher als Durchschnitt 2.700 ist (bei 2.500er Durchschnitt geht es demnach logischer Weise zurück auf ca. 81-82 Züge) werden also die meisten Partien der TOP-7 Engines im späten Mittelspiel / frühem Endspiel entschieden, oder enden dort sehr oft Remis.

Das Geheimnis beim Fernschach und Einsatz von Engines ist z. B. für die jeweilige Stellung zu wissen, welche Engine sich am Besten eignet. Grundsätzlich immer mit der spielstärksten zu spielen wäre eher dumm, weil viel übersehen wird. Insofern halte ich es für wichtig herauszufinden wo denn die Stärken und Schwächen liegen könnten, was aber auch eine Aufgabe ist die kaum lösbar ist ... maximal in Verbindung mit Statistiken.

Je stärker die Engines werden, desto wichtiger sind Statistik-Ausgaben.
So schrieb ich schon oft, dass wir eine GUI benötigen die automatisch aus Datenbanken eine Vielzahl von Statistik Ideen umsetzt.

Also, die Aussagen von GM Meyer sind realistisch. Georg, kommt z. B. auch aus Trier ... der deutschen Schachhochburg

übertreibt nicht in offiziellen Ausführungen. Er ist nicht nur bescheiden sondern schätzt Dinge sehr gut ein. Seine Trainingsansätze sind z. B. auch erste Sahne. Seine ganzen Äußerungen im Interview waren hieb und stichfest. Ich war wirklich sehr beeindruckt von unserem Star.

Viele Grüße
Frank

Halte das auch nicht für etwas besonders.
Auch ich habe Rybka 3 schon nach 32 Zügen unter Zeugen, gar im Blitz besiegt. Eine aggressive Angriffsvariante mit Opferzüge ... das funktioniert schon ... vielleicht aber für mich 1x bei 100 Partien. Auch Gaviota 0.80 (ca. 600 ELO schwächer als Rybka) konnte Rybka in der SWCR schon bezwingen. Auch die TOP-Programme spielen nicht fehlerfrei ... wird aus den täglichen SWCR Partien auch schon sehr deutlich ersichtlich.

By Ben Hur Date 2011-11-12 20:20

[quote="Benno Hartwig"]
[quote="Ben Hur"]Ich würde vorschlagen, den höchsten Computer Elowert dem des Human-Weltmeisters anzupassen; macht Sinn!

Zitat:

Beiden denselben ELO-Wert zu geben?
Welchen Sinn soll das machen, solange wir nichts wissen über deren tatsächliche Spielstärkeverhältnisse?

Code:

Ganz einfach, der Ranglistenerste bekommt die höchste Zahl, die beliebig festlegbar ist, da die menschlich höchste bei 2850 lag, eben dort!

Zitat:

Die zu bestimmen wäre wichtig.

Code:

Die Werte sind doch relativ, es gibt keinen absoluten Elowert.

...

[quote="Ben Hur"]Ich gehe hier jedenfalls von einem Elo Wert von 1000 für Deep Sjeng 2.5 1CPU elo1000 aus.
Das hat der Programmierer doch so programmiert!

Zitat:

Bitte? Glaubst du, der Programmierer hat sich besonders viel Mühe gegeben, diese 1000 ELO wirklich zu treffen???
Glaubst du wirklich dass er das hinbekommen hat?

Code:

Ja, selbstverständlich. Es gibt eben wissenschaftliche Untersuchungen über Spielstärke und Rechentiefe. Meine Eloauswertung zeigt, dass es geht!

Zitat:

Warum?

Code:

Weil es es wollte und hinbekommen hat!

Zitat:

Und dann darauf basierend Spielstärken gut 2000 ELO entfernt zu kalibrieren? Wo sind die Smilys geblieben?
Solch einer Angabe würde ich gar nicht trauen

Code:

In sich sind die Listen ja stimmig. Bis auf die Eingangs Elo bei der Fide. Den Link dazu habe ich hier mehrfach hineingestellt.

Zitat:

Dann schon eher dem Blick einiger Schachexperten, dei ihren Blick auf eine Handvoll Partien einiger Engines geworfen haben.
Dann schon eher das!

Code:

Richtig angewandt ist das auch eine zuverlässige Möglichkeit

Benno