Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Engineratings relativ zu FIDE-Elo zu NIEDRIG?!
- - By Michael Scheidl Date 2012-10-25 01:16
Die üblichen Engine-Ratingzahlen, oder CELO (um die Peter'sche Termininologie zu bemühen ) wurden und werden relativ zu Menschen, insbesondere zu Top-GM, oft angezweifelt. Im Rybkaforum ist jemand zur gegenteiligen Schlußfolgerung gelangt: Die CEGT 40/20-Ratings seien relativ zu Menschen-Elos um 232 Punkte zu niedrig. Er hat hierzu zahlreiche Man vs. Machine-Resultate ausgewertet:

http://rybkaforum.net/cgi-bin/rybkaforum/topic_show.pl?pid=445486

Eine "exakte Wissenschaft" ist das zwar nicht - man ist z.B. notgedrungen auf Schätzungen für die Einrechnung der Hardwareunterschiede angewiesen - aber ich finde es zumindest lesenswert. Z.B. Fritz 6 [CEGT: 2385] hätte demnach in CEGT-Konfiguration ~2600+ Elo, Shredder 8 oder -9 knapp 2800. So unplausibel ist das doch nicht?

Es wird umstritten bleiben.
Parent - - By Joe Nettelbeck Date 2012-10-25 05:30
Es gibt 500 dokumentierte Comp/Human Partien mit ELO-Werten für die menschliche Seite? Das wundert mich aber extrem. Allerdings sind es ja fast durchweg ältere Engines, mindestens sechs Jahre alt, zum Teil viel älter. Das Ergebnis wundert mich aber prinzipiell nicht, und ich halte es auch wenigstens in der Tendenz für korrekt: Die GMs wissen schon, warum sie sich seit Jahren auf nichts mehr einlassen ...
Parent - - By Benno Hartwig Date 2012-10-25 08:50 Edited 2012-10-25 08:53
[quote="Joe Nettelbeck"]Die GMs wissen schon, warum sie sich seit Jahren auf nichts mehr einlassen ...[/quote]Aber wer will schon so genau sagen können, ob die Engines den allerbesten Menschen um 200 ELO, 300 ELO oder 500 ELO oder auch 700 ELO überlegen sind?
Und das aufgrund von Spielergebnissen gegen Rechner, die gut 500 ELO unter den heutigen Spitzenengines liegen.
Haben die Menschen in den letzten Jahren ggf. auch dazugelernt, wie man gegen Maschinen bestehen kann? Die Selbstverständlichkeit, mit der inzwischen mit Engines gearbeitet und trainiert wird, ist vermutlich schon gewachsen.

Da würde man schon sehr mutig einer recht weit reichenden Extrapolation Vertrauen schenken!

Aus dem Bauch heraus: welche Punkteausbeute würde an Carlson auf lange Sicht gegen Houdini3 zutrauen?
500 ELO Engine-Vorsprung würde bedeuten, er dürfte so 4% erwarten. Sollte man nicht erwarten, dass er zumindest mit weiß deutlich mehr remis erzwingen könnte?
Im Engineumfeld konnten die Engines gegen andere punkten, die nur weniger schwächer waren als sie selbst. Gegen ein Menschenfeld müssten die Engines dann solche Überlegenheiten regelmäßig(!) herausspielen.

Benno
Parent - - By Chess Player Date 2012-10-25 09:22
Also mal angenommen Carlson spielt gegen Houdini einen Wettkampf mit 10 Partien, dann vermute ich mal,
dass Carlson problemlos 40% holen würde! Einen kürzeren (z.B. 4) würde er gewinnen! Je mehr Partien gespielt würden,
desto grösser würde der Vorteil des Computers werden!?
Parent - By Benno Hartwig Date 2012-10-25 19:26
[quote="Chess Player"]Also mal angenommen Carlson spielt gegen Houdini einen Wettkampf mit 10 Partien, dann vermute ich mal,
dass Carlson problemlos 40% holen würde! Einen kürzeren (z.B. 4) würde er gewinnen! Je mehr Partien gespielt würden,
desto grösser würde der Vorteil des Computers werden!?[/quote]Na, das kann aber nicht angehen.
Zumindest wenn du mal 'müde werden' oder  'keine Lust mehr' nicht gelten lässt, wird immer gelten:
Wer bei wenigen Partien die besseren Chancen hat zu gewinnen, der wird bei vielen Partien mit noch größerer Sicherheit gewinnen.
Dass die Engine während des Matches schneller dazu lernt als der Mensch, wollen wir beide wohl nicht ernsthaft vermuten, oder?

Bestenfalls kann man sagen:
Falls der Mensch in der einzelnen Partie geringfügig unterlegen ist, hat er bei sehr wenigen Partien noch eine relle Chance auf den Gesamtseig.
Bei sehr vielen Partien gehen seine Chancen gegen 0.

Benno
Parent - By Joe Nettelbeck Date 2012-10-25 14:05
Wieviel es genau sind, wird man tatsächlich nicht sagen können - außer man findet eine Reihe von GMs, die bereit sind, Versuchsreihen zu starten. Aber wie gesagt: Dass die Tendenz dieser Untersuchung stimmt, glaube ich jederzeit.
Parent - - By Kurt Utzinger Date 2012-10-25 09:26
[quote="Joe Nettelbeck"]
[...]Die GMs wissen schon, warum sie sich seit Jahren auf nichts mehr einlassen ...
[/quote]

Hallo Joe
Das ist auch verständlich, denn hier wird niemand mehr einen Blumentopf
gewinnen können. Und trotzdem sind die Elo-Werte der Engines meines
Erachtens und aus den schon vielfach von mir zitierten Gründen, die ich hier
nicht erneut wiederkäuen will, masslos übertrieben hoch. In Kürze: wenn
gute Spieler nicht gewinnen wollen, dann wären Remispartien die normale
Folge ... und dafür braucht es bei weitem keine GMs, um das zu erreichen,
ergo würden dann die Elo-Werte der Engines um X-Hundert Punkte sinken.
Gruss
Kurt
Parent - - By Andreas Wutzke Date 2012-10-25 09:40
Hallo Kurt,

also das glaube ich kaum, dass man als durchschnittsschachspieler jederzeit remis spielen kann gegen die heutigen Top Engines.
Auch wenn sie sogenannte Anti Computerstrategien anwenden.

Dann verstell ich einfach die Contemp Werte, und Springer das Springer Bauern verhältnis sowie Königssicherheit und Mobilität dann haut die Engine mit dem Springer rein für 1-2 Bauern und öffnet deine Festung und dann gibt es ein wildes taktisches Gemetzel......

Wenn du das Remie hälst zahl ich dir ein Bier!



Gruß
Andi
Parent - By Chess Player Date 2012-10-25 09:47
[quote="Andreas Wutzke"]
Hallo Kurt,
...
Wenn du das Remie hälst zahl ich dir ein Bier!



Gruß
Andi
[/quote]
Beim Bier freie Auswahl? Bitte keine Münchener Plempe! 
Parent - - By Thomas Mayer (Quark) Date 2012-10-25 15:21
Hallo Andreas,

die über 3000 Elo für aktuelle Schachengines bezieht sich ja nicht auf eine modifizierte Engine mit modifizierten Bewertungsfaktoren sondern auf die Standard-Einstellungen.
Kurt hat schon öfter bewiesen, daß er bei entsprechender Spielweise sehr oft ein Remis erreichen kann und ich bezweifle nicht, daß GMs dies noch um einiges leichter könnten. Kurt mag mich korrigieren, aber mir erschien es, als ob er in ca. 50% oder sogar mehr der Partien ein Remis erreichen kann, soviel ich weiß liegt Kurts Elo-Zahl irgendwo um 1900 oder 2000. Er dürfte also eigentlich überhaupt kein Remis erreichen. Hier wird eben die unterschiedliche Herangehensweise an das Problem Schach zwischen Mensch und Maschine besonders deutlich, fasst ein Mensch den Plan, Remis zu spielen mit möglichst wenig Komplikationen, schneller Vereinfachung etc., dann tut sich die Maschine schwer, selbst kann sie ja keinen Plan fassen sondern nur Ihre Bewertungen maximieren - um zu gewinnen müßte Sie aber gezielt andere Stellungstypen ansprechend und evtl. auch mal einen suboptimalen Zug spielen. Und ist dieser ZU suboptimal, dann geht das u.U. sogar nach hinten los und das Programm verliert sogar möglicherweise.
Ich habe ja mit Quark selbst früher auf dem Chessbase-Server experimentiert - Ingo Bauer irrt, wenn er immer sagt, Shredder wäre das erste Programm mit makelloser Bilanz gewesen, das war nämlich Quark, allerdings nicht mit einem identisch hohen Rating, da ich damals gegen alle Spielstärken gespielt habe und kaum GMs in der Playliste hatte, weil ich nicht bereit war, dafür Geld zu bezahlen. Quark spielte mit einer speziellen Anti-Human Einstellung die versucht hat, das Spiel zu verkomplizieren, also offen Linien produzieren, Material auf dem Brett halten. Zusätzlich versucht diese Version noch, den Gegner immer unter Zeitdruck zu halten, also nach Möglichkeit immer mehr Zeit auf der Uhr zu haben als der Gegner, im Blitz ist das nicht unwesentlich und es hat einen weiteren Vorteil, man bringt dadurch automatisch den Zufall ins Spiel, da die eigene Bedenkzeit zusätzlich an der Gegnerbedenkzeit ausgerichtet wird und dadurch bei jedem Spiel ein bißchen anders ist, was hier und da zu anderen Zügen führt. (Das hat seinerzeit Nakamura ziemlich verwirrt, wenn er versucht hat die Engine durch Wiederholen gleicher Züge abzuklopfen um eine Siegkombination zu finden)
Die Hardware spielt dabei praktisch keine Rolle, Quark erspielte seine makellose Bilanz überwiegend auf PIII Tualatin/1.2 GHz und Athlon 1.8 GHz.
Probleme dieser Vorgehensweise: Quark tat natürlich einiges um Remis zu verhindern, gab da mitunter auch mal 2 Bauern für praktisch nichts her - im Blitz waren die Gegner nur meist nicht in der Lage, daraus Kapital zu schlagen und verloren auf Zeit oder weil Sie sich taktisch noch eine Ungenauigkeit erlaubt hatten. Ich bin mir nicht sicher, wie das bei langen Bedenkzeiten ausgesehen hätte. Wir wissen, daß bei Leichtfigurenvorgabe der Mensch bereits überlegen ist (da gabs doch ein Experiment des Rybka-Teams ?!) - einen Bauern aber nur schwer nutzen kann (ebenfalls Quelle Rybka-Team ?!). Interessant wäre es schon gewesen, diese Idee weiter zu verfolgen, optimal wäre eine Engine, die passives Blockieren erkennt und dann entsprechend reagiert - OHNE dadurch an Spielstärke einzubüßen. Vielleicht wenn ich mal im Alter von Don bin und die Kinder aus dem Haus sind...

Gruß, Thomas
Parent - - By Ingo Bauer Date 2012-10-25 16:01
[quote="Thomas Mayer (Quark)"]
Ich habe ja mit Quark selbst früher auf dem Chessbase-Server experimentiert - Ingo Bauer irrt, wenn er immer sagt, Shredder wäre das erste Programm mit makelloser Bilanz gewesen, das war nämlich Quark,...
[/quote]

Ha, das wußte ich nicht, glaube ich dir aber gerne, es war nämlich "spielerisch" nicht schwer - das größte Problem war Spiele zu machen ohne einen Disconnect zu bekommen, den der Gegner natürlich SOFORT zum Gewinn machte ...

Ich habe allerdings damals von CB gesagt bekommen Shredder wäre der erste. Die hatten sich noch für die Bildschirmfotos interessiert. Deswegen meine Annahme.
Egal, gratuliere!

Ansonsten wäre ein korrekter Test ein Blindtest in dem weder Mensch noch COmputer wissen gegen wen oder was sie spielen. Ich glaube shcon das die Rechner die Nase vorn hätten - wie viel ... egal, es wird nicht getestet werden.

Gruß
Ingo
Parent - By Michael Scheidl Date 2012-10-25 17:54
Zitat:
Ansonsten wäre ein korrekter Test ein Blindtest in dem weder Mensch noch COmputer wissen gegen wen oder was sie spielen. Ich glaube shcon das die Rechner die Nase vorn hätten

Mit Sicherheit, und zwar schon ~1995, nicht erst heutzutage.
Parent - By Benno Hartwig Date 2012-10-26 05:30
[quote="Thomas Mayer (Quark)"]Hier wird eben die unterschiedliche Herangehensweise an das Problem Schach zwischen Mensch und Maschine besonders deutlich, fasst ein Mensch den Plan, Remis zu spielen mit möglichst wenig Komplikationen, schneller Vereinfachung etc., dann tut sich die Maschine schwer, selbst kann sie ja keinen Plan fassen sondern nur Ihre Bewertungen maximieren - um zu gewinnen müßte Sie aber gezielt andere Stellungstypen ansprechend und evtl. auch mal einen suboptimalen Zug spielen. Und ist dieser ZU suboptimal, dann geht das u.U. sogar nach hinten los und das Programm verliert sogar möglicherweise.[/quote]Thanx für deine Ausführungen.
Wenn Kurt gegen einen super-GM eine Remis-Taktik versucht, würde dieser vermutlich doch gewinnen. Und er würde dafür auch 'eigentlich suboptimale' Züge machen, die er sich gegen einen anderen super-GM nicht erlauben würde.
Der super-GM würde dabei wohl Stellunge anstreben,
- die wenig nach remis aussehen (dass könnte die Engine ja auch)
- die nur wenig suboptimal ist (das könnte die Engine erst recht)
Sie müsste nur 'wissen' (contempt-faktor?), dass sie so spielen soll.

Bei den Rybka-Versuchen mit der Springer-Vorgabe kommentierte Vas ja auch, dass das normale minimax hier nicht gut arbeitete, da sich aus den tatsächlichen Stellungen einfach keine zwingenden Vorteile ergaben.
"Rybka sah, dass alles nur zu Verluststellungen führte und steuerte dann einfach die beste Verluststellung an..."
Die Engine hätte komplizierte Stellungen anstreben müssen, bei denen sie sah, dass sie für den Gegner besonders schwer zu durch schauen sind. Ggf. kann eine Engine innerhalb einer etwas erweiterten Suche (ggf. Verzicht auf einige Cuts) auch Fallen erkennen. Also Gegnerzüge, die für ihn gut aussehen, wenn nicht seehr tief gerechnet wird, die aber für ihn als katastrophal erkannt werden, wenn die ganze Suchtiefe betrachtet wird. Solche 'Stellungen mit einer Falle' könnten dann einen kleinen Bonus erhalten.
Also eine Engine, die dem Gegner immer wieder 'ganz bewusst' Verführungen anbietet.
            Absurd?

Benno
Parent - - By Christian Schmidt Date 2012-10-25 22:31
Absolut richtig. Ich finde es eigenartig, wenn man die ELOs der Engines nach unten drücken möchte, indem man "cheatet". Der Mensch weiß, gegen wen er spielt und blockiert einfach. Insofern muss man auch der Engine sagen "Du spielst jetzt gegen einen Menschen". Dann kann sie ihre volle Power entfalten und vorbei ist es mit der Herrlichkeit.
Parent - By Benno Hartwig Date 2012-10-26 07:42 Edited 2012-10-26 07:47
Ich finde auch:
Die Engine soll erfahren dürfen, gegen wen sie spielt! Und sie soll ihr Spiel anpassen dürfen.

Natürlich kann es für einen Betreuer interessant sein, die Engine oder das Buch ganz speziell für die Partie gegen diesen Gegner zu tunen. Das wäre aber zuviel. Hier würde dann menschliche Intelligenz zuviel taktischen Einfluss haben.

Aber die Informationen
- Mensch oder Maschine oder Freestyle oder Dreihirn oder ...
- welche ELO-Zahl (in welcher Liste)
ggf. auch noch
- Name des Gegners / der Gegner-Engine
sollten der Engine gern gegeben werden.
Und die Engine soll dies dann in jeder Hinsicht nutzen dürfen, um ihr Spiel anzupassen.

Einen default-Wert mag es ja trotzdem geben.

Wenn die Engines in den Rating-Listen gegen Gegner spielen, denen sie weit überlegen sind, dann wäre ihr Spiel ja ggf. auch noch optimierbar, wenn sie denn wüssten, dass sie so überlegen sind. Und die schwächere Engine würde hier ja ggf. lieber mauern wollen.
So würde die No. 10 einer Liste ggf. sehr unterschiedliche Strategien anwenden 'wollen', je nachdem ob sie gegen die Führenden oder die Schlusslichter spielt.

Benno
Parent - By Kurt Utzinger Date 2012-10-28 11:36
[quote="Andreas Wutzke"]
Hallo Kurt,

also das glaube ich kaum, dass man als durchschnittsschachspieler jederzeit remis spielen kann gegen die heutigen Top Engines.
Auch wenn sie sogenannte Anti Computerstrategien anwenden.[/quote]

Hallo Andi
Es braucht keine Anti-Computerstrategie, sondern nur ganz langweiliges
Spiel, gleichartige Bauernstruktur, ganz wenige (am besten nur eine)
offene Linie und die Programme sind hilflos. Ein kleines Beispiel von
heute Morgen. In solchen Partien ändert sich auch kaum etwas, auch
wenn man Super-Hardware verwendet.
Gruss
Kurt

Event:
Ort:
Datum:

Weiss:
Schwarz:

Ergebnis
Board


[Event "comp_human"]
[Site "Shredder fur iPhone / iPod touch"]
[Date "2012.10.28"]
[Round "?"]
[White "Shredder"]
[Black "Kurt"]
[Result "1/2-1/2"]
[BlackElo "2007"]
[ECO "A28"]
[Opening "Englisches Vierspringerspiel"]
[WhiteElo "2600"]

1. c4 e5 { Dass es noch immer einfach ist, gegen  ( sehr )  gute Schachprogramme
Remis zu machen, zeigt diese Partie.}  2. Nc3 Nf6 3. Nf3 Nc6 4. e3 Bb4 5. Qb3 {
Letzter Buchzug}  5... Bxc3 6. bxc3 O-O 7. Be2 d6 8. O-O Rb8 { Bereitet die
Entwicklung des Lc8 vor, ohne die Bauernstellung mit b7-b6 schwächen zu
müssen.}  9. d4 Bg4 10. h3 Bf5 { Verzicht auf das vorher geplante Lxf3, Lxf3
e4}  11. dxe5 Nxe5 { Die meisten Computerprogramme würden das Schlagen mit dem
Bauern vorziehen. Doch ich wollte Holz tauschen.}  12. Nxe5 { Denn 12.Sd4 Ld3
ist zum Vorteil für Schwarz.}  12... dxe5 13. Ba3 Re8 14. Rfd1 Qc8 15. g4 { ?!
Ein komischer, lediglich die Stellung schwächender Zug.}  15... Be4 16. f3 Bc6
17. Rab1 Qe6 18. e4 Red8 { Schwarz hat erreicht was er wollte: gleiche
Bauernverteilung, d.h. niemand hat eine Mehrheit, eine einziige offene Linie,
wo man die Schwerfiguren tauschen kann, und gar die positionell bessere
Stellung, zumal das gegnerische Läuferpaar stumpf ist.}  19. Qb4 Qe8 {
Vorbereitung des Tausches auf der d-Linie aller Schwerfiguren.}  20. Qe7 Rxd1+
21. Rxd1 Qxe7 22. Bxe7 Nd7 23. Kf2 f6 24. h4 Kf7 25. Ba3 Nf8 26. c5 Ne6 { Ein
schöner Springer mit einem guten Aktionsradius.}  27. h5 Rd8 { Tausch der
letzten Schwerfigur, wonach schon recht schwache Spieler gegen Computer nicht
mehr verlieren sollten.}  28. Rxd8 Nxd8 29. Bc1 h6 30. Bc4+ Ke7 31. Be3 Ne6 32.
Kg3 Ng5 { Es ist für Weiss unmöglich, Fortschritte zu machen. Schwarz braucht
nur hin- und her zu ziehen, falsch machen kann er nur schwerlich noch etwas.}
33. Bb3 a6 34. a3 Kd7 35. Bd5 Ne6 36. Bb3 Ng5 37. Kf2 Ke7 38. Bd5 Kd7 39. Kg3
Ne6 40. Ba2 Ng5 41. Bb3 Ne6 42. a4 Ng5 43. a5 Ne6 44. Bd5 Ng5 45. Kf2 Ne6 46.
Ke2 Ng5 47. Bxg5 hxg5 48. Ke3 Ke7 49. Kd3 Kd7 50. Ke3 Ke7 51. Bxc6 bxc6 { Hier
hätte man die Partie als Remis abbrechen können.}  52. Kd3 Kf7 53. Kc4 Ke6 54.
Kd3 Kf7 55. Kc4 Ke6 56. Kb4 Ke7 57. Kb3 Kf7 58. Kb4 Ke7 59. Ka3 Kd8 60. c4 Ke7
61. Kb4 Kf8 62. Kc3 Ke7 63. Kc2 Ke6 64. Kc3 Ke7 65. Kd2 Ke6 66. Kc2 Ke7 67. Kd3
Ke6 68. Kc2 Ke7 69. Kd3 Ke6 70. Ke2 Ke7 71. Kd2 Ke6 72. Kc1 Ke7 73. Kc2 Ke6 74.
Kd2 Ke7 75. Ke2 Ke6 76. Kd3 Ke7 77. Ke2 Ke6 78. Kd3 Ke7 79. Ke3 Ke6 80. Ke2 Ke7
81. Kf1 Ke6 82. Kf2 Ke7 83. Kf1  1/2-1/2
Parent - - By Benno Hartwig Date 2012-10-25 10:21
[quote="Kurt Utzinger"]...dann wären Remispartien die normale Folge ... und dafür braucht es bei weitem keine GMs, um das zu erreichen,[/quote]Wenn die Spitzenleute es mit weiß darauf anlegen würden, gegen Spitzenengines nur das remis zu halten, mit welcher Quote könnte ihnen das dann gelingen? Wie sicher können sie sowas?
Bei unveränderter Engine?
Und bei einer gem. Andreas auf  'Einbrechen' konfigurierten Engine? Würden sie hier ggf. doch mehr verlieren? Oder ggf. sogar doch mehr gewinnen?
Benno
Parent - - By Kurt Utzinger Date 2012-10-25 12:07
[quote="Benno Hartwig"]
Wenn die Spitzenleute es mit weiß darauf anlegen würden, gegen Spitzenengines nur das
remis zu halten, mit welcher Quote könnte ihnen das dann gelingen? Wie sicher können sie sowas?


Wenn sie es könnten, dann eigentlich (fast) immer. Doch setzt dies eine Spielweise voraus, die
für einen GM völlig unnatürlich und gegen seinen Stil ist.

Zitat:
Bei unveränderter Engine?
Und bei einer gem. Andreas auf  'Einbrechen' konfigurierten Engine? Würden sie hier ggf. doch mehr verlieren? Oder ggf. sogar doch mehr gewinnen?
Benno


Da schon normale Matches nicht (mehr) stattfinden, artet hier jede Aussage zum reinen Rätselraten aus.

Kurt
Parent - By Thomas Müller Date 2012-10-25 18:02
carl carstens in der rochade kann das permanent    
Parent - By Joe Nettelbeck Date 2012-10-25 14:14
Hallo Kurt,
Herr Restrepo könnte das wohl schaffen, einen ordentlichen Anteil der Partien Remis zu halten. Aber ein normaler GM? Ich glaube nicht. Sicherlich immer wieder mal eine, aber mehr? Nein, ich denke, dass stimmt schon so, dass der ELO-Abstand zwischen Mensch und Maschine ziemlich groß geworden ist. Die stärkste schachspielende Entität des Planeten ist vermutlich ein guter Freestyle-Spieler (vielleicht Eros Riccio), weil das die Stärken von Mensch und Maschine kombiniert.
Parent - - By Michael Scheidl Date 2012-10-25 16:41
Wenn gute Spieler nicht gewinnen wollen, wie oft remisieren sie dann

(a) mit Weiß
(b) mit Schwarz?

Fehlversuche zählen mit, und jede Niederlage drückt den Gesamtscore unter 50%...
Parent - - By Benno Hartwig Date 2012-10-25 18:55
[quote="Michael Scheidl"]Fehlversuche zählen mit, und jede Niederlage drückt den Gesamtscore unter 50%...[/quote]Stimmt, aber der vermutete Vorsprung der Engines von vielen hundert ELO würde bedeuten, dass die Super-GMs weit unter 10% bekommen.
Und ich bin unsicher, ob ich das wirklich für möglich halten soll.
Benno
Parent - By Michael Scheidl Date 2012-10-25 19:18
Man kann weder das eine noch das andere beweisen.

Es ist nützlich, hochklassige Turnierübertragungen mit Engines zu kibitzen.
Parent - - By Frank Brenner Date 2012-10-25 19:27
Wenn die Engine mit einem "hervorragenden" Buch das bis teilweise zum 40. Zug geht ausgestattet ist, denke ich dass die GM durchaus viele Remise schaffen.

Gm kennen die theorie nämlich recht gut und die Bücher enden häufig in trivialisierten Spätstellungen die totremis sind und von jedem 2400 ELO Spieler mit geschlossenen Augen in den sicheren Remis Hafen gelenkt werden.

Menschen neigen bei der Entwicklung von Eröffnungstheorien die Zugfolgen bis zu einem einfach zu haltenden Totremis zu erörtern.

Für Engines sind dagegen Bücher sinnvoller die eine Schachstellung nach dem letzten Buchzug hinterlassen die noch möglichst viel Potential beinhaltet, wo also noch ein hypothetischer 4500 ELO spieler seine Muskeln zeigen kann und einen 4000 ELO spieler ständig besiegt. Figurenarme Spätstellungen sind hier absolutes Remisgewässer und müssen vermieden werden.

Gute Endstellungen sind unsymmetrische Stellungen in denen sich nicht alle Bauern gegenüberstehen ... Nun ja es ist schwer diese Stellungen zu chrakterisieren.

Man könnte hingehen und jeder Stellung einen ELO Wert zuordnen. Mit folgender Eigenschaft: Spielt ein Spieler eine Stellung X die mit zb 4300 ELO gekennzeichnet ist, so muss dieser Spieler 4300 ELO aufweisen um die Stellung sicher gegen jeden Gegner in ein Remis zu überführen.

Sinn einer Erföffnungsbibliothek ist es dann die Grundstellung in eine Stellung zu überführen die mit einem möglichst hohen ELO Wert gekennzeichnet ist um von dort aus ausgehend einen läppischen 2800 Spieler auszuspielen.

Die Startstellung wäre eine passable Endstellung der Eröffnung:)
Diese Stellung ist sehr ruhig und es gibt viele Fortsetzungsmöglichkeiten, und vor allem kann 4000 ELO SPieler die Stellung noch so aufbauen dass ein 3800 ELO SPieler fehlgreift.

Die Grundstellung hat vlt einen Wert von 4200 ELO (ist ja eigentlich unbekannt, nur eine Schätzung). Eine Mittelspielstellung die Taktisch total verwickelt ist, könnte aber trotz der Verwicklung nur einen ELO Wert von 2000 haben, nämlich dann wenn man nur ein paar wenige Varianten kennen muss um aus dieser taktisch gefährlichen Stellung eine einfache Stellung zu machen aus der die Luft rausgegangen ist weil so viele Figuren geschlagen wurden.

Also hier steckt noch potential drin. Die von Super-Großmeistern entwickelten Eröffnungsbücher bis zum 80. Zug oder so sind für heutige Top Engines SCHROTT
Parent - - By Michael Scheidl Date 2012-10-25 21:51
+1
Parent - By Werner Mueller Date 2012-10-25 22:14
[quote="Michael Scheidl"]
+1
[/quote]
-2 
Parent - - By U. Haug Date 2012-10-25 09:22
Hallo Michael,

[quote="Michael Scheidl"]
Die üblichen Engine-Ratingzahlen, oder CELO (um die Peter'sche Termininologie zu bemühen ) wurden und werden relativ zu Menschen, insbesondere zu Top-GM, oft angezweifelt. Im Rybkaforum ist jemand zur gegenteiligen Schlußfolgerung gelangt: Die CEGT 40/20-Ratings seien relativ zu Menschen-Elos um 232 Punkte zu niedrig. Er hat hierzu zahlreiche Man vs. Machine-Resultate ausgewertet:

http://rybkaforum.net/cgi-bin/rybkaforum/topic_show.pl?pid=445486

Eine "exakte Wissenschaft" ist das zwar nicht - man ist z.B. notgedrungen auf Schätzungen für die Einrechnung der Hardwareunterschiede angewiesen - aber ich finde es zumindest lesenswert. Z.B. Fritz 6 [CEGT: 2385] hätte demnach in CEGT-Konfiguration ~2600+ Elo, Shredder 8 oder -9 knapp 2800. So unplausibel ist das doch nicht?

Es wird umstritten bleiben.
[/quote]

das alles bleibt eine (gleichwohl interessante) Spekulation, weil ja in letzter Zeit praktische keine Wettkämpfe auf Top-Niveau zwischen Top-Spielern und Top-Engines zustande kamen. Ein Hochrechnen von alten Engines, veralteter Hardware und zweitklassigen menschlichen Spielern birgt viel zu viele Unsicherheiten!
Meine persönliche, nicht fundierte Meinung:

* Kein Mensch  könnte heute Houdini 3 in einem 12-Partien-Wettkampf schlagen. Nicht bei klassischer Bedenkzeit, erst recht nicht im Schnell-oder Blitzschach.
* Spieler der Weltspitze wären wahrscheinlich schon in der Lage, zahlreiche halbe Punkte einzusammeln, vor allem mit Weiß.

Gruß,

Ulrich
Parent - - By Michael Scheidl Date 2012-10-25 16:25
Das sehe ich ebenso. Leider sieht es derzeit nicht so aus, daß wir wieder einmal ein praktisches Beispiel zu sehen bekommen. Auf jeden Fall würde ich auch für mindestens zwölf Partien plädieren, notfalls bei etwas kürzerer Bedenkzeit. Zum Ausgleich quasi, wäre es (mehr als) genug die Engine nur per Singlethread laufen zu lassen.

Träume sind Schäume.
Parent - - By Stefan Brettschneider Date 2012-10-26 08:19
Die Bedingungen des Vergleichs müsste man auch klären:

Für mich ist z.B. eine wichtige Frage, ob Datenbanken (Eröffnung und Endspiel) mit einzubeziehen sind. Das Problem bei Endspieldatenbanken für den Menschen ist, dass er selbst bei perfektem Verständnis nie besser spielen kann als die Datenbank, sondern (theoretisch, in etlichen wichtigen Endspielen allerdings sehr theoretisch) höchstens gleichstark. In den entsprechenden Stellungen wäre die Engine mit Datenbank also in der Praxis überlegen. Man kann dies akzeptieren als Vorteil des Computers - der menschliche Gegner wird dann vermeiden, in bestimmte kompliziertere Endspieltypen, die in der Datenbank sind, abzuwickeln. Oder man gestattet dem Menschen den gleichen Wissenszugang durch eine entsprechende Datenbank. Dies würde allerdings den Vergleich zu den nur zwischen Menschen erspielten Ratings verzerren, da in solchen Begegnungen auch kein Datenbankzugriff erlaubt ist. Zuletzt kann man die Engines auch ohne komplexe Endspieldatenbanken antreten lassen.

Für die Eröffnung ist es ähnlich: Kein Mensch kann in gleichem Maße Eröffnungstheorie speichern wie eine Datenbank. Andererseits kann die Eröffnungsdatenbank auch eine (menschlich verantwortete) Schwäche der Engine sein, z.B. weil sie zu einer Stellung führt, die der Engine nicht gut liegt, oder weil sogar ein Fehler enthalten ist. Anders als bei perfekten Endspieldatenbanken müssen Eröffnungsbücher somit nicht perfekt sein; im Zweifel lässt sich dies nicht objektiviert beurteilen. Auch hier könnte man also das vergleichsweise gigantische "Eröffnungswissen" als möglichen (im Vergleich zu Endspieltabellen aber nicht so klaren) Vorteil des Schachprogramms akzeptieren oder dem Menschen entsprechenden Zugang gewähren (siehe oben, insbesondere verzerrt das wiederum die Vergleichbarkeit zu Wertungszahlen aus Partien zwischen zwei Menschen) oder die Engine ohne Eröffnungsbibliothek spielen lassen.

Für beide Themenbereiche ist allerdings auch zu bedenken: Würde man auf Datenbanken verzichten, müsste man ggf. die Engine darauf einstellen, schließlich würde ein Engine-Programmierer für diese Partiephasen mutmaßlich andere Bewertungskriterien als heute üblich einsetzen, wenn er davon ausginge, dass die Engine ohne Buch und Endspieltabellen möglichst gut spielen soll. Selbst hier lauert also eine Verzerrung des eigentlich gewünschten Vergleichs.

Lässt man eventuelle Verzerrungen des Spielstärkevergleichs durch Datenbanken außer Betracht, kommt es v.a. auf das Mittelspiel an. Dass der Mensch in taktisch geprägten Stellungen Schwierigkeiten hat, gegen heutige Engines zu bestehen, ist zugestanden. Es wird also hauptsächlich um strategische Stellungen, die in Tendenz eher geschlossen sein werden, gehen. Hier liegt die Chance menschlicher Großmeister, wobei ich vermute, dass gezielte Versuche, die strategischen Schwächen durch frühzeitiges Verlassen bekannter Theoriepfade am ehesten aufgedeckt werden können. Aus einer strategisch aussichtsreichen Stellung müsste der Mensch zumeist in ein für ihn gewinnbares Endspiel abwickeln, was keine leichte Aufgabe ist.

Der vielleicht letzte große menschliche Vorteil ist seine Flexibilität: Aus meiner Sicht dürfte der elektronische Gegner während eines Wettkampfes nicht in den Bewertungsparametern und der Eröffnungstheorie von Menschen verändert werden, denn dieses menschliche Tuning wäre strenggenommen kein Vergleich zwischen Mensch und Maschine, sondern zwischen Mensch und Mensch, der durch die Maschine unterstützt wird (überspitzt, natürlich wäre es eher eine menschlich unterstützte Maschine, siehe Kasparov - Deep Blue). Aber auch hier kann man natürlich anderer Auffassung sein.

Am einleuchtendsten erschiene mir zusammengefasst ein Vergleich gegen entsprechende Programme "out of the box", also wie sie vom Programmierer ohne weitere menschliche Eingriffe geschaffen sind, was allerdings z.B. bei Houdini dazu führte, dass es ohne Datenbanken spielen würde. Das könnten Programmierer durch Gesamtpakete wie Fritz oder Hiarcs leicht abstellen, erschiene mir aber auch dann ausgewogen, weil eben keine gezielte Modifizierung mit Blick auf ein konkretes Match erfolgt. Ob man dem Menschen dann gleichen Zugriff auf die Eröffnungsbibliothek und Endspieldatenbanken gewährt, ist Ansichtssache.

Selbst wenn man sich dagegen entscheidet, sehe ich bei etlichen Engines, die z.B. in der IPON mit über 2700 gelistet sind, noch immer gute Chancen für Großmeister, einen nicht zu langen (ermüdenden) Wettkampf was die Partienzahl anbelangt mit ausreichend langer Bedenkzeit auf "IPON-Hardware" erfolgreich zu bestreiten. Einem GM mit 2600 traue ich ohne Weiteres 50% gegen etliche dort mit 2700 gelistete Engines zu, so dass ich die Ratings in Relation zu Spitzenspielern tendenziell für zu hoch halte.
Parent - - By Simon Gros Date 2012-10-26 10:03
Zitat:
Selbst wenn man sich dagegen entscheidet, sehe ich bei etlichen Engines, die z.B. in der IPON mit über 2700 gelistet sind, noch immer gute Chancen für Großmeister, einen nicht zu langen (ermüdenden) Wettkampf was die Partienzahl anbelangt mit ausreichend langer Bedenkzeit auf "IPON-Hardware" erfolgreich zu bestreiten. Einem GM mit 2600 traue ich ohne Weiteres 50% gegen etliche dort mit 2700 gelistete Engines zu, so dass ich die Ratings in Relation zu Spitzenspielern tendenziell für zu hoch halte.

Wobei man nicht vergessen sollte, daß die IPON-Bedenkzeiten nur wenig über Blitzlevel liegen. So gesehen sind die ELO-Zahlen im Vergleich zum Menschen, meiner Meinung nach, sogar deutlich zu niedrig in der IPON!
Simon_G
Parent - - By Chess Player Date 2012-10-26 10:49
[quote="Simon Gros"]
...

Wobei man nicht vergessen sollte, daß die IPON-Bedenkzeiten nur wenig über Blitzlevel liegen. So gesehen sind die ELO-Zahlen im Vergleich zum Menschen, meiner Meinung nach, sogar deutlich zu niedrig in der IPON!
...
[/quote]

Versuche haben gezeigt, dass Blitzelo=Longtimeelo sind! Die Bedenkzeit ist in der Elo Auswerteformel nicht enthalten.
Und das gutem Grund!
Parent - - By Simon Gros Date 2012-10-26 11:19
Sorry, aber das ist Unsinn! Es ändern sich die Abstände der Programme untereinander nicht wesentlich bei Verwendung diverser Bedenkzeitstufen. Das ist bekannt und kann den Listen entnommen werden. Daß jedoch ein Spieler aus Fleisch und Blut auf dem Brett mit 5 Minuten pro Partie zuzügl. dreier Sekunden pro Zug gegen eine starke Schachengine bestehen soll, gehört ins Reich der Fabeln! Selbst der Weltranglistenerste würde hierbei mit 0:100 untergehen. Nur deshalb meine Ansicht, daß die Ratingangaben in der IPON im Vergleich zum Menschen (bei identischen Bedingungen versteht sich) viel zu niedrig sind.
Simon_G
Parent - - By Benno Hartwig Date 2012-10-28 16:01
[quote="Simon Gros"]Es ändern sich die Abstände der Programme untereinander nicht wesentlich bei Verwendung diverser Bedenkzeitstufen. Das ist bekannt und kann den Listen entnommen werden.[/quote]Oh, das war noch nicht aufgefallen.
Ok, Zappa vor Urzeiten schien bei langen Zeiten relativ besser zu sein.
Ippolit bei sehr kurzen Zeiten (deutlich kürzer als Blitz!) auch.
Bei keinem anderen Programm ist mir sowas bisher wenigstens einigermaßen aussagekräftig aufgefallen. Wo erscheinen dir denn solche  Phänomene ansonsten tatsächlich auffällig?
Welche Engines sind deiner Meinung nach beim Blitz besonders stark/schwach?
Welche bei Turnierzeiten besonders stark/schwach?
Und wie groß sind denn diese Abweichungen?

Benno
Parent - - By Simon Gros Date 2012-10-28 16:38
[quote="Benno Hartwig"]
[quote="Simon Gros"]Es ändern sich die Abstände der Programme untereinander nicht wesentlich bei Verwendung diverser Bedenkzeitstufen. Das ist bekannt und kann den Listen entnommen werden.[/quote]Oh, das war noch nicht aufgefallen.
Ok, Zappa vor Urzeiten schien bei langen Zeiten relativ besser zu sein.
Ippolit bei sehr kurzen Zeiten (deutlich kürzer als Blitz!) auch.
Bei keinem anderen Programm ist mir sowas bisher wenigstens einigermaßen aussagekräftig aufgefallen. Wo erscheinen dir denn solche  Phänomene ansonsten tatsächlich auffällig?
Welche Engines sind deiner Meinung nach beim Blitz besonders stark/schwach?
Welche bei Turnierzeiten besonders stark/schwach?
Und wie groß sind denn diese Abweichungen?

Benno
[/quote]

Darum ging es mir (und hier) doch gar nicht hauptsächlich, die Frage(n)/Antwort(en) bezog(en) sich doch auf etwas völlig anderes?!
Spielstufen, vor allem recht kurze, und der Vergleich der Zahlen zwischen Mensch und Maschine sind der Gegenstand!
Simon_G
Parent - By Michael Scheidl Date 2012-10-28 21:39
Bereits im Jahre 1994 zeigte sich Fritz 3 auf einem Pentium 90 MHz im einem Top-GM-Blitzturnier auf Kasparov-Niveau. Siehe z.B. http://privat.bahnhof.se/wb432434/historik.htm#1994

Und CSS berichtete natürlich auch... Bald folgten ähnliche Resultate im Schnellschach.

Falls wir einigermaßen gut begründete FIDE-Elozahlen heutiger Systeme bei langer bzw. Turnierbedenkzeit hätten, könnte man, davon ausgehend, für kürzere Bedenkzeiten zeitabhängige "Antihuman-Eloboni" oder sowas hinzurechnen. Für ersteres ist mir dzt. nichts besseres bekannt als die im Startposting beschriebene, notgedrungen mit vielen Schätzungen und Unsicherheiten einhergehende Untersuchung...
Parent - - By Benno Hartwig Date 2012-10-26 10:55
[quote="Stefan Brettschneider"]Für mich ist z.B. eine wichtige Frage, ob Datenbanken (Eröffnung und Endspiel) mit einzubeziehen sind....[/quote]Man sollte sich aus meiner Sicht über zwei Dinge klar werden:

1.)
Engines können zwar komplette Partien spielen, sie sind darauf aber nicht getunt.
Wäre dies ein wichtiges Kriterium, könnten und würden Entwickler hier deutlich mehr Gewicht drauf legen.
(In die Engine integrierte Eröffnungsbücher, Rybkas 'falscher Läufer'-Ignoranz...)

2.)
- Will man denn die nackte Engine testen, von der man um die Schwächen gemäß 1.) weiß?
  Kann man machen, aber es wird nicht jeden interessieren.
- Oder will man Schachsysteme (Hardware, Engine, Buch, EndspielDB) testen.
  Es ist IMHO fair, dies so zu tun, denn das System hat ja alles bei sich.
  Der Mensch darf ja auch sein angelesene Buchwissen nutzen, welches er im Kopf hat, und er darf sein Endspielwissen verwenden.

Also:
Wenn einen
Schachsystem <-> Mensch samt Zugriff auf andere Medien
besonders interessiert, dann hätte man wieder etwas ganz anderes.

Aber ich verstehe schon, dass bei solchen Schachsystem-Partien nicht jede Zugwahl wirklich faszinieren kann.
Und meine Engine-Engine-Vergleiche führe ich schon gern mit 7-Züge-Buch und ohne DBs aus.

Benno
Parent - By Stefan Brettschneider Date 2012-10-26 12:11 Edited 2012-10-26 12:13
[quote="Benno Hartwig"]
1.)
Engines können zwar komplette Partien spielen, sie sind darauf aber nicht getunt.
Wäre dies ein wichtiges Kriterium, könnten und würden Entwickler hier deutlich mehr Gewicht drauf legen.
(In die Engine integrierte Eröffnungsbücher, Rybkas 'falscher Läufer'-Ignoranz...)
[/quote]

Genau so sehe ich das ja auch:
[quote="Stefan Brettschneider"]Für beide Themenbereiche ist allerdings auch zu bedenken: Würde man auf Datenbanken verzichten, müsste man ggf. die Engine darauf einstellen, schließlich würde ein Engine-Programmierer für diese Partiephasen mutmaßlich andere Bewertungskriterien als heute üblich einsetzen, wenn er davon ausginge, dass die Engine ohne Buch und Endspieltabellen möglichst gut spielen soll. Selbst hier lauert also eine Verzerrung des eigentlich gewünschten Vergleichs.[/quote]

Deinen Anmerkungen unter 2) stimme ich auch zu, wobei eben manche Engines "ohne alles" angeboten werden. Dann ist bereits die Auswahl der Buchdatei und der Art sowie des Umfangs der Endspieldatenbanken eine Art "menschlicher Eingriff" und damit nicht objektiv (nicht zwangsläufig) dem Programmierer zuzurechnen (der evt. ein anderes Buch und andere Tabellen eingesetzt hätte). Da habe ich es mit "Komplettpaketen" vom Ansatz her etwas leichter: Auch Fritz kann ich mit verschiedenen Büchern antreten lassen, nehme ich aber das unveränderte mitgelieferte, tritt Fritz so an, wie von ChessBase/Morsch intendiert.
Up Topic Hauptforen / CSS-Forum / Engineratings relativ zu FIDE-Elo zu NIEDRIG?!

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill