Vergleich: Stärkeunterschiede bei Menschen und Engines

By Klaus Meier Date 2013-07-15 12:05

[quote="Benno Hartwig"]
[quote="Klaus Meier"]
Logo! Ein GM (angenommen 2600 ELO) hält 20 Spiele in Folge Remis
Nach etwa dem 20ten Remis in Folge zw. einem oder verschiedenen GM und Houdini wird dann klar das Houdini etwa die Spielstärke des GM (ca. 2600 ELO) hat. Was sonst ![/quote]Ein Spieler, der eine Strategie hat, bei wechselnden Farben) gegen Houdini stets zu remisieren, hat im direkten Vergleich mindestens Houdinis Spielstärke.
Ob er auch noch eine Strategie hat, durchschnittlich mehr als 50% der Punkte zu bekommen, ist zunächst mal nicht bekannt.
Und wie er gegen andere Engines oder Menschen spielt, wurde soweit auch nicht betrachtet.
Benno
[/quote]

Die Spielstärke des GM im direkten Vergleich mit anderen Menschen ist doch hinreichend genau bekannt. Wenn wir nun im direkten Vergleich mit Menschen bemerken, Houdini ist in der Lage, nicht mehr als stets ein Remis zu erreichen, dann kann Houdini im direkten Vergleich mit dem Menschen kaum mehr als die hinreichend genau bekannte Spielstärke des Menschen besitzen.
Klaus

By Thomas Müller Date 2013-07-15 12:53

wenn der (vorbereitete) GM immer remis hält, dann heisst das aber nicht, dass 99 andere Humans auch "immer" remis halten.
Genauso andersrum mit der engine. Tausche Houdini gegen Stocki, Komodo, Hiarcs usw. aus dann geht es auch nicht immer remis aus.

Kaffesatzleserei bleibt es so immer, solange es nicht praktikabel und in größerem umfang getestet wird.
Viele GMs und diverse engines mit wenigstens mal ein paar dutzend partien.

Eine oder diverse engines bei gut dotierten opens im feld wäre vielleicht am besten umzusetzen.
Gegner der engine bekommt trotzdem den vollen punkt egal wie die partie ausgeht.
Auch das ist wunschdenken

gruß thomas

By Klaus Meier Date 2013-07-15 14:25

[quote="Thomas Müller"]
wenn der (vorbereitete) GM immer remis hält, dann heisst das aber nicht, dass 99 andere Humans auch "immer" remis halten.
Genauso andersrum mit der engine. Tausche Houdini gegen Stocki, Komodo, Hiarcs usw. aus dann geht es auch nicht immer remis aus.

Kaffesatzleserei bleibt es so immer, solange es nicht praktikabel und in größerem umfang getestet wird.
Viele GMs und diverse engines mit wenigstens mal ein paar dutzend partien.

Eine oder diverse engines bei gut dotierten opens im feld wäre vielleicht am besten umzusetzen.
Gegner der engine bekommt trotzdem den vollen punkt egal wie die partie ausgeht.
Auch das ist wunschdenken

gruß thomas
[/quote]

Das wird wohl auch Wunschdenken und Kaffeesatzleserei bleiben. Und es ist besser so. Gesetzt den Fall es könnte anders sein als Wunschdenken und Kaffeesatzleserei und gibt wirklich mindestens einen GM der eine Spielweise zeigt, wie gegen Houdini Remis zu halten ist. Möglicherweise geht das sogar recht simpel, weil Houdini möglicherweise immer den selben (nur GM bekannten) Fehler macht und Houdini kann ja nicht selbständig lernen, diesen Fehler zu vermeiden.
Ich stelle mir grad vor : Houdini darf nun im open mitspielen. Es spielen 4 GMs in diesem open mit .
Weil das natürlich jeder sehen kann in der Teilnehmerliste, das nun auch Houdini mitspielen darf, können sich 3 von den 4 GM gut vorbereiten nur einer hat gepennt und übersehen,das Houdini mitspielt. Houdini landet deshalb auf platz 4 hinter den gut vorbereiteten GM. Im nächsten Open sind dann schon alle 4 GM gut vorbereitet. Houdini landet nun auf Platz 5 . Dann im 3. open sind einige wenige Spieler welche gegen Menschen lediglich bis 1900 bringen auch schon auf Houdini vorbereitet. Nach weiteren Remise gegen immer mehr 1900er und 1700er Spieler wird dem Bediener von Houdini sicher die Lust auf weitere Open vergehen, weil Houdini Spielstärke gegen immer mehr Menschen so langsam in Richtung 1500 abdriftet. Na ja das ist jetzt eine ausgedachte Geschichte, und die darf es auch bleiben.
Klaus

By Michael Scheidl Date 2013-07-15 15:10

Houdini 3 kann lernen: http://www.cruxis.com/chess/manual/index.html?learning.htm

Ebenso zahlreiche andere Engines, sofern man das aktiviert bzw. nicht deaktiviert. Welches Programm war das erste? Vielleicht Genius 5 im Jahre Schnee...

Der richtige Test zur objektiven Spielstärkefeststellung gegen menschliche Meister wäre meines Erachtens eine Blindstudie: Zum Beispiel mit zwei (oder mehr, je mehr desto besser) gemischten Teams, je vier IM/GM + vier Engines. Dann werden Mannschaftskämpfe durchgeführt, aber auf Distanz bzw. per Computernetzwerk oder so, ohne daß jemand weiß ob er gegen einen Menschen oder gegen einen Computer spielt. Attraktive Geldpreise sollten den individuellen Gesamterfolg belohnen, wurscht ob hauptsächlich gegen die Menschen oder die Computer erreicht.

Ansonsten wird statt einer allgemeinen Spielstärke nur eine Teilkomponente davon gegen Anticomputerspiel getestet, was ich für uninteressant halte. Allerdings könnte es zu Tage fördern welche Engine gute Antihuman-Methoden kann. Es soll ja z.B. Engines geben gegen welche die Restrepo-Methode (totales Abschließen der Stellung) nicht funktioniert. Mag sein daß es mitunter auch von den jeweiligen Settings abhängt.

By Klaus Meier Date 2013-07-15 16:26

Hallo Michael,
Sobald niemandem bekannt ist, auf welcher Seite ein Mensch spielt, auf welcher Seite ein Computer spielt, oder gar ein Team Mensch+Computer im Netzwerk angeschlossen ist, dann ist der angestrebte Vergleich völlig unmöglich. Um den Vergleich zu ermöglichen muss es jemanden geben, der zweifelsfrei beurteilen kann, auf welcher Seite wer spielt um die Spielergebnisse korrekt zuordnen zu können. Eine solche Beurteilungsmethode zu entwickeln für über Netzwerk irgendwo auf der Welt miteinander verbundene Spieler und mit einem zweifelsfreien Ergebnis... Na das ist ja wohl kaum ernst zu nehmen, denn das bedeutet wohl , das praktisch Unmögliche möglich werden zu lassen. Ich rate jetzt mal : Du machst das leicht möglich, denn du bist ein Magier ! Richtig ?
Klaus

Klaus

By Michael Scheidl Date 2013-07-15 22:10

Nichts liegt mir ferner als dieses wunderbare Spiel verderben zu wollen. Mein Gedankengang zielte nur darauf ab, einen objektiven Vergleich Man versus Machine zu bekommen, ohne daß dieser (oder so wenig wie möglich) durch gezieltes Anticomputerspiel getrübt wird. Dazu bräuchten die Spieler nicht irgendwo über die Welt verteilt sitzen, es genügt ein entsprechender lokaler Veranstaltungsort. Ich glaube sogar daß das den Teilnehmern Spaß machen könnte die darüber endlos plaudern würden, etwa im Sinne von: "An diesem Zug habe ich den Computer erkannt!" oder "Als Du das gespielt hast, war ich überzeugt daß Du ein Computer bist", usw.usf.

Ist ohnehin alles nur pure Phantasie, somit kein Grund zur Besorgnis.

By Klaus Meier Date 2013-07-15 17:52

soweit so gut. Uns Schachspielern geht es doch um den Spass am Schachspiel. Den haben wir schon jetzt. Egal ob im Nahschach zwischen Menschen, Fernschach, Schach zwischen Menschen gegen den Computer oder Spass mit den reinen Computer-Computer - Spielen. Also den Spass haben wir doch schon jetzt. Wenn nun Wissenschaftler dazu kommen, die keine Schachspieler sind, sondern etwas untersuchen oder beweisen wollen, dann wird es sich ganz sicher nur um Spielverderber handeln und welcher Spieler mit Leib und Seele mag sich schon mit Spielverderbern abgeben.
Klaus

By Benno Hartwig Date 2013-07-16 12:10

[quote="Klaus Meier"]...Wenn nun Wissenschaftler dazu kommen, die keine Schachspieler sind, sondern etwas untersuchen oder beweisen wollen, dann wird es sich ganz sicher nur um Spielverderber handeln...[/quote]Wie meinst du den das?
Welche Art wissenschaftliches Handeln, Untersuchen und Beweisen liefe denn auf 'Spielverderben' hinaus?
Benno

By Klaus Meier Date 2013-07-17 08:20

[quote="Benno Hartwig"]
Wie meinst du den das?
Welche Art wissenschaftliches Handeln, Untersuchen und Beweisen liefe denn auf 'Spielverderben' hinaus?
Benno
[/quote]

Das wurde doch schon gesagt. "Wenn nun Wissenschaftler dazu kommen, die keine Schachspieler sind..."
Mit anderen Worten : Sobald der Wissenschaftler einem Spieler in wissenschaftlichem Interesse begegnet, statt aus Spaß am Spiel.
Z.B. kann ich das sehr gut nachvollziehen, das ein Schachspieler, wie kürzlich geschehen, wissenschaftlichen Experimenten welche vom bulgarischen Schachbund geplant waren, fern geblieben ist.
Klaus
Ps.:
Der betreffende Spieler wurde offenbar vom bulgarischen Schachbund in Verbindung mit Verleumdungen einiger GM in die Enge getrieben, und sollte dann makaberer Weise Wissenschaftlern als Versuchsobjekt dienen. Gott sei Dank hat er das aber wohl abgelehnt, sich als Versuchskaninchen missbrauchen zu lassen.

By Benno Hartwig Date 2013-07-18 09:37

[quote="Klaus Meier"]
Das wurde doch schon gesagt. "Wenn nun Wissenschaftler dazu kommen, die keine Schachspieler sind..."
Mit anderen Worten : Sobald der Wissenschaftler einem Spieler in wissenschaftlichem Interesse begegnet, statt aus Spaß am Spiel.[/quote]In meine Augen stimmt das deutlich nicht.
Ich z.B. bin schachlich totaler Laie, bin aber EDV-Mensch.
Und du darfst davon ausgehen, dass Spaß und Interesse aus vielen Richtungen kommen kann, auch von Technikern und Wissenschaftlern.
Viele Erfolge in der Schachprogrammentwicklung beruhen nicht auf schachlichen Erkenntnissen, sondern auf klugen Algorithmen bei der Navigation innerhalb des durch die Stellung vorgegebenen Suchbaumes.
Das Zusammenspiel(!) der Disziplinen schafft Erfolge und macht die Sache letztlich doch so interessant für besonders viele.

Benno

By Benno Hartwig Date 2013-07-16 05:31

[quote="Michael Scheidl"]Der richtige Test zur objektiven Spielstärkefeststellung gegen menschliche Meister wäre meines Erachtens eine Blindstudie: Zum Beispiel mit zwei (oder mehr, je mehr desto besser) gemischten Teams, je vier IM/GM + vier Engines. Dann werden Mannschaftskämpfe durchgeführt, aber auf Distanz bzw. per Computernetzwerk oder so, ohne daß jemand weiß ob er gegen einen Menschen oder gegen einen Computer spielt. [/quote]Warum? Wissen Menschen denn auch nicht, gegen welchen Menschen sie spielen? Bereiten sie sich nicht ggf. sogar sehr gezielt auf diesen Menschen vor?
Nein: Wenn Computer typische Schwächen haben, dann soll dies meiner Meinung nach bitte nicht dadurch kaschiert werden, dass Computer ihr Computersein (feige

) verstecken dürfen.

Benno

By Ingo Bauer Date 2013-07-16 05:43

[quote="Benno Hartwig"]
... Wenn Computer typische Schwächen haben, dann soll dies meiner Meinung nach bitte nicht dadurch kaschiert werden, dass Computer ihr Computersein (feige

) verstecken dürfen.

[/quote]

Ich hätte kein Problem mit einem echten Blindtest, habe aber auch kein Problem mit obiger Argumentation. Dannn dann darf der Programmierer allerdings auch vor dem Spiel der Engine mitteilen, dass sie gegen einen Menschen spielt!

Gruß
Ingo

By Michael Scheidl Date 2013-07-16 08:10

Zitat:

Dannn dann darf der Programmierer allerdings auch vor dem Spiel der Engine mitteilen, dass sie gegen einen Menschen spielt!

Sehr treffend; da würden die Meister vermutlich mein Konzept vorziehen statt in der Luft zerrissen zu werden.

Im allgemeinen glauben die "armen" Engines ja immer, methodisch bedingt, daß sie gegen sich selbst spielen... (Es sein denn, irgendeine Asymmetrie ist eingebaut).

By Benno Hartwig Date 2013-07-17 05:00

[quote="Ingo Bauer"]Ich hätte kein Problem mit einem echten Blindtest, habe aber auch kein Problem mit obiger Argumentation. Dannn dann darf der Programmierer allerdings auch vor dem Spiel der Engine mitteilen, dass sie gegen einen Menschen spielt![/quote]Ja. Und da der Mensch ggf. weiß, gegen welche Engine er spielt, sollte die Engine auch gesagt bekommen, dass sie gegen einen Menschen spielt und, wenn sie damit was anfangen kann, gegen welchen Menschen mit welcher ELO-Zahl.
Why not?

Benno

By Ingo Bauer Date 2013-07-17 05:47

[quote="Benno Hartwig"]
[quote="Ingo Bauer"]Ich hätte kein Problem mit einem echten Blindtest, habe aber auch kein Problem mit obiger Argumentation. Dannn dann darf der Programmierer allerdings auch vor dem Spiel der Engine mitteilen, dass sie gegen einen Menschen spielt![/quote]Ja. Und da der Mensch ggf. weiß, gegen welche Engine er spielt, sollte die Engine auch gesagt bekommen, dass sie gegen einen Menschen spielt und, wenn sie damit was anfangen kann, gegen welchen Menschen mit welcher ELO-Zahl.
Why not?

Benno
[/quote]

Gegen welchen Menschen und Elozahl mag für Menschen interessant sein, für Top-Engines und einen Prorammierer der vorher nachdenkt langt die Info "Mensch".
Mit den richtigen Maßnahmen ist der Rest dann heutzutage kein Problem mehr.

Schade, dass weite Teile dieses Threads, inklusive meine Beiträge, nur theortische Spinnereien sind ...

Gruß
Ingo

By Klaus Meier Date 2013-07-17 09:13

Gut vorbereiteten Menschen genügt offenbar auch schon allein die INFO "Engine" und der Rest ist dann heutzutage ebenfalls kein Problem mehr...
Jedenfalls wird das hier in einigen Beiträgen so dargelegt. Das Problem wird dann wohl eher sein : " Auf welche Weise erhalte ich verlässlich die entsprechende INFO."
Klaus

By Michael Scheidl Date 2013-07-17 11:51

Zitat:

Jedenfalls wird das hier in einigen Beiträgen so dargelegt.

Oder das Gegenteil:

http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=62183

Wobei das ein tatsächliches Match war, genau wie es hier gewünscht wird - vielleicht abgesehen vom Resultat...

By Klaus Meier Date 2013-07-17 15:46

[quote="Michael Scheidl"]
Wobei das ein tatsächliches Match war,
[/quote]

Hallo Michael ich habe hier was nettes zur Auflockerung gefunden:
es lässt sich auch schön darauf tanzen:
http://www.youtube.com/watch?v=0Xi2ZW2VXf0

By Klaus Meier Date 2013-07-17 16:05

Auf jeden Fall eine gute Werbung für Rybka !
Klaus

By Ch. Reinhard Date 2013-07-17 09:41

[quote="Ingo Bauer"]
für Top-Engines und einen Prorammierer der vorher nachdenkt langt die Info "Mensch".
Mit den richtigen Maßnahmen ist der Rest dann heutzutage kein Problem mehr.

Gruß
Ingo
[/quote]

Engines sind berechenbar. Menschen nicht. Beim Menschen ist alles möglich. Es könnten eines Tages Zauberer auftreten, mit Zauberhut. Greifen immer wieder den stärksten Schachzug mit einem Fingerschnippen aus der Luft. simsalabim

C.R.

By Benno Hartwig Date 2013-07-18 09:42

[quote="Ingo Bauer"]Gegen welchen Menschen und Elozahl mag für Menschen interessant sein, für Top-Engines und einen Prorammierer der vorher nachdenkt langt die Info "Mensch".[/quote]Oh, ich kann mir gut vorstellen, dass eine Top-Engine gegen einen 2700-ELO-Menschen ggf. eine andere optimale Strategie fahren sollte als gegen einen 2500- oder 2300-ELO-Menschen.

Gegen den 2700er würde sie ggf. wie jetzt spielen.
Gegen den 2300er würde sie ggf. Fallen stellen wollen (sofern der Entwickler ihr zeigte, wie das geht), würde zumindest auf Biegen und Brechen ein Remis vermeiden.

Benno

By Ingo Bauer Date 2013-07-18 09:56

[quote="Benno Hartwig"]
[quote="Ingo Bauer"]Gegen welchen Menschen und Elozahl mag für Menschen interessant sein, für Top-Engines und einen Prorammierer der vorher nachdenkt langt die Info "Mensch".[/quote]Oh, ich kann mir gut vorstellen, dass eine Top-Engine gegen einen 2700-ELO-Menschen ggf. eine andere optimale Strategie fahren sollte als gegen einen 2500- oder 2300-ELO-Menschen.

Gegen den 2700er würde sie ggf. wie jetzt spielen.
Gegen den 2300er würde sie ggf. Fallen stellen wollen (sofern der Entwickler ihr zeigte, wie das geht), würde zumindest auf Biegen und Brechen ein Remis vermeiden.

[/quote]

Viel zu kompliziert. Alles was man wissen muß ist - Mensch. (Schließlich weiß der Mensch auch "Computer" und kann (wie hier gefordert) seinen Spielstil anpassen). "Wenn Mensch dann mache, möglichst früh, Linien auf"*, den Rest erledigt die Taktik!" Das langt gegen 2700/2800 und erst Recht gegen 2300 ...
Sicherlich könnte man mit "Fallen" etwas schöner Spielen aber erstens ist der Begriff "Falle" sehr schwammig und kaum in Programmcode zu fassen und zweitens, wie schon erwähnt, unnötig.

Gruß
Ingo

* Noch genauer "Linien früh aufmachen und dann möglichst nur noch mit Vorteil abtauschen"

By Peter Martan Date 2013-07-16 06:47

Genau!

By Benno Hartwig Date 2013-07-15 17:00

[quote="Thomas Müller"]wenn der (vorbereitete) GM immer remis hält, dann heisst das aber nicht, dass 99 andere Humans auch "immer" remis halten.[/quote]Richtig, vielleicht verlieren sie mehr, vielleicht spielen sie H3 ja auch an die Wand.
'Im direkten Vergleich mit dem Menschen' hatte Klaus ja auch erklärt.
Inwieweit das als guter Schätzwert für Begegnungen mit anderen Menschen taugt, bleibt offen.
Benno

By Benno Hartwig Date 2013-07-15 16:56

[quote="Klaus Meier"]Die Spielstärke des GM im direkten Vergleich mit anderen Menschen ist doch hinreichend genau bekannt. Wenn wir nun im direkten Vergleich mit Menschen bemerken, Houdini ist in der Lage, nicht mehr als stets ein Remis zu erreichen, dann kann Houdini im direkten Vergleich mit dem Menschen kaum mehr als die hinreichend genau bekannte Spielstärke des Menschen besitzen. [/quote]Richtig, schrieb ich ja auch.
Benno