Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Stellungstest contra Ratingliste ...
- - By Frank Qy. Date 2016-02-02 10:13
Greife eine angesprochene Diskussionen von Walter Eigenmann in einem anderen Thread auf.
Wird mir zu unübersichtlich in diesem Thread.

Ferner hat das Thema sehr viel Potential und muss vielleicht näher betrachtet werden.
Gerade für mich interessant weil ich selbst eher der Verfechter von etwas herausfinden bin und Engines gerne nach Spieleigenschaften klassifiziere.
Das kann ich mit einer Ratingliste nur mit Statistiken die in der Erstellung und Aktualisierung sehr aufwendig sind.

---

Das wollte ich Walter Eigenmann in dem anderen Thread zum Thema schreiben:
Bzw. schrieb ich schon vor ca. 15 Jahren in einer Diskussion mit Gurevich im ehemaligen ChessBits Forum.
Leider fühlte er sich ein wenig angegriffen hinsichtlich Bestätigung von seinem "Lebenswerk".

---

Hallo Walter,

ich denke auch das durch einen wirklich guten Stellungstest ein vergleichbares Ergebnis zu einer Ratingliste generiert werden kann.
Allerdings sollte hierbei für Stellungstester nicht die Maßgabe gelten, eine gleiches Ergebnis vergleichbar zu einer Ratingliste zu produzieren denn auch eine Ratingliste hat in sich zu viele Schwächen. Ich würde lügen wenn ich hierbei nicht objektiv wäre.

Ein Stellungstest muss logisch aufgebaut werden. Der Aufbau selbst kann mehrere Jahre dauern weil einfach zu komplex. Wir benötigen gute Stellungen zu allen erdenklichen Schwerpunkten, die spielentscheidend sein könnten. z. B. Zusammenspiel von Läufern, Springermanöver. Türme auf 2 und 7 Reihe. Bauerntausch und hieraus resultierende bzw. verbleibende Bauernstrukturen die zum Sieg führen könnten. Wird die Dame zu früh ins Spiel gebracht, wird der König nicht ausreichend bedacht nach den Eröffnungszügen, etc..

Diese Themen müssen zunächst mal gesammelt und katalogisiert werden. Es muss eine Liste mit einer Themensammlung her. Das wäre Punkt 1. Dann folgt Punkt 2 ... wie wichtig sind denn diese Themen im praktischen Spiel. Gewichtungen der Themenbereiche müssen her. Hierbei könnten wir uns an den Partien einer Ratingliste orientieren aber das ist sehr kompliziert.

Beispiel:
Türme auf 2ter und 7ter Reihe ... 9/10 Punkte
Bauerntausch und hieraus resultierende verbleibende Bauernstrukturen ... 8/10 Punkte

Hätten wir eine solche Liste müssen diese Themenbereiche einsortiert werden in ...

- Nach der Eröffnung
- Mittelspiel
- spätes Mittelspiel
- Übergang Endspiel
- Endspiel

Wären wir so weit muss zwischen diesen 5 Schwerpunkte wieder eine Gewichtung gesetzt werden.
spätes Mittelspiel und Übergang Endspiel muss eine höhere Gewichtung haben als "Nach der Eröffnung / Mittelspiel" ... zumindest im Computerschach. Beim Menschenschach hat "Mittelspiel" eine höhere Gewichtigung als beim Computerschach.

***
Und hierzu benötigen wir viele Personen die mitwirken.
Jeder andere Versuch einen Stellungstest mit ein paar Stellungen zu generieren ist zum scheitern verurteilt. Erst Recht weil meist immer versucht wurde durch "Best-Move" Züge etwas für eine Bewertung zu erarbeiten. Dadurch ist und bleibt fast jeder mir bekannte Stellungstest zu "Taktik-lastig".
***

Hätten wir das könnten wir loslegen mit dem Sammeln der entsprechenden Stellungen. Vielleicht 10 praxisbezogene Beispiele, egal ob aus Computerschach oder GM / Fernschach.

Also, würden wir z. B. grob gesagt 100 Themen sammeln und hätten zu diesen 100 Themen je 10 Stellungen, hätten wir einen Test mit 1.000 Stellungen kreiert und der kann nun wirklich auch aussagekräftiger sein als eine Ratingliste. Klar wir würden neben einer festgestellten Spielstärke (die nicht in Elo ausgegeben werden muss) direkt die Anhaltspunkte zu den Stärken und Schwächen der Engines. Programmierer würden jubeln und könnten viel gezielter die Programme verbessern. Ein solcher Test würde den Computerschachbereich um eine kleine weitere Spielstärkewelt nach vorne treiben. Wir würden Strom effektiver nutzen, hätten schneller ein Ergebnis.

Das wäre mit Einsicht besser als jede Ratingliste hinsichtlich ... ich erfahre etwas über eine Engine.
Eine Rating Liste selbst wird durch den Kampf und durch die Dynamic beim Spiel selbst durch einen solchen Stellungs-Test (wenn mal vorhanden) aber niemals an Interesse verlieren. Es muss also kein Lagerdenken aufgebaut werden, was seinerzeit durch die Starrköpfigkeit aber permanent versucht wurde. Letztendlich standen sich mal wieder alle selbst im Weg und zogen sich teils auch beleidigt zurück. Gerade beim Computerschach gilt, zusammen sind wir stark denn ein Einzelner kann recht wenig allein tun.

Meines Erachtens war nur ein Stellungstester mal auf den richtigen Weg aber zu sehr überzeugt von der eigenen Arbeit und nicht bereit Ergänzungen in seinen Betrachtungen aufzunehmen. Das ist bei uns allen ein echtes Problem. Nicht das wir denken die Weisheit gefressen zu haben aber wir sind bei eigenen Aktivitäten zu sehr gefangen und davon überzeugt irgend etwas richtiger zu machen als vielleicht andere um irgend etwas herauszufinden. Ticke ja auch so weil ich denke wir könnten das Thema Computerschach bis zum Exzess treiben und würden wenn wir offener wären weit aus mehr feststellen als das wir in oftmals verlorenen gedanklichen Strukturen herumstochern.

Gruß
Frank
Parent - - By Walter Eigenmann Date 2016-02-02 13:55
Hallo Frank

Bin mit einigen deiner Meinungen absolut konform, mit einigen absolut konträr

Jedenfalls hat dein Post das Potenzial zum Anregen eines interessanten Gedankenaustausches.

Momentan bin ich gerade anderweitig sehr beschäftigt, aber ich komme bald gerne darauf zurück.

Für jetzt nur bezüglich deiner Anregung, "alle erdenklichen Schwerpunkte" zu berücksichtigen:
Ich verweise kurz auf den "Barometer"-Test hier...
http://glarean-magazin.ch/2008/05/14/neues-test-verfahren-fuer-schach-programme-b-e-t/
.. wo ich damals u.a. Euwes Riesenwälzer "Das Mittelspiel" mit seiner systematischen Typisierung
praktisch aller wesentlichen Schach-Motive durchgeackert und in den Stellungstest einbezogen habe.

Inwieweit solche "Schach-Klassik" auch im Komodo-Zeitalter noch anwendbar ist, muss noch untersucht werden... -

Ja, Michael Gurevich hat seinerzeit die Thematik so verinnerlicht, dass er am Schluss zu einer
sachlichen Auseinandersetzung leider nicht mehr in der Lage war und jede Kritik als persönlichen Angriff
interpretierte. War aber evtl. auch ein sprachliches Problem...
Erinnere mich allerdings gerne zurück an seine schachliche Kompetenz, die diesem Forum
seinerzeit sehr gut tat... Und die Stellungen seines sog. WM-Testes sind ja heute noch
ein ästhetischer Genuss - auch wenn sie von Stockfish & Co. wohl heute so en passant gelöst werden...

Gruss: Walter

PS: Gratulation zu dem hier:
http://www.amateurschach.de/main/_playing-style.htm
Liest man interessiert und amüsiert Meines Wissens die erste und einzige Engines-Charakterisierung
im WWW dieser dezidierten Art.

.
Parent - By Frank Qy. Date 2016-02-03 12:21
Hallo Walter,

so lange konform und konträr ist alles im grünen Bereich.
Wäre es anders würden viele Gleiches tun und das Thema würde an Interesse verlieren.

Das Problem ist in dieser Community eher das konform und konträr gleichbedeutend ist mit wir rennen wie Stiere aufeinander zu.
Und Stiere gibt es mehr als fromme Lämmer.

Kenne diesen Artikel.
Wie gesagt, auch wenn ich mich mehr mit Ratinglisten beschäftige (schaue bei den Partien gerne zu) und Stellungstest für aufwendig in er Erstellung halte und wenn da langweilig bei der Durchführung (siehst immer gleiches, der arme Manfred Meiler in der Vergangenheit) denke ich das sehr viel hinsichtlich Stärken und Schwächen herausgefunden werden kann.

Und genau das ist das was mich interessiert.
Die Spielstilbeschreibungen gibt es schon lange (schon auf den Seiten der Schachwelt) oder auch bei der ersten Winboard Ratingliste vor ca. 20 Jahren versuchte ich zu charakterisieren. Phalanx stark im Königsangriff oder Zarkov stark bei strategischen Manövern. Bei der Schachwelt (von GM Jörg Hickl) waren die Spielstilbeschreibungen sehr beliebt. Habe viele Eindrücke von Schachspielern erhalten und auch Großmeister schrieben mich hierzu an. Klar, mehr zu wissen über Engines reizt.

Zwar konnte ich die Spielstilbeschreibungen heute durch bessere Stats verbessern und ich denke das was ich festgestellt habe trifft zu über 80% aber es verbleibt der bittere Nachgeschmack das beim Computerschach die meisten Partien im sehr späten Mittelspiel / Übergang Endspiel entschieden werden und die Engines gerade hier gar auf heute normaler Hardware den besten Spielern der Welt überlegen sind. Das heißt da wo die Spielstilbeschreibungen eigentlich interessant werden könnten mangelt es an Wissen und besseren Beschreibungen. Und genau an dieser Stelle könnte uns dann ein guter Stellungstest helfen denn ich kenne keinen wirklich guten Versuch aus den unzähligen Eng-Eng Partien die vorliegen mehr herauszufinden.

Wir erkennen das einfach nicht, auch nicht beim Zusehen von Eng-Eng.
Wir haben eine Elo und davon haben wir viel ...



Eine Engine mit vier Zahlen dahinter und das war es.
Deswegen langweilen mich selbst die Ratinglisten wenn nicht denn etwas erkennbar ist wie diese Zahlen zu Stande kommen.

Gruß
Frank
Parent - - By Walter Eigenmann Date 2016-02-03 18:29
Hallo Frank

Frank Qy. schrieb:

ich denke auch das durch einen wirklich guten Stellungstest ein vergleichbares Ergebnis zu einer Ratingliste generiert werden kann.


Aber natürlich - und dieser Test muss keineswegs nur "Lucky Punches" und "Best Shots" aufweisen,
denn daraus bestehen ja die Compi-Partien heutzutage nur zum winzigsten Teil.
Aber gutes Compi-Schachspiel ist und bleibt die Aneinanderreihung von guten Schachzügen -
und genau diese fragt ein guter Stellungstest ab.

Denn Programme gehen ja nicht planvoll vor, sondern sie haben bei praktisch jedem gegnerischen Zug
"neu" zu reagieren (gross-gefüllte Hashtabellen hin oder her). Anders gesagt: Für die Maschine
ist eine 40-zügige Partie einfach ein 40-teiliger Stellungstest. (Ok, da werden noch Books voran- und
Tablebases nachgestellt, aber im Prinzip...)
Menschliches Schachspiel ist da ja grundlegend anders, da schwirrt z.B. schon mal im Kopf rum:
"Mir egal, was der andere macht, ich komme jetzt am Damenflügel!" (Ob's dann nicht besser
am Königsflügel gewesen wäre, oder ob bei aller Strategie plötzlich ein Springer auf der Strecke bleibt,
ist wieder eine andere Frage

Frank Qy. schrieb:

Ein Stellungstest muss logisch aufgebaut werden. Der Aufbau selbst kann mehrere Jahre dauern weil einfach zu komplex. Wir benötigen gute Stellungen zu allen erdenklichen Schwerpunkten, die spielentscheidend sein könnten. z. B. Zusammenspiel von Läufern, Springermanöver. Türme auf 2 und 7 Reihe. Bauerntausch und hieraus resultierende bzw. verbleibende Bauernstrukturen die zum Sieg führen könnten. Wird die Dame zu früh ins Spiel gebracht, wird der König nicht ausreichend bedacht nach den Eröffnungszügen, etc..
Diese Themen müssen zunächst mal gesammelt und katalogisiert werden.


Einverstanden. Beim sog. "Barometer-Test" habe ich dieses Problem damals - wie erwähnt - mit Hilfe
systematischer Schachliteratur gelöst, u.a. mit Euwes umfangreichem "Mittelspiel", v.a. aber auch mit
Polgars "Chess Middlegames". Beide Bände enthalten aberhunderte von quasi Schach-archetypischen Motiven,
Plänen, situativen Vorgaben, alles sehr schön katalogisiert und systematisiert.
Anders gesagt: Man muss keinen Stellungstest mit 10'000 Positionen kreieren - aber mit 400, welche diese
10'000 repräsentieren.
Natürlich kann ein einzelnes winziges Bäuerlein auf einem unvorhergesehen Feld alle diese Typisierung
über den Haufen schmeissen - aber in 98% der Fälle läuft erfolgreiches Schachspielen aufs
adäquate Anwenden von Mustern hinaus, die sich in der Geschichte als erfolgreich herausgestellt haben.
Warum sind denn Grossmeister so viel besser als wir? Bestimmt nicht, weil sie intelligenter sind -
da gibt's genügend Gegenbeispiele   Sondern weil sie eben jede Mittelspiel-Position situativ
mit diesem ihrem enormen Stellungsmuster-Schatz abzugleichen vermögen. (Wie man zu diesem "Schatz" kommt,
ist ebenfalls wieder eine ganz andere Frage: 6-stündiges Schach-Tagespensum, gutes Gedächtnis,
monomanische Fixierung auf das Spiel, Turnierpraxis rund ums Jahr, spielpsychologisches Flair,
frühkindliche Konditionierung, jugendliches Coaching, u.v.a.
Mehr zur kognitiven Leistung beim Schachspielen z.B. hier:
https://de.wikipedia.org/wiki/Schachpsychologie


Frank Qy. schrieb:

Und hierzu benötigen wir viele Personen die mitwirken.

Du meinst so ähnlich wie bei CEGT&CCRL, nur eben auf dem Gebiet des Stellungstests?
Sollte so ein kleines Netzwerk von Test-Designern und Testern mal konkret organisiert werden, wäre ich
grundsätzlich dabei. Allerdings ist das Thema sehr viel komplexer als beim üblichen Partien-Spielen lassen,
wo man sich simpel auf ein paar Hard-/Software-Kleinigkeiten einigen muss, und schon flutscht die Statistik
Demgegenüber würden sich mehrere Test-Designer wohl bereits bei der Frage auf den Monitoren rumtrampeln,
welche der 100 Schach-Themen genau, die du weiter oben angesprochen hast, unbedingt in den Katalog gehören.
Von den eigentlichen 1'000 Stellungen dann noch ganz abgesehen....
In der Praxis also eine echte Herausforderung - aber diese deine Netzwerk-Anregung finde ich interessant!
Und solange man die ganze Stellungstesterei nicht als Konkurrenz, sondern Ergänzung zum traditionellen
Partien-Ausspielen versteht, wäre das sicher ein interessantes Projekt, das unserer Hobby-Community
nur Nutzen brächte.

Gruss: Walter

.
Parent - By Frank Qy. Date 2016-02-03 23:25
Hallo Walter,

kann zunächst keine Äußerungen erkennen bei denen ich Einwende darlegen würde.
Stimme mit Dir also absolut überein.

Den Barometer Test habe ich mir nicht angesehen, überhaupt auch andere Versuche immer nur grob und als nicht ausreichend für meine Ansprüche direkt abgelehnt. Wie gesagt Deinen Test habe ich mir noch nicht näher angesehen.

Das von dir erwähnte Buch von Euwe kenne ich aber zugegeben nicht komplett gelesen.

Was mir wichtig ist:
Etwas herausfinden ... das geht wie gesagt nur mit aufwendigen Statistiken bei Eng-Eng.
Eher das Problem hier, dass durch neue Eng-Eng Partien die erstellten Stats schon wieder Geschichte sind und die Pflege der Stats überhaupt eine irrsinnige Arbeit ist.
Sitze bei den wenigen Stats die ich generiere ja schon 2-3 Stunden bis die mal fertig sind (die, die ich veröffentliche). Weitere 40 Stats dann wenn ich Bock darauf habe und Veröffentlichung.

Und ich kenne auch niemanden der etwas vergleichbares macht weil es auch fast nicht möglich ist.
Mich reizt es einfach ...

Im Grunde lasse ich zwar an einer Ratingliste spielen aber nur um Partiematerial für Spielstile und Buchentwicklung zu sammeln. Auch wenn ich mir sehr viel Mühe mit der Ratingliste selbst mache steht die für mich nicht im Vordergrund. Will ein richtig gutes Buch und bin damit fast durch.

Achtung:
Hatte den Fehler bei der SWCR gemacht, dass ich die Partiekommentare gelöscht hatte um Platz beim Download einzusparen.
Die bislang erspielten über 170.000 45-Minuten Partien auf moderner i7 4.0 GHz Hardware sind komplett mit allen Partiekommentaren.

Die Idee ist es mit Tools, die Teils schon da sind (Ferdinand programmierte einige), nun aus den Partien herauszufischen. ChessBase (sicherlich eine gute Software) aber zu schwach im Statistik Bereich bietet hier nur wenige Möglichkeiten.

Also ...
Wenn die Stellungsbewertung sprunghaft ansteigt müsste untersucht werden warum.

Wir ticken ja grundsätzlich beim Betrachten von solchen Partien eher so, dass wir sagen ... OK, bei Zug 42 ein Fehler und daher stieg die Bewertung bei Zug 43. Anstatt eher danach zu suchen das Zug 42 zu einem Fehler verleitet hat und die Züge davor eigentlich die guten waren. Wenn ich Kommentare in Computerschachforen zu geposteten Partien lesen dann immer ... da hat aber Engine X im Zug einen Fehler gemacht. Ich hasse diese Kommentare weil im Grunde nichts verstanden wurde.

Es wäre also einfach anhand von meiner Datenbank solche Partien schnell herauszupicken und näher zu analysieren. Dann die Stellungen einsortieren in die erarbeiteten Themenbereiche.
Also, ich weiß nicht wie Du darüber denkst aber zunächst müssen die Themenbereiche strukturiert erarbeitet werden. Das Partiematerial findet sich dann später einfacher als wir denken. Und wenn nicht würde ich Ferdinand fragen ob er mir etwas programmiert was ich dann noch benötige. Er hat selbst Spaß daran aus Datenbanken etwas herauszufischen.

---

Klar, es wäre besser wenn mehrere Personen an einem solchen Unterfangen mitarbeiten. Stellungen herauszusuchen zu allen möglichen Bereichen steht dann auf der Tagesordnung. Dann müssten die Stellungen genau geprüft werden ob sie sich wirklich für einen Test eignen. Prüfen und prüfen und viele auserwählte Stellungen fliegen eh wieder in den Papierkorb weil sie nicht wirklich gut sind.

Was ich hier beschreibe ist ein langer Plan den ich mit meiner Ratingliste beabsichtige. Im Grunde Teil 3 der Spielstilbeschreibungen. So wollte ich vorgehen, Partien spielen lassen (möchte nicht auf fremdes Material zugriefen und dachte daher ... ich generiere mein Material selbst).

Wenn sich denn aber Personen finden die einen wirklich guten Test nochmal angehen möchte wäre ich gerne dabei und würde unterstützen. Allerdings auch nur im Rahmen meiner Zeit hierfür denn die Ratingliste und die Art der Darstellung auf meinen Webseiten nimmt Zeit in Anspruch. Ein Testlauf mit 2050 Partien benötigt ca. 4 Tage. Danach habe ich ca. 5 Stunden Arbeit meine Detailseiten upzudaten. Und täglich schaue ich in alle Partien um mein Buch zu optimieren.

---

Nochmals, stimme mit Dir wirklich überein.
Mit einem Test kann mehr hinsichtlich Stärken und Schwächen festgestellt werden. Mit einer Ratingliste kann nichts festgestellt werden denn keiner macht es (bis auf meine wenigen Versuche hier etwas zu tun). Wir haben blanke Zahlen und evtl. Verweise auf Partiedatenbanken die aber von niemanden den ich kenne aufgebrochen wurden.

Eine Eng-Eng Partie ist eine Aneinanderreihung von Einzelanalysen. Maximal vielleicht 2-3 wirklich interessante Züge pro Partie die sich aber noch lange nicht für einen Test eignen.

Jeder wirklich gute Stellungtest wäre "derzeit" jeder mir bekannten Ratingliste überlegen hinsichtlich ich stelle mehr fest über eine Engine anstatt eine dumme Elo die eine Gesamtspielstärke widerspiegelt und sonst nichts.

Weiß jetzt nicht ob sich jemals wirklich eine Gruppe findet die das Thema systematisch aufgreift. Ich selbst habe bei der Community den Glauben ein wenig verloren. Hier backt jeder seine eigenen Brötchen. Aber egal, ich habe es auf dem Schirm einen solchen Test mit eigenem Partiematerial für meine Spielstilbeschreibungen zu generieren und weiß genau wie ich vorzugehen habe. Das Problem ist nur das mein Schachwissen begrenzt ist und mithin auch ein Test als Alleingang niemals das Ergebnis zu Tage bringen würde welches ich mir selbst wünsche. Merke ja schon an der Buchentwicklung das ich mir zu viel zugemutet habe auch wenn ich verdammt nahe dran bin hinsichtlich ... habe das erstellt was ich im Kopf hatte und es funktioniert.

Gruß
Frank

Und ja ...
Stellungen mit eindeutigen Lösungen müssen nicht zu jedem Thema sein.
Bei einer Teststellung können auch mehrere Züge Punkte erhalten oder eine Teststellung kann auch aus 2 - 3 aufeinander folgenden Zügen bestehen.
Etc. je mehr Vielfalt und unterschiedliche Lösungswege umso besser.

Ein Ergebnis in Elo wird nicht angestrebt aber ich denke ein Punktsystem wäre gut.
Halte eine Elo bei einem Stellungstest als Ausgabe für die erzielte Leistung eher für absolut lächerlich.

Wir sehen anhand der Punkte eh das die in Ratinglisten oben liegenden engines auch bei einem Stellungstest oben liegen.
Aber es wäre mal interessant zu sehen das z. B. bei einem Test von 10 Stellungen zum Thema ... starker Doppelbauer (gibt es auch) ein Stockfish plötzlich von 30 getesteten Engines auf Platz 20 liegt weil SF das nicht verstehen ... das wird passieren wenn wirklich ein guter Test vorliegt und ich bin mir sicher die Masse hat plötzlich ein Interesse und die Computerschachgier ist wieder im vollen Gange.

Lese nicht gegen, sehr schnell geschrieben obwohl eigentlich derzeit überhaupt keine Zeit.
Up Topic Hauptforen / CSS-Forum / Stellungstest contra Ratingliste ...

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill