Macht Parameter-Tuning Engines spielstärker?

By Michael Scheidl Date 2014-10-16 18:17

Diverse Versionen der King-Engine (Chessmaster) konnten per Parameter deutlich verstärkt werden. Typisch bei all den Settings war: Erhöhung von Selektivität und Königssicherheit, sowie evtl. eine leichte Erhöhung des Wertes der Dame.

Es dürfte aber damit zu tun gehabt haben, daß - angeblich - die Defaultsettings auf schwächere Computer ausgerichtet waren, als ausgesprochene Computerschachfans sie üblicherweise benutzten, also mehr auf den "typical User" von Chessmasterprogrammen statt auf Enginfreaks. Wobei mich allerdings wundern würde, wenn gute CM-Settings nicht auch auf solchen Computern eine Verstärkung bewirkt hätten.

By Dithyrambus Date 2014-10-16 18:18

Es gab seinerzeit ellenlange rankings:
http://www.grailmaster.com/misc/chess/comp/cm.html

By Michael Scheidl Date 2014-10-16 18:24

Zitat:

ellenlange rankings

Legendär! Meine Brain-Settings haben es nicht in die Top 100 geschafft, schnüff

By Horst Sikorsky Date 2014-10-16 18:38

Hallo Joe,

Hiarcs5 habe ich damals zum Taktikmonster gemacht, er löste 25....Le6! (Bagirov vs Gufeld) in 16min!!
Bei Chessmaster 4000 und Chess System Tal hatte ich das Gefühl Sie stärker zu machen.
und bin mir fast sicher, das es so war!

By Martin Hertz Date 2014-10-17 14:31

W-Chess scheint diese Stellung besonders gut zu liegen. (Real DOS @ 3.3GHz)

Code:

WChess 1.05          10  00:00:19  +3.92

Chess System Tal     11  00:02:50  +3.88

Fritz 3.05           13  00:03:05  +4.25

M-Chess Pro 5.0      10  00:07:40  +4.60

Chess Genius 3.0     12  00:14:17  +4.87

M-Chess 1.70         10  00:25:20  +1.49

Gideon Pro 1.0       12  00:41:13  +3.59

Socrates 3.0         12  00:47:15  +1.45

By Ralf Mueller Date 2014-10-16 18:38 Edited 2014-10-16 18:41 Upvotes 1

Ich denke durch die massiven Tuning-Möglichkeiten des Entwicklers, die heutzutage existieren, können durch Parameterveränderungen keine echten Verbesserungen erreicht werden. Das einzige wirklich gesicherte Beispiel, das immer wieder aufgeführt wird, sind die genannten King-Tunings - das ist aber mittlerweile schon so alt, dass es meiner Meinung nach nicht gilt, da sich die Möglichkeiten des Tunings und Testens enorm weiter entwickelt haben.
Ich denke, dass in der Regel eine UCI-Parameteränderung zu einer Schwächung führt (auch wenn es kleine Ausnahmen geben mag, da kein Testen des Entwicklers perfekt ist).

By Tobias Lagemann Date 2014-10-16 19:13

Hallo Joe,

seinerzeit, als ich Betatester von Twisted Logic (später Hannibal) war, bestand meine Hauptaufgabe darin, die "beste" Parametererinstellung zu finden. Gleich bei meinem ersten Einsatz kam es so zu einer "neuen" Version (okay, Edsel hat auch noch ein paar Details geändert) mit einem satten Eloplus (ich glaube, es warrn 40-50).

Der Trick beim Drehen an den Parameterschrauben besteht darin, sich die Partien nach Schwächen in der Partieanlage, im Reagieren auf gegnerische Attacken, das Vorgehen bei eigenen Angriffen, das Abtauschverhalten, Endspiele etc. pp. anzuschauen. Und dann gezielt Parameter so ändern, dass die dabei möglicherweise aufgefallenern "Fehler" nicht mehr auftreten. Mit einem kleinen Turnier werden die Parameter hinsichtlich ihrer Tauglichkeit geprüft.

Natürlich muss man sich Partien gegen gezielt ausgesuchte Gegner anschauen, eben um das weite Feld der möglichen Schwächen einsehen zu können. Und man muss natürlich wissen, welcher Parameter wofür gut ist.

Natürlich kann man das ganze Verfahren auch automatisieren. Also Partien en masse blitzen lassen mit systematisch geändert Parametern. Bei 10sek Partien auf einem Quad kommt man auch recht zügig zu Ergebnissen. Noch schneller geht es, wenn man mit dem Wissern um das, was Parameter bewirken, systematisch eben die "wichtigen/richtigen" testet. Dafür muss man sich natürlich auch vorher jede Menge Partien anschauen. Und auch nachher.

Als ideal hat sich erwiesen, ein 5min Blitz Turnier zu spielen, bei der 400 Partien zusammen kamen. Da ist das Material vorhanden, dass ich gebraucht habe, um mich gezielt mit den Parametern befassen zu können.

Viele Grüße
Tobias

By U. Haug Date 2014-10-16 20:00 Upvotes 1

Joe Boden schrieb:

Die meisten von uns haben schon einmal versucht, bei Engines die Parameter-Einstellungen (UCI-Optionen) zu verändern. Aus eigener Erfahrung kann ich bestätigen, dass dadurch das Spielverhalten teilweise massiv beeinflusst werden kann. Manche Engines ermöglich es sogar, unter Veränderung von Optionen eigene "Spielerpersönlichkeiten" zu bilden , z.B. Shredder, Rodent, Glass, Prodeo usw. usw.

Die Frage ist: kann durch Paramentertuning denn auch tatsächlich die Eloleistung eines Programms signifikant erhöht werden und gibt es dafür nachgewiesene Beispiele?

Mein Eindruck ist bislang der, dass zwar die Spielweise durchaus angriffslustiger und fürs Auge unterhaltsamer wird, die Elo-Performance aber diesselbe bleibt.

Welche Erfahrung(en) habt Ihr damit gemacht?

Hallo Joe,

schon viele hier haben irgendwelche Parameter verändert, dann festgestellt, dass ein paar Bestmove-Aufgaben (in der Regel Opferkombinationen o.ä.) rascher gelöst werden als beim Original, und daraus geschlossen, die Engine verbessert zu haben.
Dieser Schluss ist in der Regel falsch. Wenn durch Verändern der Parameter irgendetwas (materiell oder positionell) höher gewichtet wird, wird anderes im Vergleich dazu vernachlässigt. Eine Engine kann dann vielleicht bestenfalls zum Taktikmonster werden, aber die Stellungen, in denen traumhaftes Kombinieren angesagt ist, kommen gar nicht mehr aufs Brett. Eine Steigerung der Gesamtspielstärke / Performance wird deshalb normalerweise nicht zu erzielen sein. Wenn es so leicht wäre, hätte auch der Autor und seine Betatester schon etwas optimiert, bevor die Engine veröffentlicht wird.

Ulrich

By Horst Sikorsky Date 2014-10-16 22:38

Hallo Ulrich,

aber die Stellungen, in denen traumhaftes Kombinieren angesagt ist, kommen gar nicht mehr aufs Brett.
das ist aber Traurig

was ist traumhaftes Kombinieren?
wie hoch ist die Messlatte?
Horst

By Michael Scheidl Date 2014-10-16 22:49

Zitat:

wie hoch ist die Messlatte?

Ich denke diese haben die großen Schachmeister des 19. Jahrhunderts gelegt - doch sie spielten nicht gegen Computer...

By U. Haug Date 2014-10-17 08:33

Horst Sikorsky schrieb:

Hallo Ulrich,

aber die Stellungen, in denen traumhaftes Kombinieren angesagt ist, kommen gar nicht mehr aufs Brett.
das ist aber Traurig

was ist traumhaftes Kombinieren?
wie hoch ist die Messlatte?
Horst

Hallo Horst,

wahrscheinlich hatte ich mich schlecht ausgedrückt.
Ich meinte NICHT, dass heute, im Computerzeitalter, keine Stellungen mehr mit herrlichen taktischen Möglichkeiten aufs Brett kommen.
SONDERN ich habe Grund zu der Vermutung, dass als Folge des Veränderns von Engineparametern, wenn man taktische Fähigkeiten stärker gewichtet, das Positionsspiel vernachlässigt wird. Und dann kommen die tollen taktischen Stellungen eben seltener aufs Brett.

Ulrich

By Benno Hartwig Date 2014-10-17 09:00

Man muss wohl 2 Dinge unterscheiden:
- die taktische Leistungsfähigkeit einer Engine
- das Bestreben, taktisch brisante Stellungen anzustreben.
Ich denke, es braucht im Programm verschiedene Ansätze für diese beiden verwandten Themen

Jede Maßnahme, die in der Summe die Spielstärke eine Engine verkleinert, sorgt wohl dafür, dass sie dann nur seltener Gelegenheit hat, selbst eine tolle taktische Leistung zu zeigen.
Ggf. ist sie dafür aber häufiger in einer Situation, eine taktische Möglichkeit des Gegners (einen Ply früher!) erkennen zu müssen und entsprechend zu reagieren. Das fällt dann aber vermutlich kaum auf. Es kommt dann eben ja nichts taktisch besonders brilliantes auf das Brett.

Benno

By Chess Player Date 2014-10-17 11:58

Ein klares Ja!

Wäre es nicht der Fall, dann hätten die Programmierer diese Optionen doch erst gar nicht einprogrammiert!

Es gibt da aber gewisse Kleinigkeiten zu beachten...

By Dithyrambus Date 2014-10-17 12:11 Edited 2014-10-17 12:14

Den schachprogrammierer muss man aber erst noch erfinden, der bewusst bananenware an seine kunden ausliefert, damit diese ein bisschen spaß beim tunen haben.
Aber selbstverständlich werden nicht alle betatests das letzte an spielstärke aus den programmen herausholen.

Meiner erinnerung nach war tatsächlich der Chessmaster eines der ersten programme, die vom benutzer beeinflussbare parameter anboten.
Beim Chessmaster stand dabei zweifelsohne die idee der unterschiedlchen persönlichkeiten, gegen die man spielen konnte, im vordergrund, eine idee, die sich ja auch als sehr erfolgreich im marketing herausstellte.
Es ging also vorangig um beeinflussbare spielstile. Tatsächlich stellte sich dann heraus, dass Johan de Koning auf alle fälle die selektivität in den Chessmaster-settings, also der vermeintlich stärksten persönlichkeit, zu gering eingestellt hatte. Eine mögliche begründung hat Michael Scheidl ja schon gegeben.

By Benno Hartwig Date 2014-10-17 12:56 Edited 2014-10-17 13:34 Upvotes 1

> Den schachprogrammierer muss man aber erst noch erfinden, der bewusst bananenware an seine kunden ausliefert, damit diese ein bisschen spaß beim tunen haben.

?

Wird Software denn nicht generell ein wenig bananenware-artig an den Kunden gegeben, weil der Entwickler gar nicht die Ressourcen hat, um Tests bis zum i-Tüpfelchen durchzuführen?

Ich hatte zwar immer den Eindruck, dass die Engines ziemlich gut getrimmt sind, wenn man sie bekommt.
Aber ein klein wenig Spielstärke ist ggf. trotzdem noch erreichbar, wenn man die Parameter finetunet. Wahrscheinlich aber so kleine Spielstärkedifferenzen, dass sich diese erst mit 1000den von Partien tatsächlich belegen lassen.
Und finde die mal, wenn der Test derart aufwändig ist.

Ja doch, gerade bei dem Kommerziellen hatte ich immer auch den Eindruck, die mögliche Umparameterisierung soll auf andere Ebene wieder den Spieltrieb der User ansprechen und auf diese Art für Verkäufe sorgen.
"Ich nehme die Engine, an der ich mich auch noch ein weng selbstverwirklichen kann!" auch wenn letztlich dann doch mehr Selbstbetrug als tatsächlicher Erfolg gelingt.

Benno

By Ralf Mueller Date 2014-10-17 13:16

Sehe ich auch so - auch wenn natürlich auch die schöne Möglichkeit besteht, einfach an dem Spielstil ein wenig zu drehen (und nicht mit der Absicht eine fiktive Spielstärkesteigerung zu erreichen).

By Chess Player Date 2014-10-18 14:52

Fast alle Programmierer liefern bewusst Bananenware an ihre Kunden aus, da diese die Fehler besser finden können.
Bestes Beispiel ist Microsofts Windows. Ohne Servicepack 1 geht schon rein gar nichts!

By Ralf Mueller Date 2014-10-18 18:38 Upvotes 1

Das Problem bei Engines ist, dass deren Release-Version durch die Ranglisten einer besonderen Qualitätskontrolle unterliegen. Eine nicht hinreichend getestete Engine kann sich ein Programmierer kaum leisten, da es sich direkt in den Verkaufs- bzw. Downloadzahlen niederschlagen würde.
Bei Schachengines herrscht hinsichtlich der Leistungsfähigkeit eine sehr hohe Transparenz im Vergleich zu anderen Softwarezweigen.