Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Engine-Test (unwissenschaftlich) 2
- - By Roland Riener Date 2013-06-15 11:41
Eine weitere absurde Stellung (Shinkman, 1908, Matt in 8).

Hier fällt mir auf, daß meine ältesten und ansonsten spielschwächeren Engines Shredder 11 und Crafty 20.14w32 die Aufgabe sehr schnell in 3 bzw. 5 Sekunden lösen, hingegen Komodo 64 3 und Hannibal 1.3x64 in 3 Minuten scheitern. Deep Rybka 4w32 verbessert sich im Zweitversuch auf 2,30 Minuten und Robbolito braucht immerhin noch 31 Sekunden. Bezogen auf mein i3-Laptop.

Die starken Engines meistern die Aufgabe "sofort", wobei die Stockfishe einen Tick länger brauchen.

Wochenendgrüße
Roland

Parent - - By Roland Riener Date 2013-06-18 10:56
Thomas Plaschke schrieb:

"Übrigens tut sich manche Engine sehr schwer mit diesem Problem ... (und vielleicht nicht nur wegen der Unterverwandlung" - Zitat Ende.

Auf "Let's Check" findet sich noch ein Lösungsversuch von Deep Rybka 4.1x64, der nach zwei richtigen Halbzügen mit 2. axb8D fortsetzt und trotzdem ein #8 anzeigt. Nach Ansicht meiner Engines geht dann Weiß matt, nämlich #-11.

In einem Einzelfall ertappte ich Critter 1.6a auch einmal bei einer nicht ganz so schlimmen Lüge, er gab ein kurzzügigeres Matt als die anderen an, konnte es dann aber doch nicht realisieren.

Grüße
Roland
 

Parent - - By P. Otto Date 2013-06-18 13:28
gradezu lächerlich , die Qualität eines Schachspiels an der Qualität von ENGINES messen zu wollen:
wie das z.B. hier versucht wird...
http://chess-db.com/public/research/bratkoguid.html
P.O.
Parent - - By Michael Scheidl Date 2013-06-18 14:12 Edited 2013-06-18 14:17
http://chess-db.com/public/research/bratkoguid.html

Es ist klar daß man eine solche Analyse eines Spielers nicht auf eine einzige oder wenige, sondern auf möglichst viele Partien stützen muß. Aber dann hat die Methode schon Sinn, umso mehr mit den intelligenten Verfeinerungen die unter obigem Link beschrieben sind. Das Resultat wird umso treffenders ein je besser die Engine und je höher die Rechentiefe ist (letzteres natürlich eine Frage der Gesamtkapazität bzw. der zur Verfügung stehenden Rechenzeit).

Mir sind nicht die Resultate von Guid/Bratko bekannt, aber andere die nach demselben Schema ermittelt werden sollten. Leider ist das Projekt, das vor einigen Jahren im Forum von Chessninja.com entwickelt wurde, eingeschlafen. Doch die Zwischenergebnisse von der Auswertung historischen Partienmaterials bestätigten die Methode durchaus.

Bis vor einiger Zeit war die Annahme sicherlich plausibel, daß diese Methode vor allem die taktische Genauigkeit mißt. Doch es gab großen Fortschritt. Schon vor mehreren Jahren meinte ein Schachprogrammierer und erfolgreicher Fernschachspieler im CCC, daß Engines positionell auf dem Niveau von IMs wären. Ob das eine Überschätzung war darüber konnte man streiten, jedenfalls ist das seither noch besser geworden.

Das Positionsgefühl ist eine (wunderbare!) menschliche Näherungslösung, als Ersatz für sehr tiefe Berechnungen. Ich denke, bei Engines ist das umgekehrt aber das Resultat ist im Idealfall dasselbe.

P.S. Interessant wäre zu untersuchen, auf welchem Niveau allein schon die statische Bewertung ruhiger(!) Positionen durch Topengines, also ohne jede Suche, ist. Doch die objektive Beurteilung eines solchen Vergleichs ist schwierig...
Parent - - By P. Otto Date 2013-06-18 17:08
[quote="Michael Scheidl"]
Das Resultat wird umso treffenders ein je besser die Engine und je höher die Rechentiefe ist (letzteres natürlich eine Frage der Gesamtkapazität bzw. der zur Verfügung stehenden Rechenzeit).
[/quote]

Jedenfalls solange wie es noch keine 32-Steiner Tablebase gibt,
sind die Resultate solcher Bewertungen irreführend und falsch.
Sollten deshalb besser unterlassen werden.
P.O.

PS.
Eine Fehlerabschätzung der Ergebnisse finde ich auf der benannten der WEB-Seite auch nirgendwo.
Ist also völlig unseriös. (Sollte auf die rote Liste betrügerischer WEB-Seiten gesetzt werden.)

Parent - - By Thomas Müller Date 2013-06-18 17:40
einfach mal bissl besser hinschauen auf der seite....schauen...und dann vielleicht was sinnvolles posten.
http://chess-db.com/public/index.jsp

manchmal stell ich mir echt fragen ?!
Parent - By Roland Riener Date 2013-06-18 19:37
Danke Thomas, tiefgründige, mir bisher unbekannte Datenbank.
Parent - By P. Otto Date 2013-06-19 05:10
Prima Datenbank mit Spielen.
Die war aber nicht gemeint.
Es ging um diese merkwürdige Seite mit dem
Quality-Index. Nachdem hier angemerkt wurde,
das Schachprogramme häufig falsch bewerten
kann diese Quality-Index Berechnung doch nicht richtig sein.
Aber nichts für ungut.
P.O.
Parent - By Benno Hartwig Date 2013-06-19 13:39 Edited 2013-06-19 13:42
[quote="P. Otto"]gradezu lächerlich , die Qualität eines Schachspiels an der Qualität von ENGINES messen zu wollen:[/quote]Quark mag das sein.
Aber interessant finde ich doch, was dabei ggf. herauskommt.
- Wie sehr korrelliert diese Einschätzung mit den tatsächlichen ELO-Werten?
- Welche Spieler haben besonders viele Übereinstimmungen mit der Engine?
- Und welche Spieler gewinnen ihre Spielstärke trotz oder wegen sehr häufiger anderer Züge?
- Und anders herum: welche Engines zeigen mehr Ähnlichkeit zu den Spielern als andere?

Interessant fänd ich darüber hinaus:
- Welche Spieler sind erfolgreich auch in solchen Partien, in denen sie Züge wählten, die die Engine als recht deutlich nachteilig(!) angesehen hat?(!)

Vermutlich ist nur der Name "Chess Play Quality Index" bescheuert gewählt.
"Chess Engine-human Similarity Index" könnte passen, und den einen oder anderen Interessierten finden.

Benno
Up Topic Hauptforen / CSS-Forum / Engine-Test (unwissenschaftlich) 2

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill