Blitzartige Fehlervermeidung 2014

By Michael Scheidl Date 2014-10-21 17:50

Der SwissTest von Walter Eigenmann (2008) ist ein sog. "Avoid Move-Test", es gilt also verführerische Fehlzüge zu vermeiden:

http://glareanverlag.wordpress.com/2008/08/08/

Viele der Positionen stammen aus alten Computerpartien, wo eine Engine so einen Fehler beging welcher "tiefschürfend" ausgenutzt werden kann. 2008/2009 galt der Test als ziemlich schwierig. Bei einer Durchführung damals scorte Robbolito 0.085 mit 55/64 Lösungen am besten, vor diversen Rybkas. Das war mit der vorgesehen Bedenkzeit von einer Minute pro Stellung. Nun schreiben wir 2014, und ich habe stattdessen 2 Sekunden/Pos. eingestellt

(weniger ist in Fritz gar nicht einstellbar). Mal sehen:

2 Sek./Pos., Extra Plies: 2
i5-3210M 2,5...2,9 GHz
512 MB Hash, Singlecore
diverse Endspieltables
DF13-GUI, Windows 8 x64

#  Engine                N Lös.
-------------------------------
1   Stockfish 15.10.       49
1   Gull 3                 49
3   Syzfish 15.10.         47
4   Critter 1.6a           46
5   Rybka 232a             44
6   Komodo 5.1r2           43
6   Houdini 1.5a           43
-------------------------------
8   Senpai 1.0             36
9   Texel 1.04             35
10  Spark 1.0              34 
-------------------------------

Somit sind besonders gute Engines anno 2014 schon im schnellen Blitz immun gegen rund zwei Drittel dieser Verlockungungen. Nur zwei Sekunden... 2009 hat eine solche Fehlervermeidungsleistung sozusagen, nur etwa ein Dutzend Engines bei je einer Minute geschafft (wenn man nur eine Engine pro Serie zählt). Eine schöne Illustration des Leistungsfortschrittes wie ich finde.

By Peter Martan Date 2014-10-21 18:21

Bemerkenswert!
Auch, dass Rybka 2.32a hier immer noch so gut mithält.

By Heiko Bruns Date 2014-10-22 01:21

Hallo Michael,

bei 2 sec/Zug bekomme ich eine sehr breite Streuung der Ergebnisse.

In10 Durchgängen erreichte Komodo8 Ergebnisse von 44 bis 55 gelöste Aufgaben.

Verlängere ich die Zeit auf 5 sec ist es immer noch +- 2 bis 3.

Alles mit deinen Einstellungen und vor jedem Start den Hash geleert.

Gruß Heiko

By Michael Scheidl Date 2014-10-22 02:18

Zitat:

(...) sehr breite Streuung der Ergebnisse.

Das habe ich befürchtet, aber nicht in diesem Ausmaß

Nun habe ich den Durchlauf mit Syzfish wiederholt: 46 statt 47 Lösungen. Mir sind solche Nicht-Reproduzierbarkeiten bei Singlecore-Tests ein Rätsel. Auf nichts ist mehr Verlaß!

Aber ich wiederhole trotzdem nichts; damit werden die Engines leben müssen...

By Johannes Kersting Date 2014-10-21 22:27

Hallo,

ich habe einige Aufgaben mit verschiedenen Engines durchgespielt.
Teilweise werden die Lösungen im unteren Suchbaum rasch angezeigt, dann zeigen die Programme aber andere(bessere?) Lösungen.
Kann es sein, dass die vom Ewiss-Test geforderten Lösungen nicht immer die besten sind?

Beste Grüße
Johannes

By Chess Player Date 2014-10-21 22:59

Hier sind konkrete Beispiele gefragt, sonst machts keinen Sinn.

By Michael Scheidl Date 2014-10-21 23:37 Edited 2014-10-21 23:51

Die angegebenen (ersten) Züge sind ja nicht die Lösungen, sondern die Fehler die vermieden werden sollen...

By Johannes Kersting Date 2014-10-22 10:28

Vielen Dank für den Hinweis.
Hatte ich leider nicht richtig interpretiert!

Gruß Johannse

By Michael Scheidl Date 2014-10-22 15:22

Ja, Avoid-Move-Tests kommen evtl. etwas unerwartet, da die weitaus meisten Teststellungen "einfach" nach dem besten Zug fragen. - Man kann u.U. den einen oder anderen Superknaller auslassen und mit hinreichend gutem Spiel trotzdem gewinnen, sofern man solche Fehler wie im Test vermeiden kann (und der Gegner sie ausnützen kann natürlich). D.h. solide Fehlervermeidung ist für praktische Partien mindestens so wichtig, wenn nicht gar wichtiger als höchst schwierige Bestmoves aufzuspüren. Sind aber ohnehin nur zwei Seiten derselben Medaille...