Neue Ergebnisse im ERET-Stellungstest

By Walter Eigenmann Date 2017-03-25 14:25

.

In der Rangliste des ERET-Stellungstestes sind wieder ein paar Engines hinzugekommen:
https://glarean-magazin.ch/2017/03/05/computerschach-testaufgaben-engines-eigenmann-rapid-engine-test-eret/

Insbesondere war ich gespannt auf den brandneuen Andscacs 0.90, der zwar noch immer keine
EGT-Anbindung hat, aber offenbar gerade im Endspiel leicht zugelegt zu haben scheint.

Beispielsweise bringt er bei mir in der folgenden Stellung den Lösungszug Te8 sofort aufs Tapet...

Stuovsky-Movsesian, EU-Ch 2001 -- ERET Nr.099

... während seine Vorgänger alle in dieser Stellung noch etwas "zuwarten".

Apropos ERET: Ich teste zurzeit an diesen 111 Aufgaben aus, wie sehr die MP-Technik der Engines tatsächlich
Auswirkungen hat auf das Lösungsverhalten bzw. die "Reproduzierbarkeit" von Test-Ergebnissen.
Mal sehen ob Schachprogramme diesbezüglich tatsächlich "Chaoten" sind, oder ob man diese Fluktuationen
eigentlich hinsichtlich Gesamtergebnisse vernachlässigen kann...
Bericht "demnächst in diesem Theater".

Gruss: Walter

.

By Guenter Stertenbrink Date 2017-03-25 15:30

was ist MP-Technik ?

By Walter Eigenmann Date 2017-03-25 16:01

Guenter Stertenbrink schrieb:

was ist MP-Technik ?

Dieses hier:
http://www.glarean-verlag.ch/schach/Eigenmann%20Rapid%20Engine%20Test/Texte/Chaos-System%20Deep%20Engine%20-%20Lars%20Bremer.pdf

.

By Michael Scheidl Date 2017-03-25 16:07

Zitat:

"Der Suchbaum ist ein fragiles Geschöpf."

Das hat er großartig formuliert

Durch Akzeptanz dessen kann man sich manches Kopfzerbrechen ersparen...

By Walter Eigenmann Date 2017-03-25 16:10

Michael Scheidl schrieb:

Zitat:

"Der Suchbaum ist ein fragiles Geschöpf."

Das hat er großartig formuliert

Durch Akzeptanz dessen kann man sich manches Kopfzerbrechen ersparen...

Ja, einverstanden - aber bevor man etwas akzeptiert, muss es hinterfragt werden, und zwar
durch eigenes Kopfzerbrechen...

In diesem Fall: nicht in der Theorie, sondern in der Praxis...

.

By Michael Scheidl Date 2017-03-26 14:14

Sehr richtig; in der normalen Anwenderpraxis (wie ich gerne sage) bekommt eine engine ja nicht siebzehn chancen irgenwas auszurechnen, sondern nur eine. Also ich kibitze live eine Weltmeisterschaft und die engine zeigt mir dieses und jenes.

D.h. bei einer Testsuite wende ich das Prinzip "Schicksal" an: Es gibt einen Durchlauf, und der zählt.

By Walter Eigenmann Date 2017-03-26 14:23 Upvotes 1

Michael Scheidl schrieb:

Sehr richtig; in der normalen Anwenderpraxis (wie ich gerne sage) bekommt eine engine ja nicht siebzehn chancen irgenwas auszurechnen, sondern nur eine. Also ich kibitze live eine Weltmeisterschaft und die engine zeigt mir dieses und jenes.
D.h. bei einer Testsuite wende ich das Prinzip "Schicksal" an: Es gibt einen Durchlauf, und der zählt.

Halte ich genauso: https://glarean-magazin.ch/2017/03/05/computerschach-testaufgaben-engines-eigenmann-rapid-engine-test-eret/

Aber für "Forschungszwecke" kann es interessant sein, diesen ersten "zufälligen" Durchlauf mit dem Durchschnittsergebnis von siebzehn Durchläufen zu vergleichen.
Und wenn dann bei vielen Engines der Apfel jedesmal gar weit vom Stamm fallen sollte, muss ich meine Konzeption als Test-Autor schon überdenken...

Oder aber ich erstelle eine ERET-Rangliste jeweils erst nach 17 Durchläufen (mit den entspr. Durchschnitten), das wäre auch aussagekräftig - aber die
vom ERET intendierte Zeitersparnis wäre dann dahin

Statistisch wasserdicht ist ja beides nicht - aber wen kümmert schon Statistik

By Walter Eigenmann Date 2017-03-25 16:08 Edited 2017-03-25 16:38

Guenter Stertenbrink schrieb:

wenn doch sowieso nur die Loesungszeiten zur Berechnung dienen, warum mach man die Tests
dann nicht so leicht, dass auch jede Engine sie loest ? Eben schneller oder langsamer.

1. Wäre das langweilig

2. Wäre das nicht zukunftsträchtig
3. Würde die Spreu zu wenig vom Weizen getrennt
4. Gibt es nur wenige ERET-Aufgaben, die nicht von irgend einer Engine in 5 Sek. gelöst werden
5. Sind ja nicht je "nur die Lösungszeiten" ausschlaggebend, sondern wenn immer möglich soll
das ELOStatTS-Tool von F. Schubert benützt werden:
http://www.glarean-verlag.ch/schach/EloStatTS104/ELOStatTS%20104.7z
6. Gibt es schon genug "leichte" Stellungstests

Gruss: Walter

.

By Guenter Stertenbrink Date 2017-03-25 18:58

ich hab mal in die EloStats Beschreibung reingeschaut.
Es werden ausschliesslich die Verhaeltnisse der Loesungszeiten zur Berechnung herangezogen.
Bei nicht geloesten Aufgaben wird die Loesungszeit geschaetzt anhand
der Loesungszeiten der anderen Engines.

Moeglichst viele geloeste Aufgaben sollten also gut sein.
Vielleicht kann Frank Schubert das bestaetigen ?!

Ich wuerde also die maximale Zeit je Aufgabe so ansetzen, dass -sagen wir

>90% - geloest werden.

Vielleicht mal die schweren rausnehmen und die Korrelationskoeffizienten
mit den 5 Rating-Listen erneut vergleichen ?