Testsuite Motor-Fehler

By Michael Scheidl Date 2017-04-01 02:34

Zitat:

http://magictour.free.fr/FCP449.FEN

Das scheint sich nicht um ein standardkonformes Format zu handeln. Insbesondere sollten zu vermeidende Züge (avoid move) mit dem Tag am versehen sein, z.B.

2kr3r/ppp3pp/2pbbn2/4N3/3Pp3/2P3Pq/PP1NQP1P/R1B2RK1 w - - am Nxe4; id Quick-09;

Von welchem Programm stammt ein Output wie

3r2k1/1q2bp2/p5p1/3PQ2p/1pN4P/1P1R2P1/5PK1/8 b ---- -- 20 42,55,85, 3052 , 2993 , 94 , 61 , 131 , 106 ,Rd7

By Guenter Stertenbrink Date 2017-04-01 05:36 Edited 2017-04-01 05:40

danke, "am" davorzusetzen ist einfach, kann leicht geaendert werden.
Kann die UCI dann daraus noch ein sinnvolles score machen ?

Ich dachte einfach, man nimmt die normale Loesungszahl und dann aber : je weniger, je besser.

Es sind jetzt 5356 FENs geworden und die letzten ca. 1000 Fehlen, weil da bei
Partien ab ~290000 von 312550 irgendwelche Fehler sind

Eintraege pro Zeile sind :

-------------------------------

die 6 Felder der FEN , durch Leerzeichen getrennt

Partie - Nummer (im FCP-PGN )
Halbzug - Nummer
Elo-Weiss
Elo-Schwarz
letzte Bewertung des Gegners
aktuelle eigene Bewertung (des fehlerhaften Zugs)
Bewertung des Gegners bei (nach) seinem folgenden Zug
eigene Bewertung beim (nach dem) naechstem Zug
fehlerhafter Zug in Kurznotation
fehlerhafter Zug in Langnotation

------------------------------------------

die letzteren durch Kommata getrennt, das sollte die Abarbeitung nicht stoeren (?)

stockfish8 bench 32 1 16 FCP449.FEN >c:\ll

ergibt ... und dauert ...

By Guenter Stertenbrink Date 2017-04-08 09:44 Edited 2017-04-08 10:31

ich habe jetzt 766 Teststellungen herausgefiltert und das Format leicht geaendert,
sodass Shredder es vermutlich auch verarbeiten kann.

http://magictour.free.fr/FCP766.fen

diese 766 wurden von 1-2 von 3 der letzten asmfish "geloest".

gedacht fuers Stockfish/asmfish Tests mit 50-100 Megaknoten je Position
(30s auf meinen Tablets, 5s bei 10000kn/s in der Startstellung),
sollte aber entsprechend auch fuer andere Motoren=engines gut sein

766 kritische Stellungen aus FCP-Partien, wo ein Engine einen Zug machte
der bei beiden Spielern dessen Bewertung anschliessend um mindestens 0.30 fallen laesst.
Und 1-2 von 3 asmfishs machten den (Fehler?) ebenfalls

Ein Testlauf sollte etwa 6-7 Stunden auf einem Tablet dauern

----------------------------------

update fuer Testlaeufe mit allen 5356 Positionen :
http://magictour.free.fr/FCP449.FEN

results update:

stockfish 8 , depth 13-20 :

d13:1642
d14:1655
d15:1676
d16:1650
d17:1625
d18:1542
d19:1463
d20:1399
d21:

1s per position, (~500kn/s SF8 startposition)
fcpt5356.bat | engine.exe > c:\ll
all windows 32bit

houdini 5 : 1756
komodo10 :1760
stockfish 8 : 1692
critter 1.6a : 1835
andscacs 08832n : doesn't work
texel 1.06 : 1746
zuri : doesn't work
naum 4.6 : 1800
stock7 : 1766
stock6 : 1867
stock3 :
stock4 :
jonny 4.00 : doesn't work correctly
sfmar18 :
stock2 :
fruitr : doesn't work
jellyfish : doesn't work

[while other programs were running in background]

1s,tolino,1 thread, asmfish Mar06 = 1720,1682
1s,tolino,4 threads, asmfish Mar06 =

5s,tolino,4 threads, (1700kn/s in the startposition)

5s,tolino,4 threads, asmfish Oct04 =
5s,tolino,4 threads, asmfish Nov04 =
5s,tolino,4 threads, asmfish Dec07 = (error: unknown command wait)
5s,tolino,4 threads, asmfish Jan06 = (error: unknown command wait)
5s,tolino,4 threads, asmfish Feb06 = 1320
5s,tolino,4 threads, asmfish Mar06 = 1313

30s,tolino,4threads,asmfish Feb06 = 0875
30s,tolino,4 threads,asmfish Mar06 = 0870
30s,tolino,4 threads,asmfish Mar28 = 0859 (516 by all 3)
30s,tolino,4threads,asmfish Apr06 =

30s:4074,158,171,94,147,102,94,516