Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Testsuite Motor-Fehler
- - By Guenter Stertenbrink Date 2017-03-31 19:26 Edited 2017-03-31 19:58
Testsuite Motor-Fehler

nimm einfach die Positionen, da wo beide Bewertung im naechsten Zug um mindestens
30 Zenti-Bauern sinken.

FCP449 , beide Motoren >2900 Elo

Beim Test sollte tunlichst der am Ende der "fen" angegeben Zug (=Fehler) vermieden werden,
wird es als Loesung interpretiert, sollte man also moeglichst wenige Punkte haben.

4664 fens, noch in der Arbeit, wird hochgeladen zu
http://magictour.free.fr/FCP449.FEN

bei einigen der fens handelt es sich wohl nicht um Fehler, sondern einfach um Erkenntnis,
dass die Stellung schlechter ist als zuerst gedacht. Die muessen evtl. noch aussortiert werden ...

4664 sind eh zu viele ...
Parent - - By Michael Scheidl Date 2017-04-01 02:34
Zitat:
http://magictour.free.fr/FCP449.FEN

Das scheint sich nicht um ein standardkonformes Format zu handeln. Insbesondere sollten zu vermeidende Z├╝ge (avoid move) mit dem Tag am versehen sein, z.B.

2kr3r/ppp3pp/2pbbn2/4N3/3Pp3/2P3Pq/PP1NQP1P/R1B2RK1 w - - am Nxe4; id Quick-09;

Von welchem Programm stammt ein Output wie

3r2k1/1q2bp2/p5p1/3PQ2p/1pN4P/1P1R2P1/5PK1/8 b ---- -- 20 42,55,85, 3052 , 2993 , 94 , 61 , 131 , 106 ,Rd7

Parent - By Guenter Stertenbrink Date 2017-04-01 05:36 Edited 2017-04-01 05:40
danke, "am" davorzusetzen ist einfach, kann leicht geaendert werden.
Kann die UCI dann daraus noch ein sinnvolles score machen ?

Ich dachte einfach, man nimmt die normale Loesungszahl und dann aber : je weniger, je besser.

Es sind jetzt 5356 FENs geworden und die letzten ca. 1000 Fehlen, weil da bei
Partien ab ~290000 von 312550 irgendwelche Fehler sind

Eintraege pro Zeile sind :

-------------------------------

die 6 Felder der FEN , durch Leerzeichen getrennt

Partie - Nummer  (im FCP-PGN )
Halbzug - Nummer
Elo-Weiss
Elo-Schwarz
letzte Bewertung des Gegners
aktuelle eigene Bewertung (des fehlerhaften Zugs)
Bewertung des Gegners bei (nach) seinem folgenden Zug
eigene Bewertung beim (nach dem) naechstem Zug
fehlerhafter Zug in Kurznotation
fehlerhafter Zug in Langnotation

------------------------------------------

die letzteren durch Kommata getrennt, das sollte die Abarbeitung nicht stoeren (?)

stockfish8 bench 32 1 16 FCP449.FEN >c:\ll

ergibt  ... und dauert ...
Parent - By Guenter Stertenbrink Date 2017-04-08 09:44 Edited 2017-04-08 10:31
ich habe jetzt 766 Teststellungen herausgefiltert und das Format leicht geaendert,
sodass Shredder es vermutlich auch verarbeiten kann.

http://magictour.free.fr/FCP766.fen

diese 766 wurden von 1-2 von 3 der letzten asmfish "geloest".

gedacht fuers Stockfish/asmfish Tests mit 50-100 Megaknoten je Position
(30s auf meinen Tablets, 5s bei 10000kn/s in der Startstellung),
sollte aber entsprechend auch fuer andere Motoren=engines gut sein

766 kritische Stellungen aus FCP-Partien, wo ein Engine einen Zug machte
der bei beiden Spielern dessen Bewertung anschliessend um mindestens 0.30 fallen laesst.
Und 1-2 von 3 asmfishs machten den (Fehler?) ebenfalls

Ein Testlauf sollte etwa 6-7 Stunden auf einem Tablet dauern

----------------------------------

update fuer Testlaeufe mit allen 5356 Positionen :
http://magictour.free.fr/FCP449.FEN

results update:

stockfish 8 , depth 13-20 :

d13:1642
d14:1655
d15:1676
d16:1650
d17:1625
d18:1542
d19:1463
d20:1399
d21:

1s per position, (~500kn/s SF8 startposition)
fcpt5356.bat | engine.exe > c:\ll
all windows 32bit

houdini 5 : 1756
komodo10 :1760
stockfish 8 : 1692
critter 1.6a : 1835
andscacs 08832n : doesn't work
texel 1.06 : 1746
zuri : doesn't work
naum 4.6 : 1800
stock7 : 1766
stock6 : 1867
stock3 :
stock4 :
jonny 4.00 : doesn't work correctly
sfmar18 :
stock2 :
fruitr : doesn't work
jellyfish : doesn't work

[while other programs were running in background]

1s,tolino,1 thread, asmfish Mar06 = 1720,1682
1s,tolino,4 threads, asmfish Mar06 =

5s,tolino,4 threads, (1700kn/s in the startposition)

5s,tolino,4 threads, asmfish Oct04 =
5s,tolino,4 threads, asmfish Nov04 =
5s,tolino,4 threads, asmfish Dec07 = (error: unknown command wait)
5s,tolino,4 threads, asmfish Jan06 = (error: unknown command wait)
5s,tolino,4 threads, asmfish Feb06 = 1320
5s,tolino,4 threads, asmfish Mar06 = 1313

30s,tolino,4threads,asmfish Feb06 = 0875
30s,tolino,4 threads,asmfish Mar06 = 0870
30s,tolino,4 threads,asmfish Mar28 = 0859 (516 by all 3)
30s,tolino,4threads,asmfish Apr06 =

30s:4074,158,171,94,147,102,94,516
Up Topic Hauptforen / CSS-Forum / Testsuite Motor-Fehler

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill