STS Testsuite

By Dieter Esser Date 2010-07-05 19:49

Hi all,

for your information - Top Engines und die Ergebnisse der STS Testsuite.

STS Testing
Intel Q9550 / 4 Core
10s / 64bit
	STS1	STS2	STS3	STS4	STS5	STS6	STS7	STS8	STS9	STS10	Gesamt
IvanHoeB55	98	93	96	91	94	92	92	84	90	94	924
Houdini 1.02	97	92	93	88	93	94	93	85	89	96	920
IvanHoeB63m12c	96	94	93	92	94	91	91	80	91	95	917
Fire 1.31	96	92	87	93	96	92	91	81	86	98	912
Deep Rybka 3	88	90	93	90	94	94	92	86	86	95	908
Deep Rybka 4	94	89	88	94	93	92	93	81	84	90	898
Naum 4.2	96	93	89	90	85	89	87	83	83	83	878
Deep Fritz 12 (32bit)	95	91	93	89	90	88	81	77	74	87	865
Stockfish 1.8	89	85	87	93	84	88	84	78	83	88	859
Stockfish 1.7.1	90	85	85	93	86	86	81	73	84	91	854
Critter 0.70	94	88	85	85	93	83	84	82	72	87	853
Protector 1.35	90	88	78	90	81	80	78	75	74	86	820
Deep Shredder 12	90	78	80	81	83	77	80	75	70	88	802
											0

http://sites.google.com/site/strategictestsuite/

Gruß
Dieter

By Kurt Utzinger Date 2010-07-05 19:57

Hallo Dieter
Sehr schöne Liste der interessanten STS Testsuite. Für mich überraschend
das einigermassen schlechte Abschneiden von Deep Shredder 12. Hast Du
den Test automatisiert? Habe auch schon mit STS gearbeitet, allerdings
mit 3 m pro Zug, so dass es natürlich serh langsam vorwärts geht.
Mfg
Kurt

By Dieter Esser Date 2010-07-05 20:03 Edited 2010-07-05 20:05

Abgewickelt habe ich den Test mit Arena 2.01.

Bis auf Deep Fritz, für den habe ich die EPD in für Fritz lesbare CBH umgewandelt und den Test innerhalb von Chessbase 11 durchgeführt.

Die jeweils aus Arena erzeugte Logfiles bzw deren Ergebnisse habe ich dann in OpenOffice Calc übernommen und daraus dann eine HTML Seite generiert.

Deep Shredder 12 ist auch in Engine/Engine Turnieren schlecht, aber so schlecht nicht.

Gruß
Dieter

By Frank Quisinsky Date 2010-07-05 20:16

Hi,

also ich finde diese Sammlung von Teststellungen richtig gut.
Von allen die ich bislang gesehen habe sind die Endergebnisse sehr realitätsnah wenn ich mit Eng-Eng vergleiche.

Protector schneidet erstaunlich gut ab ...
Das hier und da mal eine Engine besser oder schlechter abschneidet ist bei Test-Suits normal.

Für einen ersten Eindruck ein wirklich ausgezeichneter Test.

Interessante Infos !!

Viele Grüße
Frank

By Thomas Müller Date 2010-07-05 21:05

hab ich auch

http://tomteipel.de/rangliste_sts.html

By Thomas Müller Date 2010-07-05 21:10

Hi Dieter,

schön das sich noch jemand damit beschäftigt!

Hatte auch zuerst mit 4 cpu laufen lassen, aber die ergebnisse schwanken dermaßen, dass ich zuerst mit 1xcpu weiter gemacht habe.
hast du das auchbeobachtet oder immer nur einen durchlauf gemacht?
Das R4 etwas schlechter als R3 abschneidet ist bei mir auch mit 1xcpu. habe nur noch nicht online gestellt.
Mache ich gleich noch

grüße thomas

By Dieter Esser Date 2010-07-05 21:21

jo - mit 4-cpu schwanken die Ergebnis. Ich habe einige mehrmals durchlaufen lassen. Eine Schwankungsbreite von 15 Punkten ist drin. Deswegen ist die Liste ja auch nur eine Anhaltsgröße und kein Absolutwert.

Gruß
Dieter

By Thomas Müller Date 2010-07-05 21:33

ok...
...bei 1xcpu gibt es auch differenzen aber <5, meistens identisch.
mit 4xcpu habe ich auch 17 ergebnisse, aber die lasse ich noch offline. Werde erst diese nach und nach befüllen.
Aber so können wir etwas vergleichen wie es sich mit unterschiedlichen cpu verhält.