Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Der SwissTest in der Praxis
- - By Walter Eigenmann Date 2008-08-21 09:40
.

Der SwissTest in der Praxis

Inzwischen hat Manfred Meiler 46 alte und neue SP- und MP-Engines
über den je rund einstündigen SwissTest4-Parcours geschickt.

Seine dabei generierte Rangliste weist eine (auch für mich verblüffend)
hohe Übereinstimmung mit den einschlägigen Turnier-Ranglisten wie z.B.
CEGT oder CCRL auf. Jedenfalls ein weiteres Indiz dafür, dass sich
(entgegen der landläufigen Meinung) mit sauber komponierten Stellungstests
sehr wohl die ungefähre Stärke-Plazierung eines Schachprogrammes
eruieren lassen. -

BTW: Wer Bedenken betr. "Zufällige Resultate von MP-Engines" hat, kann das
entsp. Experiment problemlos selber durchführen, indem er ein fragliches
MP-Programm einfach sieben oder neun Mal durch den SwissTest jagt und dabei
jeweils den "Mittelwert" der einzelnen Aufgaben hernimmt (z.B. 6x gelöst und
3x nicht-gelöst = gelöst). Ich gehe allerdings davon aus, dass dadurch die
nachstehende Rangliste nicht wesentlich verändert würde, man sich mithin
diesen Aufwand wohl schenken kann.
Denn das "Urgesetz" des besseren Schachspiels bleibt auch im Computerschach bestehen:
Gut portierte MP-Engines gewinnen immer mehr Partien als ihre SP-Pendants,
finden also die "richtigen" Züge häufiger bzw. schneller. Nur logisch, dass sich das
in jeder sauber erstellten Testumgebung ebenfalls niederschlagen muss.
(Dass dabei durchaus auch "Ausreisser" vorkommen, zeigen u.a. sogar
so "anerkannt-objektive" Ranglisten wie CEGT und CCRL, die teils
haarsträubend nicht gleicher Meinung sind über einzelne Programme...) -

Manfred wird weitere Engines auf den ST schicken.

Inzwischen hat er auch eine detaillierte Excel-Datei generiert,
die man ebenfalls auf der entsprechenden Homepage downloaden kann:
http://glareanverlag.wordpress.com/2008/08/08/64-schach-verfuehrungen/

Gruss: Walter

Code:
     Programm                           Lösungen

001. Rybka 3 (2CPU)                     52
002. Rybka 3 (1CPU)                     51
003. Rybka 2.3.2a (1CPU)                49
004. Zappa Mexiko II (2CPU)             46
005. Rybka 2.2n2 (2CPU)                 44
006. Fritz 11 (1CPU)                    43
     Loop 12.32 (2CPU)                  43
     Zappa Mexiko II (1CPU)             43
009. Hiarcs 11.2 (1CPU)                 42
     Frenzee Feb08 (1CPU)               42
011. Shredder 11 (1CPU)                 41
     Fruit 05/11/03 (1CPU)              41
     Rybka WinFinder 2.2 (2CPU)         41
014. Bright 0.3a (2CPU)                 40
     Toga II 1.3.1 (1CPU)               40
016. Glaurung 2.1 (2CPU)                39
017. Fritz 10 (1CPU)                    38
018. Loop 12.32 (1CPU)                  37
019. Spike 1.2 Turin (1CPU)             36
     Twisted Logic 20080620 (1CPU)      36
     ProDeo 1.6 (1CPU)                  36
022. Naum 2.0 (1CPU)                    35
023. Chessmaster 11000 (2CPU)           34
     Scorpio 2.0                        34
     Delfi 5.4 (1CPU)                   34
026. SOS 5.1 (1CPU)                     33
027. The Baron 2.23 (1CPU)              32
028. Ruffian 2.1.0 (1CPU)               31
     Crafty 22.01 (2CPU)                31
     Gandalf 6.0 (1CPU)                 31
     Alaric 707 (1CPU)                  31
032. LittleGoliath Evolution (1CPU)     30
     Comet B68 (1CPU)                   30
034. Colossus 2007d (1CPU)              29
     Pharaon 3.5.1 (2CPU)               29
036. SlowChess Blitz WV2.1              28
     Yace 0.99.87 (1CPU)                28
     Quark 2.35 (1CPU)                  28
039. Anaconda 2.0.1 (1CPU)              27
     Aristarch 4.50 (1CPU)              27
     Jonny 2.83 (1CPU)                  27
042. Nimzo 8.0 (1CPU)                   26
043. ChessTiger 15 normal (1CPU)        25
044. BamBam (1CPU)                      23
045. AnMon 5.60 (1CPU)                  21
     Doctor? 3.0 (1CPU)                 21

(Stand: 21. August 2008)

- Hardware: Intel Core2Duo 6400 mit 2,13GHz und 2 GB RAM
- OS:       Windows Vista Home 32-Bit (mit SP1)
- GUI:      Fritz11 bzw. CB-Rybka3 mit der Funktion "Testsuite lösen",
            60 Sekunden je Aufgabe (ExtraPly=99)
- Engines:  128 MB Hash und Zugriff auf die 5-Steiner-TableBases
            (Shredder auch auf die 5men-ShredderBases)

.
Parent - - By Roland Rösler Date 2008-08-21 10:10
BTW: Wer Bedenken betr. "Zufällige Resultate von MP-Engines" hat, kann das entsp. Experiment problemlos selber durchführen

Ich habe den Test für Rybka 3 (2CPU w32) mit geringfüg schlechterer HW (2,0 GHz) dürchgeführt und bin auf 54 gelöste Aufgaben gekommen. Aber ein Durchlauf reicht mir hier auch vollkommen .
Parent - - By Walter Eigenmann Date 2008-08-21 10:37
...

>Aber ein Durchlauf reicht mir hier auch vollkommen

Du bist zu faul:

a) Wenn schon mehr als ein Durchlauf, dann bitte mind. 5 (besser 7 oder 9 oder noch mehr)

b) Wenn schon Vergleichsdurchgänge, dann bitte nicht nur 1 Engine, sondern mehrere der "nächsten Umgebung"

Also: Wenn schon Statements zu Stellungstests, dann bitte mit Facts...

Gruss: Walter

Schach im "Glarean Magazin":
http://glareanverlag.wordpress.com/tag/schach/

.
Parent - - By Roland Rösler Date 2008-08-23 00:25
Okay, dann also Facts!

Ich habe den SwissTest4 auch mit Rybka 3 1-cpu durchgeführt. Lösungen 48 unter F11 GUI.
Dann habe ich im Rybkaforum gelesen, dass R3 unter der neuen Rybka-GUI (CB) deutlich langsamer sei. Habe das mal testen wollen und mir dazu den SwissTest4 hergenommen, da ich hier ja Vergleichszahlen hatte. Ich konnte erkennen, das die Lösungszeiten teilweise deutlich unterschiedlich waren (mal langsamer, mal schneller) und auch auf unterschiedlichen Tiefen gefunden wurden (wir sprechen von der 1-cpu Version!).
Um es kuurz zu machen: R3 1-cpu w32 löst bei mir unter der Rybka GUI unter "Testsuite lösen" 54 Aufgaben!! (bei sonst gleichen Bedingungen). Die Lösungszeiten sind reproduzierbar!

Fazit: Bei Testsuites muss man ab jetzt auch die GUI angeben, da die Unterschiede doch sehr erheblich sind!

Gruss Roland

PS: Ich wäre dankbar, wenn jemand den Test mit den beiden GUI wiederholen könnte. Man weis ja nie ...
Parent - By Walter Eigenmann Date 2008-08-23 11:34
[quote="Roland Rösler"]
Okay, dann also Facts!
Ich habe den SwissTest4 auch mit Rybka 3 1-cpu durchgeführt. Lösungen 48 unter F11 GUI.
Dann habe ich im Rybkaforum gelesen, dass R3 unter der neuen Rybka-GUI (CB) deutlich langsamer sei. Habe das mal testen wollen und mir dazu den SwissTest4 hergenommen, da ich hier ja Vergleichszahlen hatte. Ich konnte erkennen, das die Lösungszeiten teilweise deutlich unterschiedlich waren (mal langsamer, mal schneller) und auch auf unterschiedlichen Tiefen gefunden wurden (wir sprechen von der 1-cpu Version!).
Um es kuurz zu machen: R3 1-cpu w32 löst bei mir unter der Rybka GUI unter "Testsuite lösen" 54 Aufgaben!! (bei sonst gleichen Bedingungen). Die Lösungszeiten sind reproduzierbar!
[/quote]

Merci für deine Testarbeit!

Aber - mit "Facts" meinte ich nicht die simplen Lösungs-Zahlen (die ja schnell mal
hier reingeworfen sind... bzw. eh auf jedem Rechner wieder leicht anders), sondern:

a) Welche Stellungen genau wurden denn mal gelöst, mal nicht gelöst? Diesbezüglich wäre deine
entspr. cbh-Datei aufschlussreich... (inkl. Angabe z.B. des Fritz-Benchmarks)

BTW: Zum Vergleichen (abzgl. Hardware-Unterschiede...) Manfred Meilers detaillierte Zeiten hier:
Excel-Datei zum Downloaden: [http://glareanverlag.wordpress.com/2008/08/08/64-schach-verfuehrungen/]

b) Wie sieht's bei dir denn bei einigen anderen Engines aus; womöglich stimmen die Relationen dann
doch wieder zwischen den Programmen!? (Denn das ist unterm Strich mein "Anliegen")

[quote="Roland Rösler"]
Fazit: Bei Testsuites muss man ab jetzt auch die GUI angeben, da die Unterschiede doch sehr erheblich sind!
[/quote]

Selbstverständlich. Aber wie gesagt: Eine Engine reicht natürlich nicht, um die Relationen herzustellen.
BTW: Für (die meisten) UCI-Programme empfehle ich das "Arena"-Interface; aus mir unerfindlichen Gründen
hat es bezüglich Performance die Nase noch vor den CB-GUIs, wie ich bei zahlreichen Stichproben
feststellen musste. Allerdings stehen umfangreiche entspr. Vergleichsexemperimente (leider) noch aus -
wäre wirklich auch mal ne interessante Test-Arbeit (Arena vs. Fritz11 vs. Aquarium vs. ChessAssistant)...

[quote="Roland Rösler"]
PS: Ich wäre dankbar, wenn jemand den Test mit den beiden GUI wiederholen könnte. Man weis ja nie ...
[/quote]

Vielleicht lässt sich Manfred Meiler mal zu entspr. Vergleichtests überreden (obwohl der frühere
Moderator dieses Forums ja leider nur noch in Ausnahmenfällen mit Computerschach befasst ist )-:

Gruss: Walter
Parent - - By Axel Caro Date 2008-08-23 15:36
Hallo Roland,

gib mir doch bitte einmal ein wenig Schützenhilfe, wo ich in der Rybka-GUI "Testsuite lösen" finde, dann würde ich auf meinem PC einen Vergleichstest mit dem Swisstest 4 laufen lassen. Ich hatte seinerzeit im Rybka-Forum nachgefragt und einen ziemlich umständlichen Workaround mit dem EPD-Prozessor erläutert bekommen.

Danke und Gruß
Axel
Parent - - By Roland Rösler Date 2008-08-23 15:41
Extras -> Analyse -> Testsuite lösen ...
Parent - - By Axel Caro Date 2008-08-23 16:03
> Extras -> Analyse -> Testsuite lösen ...

Das ist die "Anleitung" für die Chessbase Fritz-GUI - die kenne ich auch. Ich meinte die RYBKA-GUI von Convekta (Aquarium). Da gibt es leider weder "Extras" noch "Testsuite lösen"...

Wenn der Tip hier ebenos kurz und hilfreich wäre, würde ich mich gleichermaßen überrascht wie erfreut zeigen.
Parent - By Roland Rösler Date 2008-08-23 16:21
Hatte mich schon gewundert über die Frage!
Mit Aquarium beschäftige ich mich erst, wenn die Version wirklich fertig ist!
Parent - - By Ernest Bonnem Date 2008-08-23 18:02
[quote="Roland Rösler"]
Okay, dann also Facts!
Ich habe den SwissTest4 auch mit Rybka 3 1-cpu durchgeführt. [/quote]
Hallo Roland,
Wegen Sampled Search bekommt man in Infinite Analysis nicht dasselbe (obwohl 1-cpu, selben hash) mit Rybka 3 auf Aquarium, mit ChessBase-Rybka GUIs und mit den üblichen UCI GUIs (ShredderClassic, Fritz8/9 GUIs).
Sogar Aquarium und ChessBase-Rybka GUIS (also beide mit Sampled search) geben nicht dasselbe!...
Parent - - By Roland Rösler Date 2008-08-23 19:35
Und genau das verstehe icht nicht!

Was is denn nun die "abtastende Suche" (Sampled Search)? Inwieweit kann denn die GUI hier die Suche der Engine beeinflussen? Die Suche wird doch noch immer von der Engine gemacht und wenn uns die GUI jetzt mehr davon anzeigt, kann das doch nicht die Suche der Engine beeinflussen!? Oder liege ich da falsch? Immerhin sind bei R3 1-cpu trotz Sampled Search die Analyseergebnisse und Zeiten immer reproduzierbar.

Wer klärt mich auf?

Gruss Roland
Parent - By Ernest Bonnem Date 2008-08-24 13:54
[quote="Roland Rösler"]Und genau das verstehe icht nicht!
[/quote]
Im Rybka Forum hat Vasik gesagt:
The sampled search does impact the search tree, but in a negligible way. A few tables are updated during the construction of the search samples, and these tables are used during the rest of the search. The updates will neither improve nor deteriorate the quality of the search.

Deshalb bekommt man nicht dasselbe ohne oder mit Sampled Search. Aber im jeden Fall ist jedes mit 1-cpu reproduzierbar.

Nur weiß ich nicht warum (mit Sampled Search), 1-cpu, selben hash, man nicht dasselbe kriegt in Aquarium und ChessBase-Rybka GUIs...
Parent - - By Egbert Rapp Date 2008-08-23 13:23
Hallo Walter,

hast Du Deine hochinteressante Testreihe B-E-T intern weitergeführt? Ich bedaure, dass es hierzu nichts mehr zu lesen gibt.

Gruß
Egbert
Parent - - By Walter Eigenmann Date 2008-08-23 17:19
[quote="Egbert Rapp"]
Hallo Walter,

hast Du Deine hochinteressante Testreihe B-E-T intern weitergeführt? Ich bedaure, dass es hierzu nichts mehr zu lesen gibt.

Gruß
Egbert
[/quote]

Merci der Nachfrage.
Zurzeit und vorläufig brauche ich den Dual für ein anderes Compi-Schach-Projekt,
aber der BET ist bloss auf Eis gelegt, keineswegs abgesoffen

Allerdings: Auf 1 BET-Interessierten kommen hier ca. 50 Desinteressierte -
also was soll's

Gruss: Walter

Der B-E-T:
http://glareanverlag.wordpress.com/2008/05/14/neues-test-verfahren-fuer-schach-programme-b-e-t/

.
Parent - By Frank Rahde Date 2008-08-23 17:58
Du hast aber auch keine Peilung, Walter

Ich bin schon Nummer Zwei.

Gruß, Frank
Parent - By Axel Caro Date 2008-08-23 19:03
*** STOP *** BET interest-factor increasing from 1/50 to 1.25/50 *** STOP ***
Parent - - By Egbert Rapp Date 2008-08-23 19:06
Ich glaube Du unterschätzt die Anzahl derer, die sich für Deinen Test wirklich interessieren. Es gibt außer mir und Frank sicher noch eine ganze Reihe weiterer "passiver Leser" die sehr an neuen Ergebnissen interessiert sind. Wie würde wohl ein Rybka 3 abschneiden? In der Hoffnung diesbezüglich bald wieder von Dir zu hören...

Gruß
Egbert 
Parent - - By Horst Wandersleben (CSS-Forum) Date 2008-08-23 19:37
Hallo Egbert,
beachtest du bitte folgenden hinweis: http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=318#pid318
Viele grüße Horst
Parent - By Egbert Rapp Date 2008-08-23 20:01
Hallo Horst,

Danke für den Hinweis.

Gruß
Egbert
Parent - - By Roland Rösler Date 2008-08-23 19:41
Auf 1 BET-Interessierten kommen hier ca. 50 Desinteressierte

So kann man das nicht sagen! Ich wäre an dem Test schon interessiert, aber halt nicht (nur) an den Ergebnissen, sondern an den Aufgaben. Die Ergebnisse produzier ich mir schon selber.

Gruss Roland
Parent - By Klaus S. Date 2008-08-23 19:51
Ganz meine Meinung, so sehe ich das auch!!

mfg
Wilfried
Parent - - By Axel Caro Date 2008-08-24 20:20
Hallo Walter,

ich hatte die Diskussion zum BET im hiesigen (alten) Forum seinerzeit mit Interesse, aber auch mit einiger Verwunderung verfolgt. Meiner Meinung nach gibt es (nicht nur national) kaum einen Zweiten, der das weite Feld des Computerschachs regelmäßig mit außerordentlich soliden, qualitativ hochwertigen, innovativen und interessanten Beiträgen bereichert.

Anstatt die Arbeit und die Leidenschaft, die dahinter steht, zu würdigen, hielt man sich vorwiegend damit auf, Deinen zurückhaltenden Umgang mit einer schnellen Datenfreigabe zu bekritteln. Die freie Verfügbarkeit des BET wäre sicherlich ein schönes Geschenk an die internationale Computerschachgemeinde, aber wie das mit Geschenken so ist: einen Anspruch auf sie hat man (glücklicherweise) nicht.

"Der brilliante Schachzug" verfolgt ja nun wieder eine ganz entgegengesetzte Zielrichtung im Vergleich zum BET. Kein Massengeschäft (mit Klasse), sondern Konzentration auf einelne Glanzstücke: Sehr schön!

In diesem Sinne - "go on!"

Ich bin mir sicher, da sind mehr als die "happy few", die sich auf weitere anregende Beiträge von Dir freuen.

Mit besten Grüßen
Axel

Parent - - By Walter Eigenmann Date 2008-08-24 21:02
Merci beaucoup für das motivierende Feedback.

Die Stellungen der neuen Reihe "Der brillante Zug"
stammen übrigens ausnahmslos aus dem B-E-T;
Wer sie also lückenlos goutiert, kriegt so nach und nach
einen ansehnlichen Teil des B-E-T zusammen...

Gruss: Walter
Parent - By Axel Caro Date 2008-08-24 21:39
Plagiat!! Aber das hat ja schon der alte J. S. Bach getan. - bei sich selbst "geklaut"..

Wenn Du jede Woche einen "brillianten Zug" zum Besten gibst, dann haben wir ja noch Jahre etwas davon...

Gruß
Axel
Parent - - By Axel Caro Date 2008-08-25 13:11
By the way: Ich hatte Dir vor etwa zwei Wochen eine Mail zugesandt (glarean.verlag@gmail.com) mit einer Anfrage nach Partiematerial Rybka2 vs. menschliche Spieler. Ist diese bei Dir angekommen? Walter Kaufmann sucht Partien für Vadim Milov, der sich auf sein Match gegen Rybka im September vorbereiten möchte. Vielleicht hast Du ja auch zufällig schon Partien der Rybka 3 Version?

http://www.rybkaforum.net/cgi-bin/rybkaforum/topic_show.pl?tid=5861

Ich hatte Kaufmann auf Deine Comp2007 hingewiesen und angeregt Kontakt herzustellen:

http://www.rybkaforum.net/cgi-bin/rybkaforum/topic_show.pl?pid=90386;hl=

Ist da was draus geworden?

Gruß
Axel
Parent - By Walter Eigenmann Date 2008-08-25 13:24
[quote="Axel Caro"]
By the way: Ich hatte Dir vor etwa zwei Wochen eine Mail zugesandt (glarean.verlag@gmail.com) mit einer Anfrage nach Partiematerial Rybka2 vs. menschliche Spieler. Ist diese bei Dir angekommen? Walter Kaufmann sucht Partien für Vadim Milov, der sich auf sein Match gegen Rybka im September vorbereiten möchte. Vielleicht hast Du ja auch zufällig schon Partien der Rybka 3 Version?

http://www.rybkaforum.net/cgi-bin/rybkaforum/topic_show.pl?tid=5861

Ich hatte Kaufmann auf Deine Comp2007 hingewiesen und angeregt Kontakt herzustellen:

http://www.rybkaforum.net/cgi-bin/rybkaforum/topic_show.pl?pid=90386;hl=

Ist da was draus geworden?

Gruß
Axel
[/quote]

Bei mir hat sich kein Walter Kaufmann gemeldet.

Gruss: Walter

Die COMP2007: http://glareanverlag.wordpress.com/2007/10/05/676000-computer-schachpartien/

.
Parent - - By Roland Rösler Date 2008-08-26 04:04
Walter Kaufmann ...

Ist das die korrekte deutsche Übersetzung des Namens Lawrence (Larry) Charles Kaufman?
Parent - By Axel Caro Date 2008-08-26 09:06
Ups, da ist in meinen grauen Zellen wohl etwas leicht durcheinander geraten:

- Walter Kaufmann ein deutsch-amerikanischer Schriftsteller/Philosoph, von dem ich grad was gelesen hatte...

- Larry/Lawrence Kaufmann ("Fisch-Züchter")...

...und dann ist der Adressat auch noch ein "Walter"...

Also: Lawrence bleibt Larry!

(Hätte mich auch gewundert, wenn Walter Kaufmann Kontakt mit Walter Eigenmann aufgenommen hätte. Ersterer ist nämlich bereits 1980 verstorben..)
Up Topic Hauptforen / CSS-Forum / Der SwissTest in der Praxis

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill