TEB-Rangliste: Deep Saros 3.0

By Stefan Pohl Date 2012-04-30 12:55

Hallo zusammen,

Ich habe Deep Saros 3.0 in die TEB-Liste aufgenommen. Das Ergebnis war allerdings enttäuschend, da dieses Ivanhoe-Derivat sogar schwächer scorte als der Ur-Ippolit von 2009, den ich ja zwecks Vergleichbarkeit ebenfalls in die TEB-Liste integriert habe (Robbolito 0.085g3).

Hier nun die neue TEB-Rangliste (TopEngineBullet), erstellt mit bayeselo, gefixt mit 3000 Elo an Robbolito 0.085g3. Obwohl Rangliste eigentlich übertrieben ist, de facto ist es eher so eine Art ChampionsLeague...


Rank Name                    Elo    +    - games score oppo. draws 
   1 Houdini 2.0c x64       3098   11   11  2400   63%  3017   43% 
   2 Houdini 1.5a x64       3080   11   10  2400   60%  3017   44% (best freeware)
   3 Critter 1.4a x64s      3059   10   10  2700   55%  3028   52% 
   4 Ivanhoe 46h x64        3023   10   10  2700   49%  3032   55% 
   5 Komodo 4 x64s          3020   10   10  2700   48%  3032   42% (singlecore)
   6 Robbolito 0.10 x64s    3019    9   10  2700   48%  3032   54% 
   7 Rybka 4.1 x64s         3015   10   10  2700   47%  3033   47% 
   8 Robbolito 0.085g3 x64  3000   10   10  2700   44%  3035   53% (Ippolit 2009)(singlecore)
   9 Stockfish 2.2.2 x64s   3000   10   10  2700   44%  3035   45% 
  10 Deep Saros 3.0 x64     2997   10   10  2700   44%  3035   48%

Die Engines in der Rangliste haben nach ihrem Namen entweder x64 stehen (=normale 64bit Version) oder ein x64s (=64bit SSE42 Version). Letzteres wird natürlich immer benutzt, wenn eine solche spezielle Version zur Verfügung steht.

Testbedingungen: Notebook mit Intel i7-2630QM Prozessor (4 Kerne, 2GHz Takt, Windows 7 64bit Home Premium). Geschwindigkeit der Hardware: Houdini 2.0c auf einem Core etwa 2.1 Mio Kn/s, auf 4 Cores etwa 7.5 Mio Kn/s (bei vollem Brett), FritzMark=20.2.
Bedenkzeit: 60''+750ms Fischerbonus (ca. 2 Minuten pro Partie je Engine), keine Tablebases, 1 Core/Thread und 256 MB Hash pro Engine, kein Pondern, 150 Vorgabestellungen aus der Frank Q. Datenbank (von mir handverlesen, nur Hauptsysteme (kein Aljechin, Holländisch etc.)). Gespielt wird bis zum Matt oder bis zum Remis, die GUI gibt keine Partie auf und auch Remis erst bei 500 Zügen - also gar nicht). Benutzt wird die LittleBlitzerGUI. Dazu merke ich hier nochmal an: Alle Partien wurden/werden im Gauntlet-Modus gespielt, weil nur so die Vorgabestellungen auch alle sequentiell und mit vertauschten Farben korrekt abgespielt werden.

Wer die Partien der TEB-Rangliste haben will, kann mir seine eMail-Adresse per PM hier oder auf talkchess mitteilen, ich schicke dann in Kürze die Partien als PGN-File. Dieses Angebot erfolgt, damit Transparenz und Glaubwürdigkeit der Rangliste gewährleistet ist.

Grüße an alle - Stefan

By Stefan Pohl Date 2012-04-30 13:03

Hallo nochmal,

da ich es ablehne Vitruvius zu kaufen, der ja vom gleichen "Autor" stammt wie Deep Saros, hier ein Link zu einem direkten Vergleichstest, der zeigt, daß Vitruvius nicht nennenswert besser ist als Deep Saros 3. Kommerzielle Engines teste ich weiterhin nur, wenn sie besser sind als der Ur-Ippolit von 2009 und als Stockfish, denn beide Codes liegen offen. Wer für eine eigene Engine Geld von mir will, sollte diese beiden Engines schon übertreffen, finde ich. Wenn dennoch ein Test einer kommerziellen Engine in der TEB-Liste gewünscht wird, dann muß mir der Autor diese kostenlos zur Verfügung stellen.

Hier nun der Link:
http://atomicc-testing.blogspot.de/2012/04/saros-3-x64-vitruvius-111c-hem-x64.html

Stefan

By Michael Scheidl Date 2012-04-30 13:37

Zitat:

Wer für eine eigene Engine Geld von mir will, sollte diese beiden Engines schon übertreffen, finde ich.

Ein sehr plausibler Ansatz. - Allerdings, was ich "prophetisch" voraussehe ist daß der Wert von Top-Engines nach ihrem Stil bemessen werden wird, nicht nach ihrer Engine-Engine-Spielstärke. Wenn irgendeine Engine in Ratings in einem zu definierenden Spielstärkebereich, sagen wir bis zu -200 unter dem Ranglistenführer, liegt wird das in Zukunft vollkommen genügen! Denn fürs menschliche Auge werden solche Differenzen auf "absurd hohem" Niveau nicht mehr erkennbar sein. Viel interessanter wird ein (hoffentlich) erkennbarer Spielstil dieser übermenschlich guten Engines sein...

Das heißt, wir erleben einen fundamentalen Paradigmenwechsel weg von der "banalen" Eng-Eng-Spielstärke hin zu stilistischen Eigenschaften, künstlerischem Schach, Einfallsreichtum und reichem Schachwissen im Computerschach!

By Stefan Pohl Date 2012-04-30 13:41

[quote="Michael Scheidl"]

Zitat:

Wer für eine eigene Engine Geld von mir will, sollte diese beiden Engines schon übertreffen, finde ich.

Hallo Michael,

ja, da ist sicher etwas dran, wenn man die Engines für Analysezwecke einsetzen will. Aber um sich auf Playchess gegenseitig virtuell die PCs auf dem Kopf zu zerschlagen ist die Spielstärke schon wichtiger.
Aber es ist natürlich richtig, daß keine Rangliste etwas über den Stil einer Engine aussagen kann. Einzig über eine hohe bzw. niedrige Remisquote kann man ggf. auf zurückhaltendes oder offensives Spiel rückschließen.

Gruß - Stefan

By Michael Scheidl Date 2012-04-30 13:49

Zitat:

Aber um sich auf Playchess gegenseitig virtuell die PCs auf dem Kopf zu zerschlagen ist die Spielstärke schon wichtiger.

Zweifellos, wobei das die Gummizelle des Computerschachs ist.

By Stefan Pohl Date 2012-04-30 13:55

[quote="Michael Scheidl"]

Zitat:

Aber um sich auf Playchess gegenseitig virtuell die PCs auf dem Kopf zu zerschlagen ist die Spielstärke schon wichtiger.

Zweifellos, wobei das die Gummizelle des Computerschachs ist.

Immer wenn ich Außenstehenden erzähle, daß ich seit 30 Jahren Computerschach zu meinen Hobbys zähle, sehen mich diese an, als ob ich sowieso in die Gummizelle gehöre...Playchess oder nicht ist da wohl eher ein gradueller Unterschied...

Gruß - Stefan

By Michael Huber Date 2012-04-30 14:49

Hallo Stefan,
um diesen Status zu erhalten reicht es üblicherweise schon zuzugeben dass man Schach spielt

- man gewöhnt sich dran....

Heiter weiter, Michael

By Joe Boden Date 2012-04-30 19:19

Ja Michael, so sehe ich das auch!