Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / LS-Rangliste: Gull 2 beta2
- - By Stefan Pohl Date 2012-10-29 10:33
Hallo zusammen,

Hier nun das Endergebnis von Gull 2 beta2. Da es sich um eine Beta handelt, wird sie nicht in der Best-Liste (oben) gelistet, sondern nur in der Komplett-Liste (unten). Als nächstes nun endlich Robbolito 0.21Q, dann bin ich endlich auf dem aktuellen Stand und werde mir dann mal ein paar ältere und neuere Stockfish-Entwicklungsversionen näher anschauen. Endergebnis von Robbolito hoffentlich Samstag.

Testbedingungen: Notebook mit Intel i7-2630QM Prozessor (4 Kerne, 2GHz Takt, Windows 7 64bit Home Premium). Geschwindigkeit der Hardware: Houdini 2.0c auf einem Core etwa 2.2 Mio Kn/s, auf 4 Cores etwa 7.5 Mio Kn/s (bei vollem Brett), FritzMark=20.2. HyperThreading off.
Bedenkzeit: 45''+500ms Fischerbonus (ca. knapp 90 Sekunden pro Partie je Engine), keine Tablebases, 1 Core/Thread und 64 MB Hash pro Engine, kein Pondern, 500 Vorgabestellungen aus der Frank Q. Datenbank (von mir handverlesen, nur Hauptsysteme (kein Holländisch etc.)). Gespielt wird bis zum Matt oder bis zum Remis, die GUI gibt keine Partie auf und auch Remis erst bei 500 Zügen - also gar nicht). Benutzt wird die LittleBlitzerGUI. Dazu merke ich hier nochmal an: Alle Partien wurden/werden im Gauntlet-Modus gespielt, weil nur so die Vorgabestellungen auch alle sequentiell und mit vertauschten Farben korrekt abgespielt werden. Die Ranglisten werden mit bayeselo (mm 0 1) erstellt und die Ergebnisse an Robbolito 0.085g3 x64 mit 3000 Elo gefixt.

Hier nun zunächst die LS-Rangliste mit den besten Engineversionen (nur offizielle Releases, keine Entwicklungsversionen und auch keine Spezialsettings) (jeder gegen jeden, je 1000 Partien):

Rank Name                    Elo    +    - games score oppo. draws
   1 Houdini 3 x64          3151    5    5 10000   67%  3025   42%
   2 Critter 1.6a x64       3070    5    5 10000   55%  3033   53%
   3 Strelka 5.5 x64        3069    5    5 10000   55%  3034   53% (singlecore)
   4 Komodo 5 x64           3058    5    5 10000   53%  3035   44% (singlecore)
   5 Ivanhoe 46h x64        3022    5    5 10000   48%  3038   56% (best open source)
   6 Robbolito 0.10 x64s    3019    5    5 10000   47%  3039   57%
   7 Bouquet 1.5 x64s       3019    5    5 10000   47%  3039   55%
   8 Rybka 4.1 x64s         3012    5    5 10000   46%  3039   47%
   9 Robbolito 0.085g3 x64  3000    5    5 10000   44%  3040   55% (singlecore)(Ippolit 2009)
  10 Stockfish 2.3.1 x64s   2999    5    5 10000   44%  3041   46%
  11 Saros 3.0 x64          2986    5    5 10000   42%  3042   49%


Dazu die Einzelergebnisse des aktuellen Test-Gauntlets:

Gull 2 beta2 x64   - Strelka 5.5 x64           367.5 - 632.5    +113/=509/-378    36.75%
Gull 2 beta2 x64   - Komodo 5 x64              390.0 - 610.0    +167/=446/-387    39.00%
Gull 2 beta2 x64   - Houdini 3 x64             270.0 - 730.0    +86/=368/-546    27.00%
Gull 2 beta2 x64   - Critter 1.6a x64          389.0 - 611.0    +123/=532/-345    38.90%
Gull 2 beta2 x64   - Robbolito 0.10 x64s       451.5 - 548.5    +134/=635/-231    45.15%
Gull 2 beta2 x64   - Ivanhoe 46h x64           443.5 - 556.5    +131/=625/-244    44.35%
Gull 2 beta2 x64   - Rybka 4.1 x64s            452.0 - 548.0    +197/=510/-293    45.20%
Gull 2 beta2 x64   - Stockfish 2.3.1 x64s      500.5 - 499.5    +259/=483/-258    50.05%
Gull 2 beta2 x64   - Robbolito 0.085g3 x64     460.0 - 540.0    +175/=570/-255    46.00%
Gull 2 beta2 x64   - Saros 3.0 x64             485.5 - 514.5    +218/=535/-247    48.55%
Gull 2 beta2 x64   - Bouquet 1.5 x64s          465.0 - 535.0    +159/=612/-229    46.50%


Dann noch die komplette LS-Rangliste:

Rank Name                    Elo    +    - games score oppo. draws
   1 Houdini 3 x64          3150    5    5 12000   69%  3014   40%
   2 Houdini 2.0c x64       3104    5    5 11000   62%  3015   42%
   3 Houdini 1.5a x64       3083    5    5 10000   59%  3016   44% (best freeware (multicore))
   4 Strelka 5.5 x64        3071    4    4 15000   56%  3029   52% (singlecore)
   5 Critter 1.6a x64       3070    5    4 15000   56%  3029   52%
   6 Komodo 5 x64           3060    4    4 15000   54%  3029   43% (singlecore)
   7 Ivanhoe 46h x64        3020    4    4 15000   48%  3032   54% (best open source)
   8 Robbolito 0.10 x64s    3018    4    4 15000   48%  3032   55%
   9 Bouquet 1.5 x64s       3018    5    5 11000   48%  3034   55%
  10 Rybka 4.1 x64s         3012    4    4 15000   47%  3033   46%
  11 Robbolito 0.085g3 x64  3000    4    4 15000   45%  3033   52% (singlecore)(Ippolit 2009)
  12 Stockfish 2.3.1 x64s   3000    5    5 13000   45%  3033   45%
  13 Stockfish 2.2.2 x64s   2995    5    5 11000   45%  3032   44%
  14 Saros 3.0 x64          2987    4    4 15000   43%  3034   47%
  15 Gull 2 beta2 x64       2985    5    5 11000   42%  3037   53%
  16 Bouquet 1.4 x64s       2929    5    5 13000   34%  3044   42%


(x64=64bit version, x64s=64bit SSE42-version)

Gelöschte Betas, Entwicklungsversionen, Settings: keine
Abgebrochene Test-Gauntlets (wegen zu schwachen Ergebnisses): Saros 3.1aDistro (-130 Elo to Saros 3.0 (2500 games))

Wer die Partien der LS-Rangliste haben will, kann mir seine eMail-Adresse per PM hier oder auf talkchess mitteilen, ich schicke dann in Kürze die Partien als PGN-File. Dieses Angebot erfolgt, damit Transparenz und Glaubwürdigkeit der Rangliste gewährleistet ist.

Grüße an alle - Stefan
Parent - By Michael Scheidl Date 2012-10-30 01:02
Danke für diesen Test. Wenn wir die Errormargins in Betracht ziehen, können wir (etwas vereinfachend) sagen, Gull ist knapp auf Stockfish-Niveau, hat sich aber nicht über den "klassischen" Robbolito 0.085g3 aufgeschwingen können.

Erwähnenswert ist jedoch daß Gull 2 beta2, anders als o.e. Robboversion, SMP kann, was ja einige andere in diesem Dunstkreis nicht können. Je nach individueller Hardware ist das sicherlich ein Auswahlkriterium für eine Analyseengine (zwecks einer, sagen wir mal, vierten Meinung... ).
Up Topic Hauptforen / CSS-Forum / LS-Rangliste: Gull 2 beta2

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill