LS-Rangliste: Akkad 0.52b

By Stefan Pohl Date 2012-12-01 07:03

Hallo zusammen,

Hier nun das Endergebnis von Akkad 0.52b. +6 Elo besser als der Ur-Ippolit. Naja. Als nächstes folgt der Neu-Compile (SSE42-optimiert) von Quo des Ivahoe 46e-Codes. Sieht bisher erstaunlich gut aus... Bouquet 1.6 konnte in einem schnellen Über-Nacht-Test nicht wirklich begeistern und folgt daher im Anschluß - vielleicht merkt der Autor bis dahin, daß die Version nicht doll ist und legt noch was nach...Endergebnis von Ivanhoe 46ei in ca. 5-6 Tagen, falls alles glattgeht.
Anmerkung: Ich habe mich entschlossen - um den Testaufwand auf 5 Tage Rechenzeit zu begrenzen - die LS-Top-Liste auf die Top10 + den Ur-Ippolit zu begrenzen. Damit ist Saros 3.0 nun dank Akkad 0.52b aus der Top-Liste herausgefallen. Jede Engine wird ja bekanntermassen immer nur gegen die Gegner der Top-Liste getestet, spielt also entweder 10000 oder 11000 Partien, je nachdem, ob eine Vorgänger-Version schon in der Top-Liste verzeichnet ist oder nicht...

Testbedingungen: Notebook mit Intel i7-2630QM Prozessor (4 Kerne, 2GHz Takt, Windows 7 64bit Home Premium). Geschwindigkeit der Hardware: Houdini 2.0c auf einem Core etwa 2.2 Mio Kn/s, auf 4 Cores etwa 7.5 Mio Kn/s (bei vollem Brett), FritzMark=20.2. HyperThreading off.
Bedenkzeit: 45''+500ms Fischerbonus (ca. knapp 90 Sekunden pro Partie je Engine), keine Tablebases, 1 Core/Thread und 64 MB Hash pro Engine, kein Pondern, 500 Vorgabestellungen aus der Frank Q. Datenbank (von mir handverlesen, nur Hauptsysteme (kein Holländisch etc.)). Gespielt wird bis zum Matt oder bis zum Remis, die GUI gibt keine Partie auf und auch Remis erst bei 500 Zügen - also gar nicht). Benutzt wird die LittleBlitzerGUI. Dazu merke ich hier nochmal an: Alle Partien wurden/werden im Gauntlet-Modus gespielt, weil nur so die Vorgabestellungen auch alle sequentiell und mit vertauschten Farben korrekt abgespielt werden. Die Ranglisten werden mit bayeselo (mm 0 1) erstellt und die Ergebnisse an Robbolito 0.085g3 x64 mit 3000 Elo gefixt.

Hier nun zunächst die LS-Rangliste mit den besten 10 Engines + dem Ur-Ippolit von 2009 (als Referenzpunkt) (nur offizielle Releases, keine Entwicklungsversionen und auch keine Spezialsettings) (jeder gegen jeden, je 1000 Partien):


Rank Name                    Elo    +    - games score oppo. draws 
   1 Houdini 3 x64          3152    5    5 10000   67%  3030   42% 
   2 Critter 1.6a x64       3071    5    5 10000   55%  3038   54% 
   3 Strelka 5.5 x64        3068    5    5 10000   54%  3038   54% (singlecore)
   4 Komodo 5 x64           3060    5    5 10000   53%  3039   44% (singlecore)
   5 Robbolito 0.21Q x64s   3034    5    5 10000   49%  3041   57% 
   6 Ivanhoe 46h x64        3025    5    5 10000   48%  3042   56% (best open source)
   7 Bouquet 1.5 x64s       3020    5    5 10000   47%  3043   56% 
   8 Rybka 4.1 x64s         3011    5    5 10000   45%  3044   47% 
   9 Akkad 0.52b x64s       3006    5    5 10000   45%  3044   54% 
  10 Stockfish 2.3.1 x64s   3002    5    5 10000   44%  3045   46% 
  11 Robbolito 0.085g3 x64  3000    5    5 10000   44%  3045   55% (singlecore)(Ippolit 2009)

Dazu die Einzelergebnisse des aktuellen Test-Gauntlets:


Akkad 0.52b x64s   - Houdini 3 x64             307.0 - 693.0    +117/=380/-503    30.70%
Akkad 0.52b x64s   - Critter 1.6a x64          410.0 - 590.0    +133/=554/-313    41.00%
Akkad 0.52b x64s   - Strelka 5.5 x64           424.5 - 575.5    +149/=551/-300    42.45%
Akkad 0.52b x64s   - Komodo 5 x64              423.5 - 576.5    +208/=431/-361    42.35%
Akkad 0.52b x64s   - Robbolito 0.21Q x64s      454.0 - 546.0    +141/=626/-233    45.40%
Akkad 0.52b x64s   - Bouquet 1.5 x64s          460.0 - 540.0    +141/=638/-221    46.00%
Akkad 0.52b x64s   - Ivanhoe 46h x64           467.5 - 532.5    +155/=625/-220    46.75%
Akkad 0.52b x64s   - Rybka 4.1 x64s            494.0 - 506.0    +257/=474/-269    49.40%
Akkad 0.52b x64s   - Robbolito 0.085g3 x64     509.5 - 490.5    +200/=619/-181    50.95%
Akkad 0.52b x64s   - Stockfish 2.3.1 x64s      504.0 - 496.0    +277/=454/-269    50.40%
Akkad 0.52b x64s   - Saros 3.0 x64             538.5 - 461.5    +226/=625/-149    53.85%

Dann noch die komplette LS-Rangliste:


Rank Name                    Elo    +    - games score oppo. draws 
   1 Houdini 3 x64          3151    5    5 14000   69%  3015   40% 
   2 Houdini 3 tactical     3120    5    5 10000   63%  3027   44% 
   3 Houdini 2.0c x64       3104    5    5 11000   62%  3015   42% 
   4 Houdini 1.5a x64       3084    5    5 10000   59%  3016   44% (best freeware (multicore))
   5 Strelka 5.5 x64        3071    4    4 18000   55%  3033   53% (singlecore)
   6 Critter 1.6a x64       3070    4    4 18000   55%  3033   53% 
   7 Komodo 5 x64           3061    4    4 18000   54%  3034   43% (singlecore)
   8 Robbolito 0.21Q x64s   3033    4    4 12000   49%  3043   56% 
   9 Ivanhoe 46h x64        3021    4    4 18000   48%  3036   54% (best open source)
  10 Bouquet 1.5 x64s       3019    5    5 14000   47%  3038   56% 
  11 Robbolito 0.10 x64s    3019    4    4 15000   48%  3033   55% 
  12 Rybka 4.1 x64s         3012    4    4 18000   47%  3036   46% 
  13 Akkad 0.52b x64s       3006    5    5 11000   45%  3039   54% 
  14 Stockfish 2.3.1 x64s   3000    4    4 16000   45%  3037   45% 
  15 Robbolito 0.085g3 x64  3000    4    4 18000   45%  3037   53% (singlecore)(Ippolit 2009)
  16 Stockfish 2.2.2 x64s   2995    5    5 11000   45%  3033   44% 
  17 Saros 3.0 x64          2987    4    4 18000   43%  3038   48% 
  18 Gull 2 beta2 x64       2985    5    5 11000   42%  3037   53% 
  19 Bouquet 1.4 x64s       2929    5    5 13000   34%  3044   42%

(x64=64bit version, x64s=64bit SSE42-version)

Gelöschte Betas, Entwicklungsversionen, Settings: keine
Abgebrochene Test-Gauntlets (wegen zu schwachen Ergebnisses): Saros 3.1aDistro (-130 Elo to Saros 3.0 (2500 games))

Wer die Partien der LS-Rangliste haben will, kann mir seine eMail-Adresse per PM hier oder auf talkchess mitteilen, ich schicke dann in Kürze die Partien als PGN-File. Dieses Angebot erfolgt, damit Transparenz und Glaubwürdigkeit der Rangliste gewährleistet ist.

Grüße an alle - Stefan

By Stefan Pohl Date 2012-12-01 07:10 Edited 2012-12-01 07:12

Ich teste diese Ivanhoe-Version (SSE4.2+Intel optimiert) (Ivanhoe 46ei, von Quo)

http://www.mediafire.com/?r58rxsuif95osk2

Läuft stabil, ist virenfrei (laut meines Scanners von GDATA - ohne Gewähr!), und scort bisher wirklich erstaunlich gut. Es wäre durchaus vorstellbar, daß diese Version Robbolito 0.21Q in der LS-Rangliste wieder überholt, sogar Strelka 5.5 könnte vielleicht in Reichweite sein...Allerdings sind erst sehr wenige Partien absolviert - stay tuned !

Stefan

By Stefan Pohl Date 2012-12-01 08:16 Edited 2012-12-01 08:20

[quote="Stefan Pohl"]
Ich teste diese Ivanhoe-Version (SSE4.2+Intel optimiert) (Ivanhoe 46ei, von Quo)

http://www.mediafire.com/?r58rxsuif95osk2

Läuft stabil, ist virenfrei (laut meines Scanners von GDATA - ohne Gewähr!), und scort bisher wirklich erstaunlich gut. Es wäre durchaus vorstellbar, daß diese Version Robbolito 0.21Q in der LS-Rangliste wieder überholt, sogar Strelka 5.5 könnte vielleicht in Reichweite sein...Allerdings sind erst sehr wenige Partien absolviert - stay tuned !

Stefan
[/quote]

Mal ein ganz, ganz frühes Zwischenresultat: Nach 200 Partien liegt Ivanhoe 46ei bei 53% Erfolgsscore, was etwa dem Komodo 5 Niveau entspräche und eine kaum glaubliche Steigerung zu Version 46h bedeuten würde. Noch bemerkenswerter: Nach 20 Partien im Einzelwettkampf gegen Houdini 3 steht es 10.0 zu 10.0 (!!!) - statistisch natürlich noch völlig irrelevant, aber sowas ist bei Houdini 3 in meinen Tests noch nie passiert...

Stefan

P.S: Die Knotenzahlen liegen übrigens leicht über denen von Houdini 3 und leicht unter denen von Critter 1.6a und damit deutlich höher als die von Ivanhoe 46h (ca. +20%)...Das allein kann aber keinesfalls soviel ausmachen!!!

By Stefan Pohl Date 2012-12-01 11:23

[quote="Stefan Pohl"]
[quote="Stefan Pohl"]
Ich teste diese Ivanhoe-Version (SSE4.2+Intel optimiert) (Ivanhoe 46ei, von Quo)

http://www.mediafire.com/?r58rxsuif95osk2

Läuft stabil, ist virenfrei (laut meines Scanners von GDATA - ohne Gewähr!), und scort bisher wirklich erstaunlich gut. Es wäre durchaus vorstellbar, daß diese Version Robbolito 0.21Q in der LS-Rangliste wieder überholt, sogar Strelka 5.5 könnte vielleicht in Reichweite sein...Allerdings sind erst sehr wenige Partien absolviert - stay tuned !

Stefan
[/quote]

Mal ein ganz, ganz frühes Zwischenresultat: Nach 200 Partien liegt Ivanhoe 46ei bei 53% Erfolgsscore, was etwa dem Komodo 5 Niveau entspräche und eine kaum glaubliche Steigerung zu Version 46h bedeuten würde. Noch bemerkenswerter: Nach 20 Partien im Einzelwettkampf gegen Houdini 3 steht es 10.0 zu 10.0 (!!!) - statistisch natürlich noch völlig irrelevant, aber sowas ist bei Houdini 3 in meinen Tests noch nie passiert...

Stefan

P.S: Die Knotenzahlen liegen übrigens leicht über denen von Houdini 3 und leicht unter denen von Critter 1.6a und damit deutlich höher als die von Ivanhoe 46h (ca. +20%)...Das allein kann aber keinesfalls soviel ausmachen!!!
[/quote]

Tja, so gehts. Inzwischen sind 500 Partien absolviert und der Score ist auf knapp 49% gefallen, was ca. nur noch 1% besser als 46h wäre...Die Masse machts eben. Vielleicht schaue ich mir erst mal die Version 50kQ an, die mir auf talkchess empfohlen wurde...Aber ich denke mal, die wird auch nicht nennenswert besser sein. Schaun mer mal.

Stefan

By Simon Gros Date 2012-12-01 12:50

Grundsätzlich finde ich jede Liste interessant, da man viele Vergleichsmöglichkeiten unter ganz unterschiedlichen Bedingungen erhält. Hier allerdings stelle ich mir die Frage ob es wirklich Sinn macht derart viele Engines gegeneinander spielen zu lassen, welche ursprünglich aus der selben Feder stamm(t)en? Dies betrifft meiner Auffassung nach fast das halbe Teilnehmerfeld.
Simon_G