Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / LS-Rangliste: Robbolito 0.21Q
- - By Stefan Pohl Date 2012-11-03 06:05
Hallo zusammen,

Hier nun das Endergebnis von Robbolito 0.21Q. +13 Elo zu Version 0.10. Naja. Nicht berauschend, aber immerhin ist Robbo nun jenseits der Open-Source-Ippolit Schallmauer Ivanhoe. Muß man erst mal hinkommen. Und in diesen Spielstärkeregionen wird die Luft nun mal immer dünner. Man darf nicht alles am Über-Houdini messen...

Testbedingungen: Notebook mit Intel i7-2630QM Prozessor (4 Kerne, 2GHz Takt, Windows 7 64bit Home Premium). Geschwindigkeit der Hardware: Houdini 2.0c auf einem Core etwa 2.2 Mio Kn/s, auf 4 Cores etwa 7.5 Mio Kn/s (bei vollem Brett), FritzMark=20.2. HyperThreading off.
Bedenkzeit: 45''+500ms Fischerbonus (ca. knapp 90 Sekunden pro Partie je Engine), keine Tablebases, 1 Core/Thread und 64 MB Hash pro Engine, kein Pondern, 500 Vorgabestellungen aus der Frank Q. Datenbank (von mir handverlesen, nur Hauptsysteme (kein Holländisch etc.)). Gespielt wird bis zum Matt oder bis zum Remis, die GUI gibt keine Partie auf und auch Remis erst bei 500 Zügen - also gar nicht). Benutzt wird die LittleBlitzerGUI. Dazu merke ich hier nochmal an: Alle Partien wurden/werden im Gauntlet-Modus gespielt, weil nur so die Vorgabestellungen auch alle sequentiell und mit vertauschten Farben korrekt abgespielt werden. Die Ranglisten werden mit bayeselo (mm 0 1) erstellt und die Ergebnisse an Robbolito 0.085g3 x64 mit 3000 Elo gefixt.

Hier nun zunächst die LS-Rangliste mit den besten Engineversionen (nur offizielle Releases, keine Entwicklungsversionen und auch keine Spezialsettings) (jeder gegen jeden, je 1000 Partien):

Rank Name                    Elo    +    - games score oppo. draws
   1 Houdini 3 x64          3153    5    5 10000   67%  3028   42%
   2 Critter 1.6a x64       3072    5    5 10000   55%  3036   53%
   3 Strelka 5.5 x64        3069    5    5 10000   55%  3036   53% (singlecore)
   4 Komodo 5 x64           3059    5    5 10000   53%  3037   44% (singlecore)
   5 Robbolito 0.21Q x64s   3033    5    4 10000   49%  3040   57%
   6 Ivanhoe 46h x64        3024    5    5 10000   48%  3040   56% (best open source)
   7 Bouquet 1.5 x64s       3019    5    5 10000   47%  3041   55%
   8 Rybka 4.1 x64s         3012    5    5 10000   46%  3042   47%
   9 Stockfish 2.3.1 x64s   3001    5    5 10000   44%  3043   46%
  10 Robbolito 0.085g3 x64  3000    5    5 10000   44%  3043   54% (singlecore)(Ippolit 2009)
  11 Saros 3.0 x64          2987    5    5 10000   42%  3044   49%


Dazu die Einzelergebnisse des aktuellen Test-Gauntlets:

Robbolito 0.21Q x64s   - Houdini 3 x64             325.5 - 674.5    +109/=433/-458    32.55%
Robbolito 0.21Q x64s   - Critter 1.6a x64          444.0 - 556.0    +142/=604/-254    44.40%
Robbolito 0.21Q x64s   - Komodo 5 x64              454.0 - 546.0    +235/=438/-327    45.40%
Robbolito 0.21Q x64s   - Strelka 5.5 x64           452.5 - 547.5    +155/=595/-250    45.25%
Robbolito 0.21Q x64s   - Ivanhoe 46h x64           503.5 - 496.5    +169/=669/-162    50.35%
Robbolito 0.21Q x64s   - Rybka 4.1 x64s            541.0 - 459.0    +282/=518/-200    54.10%
Robbolito 0.21Q x64s   - Bouquet 1.5 x64s          527.5 - 472.5    +191/=673/-136    52.75%
Robbolito 0.21Q x64s   - Robbolito 0.085g3 x64     560.5 - 439.5    +241/=639/-120    56.05%
Robbolito 0.21Q x64s   - Stockfish 2.3.1 x64s      543.5 - 456.5    +295/=497/-208    54.35%
Robbolito 0.21Q x64s   - Saros 3.0 x64             561.5 - 438.5    +261/=601/-138    56.15%


Dann noch die komplette LS-Rangliste:

Rank Name                    Elo    +    - games score oppo. draws
   1 Houdini 3 x64          3151    5    5 13000   69%  3016   41%
   2 Houdini 2.0c x64       3104    5    5 11000   62%  3015   42%
   3 Houdini 1.5a x64       3084    5    5 10000   59%  3017   44% (best freeware (multicore))
   4 Strelka 5.5 x64        3071    4    4 16000   56%  3029   53% (singlecore)
   5 Critter 1.6a x64       3070    4    4 16000   56%  3029   53%
   6 Komodo 5 x64           3061    4    4 16000   54%  3030   43% (singlecore)
   7 Robbolito 0.21Q x64s   3032    5    5 10000   49%  3039   57%
   8 Ivanhoe 46h x64        3021    4    4 16000   48%  3033   55% (best open source)
   9 Robbolito 0.10 x64s    3019    4    4 15000   48%  3033   55%
  10 Bouquet 1.5 x64s       3018    5    5 12000   48%  3034   56%
  11 Rybka 4.1 x64s         3012    4    4 16000   47%  3033   46%
  12 Stockfish 2.3.1 x64s   3000    5    5 14000   45%  3033   45%
  13 Robbolito 0.085g3 x64  3000    4    4 16000   45%  3034   53% (singlecore)(Ippolit 2009)
  14 Stockfish 2.2.2 x64s   2995    5    5 11000   45%  3033   44%
  15 Saros 3.0 x64          2988    4    4 16000   43%  3035   48%
  16 Gull 2 beta2 x64       2985    5    5 11000   42%  3037   53%
  17 Bouquet 1.4 x64s       2929    5    5 13000   34%  3044   42%


(x64=64bit version, x64s=64bit SSE42-version)

Gelöschte Betas, Entwicklungsversionen, Settings: keine
Abgebrochene Test-Gauntlets (wegen zu schwachen Ergebnisses): Saros 3.1aDistro (-130 Elo to Saros 3.0 (2500 games))

Wer die Partien der LS-Rangliste haben will, kann mir seine eMail-Adresse per PM hier oder auf talkchess mitteilen, ich schicke dann in Kürze die Partien als PGN-File. Dieses Angebot erfolgt, damit Transparenz und Glaubwürdigkeit der Rangliste gewährleistet ist.

Grüße an alle - Stefan
Parent - By Thomas Schoenegger Date 2012-11-03 06:51
Danke für deinen Test. Schön zu sehen, dass sich doch noch was tut bei Robbo auch wenn es nicht so große Zuwächse sind, konnte sie verbessert werden. (In solchen Regionen sind Elosteigerungen welcher Größenordnung auch immer ohnehin lobenswert). Muss man das auch erstmal hinkriegen, was nicht allen gelingt. Schön für mich zu sehen, dass ich mit meiner Einschäzung richtig lag.
Gruß
Thomas
Parent - - By Michael Scheidl Date 2012-11-03 07:03
Danke! Immerhin sieht man jetzt, daß Robbolito mit höchster Wahrscheinlichkeit Rybka 4.1 überholt hat (bei Version 0.10 überlappten sich noch knapp die Errormargins). Die irgendwie aus demselben Dunstkreis stammende Strelka 5.5 ist jedoch klar stärker, zumindest unter diesen konkreten Bedingungen. Da muß wohl etwas drinstecken das die anderen Ippoliten entweder (noch) nicht haben, oder noch nicht so gut eingebaut haben.

Oder zählt man Strelka nicht mehr zu den Ippos? Ich kenne mich zunehmend nicht aus.
Parent - - By Wolfgang Battig Date 2012-11-03 09:03
[quote="Michael Scheidl"]
... Da muß wohl etwas drinstecken das die anderen Ippoliten entweder (noch) nicht haben, oder noch nicht so gut eingebaut haben.
...
[/quote]

ja, mehr Erfahrung beim Clonen. Osipov ist schon deutlich länger in "dieser speziellen Szene" aktiv als die anderen... 
Parent - - By Michael Scheidl Date 2012-11-03 09:15
Das klingt plausibel, aber andererseits, schau mal auf die Differenz zwischen Strelka 5.5 und Rybka 4.1. Anscheinend steckt mindestens eine Eigenleistung drin die ~60 Elo wert ist, und das auf Hochniveau.

(Ich stelle das nur "trocken" fest ohne eine ethische Bewertung suggerieren zu wollen.)
Parent - By Ingo Bauer Date 2012-11-03 09:23 Edited 2012-11-03 09:25
Hatten wir das nicht schonmal? Wenig Eigenleistung beim kopieren von H1.5 ...
Mit Rybka jedenfalls hat Strelka 5/5.5 nichts zu tun.

Gruß
Ingo
Parent - By Stefan Pohl Date 2012-11-03 12:05
[quote="Michael Scheidl"]
Das klingt plausibel, aber andererseits, schau mal auf die Differenz zwischen Strelka 5.5 und Rybka 4.1. Anscheinend steckt mindestens eine Eigenleistung drin die ~60 Elo wert ist, und das auf Hochniveau.

(Ich stelle das nur "trocken" fest ohne eine ethische Bewertung suggerieren zu wollen.)
[/quote]

Nee, Strelka 5.5 soll ein Houdini 1.5a Clon sein. Aber ein 100%-Clon ist es eben nicht. Siehe dazu die extrem viel höhere (Ippo-typisch) Remisquote von Strelka 5.5 im Vergleich zu Houdini 1.5a in der LS-Rangliste.
Nichts genaues weiß man also nicht. Und im Zweifel teste ich es lieber mit.

Gruß - Stefan
Up Topic Hauptforen / CSS-Forum / LS-Rangliste: Robbolito 0.21Q

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill