Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Sugar Pro 1.0 Testrun + Setting
- - By Stefan Pohl Date 2015-09-06 14:27
Hallo,

Der Testrun von Sugar Pro 1.0 für meine kleine Bulletrangliste ist durch. Wie zu erwarten war, liegt auch dieser Sugar praktisch gleichauf mit der aktuellen Stockfish-Dev.

Ich habe noch ein paar Kurztests mit einigen Parameter-Änderungen gemacht und teste jetzt dieses Setting unter den exakt gleichen Bedingungen wie Sugar Pro 1.0 default.

Contempt=25
Space=125
King Safety=125
Pawn Structure (Midgame)=75
Mobility (Midgame)=125

(wobei King Safety=125 neu dazukam, im Vergleich zu meinem ersten Versuch)

Bisher sind in diesem Testrun erst gute 250 Partien (von 7000) durch, was ja noch sehr, sehr wenig ist. Aber der Score ist bisher unfaßbar gut: 76.0% (Endergebnis der default-Sugar-Version war 69.4%), das wären z.Zt. unglaubliche +58 Elo mehr. Von 250 Partien hat dieses Setting gegen die 7 besten Gegner der Computerschachwelt bisher ganze 18 (!) verloren. Die Remisquote liegt auch nur bei 32.7% (default: 37.5%). Und Komodo 9.2 hat bisher 37 Partien gespielt, während ich das tippe und einen Erfolgsscore von 24.3% (kein Tippfehler!) gegen das Setting (+1, =16 -20).
Das KANN einfach im weiteren Verlauf nicht so bleiben, aber dieser Start rechtfertig auf jeden Fall das Weiterlaufen des Testruns.

Das ist eben das tolle an Sugar Pro. Keine andere Spitzenengine bietet ja sonst uci-Parameter, die zum Settingbau animieren, weder Stocki, noch Komodo oder Houdini, Gull etc. Das geht z.Zt. nur mit Sugar Pro.

Selbst wenn mein Setting noch einbricht (und das glaube ich), es macht einfach Freude an diesen Stellschrauben rumzudrehen. Und das bei einer absoluten Spitzenengine, was die Spielstärke angeht.

Wäre schön, wenn auch andere, die vielleicht gerade ein paar CPU-Zyklen frei haben, das Setting mal antesten.

Stefan
Parent - - By Hauke Lutz Date 2015-09-06 16:43
Hallo,

ich hatte mal dein altes Setting (King Safety) bei 20+0.2 auf dem Laptop spielen lassen.
Eröffnungsvorgabe waren das 10moves_SALC_500- und fq500n-Set.
Ausgewertet wurde mit Elostat_1.3

Gruß
Hauke

06.09.2015 16:40:40 :
Individual statistics:

1 sugar_v1.0_pro            : 3144  10000 (+4329,=4190,-1481), 64.2 %

equinox_3.3                   : 2000 (+1063,=736,-201), 71.5 %
sugar_v1.0_pro_Setting_SPCC   : 2000 (+450,=1137,-413), 50.9 %
gull_3                        : 2000 (+1014,=764,-222), 69.8 %
komodo_9                      : 2000 (+728,=849,-423), 57.6 %
fire_4                        : 2000 (+1074,=704,-222), 71.3 %

2 sugar_v1.0_pro_Setting_SPCC: 3139  10000 (+4344,=4007,-1649), 63.5 %

sugar_v1.0_pro                : 2000 (+413,=1137,-450), 49.1 %
equinox_3.3                   : 2000 (+1098,=650,-252), 71.2 %
gull_3                        : 2000 (+1026,=715,-259), 69.2 %
komodo_9                      : 2000 (+746,=804,-450), 57.4 %
fire_4                        : 2000 (+1061,=701,-238), 70.6 %

3 komodo_9                  : 3091  4000 (+873,=1653,-1474), 42.5 %

sugar_v1.0_pro                : 2000 (+423,=849,-728), 42.4 %
sugar_v1.0_pro_Setting_SPCC   : 2000 (+450,=804,-746), 42.6 %

4 gull_3                    : 3001  4000 (+481,=1479,-2040), 30.5 %

sugar_v1.0_pro                : 2000 (+222,=764,-1014), 30.2 %
sugar_v1.0_pro_Setting_SPCC   : 2000 (+259,=715,-1026), 30.8 %

5 fire_4                    : 2988  4000 (+460,=1405,-2135), 29.1 %

sugar_v1.0_pro                : 2000 (+222,=704,-1074), 28.7 %
sugar_v1.0_pro_Setting_SPCC   : 2000 (+238,=701,-1061), 29.4 %

6 equinox_3.3               : 2985  4000 (+453,=1386,-2161), 28.6 %

sugar_v1.0_pro                : 2000 (+201,=736,-1063), 28.4 %
sugar_v1.0_pro_Setting_SPCC   : 2000 (+252,=650,-1098), 28.8 %
Parent - - By Stefan Pohl Date 2015-09-07 07:39
Naja, das Setting hat nicht viel gebracht...

Das neue Setting ist mittlerweile in meinem Testrun auch deutlich gefallen (was ja auch kommen mußte). Nach 1155 Partien noch ein Score von 71.5%. Das ist aber immer noch 2% (+15 Elo) besser als die default-Version. Also ganz OK. Die Remisquote ist immer noch knapp 3% niedriger als beim default-Testrun. Ich lasse das mal weiterlaufen, zumal im Moment nix dringendes zum Testen anliegt.

Gruß - Stefan

P.S: Elostat solltest du nicht benutzen, das ist einfach überholt. Gib bei Ordo den Parameter -E an, dann erzeugt Ordo den exakt gleichen Output wie Elostat mit den 3 bekannten Dateien (rating.dat, programs.dat und general).
Parent - - By Thomas Plaschke Date 2015-09-07 18:46
Ich habe das Setting mit tc=60+0.5 ausprobiert.
Nach 18 Stunden ergab sich diese Tabelle (ohne 14 Zeitüberschreitungen):
Code:
   # PLAYER                 : RATING  ERROR   POINTS  PLAYED    (%)
   1 Stockfish 150829       : 3235.7   15.0    223.5     444   50.3%
   2 SugaR PrO 1.0 (set)    : 3233.3    7.7    696.0    1336   52.1%
   3 SugaR PrO 1.0          : 3220.0   14.6    213.5     444   48.1%
   4 Komodo 9.1             : 3200.0   14.5    203.0     448   45.3%

White advantage = 34.29 +/- 5.50
Draw rate (equal opponents) = 68.91 % +/- 1.25
Im Elostat-Format
Code:
     Program                  Elo    +    -   Games   Score   Av.Op.  Draws

   1 Stockfish 150829       : 3236   15   15   444    50.3 %   3233   71.8 %
   2 SugaR PrO 1.0 (set)    : 3233    8    8  1336    52.1 %   3219   67.5 %
   3 SugaR PrO 1.0          : 3220   15   15   444    48.1 %   3233   72.7 %
   4 Komodo 9.1             : 3200   15   15   448    45.3 %   3233   58.0 %
erkennt man auch den Einfluss des Settings auf die Remis-Rate. Komodo ist aber immer noch weit ab.

Viele Grüße
Th. Plaschke
Parent - By Stefan Pohl Date 2015-09-09 13:28
Thomas Plaschke schrieb:

Ich habe das Setting mit tc=60+0.5 ausprobiert.
Nach 18 Stunden ergab sich diese Tabelle (ohne 14 Zeitüberschreitungen):
Code:
   # PLAYER                 : RATING  ERROR   POINTS  PLAYED    (%)
   1 Stockfish 150829       : 3235.7   15.0    223.5     444   50.3%
   2 SugaR PrO 1.0 (set)    : 3233.3    7.7    696.0    1336   52.1%
   3 SugaR PrO 1.0          : 3220.0   14.6    213.5     444   48.1%
   4 Komodo 9.1             : 3200.0   14.5    203.0     448   45.3%

White advantage = 34.29 +/- 5.50
Draw rate (equal opponents) = 68.91 % +/- 1.25
Im Elostat-Format
Code:
     Program                  Elo    +    -   Games   Score   Av.Op.  Draws

   1 Stockfish 150829       : 3236   15   15   444    50.3 %   3233   71.8 %
   2 SugaR PrO 1.0 (set)    : 3233    8    8  1336    52.1 %   3219   67.5 %
   3 SugaR PrO 1.0          : 3220   15   15   444    48.1 %   3233   72.7 %
   4 Komodo 9.1             : 3200   15   15   448    45.3 %   3233   58.0 %
erkennt man auch den Einfluss des Settings auf die Remis-Rate. Komodo ist aber immer noch weit ab.

Viele Grüße
Th. Plaschke


Super! Da sieht ja besser aus, als ich gedacht hätte. Bei meinem Test läufts so lala. Vielleicht +10 Elo im Moment.

Stefan
Parent - - By Ralf Mueller Date 2015-09-16 14:36 Edited 2015-09-16 14:46
Die neuere Version SugaR PrO 090915 mit deinen Settings scheint nach meinen bescheidenen Tests nochmal stärker und die aktuell stärkste Stockfish-Version (auch stärker als die Bullet-Version vom 130915 und die Development-Version vom 150915) zu sein. Vielleicht findet jemand nochmal Zeit, meine Tests mit vielen Partien zu verifizieren. 
Parent - By Stefan Pohl Date 2015-09-17 07:33
Ralf Mueller schrieb:

Die neuere Version SugaR PrO 090915 mit deinen Settings scheint nach meinen bescheidenen Tests nochmal stärker und die aktuell stärkste Stockfish-Version (auch stärker als die Bullet-Version vom 130915 und die Development-Version vom 150915) zu sein. Vielleicht findet jemand nochmal Zeit, meine Tests mit vielen Partien zu verifizieren. 


Freut mich zu hören. Ich mache jetzt aber erst mal ein bißchen Urlaub und schalte dann die Rechner mal 2 Wochen aus.
Heute oder morgen gibt es aber noch eine Website-Update

Stefan
Up Topic Hauptforen / CSS-Forum / Sugar Pro 1.0 Testrun + Setting

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill