Neuer Stockfish (Entwicklungsversion)

By Stefan Pohl Date 2012-06-23 07:26

Habe über Nacht 2000 Partien im LightSpeed-Modus gespielt (20''+250ms) und mit der 2.2.2. verglichen, die in meiner LightSpeed-Liste auf 41% Erfolgsquote kommt. Die neue Version liegt auch bei 41%, also keine Verbesserung, bzw. gegenüber der 120329-Version sogar 10 Elo weniger. Diese ist und bleibt die beste Version.

Gruß - Stefan

By Benno Hartwig Date 2012-06-24 01:10

[quote="Stefan Pohl"](20''+250ms)[/quote]Welche Erfahrung hast du gemacht mit diesen Zeiten?
Ist die Spielstärkedifferenz zweier Engines hier so ungefähr vergleichbar mit der bei längeren Zeiten, z.B. 5m+1s?
Benno
(aus dem Bauch heraus und mit Blick auf Ipollit doch ein wenig skeptisch)

By Stefan Pohl Date 2012-06-24 08:08

[quote="Benno Hartwig"]
[quote="Stefan Pohl"](20''+250ms)[/quote]Welche Erfahrung hast du gemacht mit diesen Zeiten?
Ist die Spielstärkedifferenz zweier Engines hier so ungefähr vergleichbar mit der bei längeren Zeiten, z.B. 5m+1s?
Benno
(aus dem Bauch heraus und mit Blick auf Ipollit doch ein wenig skeptisch)
[/quote]

Vergleiche zu anderen Zeiten sind immer schwierig. Stockfish und Komodo legen zu, Houdini, Rybka und Ivan bleiben etwa konstant. Robbolito baut etwas ab.
Aber genau aus diesem Grund lasse ich ja die LightSpeed-Liste immer parallel zur eigentlichen TEB-Liste laufen. Dann kann ich bei einer neuen Version einer Engine (oder einem Setting) immer die Veränderung zum Original bei der gleichen, ultrakurzen Bedenkzeit beobachten. So wie jetzt z.B. mit Stockfish 120622. Da kann ich eben mit dem Ergebnis der offiziellen 2.2.2 (41% Erfolgsquote) vergleichen und sehe so, ob es vorwärts ging oder nicht - und das mit einem über-Nacht-Test. Das ist eben das Tolle an der LightSpeed-Liste (und der LittleBlitzerGUI, ohne die das alles gar nicht machbar wäre), sie ist die optimale Vergleichsbasis.

Hier mal meine TEB-Liste (60''+750ms) und in Klammern (LS:XX%) die Erfolgsquote der jeweiligen Engine in der LightSpeed-Liste, in der alle Bedingungen exakt gleich sind, bis auf die Bedenkzeit (20''+250ms und nur 64MB Hash statt 256MB in der TEB). Ist der LS-Erfolgswert kleiner als der in der TEB, dann legt die Engine mit mehr Zeit zu (am meisten Stockfish (3% Differenz)), ist er größer, baut die Engine mit mehr Zeit eher ab.


Rank Name                    Elo    +    - games score oppo. draws 
   1 Houdini 2.0c x64       3096   10   10  2700   62%  3020   44% (LS:62%)
   2 Houdini 1.5a x64       3073   10   10  2700   58%  3020   46% (LS:59%) (best freeware (multicore))
   3 Strelka 5.5 x64        3072    9    9  3000   58%  3028   53% (LS:56%) (singlecore)
   4 Critter 1.6 x64        3057    9    9  3000   55%  3029   54% (LS:57%)
   5 Ivanhoe 46h x64        3021    9    9  3000   48%  3033   56% (LS:50%) (best open source)
   6 Komodo 4 x64s          3018   10   10  3000   48%  3033   43% (LS:46%) (singlecore)
   7 Robbolito 0.10 x64s    3013    9    9  3000   47%  3034   54% (LS:47%)
   8 Rybka 4.1 x64s         3008   10    9  3000   46%  3034   47% (LS:46%)
   9 Robbolito 0.085g3 x64  3000    9    9  3000   44%  3035   54% (LS:46%) (singlecore)(Ippolit 2009)
  10 Stockfish 2.2.2 x64s   2999   10   10  3000   44%  3035   45% (LS:41%)
  11 Deep Saros 3.0 x64     2992    9   10  3000   43%  3036   48% (LS:42%)

Gruß - Stefan

By Stefan Pohl Date 2012-06-24 08:18

[quote="Stefan Pohl"]

Vergleiche zu anderen Zeiten sind immer schwierig. Stockfish und Komodo legen zu, Houdini, Rybka und Ivan bleiben etwa konstant. Robbolito baut etwas ab.

[/quote]

Dreher meinerseits: Robbolito bleibt konstant und Ivan baut ab, sorry. Was die Ippo-Derivate angeht: Strelka legt mit mehr Zeit sogar zu. Ergo: 3 Derivate mit jeweils anderem Verhalten bei anderen Bedenkzeiten. Das zeigt m.E. doch deutlich, daß sich diese Derivate doch schon erheblich auseinanderentwickelt haben und nicht über einen Kamm geschoren werden sollten!

Gruß - Stefan