Stockfish 1.5.1 JA against Toga II 1.4.2 JD

Place	Engine	Author	Country	Points	Single results
1	Stockfish 1.5.1 JA	T. Romstad, M. Costalba, J. Kiiski		28.5/50	110½011½01-1½10½½0101-½1½½1010½0-1½11½½½0½1-110½01½1½0
2	Toga II 1.4.2 JD	T. Gaksch & J. Donald		21.5/50	001½100½10-0½01½½1010-½0½½0101½1-0½00½½½1½0-001½10½0½1

By Kurt Utzinger Date 2009-11-17 09:08

[quote="Orlando de la Vega"]
[...]
Great improvements made 6 months later
[...]
[/quote]

A second match might have the result of 26,5-23,5 and a third match 27,5-22,5. All
this is does not at all prove "great improvements".
Kurt

By Michael Scheidl Date 2009-11-17 10:04

Derartige Kommentare machen mich krank! Muß das wirklich sein oder kann man konkrete Testergebnisse ohne Gemecker akzeptieren? Wenn Du erst 100.000 Testpartien brauchst bevor Du irgendwas akzeptieren kannst Kurt, dann ist das wirklich Dein eigenes psychisches Problem, aber bitte belästige den Rest der Welt nicht damit.

Also wir nehmen zur Kenntnis: Kurt Utzinger zweifelt daß Stockfish 1.5.1 stärker als Stockfish 1.3.1 ist! Sehr schön, gratuliere Kurt! Fahr Deine Reputation mit solchen Kommentaren in den Keller, Volldampf voraus...

By Werner Mueller Date 2009-11-17 16:17

Falsche Pointe?

1908 spielten der süddeutsche Meister Köhnlein gegen den Kaffeehausspieler Burletzki einen Wettkampf auf sechs Gewinnpartien. Letzterer ging mit viel Selbstvertrauen und Ichgefühl in den Kampf,

aber die erste Partie gewann Köhnlein.
Burletzki: "Ich habe einen dummen Fehler gemacht."
Die zweite Partie gewann auch Köhnlein.
Burletzki: "Alle Partien kann man nicht gewinnen."
Die dritte Partie gewann ebenfalls Köhnlein.
Burletzki: "Ich bin heute nicht in guter Form."
Die vierte Partie gewann wieder Köhnlein.
Burletzki: "Er spielt nicht schlecht."
Die fünfte Partie gewann Köhnlein.
Burletzki: "Ich habe ihn unterschätzt."
Die sechste Partie gewann Köhnlein.
Burletzki: "Ich glaube, er ist mir ebenbürtig."

Hier lacht der gemeine Schachspieler möglicherweise zwar an der richtigen Stelle, aber höchstwahrscheinlich nicht über die richtige Pointe, welche sich natürlich nur dem Engine-Tester erschließen kann.
Lacht dieser doch darüber, dass Burletzki, offensichtlich bar jedes statistischen Sachverstandes, sich völlig voreilig zu dieser resignativen eigenen Geringschätzung ("Ich glaube, er ist mir ebenbürtig") hat verleiten lassen. Denn weiß er doch auch, dass korrekterweise - sozusagen unter besonderer Beröcksichtigung der statistischen Relevanz - der Fortgang der Anekdote in etwa wie folgt auszusehen hätte:
...
...
Die fünfzigste Partie gewann Köhnlein.
Burletzki: "All this does not at all prove something"

(ich weiß, hab' ich so ähnlich schon mal gebracht, aber (ein-)mal wiederholen darf man sich

)

By Michael Scheidl Date 2009-11-17 20:23

Ja genau, sehr treffend.

Jetzt bin ich nicht mehr sauer, sondern erheitert... Hoffentlich geht es Kurt auch so; ich fürchte ich habe den Frust über diese ständigen langweiligen Statistik-Aspekte etwas zu deutlich formuliert.

By Gerhard Sonnabend Date 2009-11-17 20:29 Edited 2009-11-17 20:32

[quote="Michael Scheidl"]
[...snip...]
Also wir nehmen zur Kenntnis: Kurt Utzinger zweifelt daß Stockfish 1.5.1 stärker als Stockfish 1.3.1 ist!
Sehr schön, gratuliere Kurt! Fahr Deine Reputation mit solchen Kommentaren in den Keller, Volldampf voraus...
[/quote]

Also wenn ich Kurts Englisch (für mich) richtig interpretiere, dann zweifelt er nicht daran,
dass Stockfish 1.5.1 stärker als die Version 1.3.1 ist. Er stört sich lediglich an der Anmerkungen,
dass es sich um eine deutliche Steigerung handeln könnte.
Natürlich sind seine Zweifel unberechtigt, dies jedoch steht auf einem anderen Blatt. Die deutliche
Steigerung der 1.5.1 ist schon längst dokumentiert.

Viele Grüsse,
G.S.

By Kurt Utzinger Date 2009-11-18 15:52

[quote="Gerhard Sonnabend"]
[quote="Michael Scheidl"]
[...snip...]
Also wir nehmen zur Kenntnis: Kurt Utzinger zweifelt daß Stockfish 1.5.1 stärker als Stockfish 1.3.1 ist!
Sehr schön, gratuliere Kurt! Fahr Deine Reputation mit solchen Kommentaren in den Keller, Volldampf voraus...
[/quote]

Also wenn ich Kurts Englisch (für mich) richtig interpretiere, dann zweifelt er nicht daran,
dass Stockfish 1.5.1 stärker als die Version 1.3.1 ist. Er stört sich lediglich an der Anmerkungen,
dass es sich um eine deutliche Steigerung handeln könnte.
Natürlich sind seine Zweifel unberechtigt, dies jedoch steht auf einem anderen Blatt. Die deutliche
Steigerung der 1.5.1 ist schon längst dokumentiert.

Viele Grüsse,
G.S.
[/quote]

Hallo Gerhard
Du hast es begriffen, wie es gemeint war mit der Einschränkung, dass sich meine Aussage wirklich
nur auf das gebrachte Match bezogen hat. Stockfish 1.5.1 ist über alles gesehen ohne Zweifel
einiges stärker als die Version 1.3.1. Aus meinen früheren Erfahrungen der 50-Partien-Matches
weiss ich aber, dass Engine X alt gegen Engine Y mit einem Resultat von 26,5-25,5 bei einer
Wiederholung auch mit 28,5-21,5 hätte ausgehen können und die selben Differenzen deshalb
auch bei einem Match Engine X neue gegen Engine Y auftreten können. Mit anderen Worten:
ein 50 Partien-Match vermag noch zu wenig auszusagen, wichtig ist schlussendlich aber das
Gesamtscore von Engine X neu im Vergleich zu Engine X alt nach 500-1000 und mehr Pariten.
Hoffe, dass nun auch Michael Scheidl (weshalb tritt der zur Zeit so aggressiv auf?) verstanden
hat, wie es gemeint war.
Mfg
Kurt

By Gerhard Sonnabend Date 2009-11-18 16:27 Edited 2009-11-18 16:33

Ich denke so für mich, dass einige etwas gereizt sind ob der vielfachen
Wiederholungen zu diesem Thema. Natürlich liegen die Leute richtig, welche
immer und immer wieder darauf hinweisen, dass derart kurze Serien eine
Aussagekraft tendierend gegen Null haben.
Selbst die "100er-Serien", welche ich für meine Ratingliste verwende, haben
isoliert gesehen keinerlei Relevanz. Erst 10 bis 15 solcher Serien
(also 1000-1500 Games) geben die Möglichkeit die Spielstärkenverhältnisse
der Programme untereinander vernünftig abzuschätzen.
Ich habe bei der Antwort auf Thorstens Posting, siehe:
http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=16178#pid16178
bereits darauf hingewiesen.

Das ausgerechnte Michael so ungehalten reagiert verwundert mich auch, er
selbst hat dieses "Problem" erst vor kurzem erlebt, siehe
http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=15522#pid15522

Viele Grüsse,
G.S.

By Michael Scheidl Date 2009-11-18 17:12

Ja stimmt; ich war wirklich nur etwas sauer wegen des ständigen Wiederkäuens dieses "Warnhinweises". Es wirkt immer etwas abwertend gegenüber den Mühen von Test und Posting, denen sich jemand unterzog. Ein großes Mosaik daß das treffende Bild liefern soll, besteht notgedrungen aus vielen kleinen, für sich genommen unbedeutenden Steinchen.

Allerdings poste ich bei eigenen derartigen Resultaten - also mit relativ wenigen Partien - oft eine Beispielpartie dazu, und/oder eine Stellung mit einem schönen Zug... D.h., auch ohne großen statistischen Wert kann man ein paar direkte Eindrücke über das Können einer Engine mitliefern wenn man will.

By Frank Quisinsky Date 2009-11-17 11:53

Hello,

the first
Thanks for public your results.

Do you try the following versions of Fruit / Toga family too?

1. Cyclone xTreme Wrath (I think from the Cyclone Storm pack the most interesting version), in my opinion the strongest engine of the Fruit / Toga family.
2. Toga II 2.0 SE (with the strong Kiri settings), but I think Cyclone xTreme will be stronger as all the available Toga versions. The Kiri setting is also added in the actual Cyclone versions.
3. Protector 1.31b (very interesting but version 1.2.9 of Protector isn't stronger als Grapefruit 1.0 / Cyclone xTreme.

For the moment I believe Cyclone xTreme Wrap (24.09.2009) and Protector 1.31b are the most interesting of all.

Maybe you have interest to play the same matches with the stronger one.

Best
Frank

PS:
From the older 2008 / start of 2009 collections of Fruit / Toga family are the version:

Toga II 1.42 JD
Grapefruit 1.0
Toga II 1.41 SE Spezial Edition TE

the most interesting.
In my opinion thats OK you testing the interesting Toga II 1.42JD, but the newer one are more interesting

By Orlando de la Vega Date 2009-11-17 21:40

[quote="Frank Quisinsky"]
Do you try the following versions of Fruit / Toga family too?

1. Cyclone xTreme Wrath (I think from the Cyclone Storm pack the most interesting version), in my opinion the strongest engine of the Fruit / Toga family.
2. Toga II 2.0 SE (with the strong Kiri settings), but I think Cyclone xTreme will be stronger as all the available Toga versions. The Kiri setting is also added in the actual Cyclone versions.
3. Protector 1.31b (very interesting but version 1.2.9 of Protector isn't stronger als Grapefruit 1.0 / Cyclone xTreme.

For the moment I believe Cyclone xTreme Wrap (24.09.2009) and Protector 1.31b are the most interesting of all.

Toga II 1.42 JD
Grapefruit 1.0
Toga II 1.41 SE Spezial Edition TE
[/quote]

Hi Frank,

Thanks for your suggestion! I'll finish to test Stockfish 1.5.1 JA, and then I'll run a Blitz Swiss tournament between the different Fruit / Toga

Best,
Orlando

By Frank Quisinsky Date 2009-11-17 22:02

Hi Orlando,

if you have interest I can send results by mail.
You can find mail address in my profil of this forum.

Best
Frank