RobboLito 0.085e4 against Rybka 3

Place	Engine	Author	Country	Points	Single results
1	RobboLito 0.085e4	Y. P. Golyadkin, I. I. Igoronov & R. Pescatore		29.5/50	½½1½01½½½1-11½110½0½½-01½½½1½½1½-½½½½½11½½0-01½001111½
2	Rybka 3	Vasik Rajlich		20.5/50	½½0½10½½½0-00½001½1½½-10½½½0½½0½-½½½½½00½½1-10½110000½

By Klaus Rosenheim Date 2009-12-13 12:28

Dem kann ich noch nicht zustimmen, meine Tests sagen bisher nur das rybka 3 und robbo etwa gleich stark sind. Derzeit liegt rybka noch 5 Elo besser.

                        
2 RobboLito 0.085e x64      : 3020  211 (+ 96,= 89,- 26), 66.6 %

Rybka 1.2f                    :  23 (+  9,= 13,-  1), 67.4 %
Rybka 2.3.1                   :  24 (+ 12,=  8,-  4), 66.7 %
Rybka 2.3.2a                  :  21 (+  7,= 11,-  3), 59.5 %
Rybka 3                       :  20 (+  4,= 12,-  4), 50.0 %
Naum 3                        :  20 (+ 16,=  2,-  2), 85.0 %
Naum 4                        :  31 (+  7,= 17,-  7), 50.0 %
Deep Fritz 11                 :  26 (+ 15,=  9,-  2), 75.0 %
Deep Shredder 12 UCI          :  24 (+ 10,= 12,-  2), 66.7 %
spark-0.3                     :  22 (+ 16,=  5,-  1), 84.1 %

MfG
Klaus Rosenheim

By Kurt Utzinger Date 2009-12-13 13:29

Hallo Klaus
Kann man denn Deine Spielbedingungen mit denjenigen von
Orlando vergleichen?
Mfg
Kurt

By Klaus Rosenheim Date 2009-12-13 13:39

Ich glaube nicht. Gespielt wird auf einem Intel Core 2 Quad Q6600. 60Z/26 Min. 60Z/26 Min. Rest in 26 Min. Jede engine nutzt 256mb ram. Jede engine erhält nur eine cpu. Gespielt wird mit Buch (pb12)und permanent brain. Jegliche Änderungen die durch engines vorgenommen werden bleiben erhalten. Die engines spielen unter der Fritz 11 GUI.

MfG
Klaus Rosenheim

By Wolfgang Battig Date 2009-12-13 13:46

[quote="Kurt Utzinger"]
Hallo Klaus
Kann man denn Deine Spielbedingungen mit denjenigen von
Orlando vergleichen?
Mfg
Kurt
[/quote]

nein!

Orlando: 40/5, also durchschnittlich 7-8 Sek./Zug
Klaus R.: 60/26, also ~26 Sek./Zug, somit 3-4 mal länger

Zudem testet Klaus die 64bit-Versionen, Orlando schreibt es hier zwar nicht dabei, ist m.W. aber 32bit

Fazit: Die Testbedingungen sind überhaupt nicht zu vergleichen!

By peter struwel Date 2009-12-13 13:55

das ist nur die halbe wahrheit, denn:

1- orlando: enginezweikampf
2- klaus: turnier
3- ...
.
.
.

peter

By Hüseyin Özoguz Date 2009-12-13 13:31

Hallo Klaus,

kann es vielleicht sein, dass Rybka bei dir mehr als einen Kern benutzen darf oder sowas in der Richtung? Denn, dass Robbo signifikant stärker ist (20-60 Elo), ist längst belegt durch viele hudnert Spiele unter verschiedensten Bedingungen von verschiedensten Leuten, ich habe auch mal 400 Spiele gemacht, und der Unterschied war auch statistisch signifikant (die ersten 200 Spiele oder so habe ich hier auch gepostet). Allerdings waren das alles direkte Tests nur Robbo vs. Rybka.

Gruß
Hüseyin

By Joe Nettelbeck Date 2009-12-13 14:01

Nein, wahrscheinlich liegt es daran, dass er eine längere Bedenkzeit hat. Es scheint einiges darauf hinzudeuten, dass Rybka bei langen Bedenkzeiten nach wie vor stärker ist.

By Benno Hartwig Date 2009-12-14 08:36

[quote="Joe Nettelbeck"]Es scheint einiges darauf hinzudeuten, dass Rybka bei langen Bedenkzeiten nach wie vor stärker ist.[/quote]Um mal eine eigene Vorstellung von Robbolito zu bekomme, ließ ich ihn bei 6+1 je 148 Vorgabepartien gegen Rybka3 und Stockfish 1.5.1 spielen. (1 Kern)
Rybka3 erreichte 58.0/148
Stockfish151ja erreichte 28.0/148
Bei diesen Zeiten unterstützt dies also die These, dass Robbolito ein gutes Stück vor Rybka3 liegt.
Wie groß ist denn die bekannte Partienzahl bei langen Bedenkzeiten, und wie sehen die Ergebnisse aus, auf die sich deine Aussage stützt?
Was ist 'einiges'? Mehr als 'doch recht weniges'?
Benno

By Wolfgang Battig Date 2009-12-13 14:25

[quote="Hüseyin Özoguz"]
Hallo Klaus,

kann es vielleicht sein, dass Rybka bei dir mehr als einen Kern benutzen darf oder sowas in der Richtung?

da es von Rybka eine separate Single-Version gibt, glaube ich das eher nicht.

Zitat:

Denn, dass Robbo signifikant stärker ist (20-60 Elo), ist längst belegt durch viele hudnert Spiele unter verschiedensten Bedingungen von verschiedensten Leuten, ich habe auch mal 400 Spiele gemacht, und der Unterschied war auch statistisch signifikant (die ersten 200 Spiele oder so habe ich hier auch gepostet). Allerdings waren das alles direkte Tests nur Robbo vs. Rybka.

für 32bit bin ich mir da auch recht sicher, siehe Zahlen unten. Leider konnte ich die x64 von Robbo noch nicht testen.
Direkte Tests gegen nur eine Engine bringen gar nichts, weil sie das Bild verzerren (Stichwort Angstgegner bzw. Lieblingsgegner).
Außerdem dürften Robbo und Rybka zumindest "verwandt" sein, was direkte Vergleiche noch weniger aussagekräftig macht.

In meinen Matches erzielte Robbo gegen Rybka 3 32bit ein ELO-Plus von 111 Punkten, nach insgesamt 800 Partien gegen VERSCHIEDENE Gegner beträgt die Differenz aber "nur" +54,
das sagt m.E. alles....(obwohl 800 Partien noch viel zu wenig sind!)

---------------------------------------------------------------

Auszug aus meiner Liste (generiert aus meinen ca. 213.000 CEGT-Blitzpartien, 40/3 repeated, allgemeine Bücher bzw. Testsuites)

Robbolito habe ich "inoffiziell" getestet, die 800 Partien sind also NICHT in unserer Blitzliste http://www.husvankempen.de/nunn/40_4_Ratinglist/40_4_AllVersion/rangliste.html enthalten!

Code:

5 Rybka 3.0 x64 1CPU        : 3212  800 (+530,=230,- 40), 80.6 %

Fritz 11                      : 100 (+ 66,= 34,-  0), 83.0 %
Hiarcs 12 1CPU                : 100 (+ 66,= 26,-  8), 79.0 %
Naum 3.1 x64 1CPU             : 100 (+ 70,= 28,-  2), 84.0 %
Zappa Mexico II x64 1CPU      : 100 (+ 68,= 29,-  3), 82.5 %
Shredder 11 SE                : 100 (+ 77,= 19,-  4), 86.5 %
Naum 4.0 x64 1CPU             : 100 (+ 53,= 40,-  7), 73.0 %
Onno 0.12.0 x64 1CPU          : 100 (+ 72,= 22,-  6), 83.0 %
Toga II 1.4 beta5c 4CPU       : 100 (+ 58,= 32,- 10), 74.0 %

6 RobboLito 0.085d4 w32     : 3172  800 (+437,=278,- 85), 72.0 %

Rybka 3.0 w32 1CPU            : 100 (+ 43,= 45,- 12), 65.5 %
Naum 4.0 w32 1CPU             : 100 (+ 47,= 45,-  8), 69.5 %
Fruit 2.4 Beta A w32 2CPU     : 100 (+ 64,= 28,-  8), 78.0 %
Rybka 2.2n2 w32 1CPU          : 100 (+ 52,= 36,- 12), 70.0 %
Hiarcs 12.1 2CPU              : 100 (+ 53,= 31,- 16), 68.5 %
Onno 1.0.0 w32 1CPU           : 100 (+ 74,= 22,-  4), 85.0 %
Deep Shredder 12 w32 1CPU     : 100 (+ 48,= 37,- 15), 66.5 %
Stockfish 1.5.1JA x64 1CPU    : 100 (+ 56,= 34,- 10), 73.0 %

11 Rybka 3.0 w32 1CPU        : 3118  1430 (+763,=462,-205), 69.5 %

Ktulu 8                       :  50 (+ 41,=  9,-  0), 91.0 %
Fritz 11                      :  52 (+ 35,= 14,-  3), 80.8 %
Deep Shredder 11 w32 1CPU     :  50 (+ 31,= 14,-  5), 76.0 %
Zappa Mexico II x64 2CPU      : 100 (+ 45,= 40,- 15), 65.0 %
SmarThink 1.10 (Moscow) w32   :   2 (+  2,=  0,-  0), 100.0 %
Fruit 2.4 Beta A w32 1CPU     :  52 (+ 31,= 13,-  8), 72.1 %
Hiarcs 12 2CPU                : 100 (+ 44,= 32,- 24), 60.0 %
Hiarcs Paderborn 2007 1CPU    :  50 (+ 30,= 14,-  6), 74.0 %
Toga II 1.4.2JD 1CPU          :  52 (+ 36,= 10,-  6), 78.8 %
Naum 3.1 w32 1CPU             :  50 (+ 35,= 11,-  4), 81.0 %
Zappa Mexico II x64 1CPU      :  50 (+ 27,= 18,-  5), 72.0 %
Deep Sjeng 3.0 w32 1CPU       :  50 (+ 30,= 14,-  6), 74.0 %
Naum 3.0 w32 2CPU             : 100 (+ 52,= 36,- 12), 70.0 %
Deep Sjeng WC2008 w32 1CPU    : 102 (+ 73,= 22,-  7), 82.4 %
Bright 0.4a 1CPU              :   2 (+  2,=  0,-  0), 100.0 %
Naum 4.0 w32 1CPU             : 102 (+ 50,= 39,- 13), 68.1 %
Fruit 2.4 Beta A w32 2CPU     : 100 (+ 58,= 31,- 11), 73.5 %
Glaurung 2.2 w32 1CPU         :   2 (+  2,=  0,-  0), 100.0 %
Hiarcs 12.1 1CPU              :   2 (+  0,=  1,-  1), 25.0 %
Rybka 2.2n2 w32 1CPU          :   2 (+  1,=  1,-  0), 75.0 %
Onno 1.0.0 w32 1CPU           :   2 (+  1,=  0,-  1), 50.0 %
Stockfish 1.3.1 JA w32 1CPU   :   2 (+  1,=  1,-  0), 75.0 %
Thinker 5.4D w32 1CPU Inert   :   2 (+  2,=  0,-  0), 100.0 %
Shredder WM Edition Bonn 1CPU :   2 (+  0,=  1,-  1), 25.0 %
Loop-MP 12.32 1CPU            :  52 (+ 35,= 15,-  2), 81.7 %
Fritz 12                      : 100 (+ 45,= 44,- 11), 67.0 %
Deep Shredder 12 w32 1CPU     : 100 (+ 42,= 37,- 21), 60.5 %
RobboLito 0.085d4 w32         : 100 (+ 12,= 45,- 43), 34.5 %

By Benno Hartwig Date 2009-12-14 08:27

[quote="Wolfgang Battig"]Außerdem dürften Robbo und Rybka zumindest "verwandt" sein, was direkte Vergleiche noch weniger aussagekräftig macht. [/quote]BruderkämpfeFritz11-Fritz12 und Rybka2-Rybka3 sind sicher nicht besonders interessant.
Aber hat man eigentlich mal wirklich geprüft, wie dies praktisch aussieht? Sind diese Bruderkampf-Ergebnisse wirklich 'falsch'?
Laut http://www.husvankempen.de/nunn/40_40%20Rating%20List/40_40%20All%20Versions/rangliste.html
liegt "Rybka 3 w32 1CPU" um 91 ELO vor "Rybka 2.3.2a w32 1CPU"
und es liegt "Deep Shredder 12 x64 4CPU" um 101 ELO vor "Deep Shredder 11 x64 4CPU"
Wenn man diese Brüder (oder Schwestern) nun bei großer Partienzahl gegeneinader spielen lässt, kommen dann wesentlich andere Werte heraus?
Systematisch anders? Größere oder kleinere Differenzen?
Benno

By Wolfgang Battig Date 2009-12-14 12:25

[quote="Benno Hartwig"]
....
Wenn man diese Brüder (oder Schwestern) nun bei großer Partienzahl gegeneinader spielen lässt, kommen dann wesentlich andere Werte heraus?
Systematisch anders? Größere oder kleinere Differenzen?
Benno
[/quote]

ganz ehrlich, Benno: Ich habe keine Ahnung!
Ich kenne auch keinen Tester, der Rybka-Rybka, Shredder-Shredder, Fritz-Fritz usw. spielen lässt, daher gibt es dazu auch keine Erkenntnisse.
Es dürfte auch fraglich sein, ob sich jemand die Mühe macht, eine aussagekräftige Zahl von Partien zu diesem Thema spielen zu lassen.
Das müsstest Du dann bei Bedarf selbst übernehmen...

Gruß
Wolfgang

By Benno Hartwig Date 2009-12-14 08:42

[quote="Wolfgang Battig"]In meinen Matches erzielte Robbo gegen Rybka 3 32bit ein ELO-Plus von 111 Punkten, nach insgesamt 800 Partien gegen VERSCHIEDENE Gegner beträgt die Differenz aber "nur" +54,
das sagt m.E. alles....(obwohl 800 Partien noch viel zu wenig sind![/quote]Natürlich fällt sowas ins Auge.
Was 'alles' sagt das nun aber konkret?
Ein Hinweis darauf, dass 'eine Engine schlicht weiterentwickelt wurde'? ("Guck mal, ein Clone!")
Oder dass bei der Entwicklung einer Engine 'vor allem gegen einen Gegner getunt wurde'?("Siehste, kein Clone!")
...

Benno

By Ernest Bonnem Date 2009-12-14 18:44

[quote="Benno Hartwig"]Was 'alles' sagt das nun aber konkret?[/quote]
Ich habe damals experimentiert (no ponder, Zeit 2'+1", 5moves.ctg)
64-bit:
Rybka3 2-cpu Doppel-Zeit - Rybka3 2-cpu Einzel-Zeit : 400 Partien, 67,13%, +126 Elo
Rybka3 2-cpu - Rybka3 1-cpu : 400 partien, 60,75%, +78 Elo
64-32-bit
Rybka3 2-cpu 64-bit - Rybka3 2-cpu 32-bit : 400 Partien, 62,88%, +94 Elo

Es ist klar, daß da alle Unterschiede zu Übertriebung führen (Doppel-Zeit sollte nur +60-70 Elo wert sein)

Dasselbe (ein wenig kleiner) Effekt geht natürlich mit Brüder (oder Schwester) Engines.

By Ernest Bonnem Date 2010-03-13 21:14

+94 Elo zwischen Rybka 3.0 w32 1CPU und Rybka 3.0 x64 1CPU ist viel!

Hast Du auch die Robbolito x64 version getestet?

By Bram Mourik Date 2010-03-14 09:32

Schonen Dank Wolfgang,

Also in deine Test holt Robbo 65,5 % gegen Rybka 3 w32 auf 1CPU
So dann ist doch ganz klar was von dieser zwei, die starkere engine ist...

...6 RobboLito 0.085d4 w32 : 3172 800 (+437,=278,- 85), 72.0 %

Rybka 3.0 w32 1CPU : 100 (+ 43,= 45,- 12), 65.5 %...

Danke und grusse Bram

By Michael Scheidl Date 2009-12-13 13:43

RobboLito mußte hier also gleich gegen vier Rybkas antreten, Rybka 3 - wie ich annehme - gegen keine andere Rybka. Das kann man zwar "rein rechnerisch" nach Elo trotzdem vergleichen, aber ich möchte doch ein kleines methodisches Fragezeichen hinter diese Vorgangsweise setzen. Also pointiert ausgedrückt, einerseits bekommt Robbo vier Rybkas vor den Latz geknallt, während Rybka 3 selber vermutlich (sachgerechterweise) nie gegen Versionen von sich selbst spielen mußte. Somit sind das keine gleichen Testbedingungen und es überrascht mich nicht, wenn Robbo dabei weniger gut aussieht als überall sonst.

Über Kasparov wurde einmal sinngemäß gesagt, er ist eigentlich in jedem Turnier in Vorteil, denn er ist stets der einzige der nicht gegen Kasparov spielen muß.