URT2009 / ultra-rapid-tournament 2009/2010

By Gerhard Sonnabend Date 2009-12-03 19:05

Hi to all !

Bedingungen:
PC = AMD 3700+ @2.4GHz
OS = Windows XP x64 Edition
GUI = CB-Fritz 10 / Turnier-Modus
HTs = 32MB
PB = off
Keine TBs, SBs oder BBs
Kein Lernen, egal welcher Art und Weise
Alle Engine laufen mit den Defaulteinstellungen
Partien, welche mit einer ZÜ enden, werden abgeschätzt

70 Vorgabestellungen = 140 Games pro Match

Level 1' / Game

Ergebnisse bisher:

Code:


                                 Resultat     Perf    +  =  -
Fritz 12 vs Shredder 12 x64      64.0- 76.0   - 30   43 42 55
Fritz 12 vs Rybka 3.0 x64        31.5-108.5   -215   13 37 90
Fritz 12 vs Naum 4.0 x64         60.5- 79.5   - 43   27 67 46

S 12 x64 vs Rybka 3.0 x64        35.5-104.5   -188   17 37 86
S 12 x64 vs Naum 4.0 x64         79.5- 60.5   + 47   55 49 36

Rybka 3.0 x64 vs Naum 4.0 x64   113.5- 26.5   +253   97 33 10

Weshalb das Ganze ?
Vor fast genau 4 Jahren habe ich schon mal solch einen Test durchgeführt. Das endete
seinerzeit sehr enttäuschend (was jedoch zu erwarten war), weder die Reihung der Programme
untereinander noch die Abstände entsprachen der (Blitz)"Realität". Z.B. lag damals Rybka
1.0 Beta (deutlich) hinter den seinerzeit aktuellen Versionen von Hiarcs oder Shredder und
weiteren Programmen. Auch fast alle weiteren Platzierungen waren vollkommen anderes als bei
der CEGT oder auch als in meiner früheren Blitzliste. Man hätte also genausogut einen
Stellungstest hernehmen können, die Ergebnisse hätten nicht schlechter sein können.

Allerdings war der damals verwendete PC lediglich ein P4 mit 1.6GHz. Mal abwarten was
diesmal bei dieser doch sehr sehr kurzen Bedenkzeit herauskommt.

Ich persönlich wäre positiv überrascht, wenn nach einer ausreichenden Anzahl an Spielen
"wenigstens" die Platzierungen der Engines denen der CEGT-Blitz-Ratingliste entsprechen
würden, ausser natürlich beim "Paket" DeepSjeng/Onno/Hiarcs/Zappa/Doch. Diese Engines liegen
so dicht beieinander, dass fast jede beliebige Reihenfolge möglich ist/wäre.

Lt. CEGT-Blitz-Ratingliste müssten/sollten die bisherigen Teilnehmer wie folgt ins Ziel kommen:
1.    Rybka
2./3. Shredder / Naum
4.    Stockfish
5.    Fritz

Noch ist das nicht der Fall. Vor allem das schlechte Resultat von Naum vs Rybka ist hierfür
verantwortlich. Allerdings haben 420 Games pro Engine so gut wie keine Aussagekraft.
Und es könnte auch durchaus sein, dass die Engines unter diesen 2 verschiedenen Bedenkzeit-
vorgaben z.T. (spürbar ?) unterschiedlich stark/schwach scoren ?! Sollte dem so sein, dann
werde ich natürlich nicht "ans Ziel" kommen.

ZÜs spielen noch kaum eine Rolle, meist ist es ohnehin Remis (Falscher Läufer, K+B gegen K mit
bereits eingenommener Opposition, K+L oder S gegen K, K+T+L gegen K+T ...). Ab und an kommt es
zu Endstellungen mit total blockierten Bauernketten. Die ZÜ-Quote liegt z.Zt. bei knapp 6%. Von
diesen 50 Games waren 39 Remis aus o.g. Gründen. Die restlichen 11 Games habe ich abgeschätzt.

Z.Zt. läuft der Test mit Stockfish 1.5.1 x64.

Weiteres folgt schon bald.

Viele Grüsse,
G.S.

By Ingo Bauer Date 2009-12-03 23:06

Hallo Gerhard,

Sehr schöner Test (bis auf P-OFF

). ich habe kürzlich auf aktueller Hardware das selbe mit 1 + 1 gemacht (P-on) und war doch erstaunt das eientlich etwas ziemlich plausibles rauskam. Die Reihung war (grob) ok, wenngleich die Abstände deutlich geringer waren. Ich glaube man bekommt ganz plausible Ergebnisse solange man

1. Genug Spiele macht und
2. Sich keine Einzelspiele ansieht (die sind furchtbar)

1 + 1 habe ich gspielt, weil ich bei so kurzen Bedenkzeiten doch ürchte das einige Spiele auf Zeit verloren gehen weil die GUI Zeit zum übertragn benötigt. Das + 1 war also nur Kosmetik um die Kommuniation u puffern. Soltest du zu viel Verluste auf Zeit haben kann ich das nur empfehlen.

Also ich bin auf deine Liste die so entsteht gepannt!

Gruß
Ingo

By Gerhard Sonnabend Date 2009-12-04 18:46

Hi to all !

Die Serie mit Stockfish 1.5.1 x64 1CPU ist beendet.

Die Engine konnte folgende Resultate erzielen:

Code:


vs Fritz 12                      140 (+ 50,= 40,- 50) 50.0 %
vs Deep Shredder 12 x64 1CPU     140 (+ 47,= 37,- 56) 46.8 %
vs Rybka 3.0 x64 1CPU            140 (+ 14,= 35,- 91) 22.5 %
vs Naum 4.0 x64 1CPU             140 (+ 42,= 37,- 61) 43.2 %

Nun auch die erste Ratingliste:

Code:


  Program                         Elo    +   -   Games   Score   Av.Op.  Draws
1 Rybka 3.0 x64 1CPU             2870   28  27    560    77.7 %   2653   25.4 %
2 Deep Shredder 12 x64 1CPU      2682   24  24    560    47.4 %   2700   29.5 %
3 Naum 4.0 x64 1CPU              2662   24  24    560    43.9 %   2705   33.2 %
4 Stockfish 1.5.1 JA x64 1CPU    2644   25  25    560    40.6 %   2710   26.6 %
5 Fritz 12                       2642   24  24    560    40.4 %   2710   33.2 %

Gar nicht SO schlecht finde ich persönlich.
Natürlich sind 540 Games pro Engine erst als ein "kleiner Anfang" zu sehen
und mit aller Vorsicht zu betrachten !

Nächste Engine:
RobboLito 0.085e4 x64 1CPU

Ratingliste und Ergebnisaufstellung erstellt
mit ELO-Stat 1.3 von Dr. Frank Schubert.

Viele Grüsse,
G.S.

By Gerhard Sonnabend Date 2009-12-05 13:42

Zwischenstand:

RobboLito 0.085e4 x64 1CPU

Code:


                              Resultat     Perf    +  =  -
vs Shredder 12 x64 1CPU      107.5- 32.5   +208   89 37 14
vs Fritz 12                  111.0- 29.0   +233   89 44  7
vs Naum 4.0 x64 1CPU         113.0- 27.0   +249   96 34 10
vs Stockfish 1.5.1 x64 1CPU  000.0-000.0   +xxx   xx xx xx

Gegen Fritz 12 + Naum 4.0 jeweils lediglich 2 ZÜs !

Viele Grüsse,
G.S.

By Gerhard Sonnabend Date 2009-12-07 19:23

Hi to all !

Die Serie mit RobboLito 0.085e4 x64 1CPU ist beendet.

RobboLito 0.085e4 x64 1CPU

Code:


                              Resultat     Perf    +  =  -
vs Shredder 12 x64 1CPU      107.5- 32.5   +208   89 37 14
vs Fritz 12                  111.0- 29.0   +233   89 44  7
vs Naum 4.0 x64 1CPU         113.0- 27.0   +249   96 34 10
vs Stockfish 1.5.1 x64 1CPU  113.0- 27.0   +249   92 42  6
vs Rybka 3.0 x64 1CPU         76.5- 63.5   + 32   46 61 33

Im Match zwischen Robbo und Rybka kam es zu keiner einzigen
ZÜ und dies trotz der eigentlich bekloppten Spielstufe !

Ratingliste:

Code:


  Program                         Elo    +   -   Games   Score   Av.Op.  Draws
1 RobboLito 0.085e4 x64          2852   23  23    700    74.4 %   2666   31.1 %
2 Rybka 3.0 x64 1CPU             2828   23  23    700    71.2 %   2671   29.0 %
3 Deep Shredder 12 x64 1CPU      2654   22  22    700    42.6 %   2706   28.9 %
4 Naum 4.0 x64 1CPU              2633   22  22    700    39.0 %   2710   31.4 %
5 Fritz 12                       2617   21  22    700    36.4 %   2713   32.9 %
6 Stockfish 1.5.1 JA x64 1CPU    2616   22  23    700    36.4 %   2714   27.3 %

Ratingliste und Ergebnisaufstellung erstellt
mit ELO-Stat 1.3 von Dr. Frank Schubert.

Viele Grüsse,
G.S.

By Gerhard Sonnabend Date 2009-12-08 19:54

Hi to all !

Ab sofort wird Deep Sjeng 3.0 x64 1CPU in die kleine Liste eingebunden.

Deep Sjeng 3.0 x64 1CPU

Code:


                              Resultat     Perf    +  =  -
vs Fritz 12                   51.5- 88.5   - 94   30 43 67
vs Shredder 12 x64 1CPU       00.0- 00.0   - xx   xx xx xx

Viele Grüsse,
G.S.

By Gerhard Sonnabend Date 2009-12-10 20:13

Nach kurzer Pause gehts nun weiter.

Deep Sjeng 3.0 x64 1CPU

Code:


                              Resultat     Perf    +  =  -
vs Fritz 12                   51.5- 88.5   - 94   30 43 67
vs Naum 4.0 x64 1CPU          61.0- 79.0   - 45   42 38 60
vs Stockfish 1.5.1 x64 1CPU   running
vs Shredder 12 x64 1CPU       50.0- 90.0   -102   33 34 73

By Gerhard Sonnabend Date 2009-12-12 09:56

Kleines Update.

Deep Sjeng 3.0 x64 1CPU

Code:


                              Resultat     Perf    +  =   -
vs Fritz 12                   51.5- 88.5   - 94   30 43  67
vs Naum 4.0 x64 1CPU          61.0- 79.0   - 45   42 38  60
vs RobboLito 0.085e4 x64 1CPU 00.0- 00.0   -xxx   xx xx  xx
vs Rybka 3.0 x64 1CPU         18.5-121.5   -327    7 23 110
vs Stockfish 1.5.1 x64 1CPU   54.5- 85.5   - 78   31 47  62
vs Shredder 12 x64 1CPU       50.0- 90.0   -102   33 34  73

Viele Grüsse,
G.S.

By Hubert Voss Date 2009-12-05 13:59

Nächste Engine:
RobboLito 0.085e4 x64 1CPU

Ratingliste und Ergebnisaufstellung erstellt
mit ELO-Stat 1.3 von Dr. Frank Schubert.

Viele Grüsse,
G.S.

Nachdem Walter und nun auch Gerhard RobboLito in Ihre Tests aufnehmen,ich will die Diskussion nicht wieder anheizen,aber wie ist der aktuelle Stand was RobboLito angeht?

Hubert

By Gerhard Sonnabend Date 2009-12-07 19:25

[quote="Hubert Voss"]
Nächste Engine:
RobboLito 0.085e4 x64 1CPU

Ratingliste und Ergebnisaufstellung erstellt
mit ELO-Stat 1.3 von Dr. Frank Schubert.

Viele Grüsse,
G.S.

Nachdem Walter und nun auch Gerhard RobboLito in Ihre Tests aufnehmen,ich will die Diskussion nicht wieder anheizen,aber wie ist der aktuelle Stand was RobboLito angeht?

Hubert
[/quote]

Nichts Neues meiner Meinung nach.
Mein URT2009 ist übrigens ein rein privater Test.

Viele Grüsse,
G.S.