CEGT - Update vom 03.06.2012

By Wolfgang Battig Date 2012-06-04 16:31

Hallo zusammen,

unsere aktuellen Ranglisten sind online und unter den bekannten Links abrufbar.

40 /120:

Aktuell im Test: Tornado 4.88 x64

40 / 20:
Neue Partien: 834
Gesamtzahl: 592.606
Games of the week: Link s. unten

NEUE Engines
Equinix 1.35 x64 4CPU: 2902 - 635 Partien und damit 58 Punkte vor der 1CPU-Version, was etwas wenig erscheint. Ob und wann die Engine öffentlich wird ist uns nicht bekannt, vielleicht mit Version 2.0?!

Wichtige UPDATES
Octochess r 4638 x64 1CPU: 2502 - 486 Partien (-14)
Glaurung 2.0.1 x64 1CPU: 2640 - 1396 Partien (-2)

Blitz:
Neue Partien: 7.000
Gesamtzahl: 1.026.932

Neue Engines
2 Stockfish 2.2.2 x64 4CPU: 3080 - 1000 Partien (+55 zur zueltzt mit 4CPU getesteten Version 2.0.1)
179 Tornado 4.88 x64 4CPU: 2761 - 1000 Partien (+117 zur Single)
780 GreKo 9.2 x64: 2394 - 1100 Partien (leicht verbessert, +32 zur 9.0)
945 Delphil 2.9c 1CPU: 2285 - 1000 Partien (praktisch unverändert zur 2.7)
967 Atlas 3.1.5 w32 1CPU: 2270 - 800 Partien (+25)

Updates
1099 Popochin 3.2: 2112 - 860 Partien (+4)
1129 Neurosis 2.5: 2033 - 1000 Partien (+8)

40 / 20 mit PermanentBrain = ON

Diese Liste befindet sich weiterhin im Aufbau und wird laufend aktualisiert. Bitte den unten aufgeführten Link benutzen.

Aktuelle Partienzahl: 7.480
Anzahl Engines/Versionen: 20

Neu in der Liste: Equinox 1.35 x64
Aktuell im Test: Quazar 0.4 x64

Hier geht's zur aktuellen Liste!

Wie immer ein herzliches Dankeschön an alle Tester!!

Links

Blitzliste

40 / 20 - Listen

Forum

Aktuelle Blitztests

Aktuelle 40/20-Tests

Aktuelle 40/120 - Tests

Games of the week (40/20)

Wolfgang Battig
CEGT-Team

By Benno Hartwig Date 2012-06-04 17:17

[quote="Wolfgang Battig"]unsere aktuellen Ranglisten sind online und unter den bekannten Links abrufbar.[/quote]Thanx again für eure Arbeit.

Es fällt auf, dass in
http://www.husvankempen.de/nunn/40_4_Ratinglist/40_4_AllVersion/rangliste.html
Houdini 2.0c nur auf einem Kern erscheint.
Mich würde schon interessieren, wie sich gerade diese Engine bei euch in dieser Liste auf 4 Kernen behauptet.
Würde sie Spitzenreiter werden? Ggf. wie deutlich?
Oder habt ihr gute Gründe, sie hier nicht zu führen?

Benno

By Simon Gros Date 2012-06-04 20:53

Wenn ich mir die Differenzen im Singlebereich ansehe:
Houdini 2.0c x64 1CPU - 3034 - 2300 Spiele
Houdini 2.0 x64 1CPU -- 3028 - 2800 Spiele
Houdini 1.5 x64 1CPU -- 3020 - 4850 Spiele,
dann kann ich verstehen weshalb sich die Tester einen MP-4-Test nicht antun wollen.
Simon_G

By Benno Hartwig Date 2012-06-05 13:14

[quote="Simon Gros"]dann kann ich verstehen weshalb sich die Tester einen MP-4-Test nicht antun wollen.[/quote]Ich nicht.
Houdini 2.0c ist zur Zeit die stärkste Engine weltweit, oder zumindest beinahe. Da finde ich ein Mehrkern-Rating auf jeden Fall sehr interessant.
Insbesondere wenn andere Engines durchweg ja mit 1, 2 und 4 Kernen aufgeführt sind,
Auch attestiert die CEGT-40/20-Liste der 4-Kern-2.0c tatsächlich keinen Vorsprung vor der 4-Kern-1.5a, was in anderen Listen eher anders erscheint.
Doch: mich würde sehr interessieren, was die 4-Kern-2.0c in der 40/4-Liste anstellen kann!

Aber Wolfgang gab dazu ja einige Erklärungen. (Thanx, Wolfgang)

Benno

By Simon Gros Date 2012-06-05 14:26

[quote="Benno Hartwig"]
Doch: mich würde sehr interessieren, was die 4-Kern-2.0c in der 40/4-Liste anstellen kann!
[/quote]
Dann kann man ja auch die CCRL 40/4 hernehmen, dort sieht es so aus:
Houdini 2.0c 64-Bit 6CPU -- 3306 / 2859 Spiele
Houdini 1.5a 64-Bit 6CPU -- 3298 / 1129 Spiele, also + 8 Punkte

Houdini 2.0c 64-Bit 4CPU -- 3268 / 2050 Spiele
Houdini 1.5a 64-Bit 4CPU -- 3248 / 2764 Spiele, also + 20 Punkte

Houdini 2.0c 64-Bit 1CPU -- 3197 / 1285 Spiele
Houdini 1.5a 64-Bit 1CPU -- 3165 / 3147 Spiele, also + 32 Punkte
Simon_G

By Benno Hartwig Date 2012-06-07 14:54 Edited 2012-06-07 15:00

[quote="Simon Gros"]Dann kann man ja auch die CCRL 40/4 hernehmen, dort sieht es so aus:...[/quote]Klar, wenn es CEGT nicht bietet, weicht man auf andere Quellen aus. Ich finde das ist schade für die ansonsten sehr guten CEGT-Listen.

Gerade die von dir aufgebotenen Werte sollten aber doch eigentlich besonders neugierig machen, finde ich.
+32ELO bei 1-Kern, +20ELO bei 4 Kernen, und nur +8 ELO bei 6 Kernen.
Gerade wenn hier solch eine Tendenz erkennbar ist, möchte ich gern sehen, ob andere Listen dem widersprechen oder sie bestätigen.

Benno

PS:
Ggf. stört mich auch einfach, dass das vermutlich stärkste Programm in der Liste unter ferner-liefen erscheint, einfach weil man ihm nur eine schwächere Hardware bietet.

By Wolfgang Battig Date 2012-06-05 10:21

[quote="Benno Hartwig"]
Thanx again für eure Arbeit.

da nich für...

Zitat:

Dafür gibt es einen ganz banalen Grund. Für die Blitzliste testen zu 99% Gerhard Sonnabend und ich. Ich habe
Houdini 2 nicht, bleibt also nur Gerhard. Er nutzt zurzeit aber den Großteil seiner Kapazitäten für die neue
40/20-PB=ON-Liste und macht nur wenig 40/4, auch seine "QBRL" http://pcschach.de/40_4_AllVersion/rangliste.html
ruht aktuell (letztes Update Ende November 2011). Wenn er die wieder aufnimmt, erscheinen die getesteten
Engines auch in der CEGT-Liste, da die Bedingungen identisch sind.

Ansonsten bliebe ein Blick in die 40/20-Liste, http://www.husvankempen.de/nunn/40_40%20Rating%20List/40_40%20MPVersion/rangliste.html,
wo sich die 2.0c mit 4CPU nicht wirklich hervortut, d.h. punktgleich mit 1.5a bei jeweils >2000 Partien.

Gruß
Wolfgang

By Benno Hartwig Date 2012-06-05 13:22 Edited 2012-06-05 13:25

[quote="Wolfgang Battig"]Ansonsten bliebe ein Blick in die 40/20-Liste, http://www.husvankempen.de/nunn/40_40%20Rating%20List/40_40%20MPVersion/rangliste.html,
wo sich die 2.0c mit 4CPU nicht wirklich hervortut, d.h. punktgleich mit 1.5a bei jeweils >2000 Partien.[/quote]Gerade der Blick auf diese Liste lässt mich sehr neugierig sein, ob ihr ein ungefähr solches Ergebnis auch in der 40/4-Liste erhieltet.
Klar, auch CCRL-40/40 zeigt nur 10-ELO Differenz. Mir scheint euer Gleichstand-Ergebnis trotzdem eher ungewöhnlich zu sein.

Angenommen 2.0c hat tatsächlich 10 ELO mehr als 1.5a.
Wie hoch ist dann eigentlich die Wahrscheinlichkeit dafür, dass bei ca. 2500 Partien die 2.0c Überhaupt keinen Vorsprung (also < 0,5 ELO) herausspielt?
Wäre das noch einigermaßen wahrscheinlich? Oder wäre das schon ein seehhr unwahrscheinliches Ereignis?

Benno

By Wolfgang Battig Date 2012-06-05 15:05

Hallo Benno,

[quote="Benno Hartwig"]
Gerade der Blick auf diese Liste lässt mich sehr neugierig sein, ob ihr ein ungefähr solches Ergebnis auch in der 40/4-Liste erhieltet.

ich gehe wie gesagt davon aus, dass Gerhard die 2.0c - wann auch immer - in seine QBRL (und damit auch in CEGT) einspielen wird.
Sofern sie dann noch aktuell ist.

Zitat:

Klar, auch CCRL-40/40 zeigt nur 10-ELO Differenz. Mir scheint euer Gleichstand-Ergebnis trotzdem eher ungewöhnlich zu sein.

Ich kann bei Error-Bars von 13 bzw. 11 Punkten nichts wirklich ungewöhnliches erkennen. Mit zwei CPU bei allerdings deutlich
weniger Partien und somit größeren Error-Bars liegt sogar die 1.5a leicht vorne (+8), bei 1CPU (40/20) übrigens auch, +10.

Das ist statistisches Rauschen, mehr nicht. Die beiden Versionen sind praktisch gleich stark, egal bei welcher Bedenkzeit und CPU-Zahl.
Über +/- 10 ELO zu diskutieren halte ich ehrlich gesagt für total überflüssig.

Viel spannender ist doch, ob Houdart es schafft die 3.0 (oder wie immer sie heißen wird) deutlich(er) zu verbessern, wie mal kolpoltiert wurde.
Das wäre mal ne Leistung...

Gruß
Wolfgang

By Benno Hartwig Date 2012-06-05 16:45

[quote="Wolfgang Battig"]Viel spannender ist doch, ob Houdart es schafft die 3.0 (oder wie immer sie heißen wird) deutlich(er) zu verbessern,[/quote]Stimmt, das ist noch spannender.
Ähnlich spannend finde ich, ob es doch noch eine Rybka 5 geben wird, und ob die ggü. Rybka 4 einen Sprung machen kann.

Benno
(der halt gerade den vermutlich Stärksten immer gern getestet sieht, auch wenn er nur ein wenig stärker ist.)

By Simon Gros Date 2012-06-05 20:10

Ich habe mal kurz nachgesehen und finde hier: http://www.husvankempen.de/nunn/40_4_Ratinglist/40_4_AllVersion/rangliste.html Strelka 5.0 x64 1CPU auf Platz 18. In der "Single-Liste" steht die Engine auf Platz 2 mit 26 Punkten Rückstand auf Houdini 2.0c x64 1CPU.
Simon_G

By Wolfgang Battig Date 2012-06-05 22:11

Hallo Klaus,

in der Blitzliste ist Strelka enthalten (5.0), siehe http://www.husvankempen.de/nunn/40_4_Ratinglist/40_4_single/rangliste.html, Platz 2.

Ich glaube allerdings nicht, dass wir die 5.1 und/oder spätere Versionen testen werden. Ob Strelka ein "Clone" ist oder nicht kann ich nicht
beurteilen, daher stelle ich auch keine "Thesen" auf!

Wolfgang

By Klaus Rosenheim Date 2012-06-05 22:21

Ab morgen werde ich Strelka 5.5 testen.Mal sehen ob sie noch besser ist wie die 5.1

By Ingo Bauer Date 2012-06-06 08:43 Edited 2012-06-06 08:53

[quote="Klaus Rosenheim"]
Wieso testet ihr eigentlich Strelka nicht? Ich stelle mal folgende These auf. Strelka ist kein Clon. In meiner Liste sehen die ersten 4 Plätze so aus.
[/quote]

Hier eine andere These: Strelka ist ein Clone!

Nebenbei hat mir der Autor vor dem Release von Strelka 5 mal im CCC Forum geantwortet das er bei seiner nächsten Version (das war dann 5) die GPL absichtlich nicht mehr beachten wird (Was er immerhin mit der 2er noch getan hat). Er bricht also wissentlich Recht. Die Engine ist völlig unten durch bei mir!

Ansonsten hat er in der 5.5 auch noch eine ziemlich große Datenbank mit Teststellungen und jeweils dem besten Antwortzug. Das ganze "heimlich" und nicht abschaltbar. Auch das spricht Bände.

Gruß
Ingo

By Ernest Bonnem Date 2012-06-06 13:38

By Klaus Rosenheim Date 2012-06-06 15:11

Ok, ich werde beide Versionen testen. Test 1 = Version vom 23.4.2012 Größe 772608
Test 2 = Version vom 15.5.2012 Größe 445440
in beiden Fällen die 64bit Version

By Stefan Pohl Date 2012-06-07 15:46

[quote="Ingo Bauer"]

Ansonsten hat er in der 5.5 auch noch eine ziemlich große Datenbank mit Teststellungen und jeweils dem besten Antwortzug. Das ganze "heimlich" und nicht abschaltbar. Auch das spricht Bände.
[/quote]

Stimmt leider, allerdings hat das Ed Schröder irgendwann in den 90er Jahren mit seiner Rebel-Engine mit einem der BT-Tests auch so gemacht. Das flog seinerzeit auf, als in der Zeitschrift Modul die entsprechenden BT-Teststellungen mit vertauschtem Anzugsrecht und gespiegelt nochmals getestet wurden und Rebel (im Gegensatz zu anderen Engines) plötzlich bei etlichen Stellungen den Lösungszug nicht mehr fand, den er im Original noch gefunden hatte. Und ausgerechnet Ed Schröder macht jetzt einen auf Betrugsaufdecker in der Cloning-Debatte. Moral von der Geschicht: Früher war es auch nicht wirklich besser (und Rebel war seinerzeit natürlich noch kommerziell!).

Stefan

By Stefan Pohl Date 2012-06-07 15:41

[quote="Klaus Rosenheim"]
Wieso testet ihr eigentlich Strelka nicht? Ich stelle mal folgende These auf. Strelka ist kein Clon. In meiner Liste sehen die ersten 4 Plätze so aus.
1.Strelka 5.1 2889
2.Houdini 1.5a 2878
3.Strelka 5 2854
4. Rybka 4 2850
Alle engines werden außschlieslich mit einer cpu getestet.
[/quote]

Bei meiner TEB-Liste sieht es so aus (1 core, 60''+750ms):


Rank Name                    Elo    +    - games score oppo. draws 
   1 Houdini 2.0c x64       3096   10   10  2700   62%  3022   44% 
   2 Strelka 5.5 x64        3076    9    9  3000   58%  3029   53% (singlecore)
   3 Houdini 1.5a x64       3076   10   10  2700   59%  3022   45% (best freeware (multicore))
   4 Critter 1.4a x64s      3057    9    9  3000   54%  3031   53% 
   5 Ivanhoe 46h x64        3023    9    9  3000   48%  3035   55% 
   6 Komodo 4 x64s          3019   10   10  3000   47%  3035   43% (singlecore)
   7 Robbolito 0.10 x64s    3016    9    9  3000   47%  3035   55% 
   8 Rybka 4.1 x64s         3012   10   10  3000   46%  3036   47% 
   9 Stockfish 2.2.2 x64s   3000   10   10  3000   44%  3037   45% 
  10 Robbolito 0.085g3 x64  3000    9   10  3000   44%  3037   53% (singlecore)
  11 Deep Saros 3.0 x64     2994   10   10  3000   43%  3037   48%

Stefan