CEGT - Update vom 30.05.2010

By Axel Caro Date 2010-05-31 20:39

Hallo Wolfgang,

Dir und dem CEGT-Team an dieser Stelle ein herzliches Dankeschön für euer ausdauerndes Engagement und die wiederkehrend interessanten Ergebnisse!

Bemerkenswert finde ich, dass zwischen Ergebnissen auf der Gundlage von 500 und von 1920 Partien dermaßen große Abweichungen auftreten können. Ist dies Deiner Meinung nach statistisch begründet oder würdest Du hier andere Ursachen vermuten (z. B. geringe Gegnerzahl, stark unterschiedliche Anzahl von Partien gegen verschiedene Gegner etc.)?

CEGT:
- 4CPU: 3265 - 500 Partien (gegen 7 Gegner, davon 3 Naum-Versionen und 1420 Partien gegen 3 Gegner) , +34 ELO zu Rybka 3
- 1CPU: 3194 - 1920 (gegen 8 Gegner, davon 2x Stockfish und 2x HIARCS), +74 ELO zu R3

CCRL:
- 4CPU: 3260 - 550 Partien (gegen 11 Gegner), +26 ELO zu Rybka 3
- 1CPU: 3198 - 497 Partien (gegen 15 Gegner), +23 ELO zu R3

Viele Grüße
Axel

By Gerhard Sonnabend Date 2010-05-31 20:50 Edited 2010-05-31 20:57

Hi Axel !

Das hat einen Grund, die Anzahl an Games für die "4-CPU" ist noch viel zu klein

Vielen Dank für das Lob (hört man doch auch mal gerne).
Du darfst sicher sein, andere werden es mit Grauen vernehmen, wir bleiben dran.

Viele Grüsse,
G.S.

By Ingo Bauer Date 2010-05-31 21:03

Hi

Stand da nicht noch was was ich voller Interesse gelesen habe

Gruß
Ingo

By Gerhard Sonnabend Date 2010-05-31 21:04

[quote="Ingo Bauer"]
Stand da nicht noch was was ich voller Interesse gelesen habe

[/quote]

Du meinst das mit "skalieren", nicht wahr ?
Passte nicht ganz, da ich die Ausgangsfrage zuerst falsch erfasst hatte.

Viele Grüsse,
G.S.

By Axel Caro Date 2010-05-31 21:09

Hi Gerhard,

immerhin, im Schnitt dieser gut 3400 Partien (40/4) kommt Rybka 4 auf +53 ELO gegenüber R3. Da lag ich vor einiger Zeit (lange vor der Veröffentlicung von R4) gar nicht so falsch mit meiner Vermutung von +50.

Was meinst Du übrigens mit "Du darfst sicher sein, andere werden es mit Grauen vernehmen, wir bleiben dran."?
Jene, deren größte Freude die Schadenfreude über ein mäßiges R4-Update ist?

Gruß
Axel

By Ingo Bauer Date 2010-05-31 21:39

[quote="Axel Caro"]
...
Was meinst Du übrigens mit "Du darfst sicher sein, andere werden es mit Grauen vernehmen, wir bleiben dran."?
...
[/quote]

Das frage ICH mich auch was er gemeint haben könnte

Gruß
Ingo

By Gerhard Sonnabend Date 2010-05-31 21:56

[quote="Ingo Bauer"]
[quote="Axel Caro"]
...
Was meinst Du übrigens mit "Du darfst sicher sein, andere werden es mit Grauen vernehmen, wir bleiben dran."?
...
[/quote]

Das frage ICH mich auch was er gemeint haben könnte

Gruß
Ingo
[/quote]

Weshalb machst Du (macht Ihr) nicht eine Umfrage draus ?

Best wishes,
G.S.

By Ingo Bauer Date 2010-05-31 22:07

Hallo

[quote="Gerhard Sonnabend"]
Hi Axel !

Das hat einen Grund, die Anzahl an Games für die "4-CPU" ist noch viel zu klein

...
[/quote]

Gerhard hat natürlich Recht, 500 Spiele sind zu wenig, aber in diesem Fall würde ich eher auf die geringe Anzahl an Gegnern tippen.

Bsp (meine Bedingungen):

   1 Deep Rybka 4                   2951 1800.0 (1449.0 : 351.0)
                                    100.0 ( 56.0 :  44.0) Stockfish 1.7.1 JA        2884
                              
                                    100.0 ( 89.0 :  11.0) Deep Sjeng WC2008         2674

R4 hat gegen Stockfish nur mit 2925 Eloschnitt gespielt (statt 2951). Wenn ich nun nur 500 Spiele hätte und 150 davon gegen Stockfish ...
Ein Umgekehrtes Bsp wäre Deep Sjeng. Erspielter Schnitt 3037 ... wenn ich davon 150/500 hätte .... Zw. beiden Engine sind 112 Elo Unterschied ... Deswegen:

1. Viele Gegner,
2. Viele Spiele und
3. niemals aus einer Enginepaarung Schlüsse ziehen!

(Unter CEGT Bedinungen können andere Enigne gut oder schlecht performen)

Gruß
Ingo

By Ingo Bauer Date 2010-05-31 22:32

Hallo

[quote="Ingo Bauer"]
1 Deep Rybka 4 2951 1800.0 (1449.0 : 351.0)
[/quote]

Noch ein Gedanke am Rande.

Mal angenommen (!) mein Ergebniss wäre perfekt, dann hätten auch 5 Spiele gegen Zappa Mexico II (2710 Elo - Durchschnittsengine) gereicht von denen Rybka 1 verliert und 4 gewinnt. Das Ergebniss wäre identisch zu meinen 1800 Spielen. Man kann also mit VIEL weniger Spielen zu dem selben Ergebniss kommen! Leider kennt man vorher weder den Durchschnitt, noch die nötigen Anzahl an Spielen, sonst würde ich viel Arbeit sparen ...

(... und die 5 Spiele müssen natürlich noch entprechend ablaufen ... aber das ist dann die Sache mit der Fehlerbreite!)

Gruß
Ingo

By Frank Quisinsky Date 2010-05-31 23:01 Edited 2010-05-31 23:05

So ist es ...
Je mehr verschiedene Engines desto besser ist das Ergebnis. Die gleiche Anzahl von Partien ist natürlich auch wichtig. Wahrscheinlich ist genau das der größe aller Beeinflussungsfaktoren. Der Knackpunkt bei CEGT und CCRL. Dennoch versuchen die Tester das ja ausgeglichen zu halten. Oftmals gelingt das nicht und Abweichungen kommen zu Tage (geht bei diesen Listen auch organisatorisch nicht). Dennoch sind die Listen aufgrund der Masse der Partien so gut das vieles dann wieder ausgeglichen wird.

Interessant die Frage wie viele Partien dafür notwendig sind.

Bevor ich jetzt wieder meine These runterspule:
Anspruchsdenken!
Natürlich wird eine Liste mit mehr Partien genauer aber die Frage ist ob die dann noch notwendig nach dem eigenen Anspruchsdenken sind.
Oder ... ob eine Engine dann letztendlich um 10 ELO insgesamt abweicht ... interessiert mich z. B. persönlich nicht mehr.

Je mehr engines desto weniger Partien pro Eng-Eng Match.

Weitere Frage wäre:
Wie viele unterschiedliche Engines sind dafür notwendig und wie weit dürfen die voneinander weg liegen.

1. Wie viele Engines:
Ich denke ca. 18-22.

2. Hier dann der Aberglauben ...
Nr. 1 in einer Liste hat 3.000 ELO und die Nummer 20 hat 2.600 ELO. 400 ELO sind zu viel und die Zahlen werden ungenauer. Ja teilweise mit ELOstat im Vergleich zu Bayesian (Bayesian ist genauer). Zu groß sollte der Unterschied nicht sein aber ich denke die Annahme das es nicht mehr als 250 ELO sein dürfen bestätigt sich nicht. Vielleicht sind es 450 ELO und die Auswertungen sind immer noch sehr genau.

Gruß
Frank

By Frank Quisinsky Date 2010-05-31 20:58

Hallo Axel,

ich denke der Schlüssel liegt dazwischen.

Damit meine ich:

Rybka ist extrem stark im Blitz und fällt wirklich mit mehr Zeit immer weiter ab.

CEGT ohne Ponder 40 in 20 auf Pentium IV Vergleichshardware ... = ca. 40 in 9 auf aktueller 3.0 GHz Hardware (grob)
CCRL ohne Ponder 40 in 20 auf Athlon 4600 ... = ca. 40 in 25 auf aktueller 3.0 GHz Intel Hardware (grob)

Bedeutet ...
Alle größeren Listen (wobei ich mich und Ipon jetzt mitzähle):

1. IPON spielt 5 + 3 mit Aufgabefaktor, Partiedauer ca. 16 Minuten, Ponder = On
2. CEGT spielt 40 in 9 mit Aufgabefaktor, Partiedauer ca. 30 Minuten, Ponder = Off
3. SWCR spielt 40 in 10 ohne Aufgabefaktor, Partiedauer ca. 40 Minuten, Ponder = On
4. CCRL spielt 40 in 25 mit Aufgabefaktor, Partiedauer ca. 65 Minuten, Ponder = Off

Umgerechnet auf 2.8 GHz Intel Hardware.
Ponder macht ca. 30% mehr Bedenkzeit aus, Ponder-Treffer ...

Alles jetzt auf die Schnelle mal grob.

1. IPON = 16 Minuten + 30% = 23 Minuten
2. CEGT = 30 Minuten
3. SWCR = 57 Minuten abzüglich ca. 8 Minuten wenn Aufgabefaktor aus wäre = 49 Minuten
4. CCRL = 65 Minuten

Soweit so gut ...

Bei CCRL sind die Unterschiede von Rybka geringfügiger.
Einfach zu erklären, Rybka nimmt mit mehr Zeit im Verhältnis zu den anderen Engines an Spielstärke ab.

Also, die CCRL läßt im Verhältnis mit den längsten Bedenkzeiten spielen, wenn da nicht die 40 in 120 CEGT Liste wäre

Die SWCR müsste also bei Rybka 4 in der Mitte zwischen CCRL und CEGT liegen.
Ich erwarte einen ELO-Zuwachs bei Rybka 4 von maximal 40 Punkten.

Und warum liegt der Schlüssel dazwischen.
Glaube das Rybka 4 in CCRL noch geringfügig steigen wird.

Soweit meine Theorie, wie gesagt jetzt mal sehr grob zusammengefasst.

Gruß
Frank

By Axel Caro Date 2010-05-31 21:19

Hi Frank,

so grob zusammengefasst fand ich das gar nicht!

Im Ernst, immer wieder klasse, mit welcher Hingabe Du Dich den Themen widmest!

Deine These finde ich grundsätzlich nachvollziehbar. ABER: Die Erklärung für Abnehmenden Spielstärkezuwachs bei längeren Bedenkzeiten müsste dann doch sowohl für R3 als auch für R4 gelten. D. h. der Abstand zwischen den beiden müsste bei beiden doch unabhängig von der Bedenkzeit in etwa gleich bleiben, oder? Anders gesagt: Wenn der Abstand zwischen R3 und R4 bei längeren Bedenkzeiten immer kleiner wird, würde das doch den Schluss zulassen, dass entweder R3 bei längeren Bedenkzeiten überproportional zulegt, oder R4 dann überproportional verliert. Dann würden sich aber R3 und R4 qualitativ stark voneinander unterscheiden. Zudem widerspräche dies der Aussage von Vas und Larry, dass R4 gerade bei stärkerer Hardware (und damit längeren Bedenkzeiten?) stärker wird.

Gruß
Axel

By Frank Quisinsky Date 2010-05-31 21:28

Hi Axel,

fraglich ist die These von mir natürlich auch.
Ich vermute mal das die Kurven nicht beständig sind.

Beispiel:

Rybka 4 = 2.950 ELO im Blitz
Rybka 4 = 2.935 ELO im Schnellschach
Rybka 4 = 2.920 ELO im langsamen Schnellschach

und nun

Rybka 4 = 2.950 ELO im Turnierschach

Immer im Verhältnis zu den anderen Engines.

Die Theorie an der ich glaube und warum ich denke, dass die ganzen Listen sehr kompliziert zu vergleichen sind. Es ist oftmals so, dass eine Engine bei einer bestimmten Zugtiefe den Turbo bekommt. Ich hatte vor vielen Jahren das Experiment mit Zarkov gemacht, auf Dual Xeon 2.8 mit einem Core (Zarkov ist nicht mehrprozessorfähig). Ich stellte fest, dass Zarkov fast alles an bekannten Test-Suits Problemen löst aber ca. 11 - 30 Minuten für die Lösungszeiten benötigt. Ich wollte das irgendwie nicht wahrhaben und spielte:

Zarkov 4.5e - Ruffian 2.1.0 (40 in 10) = 12,5 : 37,5
Zarkov 4.5e - Ruffian 2.1.0 (40 in 600) = 22,5 : 27,5

Beim Beobachten dieser Partien ist es aufgefallen. Zarkov änderte oftmals die Hauptvariante und fand wirklich die besseren Züge.

Später dachte ich mir, nee ... vielleicht wird Ruffian mit mehr Zeit schlechter

Dann dachte ich mir ... es gibt ja auch noch die fallenden Blätter im Herbst die ich beobachten könnte

Grob:
Rybka 3 fällt wirklich ab ... Vergleich Blitz mit mittleren Bedenkzeiten.
Das habe ich schon oft in den Listen bei Vergleichen beobachtet und ich denke das ist wirklich klar.
Aber mehr als maximal 20-30 ELO im Verhältnis zu anderen Engiens macht das nicht aus.

Gruß
Frank

By Axel Caro Date 2010-05-31 21:45

Hi Frank,

Zitat:

Rybka 4 = 2.950 ELO im Blitz
Rybka 4 = 2.935 ELO im Schnellschach
Rybka 4 = 2.920 ELO im langsamen Schnellschach

und nun

Rybka 4 = 2.950 ELO im Turnierschach

Stammen die Zahlen aus Ratingmatches mit denselben Engines (Anzahl und Version identisch)?
Wenn nicht, dann sind sie leider mal wieder nicht vergleichbar, da die Spielstärke einger Engine immer nur relativ zu der Spielstärke der übrigen Gegner ermittelt werden kann. Absolut ist nur die Erkenntnis, dass es sich bei ELO-Werten je nach Rahmenbedinungen lediglich um mehr oder weniger zuverlässige Werte handelt!

Zitat:

Dann dachte ich mir ... es gibt ja auch noch die fallenden Blätter im Herbst die ich beobachten könnte

Bis dahin hast Du ja noch ein paar Monate Zeit!

Gruß
Axel

By Frank Quisinsky Date 2010-05-31 21:51

Hi Axel,

die Zahlen sind willkürlich erstellt aber in Anlehnung auf:

Ehemalig eingestellte SWCR Blitzratingliste 32-Bit im Vergleich zu SWCR 32-Bit.
Ganz besonders im Hinblick auf die vielen Clone Ergebnisse.

Ich testete Firebird 1.0 Beta im Blitz und auch 32-Bit SWCR.
Gleiches Bild wie bei Rybka, etwas extremer.

Ergebnisse habe ich nicht publiziert aber z. B.

Im Blitz war Firebird 1.0 Beta 38 ELO stärker als Rybka 3
Bei 40 in 10 waren es dann noch 23 ELO

15 ELO Differenz.

Diese 15 ELO Differenz hatte ich auch bei Rybka 3 zwischen den Listen.
Danach hatte ich mir mal ein paar andere Ergebnisse angesehen und kam grob immer zum Gleichen Ergebnis.

Gruß
Frank

By Frank Quisinsky Date 2010-05-31 22:00 Edited 2010-05-31 22:02

Hi Axel,

alles was ich sagen wollte ist:

Es kann sein, dass eine Engine mit mehr Zeit abfällt bis zu Punkt X und dann wieder steigt (im Verhältnis zu den anderen). Mein Zarkov Beispiel wäre ein Anhaltspunkt. Gerade auch im Hinblick auf das Thüringer Turnier und den Kommentaren von Harald Faber. Ich schrieb, dass ich das nachvollziehen kann und auch dahin tendiere, dass einige Engines mit mehr Zeit zulegen. Harald bezog sich auf Junior.

Junior ist überhaupt ein gutes Beispiel, weil ...
Junior fällt im Blitz nach unten, wenig Endspielwissen.
Mit mehr Zeit ist Junior in der Lage bessere Züge zu errechnen und macht mehr Punkte.

Im Grunde bei allen Engines der Fall die im Endspiel bei schnellen Bedenkzeiten abfallen (weiteres sehr gutes Beispiel ist Komodo).
Gibt aber noch andere Fallgestaltungen warum Engines mit mehr Zeit im Verhältnis zu anderen zulegen oder abnehmen.

Aber ich glaube, dass wir hier von maximal 30 ELO reden.
Mehr macht das nicht aus (glaube ich nicht).

Insofern bleiben die Listen auch grob vergleichbar, denn keine spielt mit längeren Bedenkzeiten ... ist auch nicht notwendig.
Siehe sehr gutes Beispiel IPON (Bedenkzeit ist gut gewählt).

Gruß
Frank

By Axel Caro Date 2010-05-31 22:01

Dann waren es immerhin gleiche Testbediungen (SWRC).
Dein Experiment mit Zarkov ist interessant - insbesondere, dass sich die Beobachtungen bei den Lösungszeiten anscheinend auf ein Matchergebnis übertragen ließen (wenn auch bei relativ geringer Partienzahl, aber persönliche Beobachtungen der Partien machen meines Erachtens häufig die statistisch zuverlässigere Aussage bei mehr Partien wett).

Den bei höheren Bedenkzeiten schwindenden Unterschied zwischen Fire und R3 erkläre ich mir aber eher aus der "Programm-Verwandschaft", wobei auf R3 getunte Parametrierung bei zunehmender Bedenkzeit an Wirksamkeit zu verlieren scheint.

Gruß
Axel

By Frank Quisinsky Date 2010-05-31 22:07

Hi Axel,

ich glaube die Cloner wissen gar nicht genau worauf sie tunen. Das ist alles sehr zufällig und kommt durch Copy und Paste zusammen. Ich glaube schon das die Cloner Sourcen richtig zusammen setzen können. Auch hierfür ist Wissen notwendig. Aber ich glaube nicht, dass irgend einer von denen in der Lage ist mit einer Technik um die Ecke zu kommen um ein Programm wirklich stark zu verbessern.

Dafür waren in der Vergangenheit ganz andere Personen zuständig, wie z. B. Fabien.

Habe ja nichts gegen die Clones, wenn diese legal sind und die Ursprungsquelle klar ist. Mein Gott, auch diese Personen haben Spass und sollen den auch haben. Aber die machen mehr die Leute verrückt und gehen äußert agressiv zur Sache, kommen mit sagenhaften ELO-Steigerungen-Ankündigungen an denen noch nie etwas dran war.

Um das dann auszugleichen, x UCI Optionen etc.. finde dem User wird etwas vorgekaukelt und letztendlich macht es vielmehr Spass sich mit den Originalen zu beschäftigen. Aber egal ... jeder so wie er möchte. Nur im Falle von Fire geht mir der Herr ein wenig zu agressiv vor. In dem Fall muss er auch mal mit der folgerichtigen Reaktion rechnen.

Gruß
Frank

By Ingo Bauer Date 2010-05-31 21:25

Hi

[quote="Frank Quisinsky"]

1. IPON = 16 Minuten + 30% = 23 Minuten
2. CEGT = 30 Minuten
3. SWCR = 57 Minuten abzüglich ca. 8 Minuten wenn Aufgabefaktor aus wäre = 49 Minuten
4. CCRL = 65 Minuten

Einfach zu erklären, Rybka nimmt mit mehr Zeit im Verhältnis zu den anderen Engines an Spielstärke ab.

[/quote]

Ich würde den Bedenkzeitausgleich anders ansetzen, zumal ich sicher bin das Ponder ON nicht nur eine Bedenkzeitverlängerung ist, aber um des Argumentes Willen übenehme ich mal deine Reihung:

R3 Plus zu Stockfish 1.7.1 (1 Thread)

IPON +14
CEGT +12
SWCR -4 (32bit ist vielleicht etwas aussen vor)
CCRL +31
(Ob das überhaupt vergleichbar ist, wegen Büchern, Ponder ON/OFF, Eröffnungsstellungen, Hardware, Gegner, Anzahl an Spielen ... sei mal dahingestellt)

Ausgerechnet die Liste mit der längsten Bedenkzeit hat den größten Gewinn für Rybka.

Und um das noch länger zu machen nehmen wir mal die SSDF und 4 Kerne dazu, die hat kein Stockfish, aber Naum 4 - also Vergleich

R3 plus zu Naum 4 (4 Kerne)

CEGT +90
CCRL +79
SSDF +78
(Ob das überhaupt vergleichbar ist, wegen Büchern, Ponder ON/OFF, Eröffnungsstellungen, Hardware, Gegner, Anzahl an Spielen ... sei mal dahingestellt)

Kann man aus 11/12 Elo weniger lesen, das eine Enigne mit mehr Zeit schlechter spielt - eigentlich würde ich da gar nichts rauslesen wollen, aber wenn ich etwas lesen müßte würde ich eher vermuten das Rybka schlechter skaliert ... aber auch das ist schon gewagt.

Unabhänig von dir, stelle ich immer wieder fest das Leute an alten Gewohnheiten was Engines betrifft festhalten, obwohl es in keiner Weise durch irgendwelche Daten belegbar wäre. Wenn sich mal etwas festgesetzt hat ist das drin und über Jahre nicht mehr rauszukriegen. Komisch eigentlich.

Gruß
Ingo

By Frank Quisinsky Date 2010-05-31 21:40

Hi Ingo,

Bedenkzeitausgleich: War ja nur grob und jetzt mal schnell geschrieben (Ponder = On).

Klar, Stockfish 1.7.1 JA profitiert nicht so stark von x64 wie Rybka 3 und liegt daher minimal vorne. Alles andere wäre wieder fragwürdig

CCRL:
Im Grunde ist da so einiges fraglich bzw. nicht so richtig nachvollziehbar. Kein Vorwurf an die Tester aber viele Dinge kann ich mir dann auch nicht mehr erklären. Bei der CEGT sind Abweichungen für mich logisch nachvollziehbar, wie auch bei IPON (mal davon weg das es immer mal 1-2 Fälle gibt bei dem ein statistisches Rätsel zu lösen ist).

Deine letzten Sätze:
Nein, ich stimme Dir grob zu. Aber es gibt Dinge an denen auch ich festhalte. Beweise werden wir niemals zu allen Fallgestalltungen erbringen.
Wer werden noch mit 80 die Streitfragen herauspicken ...

Ein 60jähriger denkt sich ...
Stimmt, diese Truppe hat doch schon mit 40 die wildesten Diskussionen herbeigerufen.
Die lassen wir mal besser in Ruhe

Gruß
Frank

By Gerhard Sonnabend Date 2010-05-31 21:06

[quote="Axel Caro"]
[..snip...]
CEGT:
- 4CPU: 3265 - 500 Partien (gegen 7 Gegner, davon 3 Naum-Versionen und 1420 Partien gegen 3 Gegner) , +34 ELO zu Rybka 3
- 1CPU: 3194 - 1920 (gegen 8 Gegner, davon 2x Stockfish und 2x HIARCS), +74 ELO zu R3
[...snip...]
[/quote]

Die Daten in Bezug auf Gegner und Anzahl der Games stimmen hier nicht ?!

Viele Grüsse,
G.S.

By Axel Caro Date 2010-05-31 21:27

Stimmt, danke: die 1420 bezogen sich auf die 1-CPU-Version:
http://www.husvankempen.de/nunn/40_4_Ratinglist/40_4_AllVersion/7.html

Gruß
Axel