Neue Testmethodik und Turnier

By Ingo Bauer Date 2009-06-27 21:43 Edited 2009-06-27 21:51

Hallo

Ich schreibe mal was über Computerschach!

Ich überlege mir schon länger mein Testmethodik umzustellen. Ein Grund ist die Tatsache, dass in meiner Rangliste, die ein oder andere Engine nicht mit ihrer wirkliche Spielstärke dargestelt wird. Ich teste jede Engine gegen mindestens 10 verschiedene Engines. Das Ergebnis ist gut und ziemlich zuverlässig. Im weiteren Verlauf teste ich aber gegen viele, relativ gleiche Betas. So konnte ich beobachten das die eine Engine ständig unterdurchschnittlich spielte, und demnach in meiner Liste absank, eine andere überduchschnittlich und sich langsam ein paar Elos nach oben arbeitete. Da gerade das Mittelfeld sehr dicht zusammen liegt, hat das doch Auswirkung auf die Platzierungen gehabt. Um dem zu entgehen habe ich vor eine neue Rangliste mit genau definierten Engines zu erstellen. Diese Engines spielen ein großes Turnier jeden gegen jeden und dienen dann als Ankerpunkte. Ich werde nach dem Großturnier ihr Rating festschreiben, so dass sie sich nicht wegen zu vieler Betas verschieben. Der gerade eben genannte Grund ist übrigens ein Schwachpunkt vieler Ranglisten. Es werden gewisse Engines gegen X-Rybkas oder gegen alle möglichen, sehr ähnlichen Settings einer Engine getestet. Das verzerrt ein wenig die tatsächlichen Proportionen. Auf das Menschenschach übertragen wäre das so, als wenn ein Spieler gezwungen wäre 50% seiner Spiele gegen seinen "Angstgegner" zu spielen. Gut für den Angstgegner, schlecht für den Spieler!
Ein weiterer Punkt ist, das ich in Zukunft eine Engine innerhalb von 24h in meine Liste einspielen können möchte. Deswegen habe ich mich im Moment für die untenstehenden Bedinungen entschieden. Ich muß natürlich NACH dem Turnier die Spiele mal duchsehen ob das alles ohne Probleme (Zeitnot ...) geklappt hat.

1. UCI Engines (was sonst!)
2. Ponder OFF (mehr Spiele)
3. 128 MB Hash
4. 3 + 4 Steiner Sbs, Tbs, BB
5. 64 MB Cache für Egtb
6. 3min + 2 Sek pro Spiel
7. Eröffnungsstellungen (64, vertauschte Farben = 128 Spiele gegen jede Engine)
8. 3 (4) Quads mit 3GHz
9. 1 Thread !

Mit obigen Settings sollte ich 1280 Spiele gegen 10 Engines in 24 Stunden duchbekommen. Zum Einstig habe ich mal diese 10 Engines gestartet. 2x Rybka weil ich mir natürlich die beste Engine nicht entgehen lassen wollte und R2.2n2-x64 wohl die Freewareobergrenze ist im Moment; 2 (je nach zählweise) Fruits, aber der Spielstärkeunterschied rechtfertigt das hoffentlich! Kennt jemand ein voll funktionsfähige und verfügbare UCI Engine die da noch reingehören würde?

Shredder

BIG_1

Rank	Name	Ryb	Nau	Ryb	H12	Zap	Onn	Tog	DSj	Fru	Gla	Points	S-B	%
1	Rybka 3mp 1T	X	5.0	5.0	5.5	4.0	7.0	5.0	5.5	5.0	6.0	48.0 / 60	1328.75	80.00%
2	Naum 4	2.0	X	3.0	2.5	5.0	4.5	5.0	3.5	5.0	5.0	35.5 / 59	974.25	60.17%
3	Rybka 2.2n2 mp 1T	2.0	4.0	X	5.5	2.0	3.5	5.0	3.5	3.5	4.5	33.5 / 60	953.50	55.83%
4	H12.1 MP 1T	1.5	3.5	1.5	X	4.0	4.0	5.0	4.5	4.5	5.0	33.5 / 60	908.00	55.83%
5	Zappa Mexico II x64 1T	2.0	2.0	4.0	3.0	X	4.0	2.0	5.0	4.0	5.0	31.0 / 60	865.00	51.67%
6	Onno-1-0-0 x64	0.0	2.5	3.5	2.0	3.0	X	3.5	4.5	4.5	4.5	28.0 / 60	743.75	46.67%
7	Toga II 1.4 beta5c BB	1.0	2.0	2.0	2.0	4.0	3.5	X	2.5	4.0	4.0	25.0 / 60	698.50	41.67%
8	DSjeng WC2008 x64 1T	1.5	2.5	3.5	1.5	2.0	2.5	3.5	X	4.5	1.5	23.0 / 60	673.00	38.33%
9	Fruit 05/11/03	1.0	1.0	2.5	2.5	3.0	1.5	3.0	2.5	X	4.0	21.0 / 59	600.50	35.59%
10	Glaurung 2.2 JA 1T	1.0	1.0	1.5	2.0	2.0	1.5	3.0	5.5	3.0	X	20.5 / 60	569.25	34.17%

299 out of 5760 games played

Level: 3 Minutes/Game + 2 Seconds/Move
Games: Z:\Schach_Tests\Deep Shredder 12 UCI\BIG_1.pgn
www.shredderchess.com

5% sind schon geschafft!

Gibt es irgendwelche Kritikpunkte oder Vorschläge was man besser machen könnte, ich würde mich über Sinnvolles freuen?

Gruß
Ingo

By Gerhard Sonnabend Date 2009-06-27 22:13

Hi Ingo !

Nur kurz was zum Thema:
1.) lass Spiele Engine X vs Engine X weg (auch mit unterschiedlichen Versionen)*
2.) nimm eine andere Bedenkzeit, besser ist etwas i.d.A. 40/2+... oder auch 60/2+...

* also auch nicht Shredder 11 vs Shredder 10, oder wie bei Dir bisher
"geschehen", Rybka 3mp 1T vs Rybka 2.2n2 mp 1T.

Viele Grüsse,
G.S.

By Ingo Bauer Date 2009-06-27 22:43

Moin Gerhard

[quote="Gerhard Sonnabend"]
...
1.) lass Spiele Engine X vs Engine X weg (auch mit unterschiedlichen Versionen)*
2.) nimm eine andere Bedenkzeit, besser ist etwas i.d.A. 40/2+... oder auch 60/2+...
...
[/quote]

Zu 1. Konzeptionel hast du Recht. Deswegen habe ich in meinem Startturnier für die "Referenzengines auch jeden Shredder weggelassen. Das R2.2n2 gegen R3 kann ich im Moment nicht verhindern da beide Engines, wie schon erwähnt, wichtig sind. Ich muß am Ende mal sehen wie sehr die 128 Spiele da einen Einfluß haben ...

Zu 2. Warum? Was ist besser an 40/2+ als an 3 + 2? ... Warum kein Fischer sondern klassisch X Züge in Y Zeit + X Züge ... So aus dem Bauch sehe ich keine Notwendigkeit.

Nur zur Info, nach 400 Spielen sehe ich das jedes Spiel rund 9,8 Minuten dauert.

Gruß
Ingo

By Roland Rösler Date 2009-06-28 00:03 Edited 2009-06-28 00:11

[quote="Ingo Bauer"]
Nur zur Info, nach 400 Spielen sehe ich das jedes Spiel rund 9,8 Minuten dauert.[/quote]

Wenn ich richtig rechne, mußt Du 4,444... Spiele auf jedem deiner 12 cores machen, um in 24 Stunden 1280 Spiele zu absolvieren. Das heißt, ein Spiel darf im Durchschnitt 13,5 Minuten dauern.
Nach dieser Rechnung köntest Du versuchen mit einer Bedenkzeit von 5'+2" zu spielen. Die Bedenkzeit würde mir jedenfalls viel besser gefallen als das von dir gewählte 3'+2".
Die sp-Versionen der Engines zu testen finde ich gut, man sollte dann aber nicht die Bedenkzeit übermässig kurz wählen und das Increment relativ hoch.
Vielleicht machst Du den Test mit 5'+2" ja noch im Anschluß an den jetzt laufenden Test. Dann kann man sehen, ob die Zeit wirklich passt und ob sich merkliche Unterschiede in den Resultaten zu 3'+2" ergeben.
Edit: Sollte 5'+2" wider Erwarten doch zu lange dauern (wegen der Seeschlangen), fände ich 5'+1" immer noch besser als 3'+2".

By Roland Rösler Date 2009-06-28 00:17

>... fände ich 5'+1" immer noch besser als 3'+2".

Ich meinte natürlich 6'+1".

By Ingo Bauer Date 2009-06-28 09:26

Hallo Roland,

Schöne Rechnung, und prinzipiel gebe ich dir Recht, je länger desto besser. Nachdem ich eine Zeit gespielt habe jetzt denke ich mal über 4 + 2 nach.

Increment lasse ich wohl so wie es ist. Ich spiele über ein Netzlaufwerk, da kann es schon mal zu Verzögerungen kommen. H12 ist am empfindlichsten und kommmt ab und zu mit einem Timeout.

Ich lass das jetzt mal durchlaufen und sehe mir dann mal an wie die Spiele aussehen. Eine vernünftuge Rangliste scheine ich zu bekommen, siehe Turnierzwischenstand unten.

Gruß
Ingo

Shredder

BIG_1

Rank	Name	Ryb	Nau	Ryb	Zap	H12	Onn	DSj	Tog	Gla	Fru	Points	S-B	%
1	Rybka 3mp 1T	X	24.0	21.0	20.0	25.5	30.5	25.5	26.5	27.5	26.0	226.5 / 281	29248.75	80.60%
2	Naum 4	7.0	X	16.5	21.0	18.5	22.5	20.5	22.0	21.5	25.0	174.5 / 282	22293.50	61.88%
3	Rybka 2.2n2 mp 1T	10.0	15.5	X	14.0	25.0	21.0	15.5	21.5	23.5	24.5	170.5 / 281	22012.50	60.68%
4	Zappa Mexico II x64 1T	11.0	10.0	17.0	X	17.5	14.5	19.5	19.0	19.0	20.0	147.5 / 281	19604.00	52.49%
5	H12.1 MP 1T	6.5	12.5	7.0	13.5	X	15.5	18.0	17.5	23.0	19.5	133.0 / 282	17108.75	47.16%
6	Onno-1-0-0 x64	0.5	9.5	10.0	16.5	15.5	X	18.0	17.0	18.5	19.0	124.5 / 281	15754.00	44.31%
7	DSjeng WC2008 x64 1T	5.5	10.5	15.5	12.5	13.0	14.0	X	15.5	15.0	17.0	118.5 / 281	15968.50	42.17%
8	Toga II 1.4 beta5c BB	4.5	10.0	9.5	12.0	14.5	14.0	15.5	X	19.0	15.0	114.0 / 283	15034.25	40.28%
9	Glaurung 2.2 JA 1T	4.5	9.5	7.5	12.0	8.0	12.5	16.0	13.0	X	17.5	100.5 / 281	13430.25	35.77%
10	Fruit 05/11/03	5.0	6.0	6.5	12.0	11.5	12.0	14.0	17.0	13.5	X	97.5 / 281	13035.00	34.70%

1407 out of 5760 games played
Level: 3 Minutes/Game + 2 Seconds/Move
Games: Z:\Schach_Tests\Deep Shredder 12 UCI\BIG_1.pgn
www.shredderchess.com

By Udo Kaiser Date 2009-06-28 12:05

klar bekommt man eine "vernünftige" rangliste wenn man ein turnier startet.

wo aber ist in deinem turnier shredder ?

unter welcher oberfläche spielst du ?

By Ingo Bauer Date 2009-06-28 17:08

Moin,

[quote="Udo Kaiser"]
klar bekommt man eine "vernünftige" rangliste wenn man ein turnier startet.
[/quote]

So klar ist das nicht, könnte ja sein das miene Zeitkontrolle zu knapp ist, das meine Rechner nicht gleich sind, das die Eröffnungen nichts taugen ...

[quote="Udo Kaiser"]
wo aber ist in deinem turnier shredder ?
[/quote]

Da ich Shredder teste fehlt der absichtlich. Ich brauche erstmal eine Referenzliste in die ich Shredder später einspielen kann.

[quote="Udo Kaiser"]
unter welcher oberfläche spielst du ?
[/quote]

Die neue Shredder Classic natürlich! Es gibt nichts vergleichbares! (Mehrmaliges GUI starten, Netzwerkfähigkeit, Viele GUIs spielen an einem Turnier, abbrechen, fortsetzen ...)

Gruß
Ingo

By Michael Scheidl Date 2009-06-28 13:20

Gegen die gefürchteten Seeschlagen setze ich immer die Partielängenbegrenzung ein. In Fritz stellt der Parameter die maximalen berechneten Halbzüge (also exklusive Buch- bzw. Eröffnungsvorgabezüge) ein, und die Partien enden dort ohne Resultat. In Arena stellt man die maximale Gesamtpartielänge in vollen Zügen ein (also inklusive Buch- bzw. Eröffnungsvorgabezüge), und Arena ordnet dann das Resultat Remis zu. Ob Shredder Classic oder andere GUIs diese Option anbieten, weiß ich nicht.

Man sollte diese Partien bzw. Endstellungen natürlich durchgehen und entsprechend abschätzen bzw. falls angebracht, das Resultat Remis abändern. Es ist aber kein großes Problem: Ich schätze, 8 oder 9 von 10 Partien die länger als 120 Züge sind, kann man problemlos als Remisen erkennen (meist das übliche Geschiebe ungleichfarbigen Läufern und wertlosen Mehrbauern). Stellungen die kurz davor waren, doch in einen Sieg zu münden, sind meist auch klar erkennbar.

Ich fürchte, daß die Gefahr von Seeschlangen mit nur 3er- und 4er-Bases größer ist als wenn 5er auch dabei sind, weil Engines daher dann unter Umständen erst später zu richtigen Endspielbewertungen finden (oder gar nicht). Das wird vermutlich öfters solche Stellungen mit Turm+Bauer gegen Turm betreffen die remis sind, aber von den Engines sehr lange weitergespielt werden. Nebenberkung; ich würde weiters damit rechnen daß die Stellungen mit TB-T die gewinnbar sind, dann nicht alle gewonnen werden. Das kann einen stören oder auch nicht; bei einer ingesamt großen Partieanzahl gehen die Einzelfälle tendenziell eh "unter."

(Ich verwende schon im Normalbetrieb nicht alle 5er-Nalimovs, habe aber aus diesem Grunde doch alle KR?-KR (inkl. KQR-KR) dabei).

Die seltenen Ausnahmen wo die Abschätzung nicht so ganz klar ist, bewerte ich dann nicht "objektiv" - was eventuell einen Großmeister erfordern könnte

- sondern schaue auch auf den Partieverlauf. Also zum Beispiel, selbst wenn beide Engines ca. +/- 2.5 bewerten und ich das Gefühl habe, hier könnte sich irgendwo ein Gewinnweg verbergen: Wenn es in dieser Partie seit 30 Zügen keinen Fortschritt gab, kann ich das guten Gewissens als Remis abschätzen.

(Wenn man das ganz genau wissen will, könnte man in diesen Ausnahmefällen die Stellungen mit denselben Engines ausspielen lassen, aber so weit gehe ich bei einem Hobby nicht.)

Dadurch läßt sich viel Rechenzeit einsparen bzw. Testläufe verkürzen, und der kleine Unsicherheitsfaktor ist m.E. verkraftbar, umso mehr bei großen Partienzahlen. Perfekte "Präzision" ist auf dem Gebiet ohnehin nicht zu erzielen.

By Roland Rösler Date 2009-06-29 01:13 Edited 2009-06-29 01:17

Danke für den guten Kommentar!
Jetzt weis ich endlich wie Fritz mit der Partielänge umgeht (Halbzüge war mir schon klar, aber nicht exclusiv EB). Ich gehöre bestimmt zu den Stammpostern hier, die die wenigsten Engine-Matches oder -Zweikämpfe ausgetragen haben. Ich habe immer so nach Gutdünken die Partielange auf 250 oder 300 begrenzt; 220 scheint mi jetzt doch die bessere Wahl!

Was Partieabschätzung angeht muß ich Dir Recht geben. Das ist meist ganz leicht (wenn man auf die Bewertungen schaut) und ist bestimmt nicht entscheidend. Man sollte sich nur nicht von dem objektiven Gedanken leiten lassen, ob die Partie nun gewonnen, Remis oder verloren ist. Man läßt sich davon leiten, was die Engines bisher gespielt/bewertet haben.

Fragen:
Wie gehen die Ratinglisten-Ersteller bei CEGT und CCRL mit diesem Kriterium um? Bei 40/n ergibt sich die Frage bzgl. Partielänge eigentlich nicht (hier wird bis zum bitteren Ende gespielt?), aber dann kommt die Frage auf, wann ist ein Spiel gewonnen/verloren oder Remis. Folgt man hier der Fritz-Regel: 3x hintereinander von beiden Engines Bewertung=0 ist Remis und 3x hintereinander von beiden Engines>5 (oder >6?) ist gewonnen/verloren? Oder ist der Paramter Aufgeben=nie gesetzt? Gibt es eigentlich den Parameter Remis=nie? Wenn nicht, verstehe ich auch die Bewertung von Shredder besser, wenn er in Remisstellungen immer noch eine Bewertung von 0,01 präsentiert. Wie werden EGTB Stellungen abgehandelt, wenn die Engine diese Stellungen nicht erkennt (keine oder fehlerhafte Nalimov-Implementation)? Beendet die GUI (mit EGTB) hier eventuell das Spiel?
Wie gehen Clemens oder Ingo mit diesen Fragen um bei Ihren Rating-Listen?

Das mag alles unwichtig sein, ich möcht es nur wissen!

PS: Ich glaub, es hat mehr als 24 Stunden gedauert, bis dein Posting freigeschaltet wurde!

By Michael Scheidl Date 2009-06-29 02:27

Was CEGT und CCRL diesbezüglich genau machen, weiß ich natürlich nicht. Vielleicht gehen die Regelungen nicht so ins Detail. Zwecks Zeitersparnis würde ich dort in Fritz beides auf "früh" stellen. Im eigenen Hausgebrauch stelle ich aber Aufgeben auf "spät", mit der Überlegung daß dann u.U. bei Festungen eine Chance besteht, daß nicht "fälschlich" aufgegeben wird.

Es gibt Remis: nie, was aber natürlich nur die "Remisvereinbarungen", welche Wirklichkeit die GUI anhand 0.00 verhängt, verhindert. Übrigens ist mir nicht ganz klar, was die Fritz-GUI macht falls UCI-Engines von sich aus Remis vereinbaren wollen (falls diese das können?). Die Bewertungen könnten ja dann ungleich Null sein, etwa durch Contempt.

Eine Shredderbewertung von +/- 0.01 in einer Remis-Tablebasesstellung ist meines Wissens nur, wenn eine Seite Materialvorteil hat, damit Shredder diesen nicht "unschön" grundlos abgibt. In Fritz ist aber bekanntlich per Default der Tbs.-Zugriff der GUI aktiviert. Das halte ich zwar für sinnvoll, es übersteuert aber leider diese schöne Shredder-Feinheit.

Analysis by Shredder 7.SE (Fritz GUI-Tbs. EIN)

1. = (0.00): 1.Kc4
2. = (0.00): 1.Kb2
3. = (0.00): 1.Kb4
4. = (0.00): 1.Kc2
5. = (0.00): 1.Kb3
6. = (0.00): 1.Rg3 <--??
7. = (0.00): 1.Rf3 <--??
(Usw.; mit diesem Fünfsteiner an Bord kommt das nur von der GUI)

Auch wenn's quasi egal ist, sollte man natürlich nicht so ziehen.

Das kann u.U. auch an erster Stelle stehen (man sehe: Th4/2/1 sind nicht davor gereiht).

Analysis by Shredder 7.SE (Fritz GUI-Tbs. AUS; das Setting ist im F3-Dialog)

1. = (0.01): 1.Kc4 Ra8
2. = (0.01): 1.Rh4 Ra8
3. = (0.01): 1.Rh2 Ra8
4. = (0.01): 1.Rh1 Ra8
5. = (0.01): 1.Kc2 Ra8
6. = (0.01): 1.Kb4 Ra8
7. = (0.01): 1.Kb3 Ra8
8. = (0.01): 1.Kb2 Ra8
9. = (0.00): 1.Rg3 Kxh5
10. = (0.00): 1.Rf3 Kxh5

Sehr brav!

Es kann sogar (halbe) Punkte bringen, wenn der Gegner für eine schwierig zu verteidigende Tbs.-Stellung gar keine Endspieldatenbank hat. Das ergibt ein gewisses Dilemma fürs Testen... was ist die praxisrelevante Testkonfiguration?

By Gerhard Sonnabend Date 2009-06-29 10:22

Hi !

Ich gehe für die CEGT und für meine Liste(n) wie folgt vor:
Unter CB-GUIs: kein Zuglimit, also alles bis zum bitteren Ende
Unter Shredder-Classic: Etikette aus (wegen Thinker wie Wolfgang
weiter unter geschrieben hat), also auch hier so lang wie möglich.

Ab und zu kommt es vor (sowohl unter CB- als auch der Shredder-GUI),
dass eine Engine während eines Matches nicht zieht und/oder die
Zeit überschreitet. In diesen Fällen werden die Partien abgeschätzt
oder aber fortgesetzt. Eine Fortsetzung erfolgt immer dann, wenn der
Abbruch oder die ZÜ in einem frühen Stadium der Partie (z.B. 40. Zug)
vorgekommen ist.

Es ist schon wichtig, dass man die Partiendaten auf:
- time
- zeit
und
- line
überprüft.
Auf diese Art und Weise habe ich schon einige Games nachträglich aus
der sehr grossen Anzahl herausfiltern und entsprechend richtig stellen können.

Viele Grüsse,
G.S.

By Wolfgang Battig Date 2009-06-29 09:53

[quote="Roland Rösler"]
......
Fragen:
Wie gehen die Ratinglisten-Ersteller bei CEGT und CCRL mit diesem Kriterium um? Bei 40/n ergibt sich die Frage bzgl. Partielänge eigentlich nicht (hier wird bis zum bitteren Ende gespielt?), aber dann kommt die Frage auf, wann ist ein Spiel gewonnen/verloren oder Remis.

Ich kann nur für mich sprechen, da wir diesen Punkt bei CEGT nicht explizit geregelt haben.
Bei mir ist die Partielänge auf 160 volle Züge begrenzt, Einstellung unter CB-GUI also "320", wobei CB die Buchzüge nicht berücksichtigt (also 320 berechnete Halbzüge, wie Michael schon ausführte), während Arena die Buchzüge einbezieht. Shredder Classic bietet das nicht, hier wird also "bis zum bitteren Ende" gespielt.
Natürlich schaue ich mir die 160er-Partien an und schätze sie ab. Es gibt - hier stimme ich Michael Scheidl ebenfalls zu - nur gaaaaaanz wenige Kandidaten, wo es unklar ist. Ansonsten zumeist Remis und (selten) Gewinn für eine Seite, weil sie es nicht mehr rechtzeitig geschafft hat. Die "Unklaren" lösche ich entweder (dann hat das Match halt nur 98 Partien) oder lasse sie ausspielen. Aber die Quote dieser Spiele ist wirklich verschwindend gering und bei derzeit fast 500.000 Partien in unserer Blitzliste bzw. über 330.000 in der 40/20er ohne Bedeutung.

Zitat:

Folgt man hier der Fritz-Regel: 3x hintereinander von beiden Engines Bewertung=0 ist Remis und 3x hintereinander von beiden Engines>5 (oder >6?) ist gewonnen/verloren? Oder ist der Paramter Aufgeben=nie gesetzt? Gibt es eigentlich den Parameter Remis=nie?

ich teste zwar eher selten unter CB (aktuell etwas mehr, weil ich das neue "Perfect2009.ctg" von Sedat ausprobieren möchte), aber ich stelle solche Optionen lieber auf "NIE". Unter Shredder Classic gibt es etwas ähnliches. Dort nennt es sich "Etikette". Da werden mir persönlich die Partien zu früh abgebrochen oder remis gegeben (man kann keinen Schwellwert vorgeben), daher stelle ich auch das ab.

Unter Arena kann man auch einen Schwellwert für gewonnen/verloren eingeben, z.B. -800 für xy Züge, d.h. Arena schätzt die Partie ab, wenn beide Engines diesen Wert über den Zeitraum von xy Zügen liefern.

Zitat:

Wenn nicht, verstehe ich auch die Bewertung von Shredder besser, wenn er in Remisstellungen immer noch eine Bewertung von 0,01 präsentiert.

Ich vermute, dass das auch mit der "etikette" zusammenhängt, denn da werden Partien bei 0.00-Bewertung schnell als Remis beendet. Das führte bei uns (Gerhard) mal zu dem Problem, dass reihenweise Partien von Thinker (mit WB2UCI-Adapter) remis endeten, weil diese Engine offenbar öfter mal 0.00 sendete, und die Classic-GUI daraufhin die Partie beendete. Daher ist Etikette bei uns (zumindest von Gerhard und mir weiß ich es) auf jeden Fall abgeschaltet, natürlich mit dem Nachteil, dass Endlosschlangen entstehen können.

Zitat:

Wie werden EGTB Stellungen abgehandelt, wenn die Engine diese Stellungen nicht erkennt (keine oder fehlerhafte Nalimov-Implementation)? Beendet die GUI (mit EGTB) hier eventuell das Spiel?

Arena kann das nicht, weil die Entwickler (Frank Quisinsky hatte es mir mal erläutert) auf dem Standpunkt standen/stehen, dass das GUI nicht in die Partie eingreifen soll. Da wird also bis zum Ende bzw. der angegebenen Maximalzugzahl gespielt.
Unter Shredder Classic kann man einstellen ob die Oberfläche Zugriff auf Tablebases bzw. Shredderbases hat. Ich habe diese Funktion auf den default-Werten gelassen. Unter CB ebenfalls.

......

By Wolfgang Battig Date 2009-06-29 09:01

[quote="Michael Scheidl"]
....Ob Shredder Classic oder andere GUIs diese Option anbieten, weiß ich nicht.
[/quote]

Bei Shredder Classic gibt es die Option nicht, Arena und CB hattest du erwähnt, bei anderen (ChessGUI z.B.) habe ich es mir noch nicht angesehen, da mir 3 GUI zum testen eigentlich ausreichen...

Ansonsten: Perfekte Analyse der Situation!

By Kurt Utzinger Date 2009-06-28 08:31

[quote="Ingo Bauer"]
[...]
Das R2.2n2 gegen R3 kann ich im Moment nicht verhindern da beide Engines, wie schon erwähnt, wichtig sind.
[...]
Gruß
Ingo
[/quote]

Hallo Ingo
Weshalb ist das wichtig ... und wo wurde der Grund dafür erwähnt?
Mfg
Kurt

By Ingo Bauer Date 2009-06-28 09:02

Hallo Kurt,

[quote="Kurt Utzinger"]
[quote="Ingo Bauer"]
[...]
Das R2.2n2 gegen R3 kann ich im Moment nicht verhindern da beide Engines, wie schon erwähnt, wichtig sind.
[...]
Gruß
Ingo
[/quote]

Hallo Ingo
Weshalb ist das wichtig ... und wo wurde der Grund dafür erwähnt?
Mfg
Kurt
[/quote]

Gleich im ersten Posting schrieb ich: ... 2x Rybka weil ich mir natürlich die beste Engine nicht entgehen lassen wollte und R2.2n2-x64 wohl die Freewareobergrenze ist im Moment; ...

Deswegen sind beide Rybkas wichtig.

Gruß
Ingo

By Gerhard Sonnabend Date 2009-06-29 12:05

Hi Ingo !

[quote="Ingo Bauer"]
Zu 2. Warum?
Was ist besser an 40/2+ als an 3 + 2? ... Warum kein Fischer sondern klassisch
X Züge in Y Zeit + X Züge ...
So aus dem Bauch sehe ich keine Notwendigkeit.
[/quote]

Nun, nicht unbedingt notwendig.
Allerdings halte ich solche Bedenkzeiten für sinnvoller, da die Engine resp.
der Zeitalgo besser ins Spiel kommt als bei X+Y. Die Programme wissen nämlich
ganz genau wieviel Zeit noch übrig ist und die eine oder andere Engine macht
das besser/anders als die Gegnerschaft.
Bei X+Y kann man lediglich Annahmen ob der vermutlichen Länge eines Spiels
machen. Irgendwann jedoch ist die Basiszeit verbraucht und es wird nur noch
(blitz)schnell gezogen.

[quote="Ingo Bauer"]
Nur zur Info, nach 400 Spielen sehe ich das jedes Spiel rund 9,8 Minuten dauert.
[/quote]

Bei unserer CEGT-Blitz-Rating-Liste mit 40/3+... dauert eine Partie übrigens
auch fast genau 9.5 Minuten.

Viele Grüsse,
G.S.

By Ingo Bauer Date 2009-06-28 09:36

Moin

[quote="Roland Rösler"]

zu 4. Was spricht gegen 5-Steiner (zumindest Tbs)? Ist heute Standard (8 GB USB Stick ~EUR10; durchschnittliche Zugriffszeit 0,6-0,9 ms)!
zu 5. Ziemlich viel für 3-4 Steiner! Aber egal.
zu 6. Dazu hab ich mich schon weiter unten geäussert. 5'+2" sollte passen (wenn nicht: 5'+1" oder 6'+1")
zu 7. Wirst Du die 64 Eröffnungsstellungen veröffentlichen? Es sollte alles so transparent wie möglich sein!
zu 8. Wo kommt der (4) Quad her?

Zusätzliche Rechenkapazität (gleicher Architektur!) immer zur Verlängerung der Bedenkzeit verwenden oder n*128 Spiele mehr.
[/quote]

4 und 5. Mit 64 MB Hash brauche ich nur ein paar TBs Zugriffe und die 4 Steiner leigen im Ram. De fakto spielt so jede Engine mit Sbases (eigentlich ein Nachteil für Shredder). Mit den 5 Steinern hätte ich ständigen Plattenzugriff, das womöglich über ein Netz oder auch nur von 4 GUIs auf die selbe Platte ... schlecht!

6. Ich auch, aber 6 + x ist definitiv zu lang und x + 1 ist zu kurz -> Netzlaufwerk (4 + 2 vielleicht)

7. Würde ich schon gerne, muß aber noch der Author zustimmen. Ein Gegenargument gibt es, so kann sich keiner drauf "einschießen" ... Ich muß nach den 5760 Spielen auch erst mal durchsehen ob irgendwelche davon immer mit Weiß gewonnen waren - bischen Geduld.

8. der 4te ist mien Wohnzimmermediacenter - durch puren Zufall

kam nach dem Zusammenbauen das selbe raus wie bei den Enginerechnern ...

[quote="Roland Rösler"]
Kritikpunkte oder Vorschläge:
Deine bisherige Testweise mit Ponder=on und 6'+3" fand ich sehr gut. Leider braucht diese Spielart ungefähr 3 Tage, wenn so ein Spiel 20 Minuten dauert (oder 54 Stunden bei 15 Minuten Spieldauer).
Könntest Du dich mit dem Gedanken anfreunden, das Endergebnis erst nach 48 Stunden zu haben (Zwischenergebnisse kannst Du immer einsehen), wären wir viel flexibler. 5'+2" oder 6'+1" mit Ponder=on wären denkbar ebenso wie 10'+4" oder 12'+2" mit Ponder=off.
Bedenke: Aktualität ist gut! Aber bitte nichts überstürzen. Es kommt immer eine saure Gurkenzeit und dann ist man froh, wenn man eine solide Basis hat!
[/quote]

Hmm, 24h war schon mein Ziel, ich bin aber noch nicht 100% sicher. Ich will erstmal das Ergebniss abwarten und mimr die SPiele ansehen ... im Moment sieht das aber gut aus!

Gruß
Ingo

Rank	Name	Ryb	Nau	Ryb	Zap	H12	Onn	DSj	Tog	Fru	Gla	Points	S-B	%
1	Rybka 3mp 1T	X	42.0	38.0	43.5	45.0	51.5	47.5	50.0	49.0	51.0	417.5 / 514	98340.50	81.23%
2	Naum 4	15.0	X	30.5	38.0	38.0	39.0	38.0	38.5	43.5	40.5	321.0 / 515	75402.75	62.33%
3	Rybka 2.2n2 mp 1T	19.0	27.5	X	34.5	41.5	37.5	30.0	40.0	45.0	43.5	318.5 / 515	75229.25	61.84%
4	Zappa Mexico II x64 1T	13.5	19.0	22.5	X	31.5	29.0	33.0	31.5	35.0	36.0	251.0 / 515	59987.50	48.74%
5	H12.1 MP 1T	12.0	19.0	16.5	25.5	X	31.5	34.0	32.0	30.5	39.0	240.0 / 514	56871.00	46.69%
6	Onno-1-0-0 x64	5.5	19.0	19.5	28.0	25.5	X	29.5	27.5	34.5	34.5	223.5 / 514	52811.25	43.48%
7	DSjeng WC2008 x64 1T	9.5	19.0	27.0	25.0	23.0	27.5	X	27.5	28.0	30.0	216.5 / 514	53240.00	42.12%
8	Toga II 1.4 beta5c BB	7.0	18.5	17.0	25.5	25.0	29.5	29.5	X	32.0	32.0	216.0 / 515	51464.00	41.94%
9	Fruit 05/11/03	8.0	13.5	12.0	23.0	26.5	22.5	29.0	26.0	X	27.5	188.0 / 515	45529.25	36.50%
10	Glaurung 2.2 JA 1T	7.0	16.5	13.5	21.0	18.0	22.5	27.0	26.0	29.5	X	181.0 / 515	44146.00	35.15%

By Roland Rösler Date 2009-06-28 22:58

Wow, das sind 2200 Spiele in 24 Stunden! Da heisst, Du hast weniger als 8 Minuten (7,85) pro Spiel gebraucht bei 3'+2".
Jetzt bin ich ganz sicher, dass Du 5'+2" spielen kannst, um in 24 Stunden 1280 Spiele zu absolvieren!

By Ingo Bauer Date 2009-06-28 23:26

Hallo

[quote="Roland Rösler"]
Wow, das sind 2200 Spiele in 24 Stunden! Da heisst, Du hast weniger als 8 Minuten (7,85) pro Spiel gebraucht bei 3'+2".
Jetzt bin ich ganz sicher, dass Du 5'+2" spielen kannst, um in 24 Stunden 1280 Spiele zu absolvieren!
[/quote]

Das du mit einem Taschenrechner umgehen kannst wissen wir jetzt. Ansonsten kannst du leider nicht wissen wie viele Rechner ich zwischendurch einsetze. Also - zu viele Unbekannte!

Bye Ingo

PS ... und 5 + 2 werde ich ganz bestimmt nicht spielen, eher würde ich noch kürzer gehen aber ponder wieder anmachen ...

By Roland Rösler Date 2009-06-28 23:44

Stress? Scheint im Wohnzimmer laut geworden zu sein.

Ich hatte mich gleich gewundert, warum sich die Bedenkzeit von 9 Minuten auf 8 Minuten verringert haben sollte.

By Roland Rösler Date 2009-06-29 04:30

von 9 Minuten

Entschuldigung! Natürlich von 10 Minuten (9,8).

By Roland Rösler Date 2009-06-28 23:25

[quote="Ingo Bauer"]
Hiarcs hätte ich schlechter, DSjeng besser erwartet. Mal sehen kommt ja noch die andere Hälfte der Eröffnungen.[/quote]
Wir haben 3 Engines mit einem Score > 50% (zweimal Rybka (R3 mit 81%!!) und Naum 4) und den "schäbigen" Rest. Ich hoffe, Shredder 12 kann > 62% holen!

Zappa sollte bei 5'+2" auch über 50% kommen!

PS: Wer startet eigentlich das nächste Turnier, wenn Du mehrere Tage jetzt nicht zu Hause bist? In ~27 Stunden ist das Turnier beendet!

Rank	Name	Ryb	Ryb	Nau	Zap	Onn	H12	DSj	Tog	Gla	Fru	Points	S-B	%
1	Rybka 3mp 1T	X	89.5	95.5	100.0	108.5	103.5	106.5	113.5	112.0	112.5	941.5 / 1152	497591.50	81.73%
2	Rybka 2.2n2 mp 1T	38.5	X	60.0	78.5	87.0	86.0	75.5	90.5	89.5	96.5	702.0 / 1152	371022.25	60.94%
3	Naum 4	32.5	68.0	X	86.5	82.5	83.0	82.0	85.5	88.0	94.0	702.0 / 1152	370692.50	60.94%
4	Zappa Mexico II x64 1T	28.0	49.5	41.5	X	63.5	71.0	64.0	71.5	76.5	76.0	541.5 / 1152	291351.00	47.01%
5	Onno-1-0-0 x64	19.5	41.0	45.5	64.5	X	66.5	64.0	70.0	80.5	77.0	528.5 / 1152	280651.50	45.88%
6	H12.1 MP 1T	24.5	42.0	45.0	57.0	61.5	X	73.5	72.0	73.0	74.5	523.0 / 1152	280880.50	45.40%
7	DSjeng WC2008 x64 1T	21.5	52.5	46.0	64.0	64.0	54.5	X	68.0	73.0	68.0	511.5 / 1152	277627.75	44.40%
8	Toga II 1.4 beta5c BB	14.5	37.5	42.5	56.5	58.0	56.0	60.0	X	66.5	75.0	466.5 / 1152	250602.50	40.49%
9	Glaurung 2.2 JA 1T	16.0	38.5	40.0	51.5	47.5	55.0	55.0	61.5	X	70.0	435.0 / 1152	237344.25	37.76%
10	Fruit 05/11/03	15.5	31.5	34.0	52.0	51.0	53.5	60.0	53.0	58.0	X	408.5 / 1152	224310.75	35.46%

By Gerhard Sonnabend Date 2009-07-01 10:52

Hi Ingo !

Vergleichen wir mit der CEGT-Blitz-Ratingliste (40/3+40/3+...)

Code:


                          Ingos-Liste      CEGT-Liste   Diff.
Rybka 3.0 x64 1CPU           2999            3141        142
Rybka 2.2n2 x64 1CPU         2834             n/a
Naum 4.0 x64 1CPU            2834            2978        144
Zappa MX II x64 1CPU         2746            2886        140
Onno 1.0.0 x64 1CPU          2739            2895        156
Hiarcs 12.1 1CPU             2736            2890        154
Deep Sjeng WC2008 x64 1CPU   2730             n/a
Toga II 1.4 beta5c 1CPU      2705            2840        135
Glaurung 2.2 x64 1CPU        2687            2833        146
Fruit 05/11/03               2671            2830        159

Volltreffer würde ich sagen !

Viele Grüsse,
G.S.

By Ingo Bauer Date 2009-07-01 11:37

Hallo Gerhard,

Ja, einfacher wäre es meine oder die CEGT auf einen Wert zu bringen (Ich habe Rybka willkürlich auf 2999 gesetzt weil mir die 3000 wiederstreben).

[quote="Gerhard Sonnabend"]
Hi Ingo !

Vergleichen wir mit der CEGT-Blitz-Ratingliste (40/3+40/3+...)

Code:


                          Ingos-Liste      CEGT-Liste   Diff.
Rybka 3.0 x64 1CPU           2999            3141        142
Rybka 2.2n2 x64 1CPU         2834             n/a
Naum 4.0 x64 1CPU            2834            2978        144
Zappa MX II x64 1CPU         2746            2886        140
Onno 1.0.0 x64 1CPU          2739            2895        156
Hiarcs 12.1 1CPU             2736            2890        154
Deep Sjeng WC2008 x64 1CPU   2730             n/a
Toga II 1.4 beta5c 1CPU      2705            2840        135
Glaurung 2.2 x64 1CPU        2687            2833        146
Fruit 05/11/03               2671            2830        159

Volltreffer würde ich sagen !

Viele Grüsse,
G.S.
[/quote]

Mein Problem ist mehr, das R2.2n2 gleich stark sein soll wie Naum ... leider fehlt genau diese Engine bei euch (Die ist wichtig, stärkste Freeware Engine!) und dann der Drilling Onno, Hiarcs, Deep Sjeng (fehlt auch bei auch). Da habe ich ein komisches Gefühl was die Reihenfolge betrifft. Wir haben einmal 140 einmal 156 Elo, Differenz 16 Elo, in diesem Mittelfeldbereich sind das Welten. Irgendwie passt mir sozusagen die Auflösung nicht ...

Ich muß mir das mal ansehen.

Gruß
Ingo

By Gerhard Sonnabend Date 2009-07-01 14:26

Hi Ingo !

[quote="Ingo Bauer"]
Ja, einfacher wäre es meine oder die CEGT auf einen Wert zu bringen (Ich habe Rybka
willkürlich auf 2999 gesetzt weil mir die 3000 wiederstreben).
[/quote]

Ein wenig Kopfrechnen schadet nie

[quote="Ingo Bauer"]
Mein Problem ist mehr, das R2.2n2 gleich stark sein soll wie Naum ... leider fehlt genau diese Engine
bei euch (Die ist wichtig, stärkste Freeware Engine!) und dann der Drilling Onno, Hiarcs, Deep Sjeng
(fehlt auch bei auch). Da habe ich ein komisches Gefühl was die Reihenfolge betrifft. Wir haben einmal
140 einmal 156 Elo, Differenz 16 Elo, in diesem Mittelfeldbereich sind das Welten. Irgendwie passt mir
sozusagen die Auflösung nicht ...
[/quote]

Werfen wir doch einfach einen Blick in die CCRL-Blitz-Ratingliste:

Code:


Naum 4.0 x64 1CPU      3050
Rybka 2.2n2 x64 1CPU   3024

By Ingo Bauer Date 2009-07-01 15:38

Hallo

[quote="Gerhard Sonnabend"]

Werfen wir doch einfach einen Blick in die CCRL-Blitz-Ratingliste:

Code:


Naum 4.0 x64 1CPU      3050
Rybka 2.2n2 x64 1CPU   3024

Das mit der "Auflösung" ist bei derart knappen Abständen ohnehin
immer ein Problem. Da haben selbst wir mit unseren vielen tausenden
Spielen keine endgültige Antwort. Das entwickelt sich jedoch mit
der Zeit und weiteren Games.

[/quote]

26 Elo Differenz scheinen mir plausibel (passt auch zu meiner alten Liste) und 26 Elo finde ich nicht knapp! Ich aber habe 0 Elo nach 1280 Spielen! Für Naum hat die CCRL zwar 2700 Spiele, aber für R2.2n2 habe ich rund 300 Spiele mehr als die CCRL, da sollte man was sehen! Ich trau dem Braten nicht!

Ich muß die R2.2n2 oder Naum Spiele mal analysieren, meine Bedenken bzgl Mittelfeld sind aber wohl unbegründet ...

Gruß
Ingo

By Gerhard Sonnabend Date 2009-07-01 17:19

[quote="Ingo Bauer"]
26 Elo Differenz scheinen mir plausibel (passt auch zu meiner alten Liste) und 26 Elo finde ich
nicht knapp! Ich aber habe 0 Elo nach 1280 Spielen! Für Naum hat die CCRL zwar 2700 Spiele,
aber für R2.2n2 habe ich rund 300 Spiele mehr als die CCRL, da sollte man was sehen!
Ich trau dem Braten nicht!
Ich muß die R2.2n2 oder Naum Spiele mal analysieren, meine Bedenken bzgl Mittelfeld sind
aber wohl unbegründet ...
[/quote]

Du hast momentan und nach diesem Versuch +-0.

Code:


2 Rybka 2.2n2 mp 1T     2834   16  16
3 Naum 4                2834   16  16

Wie man erkennen kann muss es jedoch nicht dabei bleiben,
jeweils +-16. O.K., es ist wohl der warscheinlichste Fall
dass es dabei bleibt, nur ganz sicher ist es eben nicht.
Ich würde vermuten, dass falls Du alle Spiele wiederholen
würdest (unter den absolut selben Bedingungen versteht sich),
durchaus eine andere Reihung resp. andere Abstände heraus
kommen könnten. Möglicherweise sogar im Bereich von +-20
Punkten ?!

Viele Grüsse,
G.S.

By Wolfgang Battig Date 2009-07-01 16:31 Edited 2009-07-01 16:38

[quote="Ingo Bauer"]
.....
Mein Problem ist mehr, das R2.2n2 gleich stark sein soll wie Naum ... leider fehlt genau diese Engine bei euch (Die ist wichtig, stärkste Freeware Engine!)

diese konkrete Version fehlt zwar (ich habe sie schon länger auf dem Plan, wird aber erst nach meinem Urlaub etwas werden), aber wir haben die 2.2 x64 1CPU in der Liste und die liegt 20 ELO vor Naum 4 x64 1CPU! Von daher ist ein Gleichstand wie bei Dir doch durchaus im Rahmen. Die Freeware-2.2n2 ist zudem leicht schwächer als die seinerzeitige kommerzielle 2.2, deshalb sehe ich da alles (halbwegs) im grünen Bereich. Naum setzt sich bei uns erst mit mehr CPU und vor allem längerer Bedenkzeit von der Freeware-Rybka ab.

40/4
beide x64/2CPU: Naum liegt ca. 40 ELO voraus

40/20
beide x64/2CPU: Naum liegt 77 ELO voraus!

Zitat:

und dann der Drilling Onno, Hiarcs, Deep Sjeng (fehlt auch bei auch)

Was die "x64-1CPU"-Versionen betrifft haben wir noch ein paar Löcher in der Liste (auch bei w32 mit 2+4 CPU). Aber das ist ein grundsätzliches Problem wenn eine Engine in insgesamt 6 (!) Versionen getestet werden kann (x64 + w32 mit je 1,2,4 CPU). Eine aussagekräftige Partienzahl vorausgesetzt (mind. 1000, besser mehr) bist du schwupps bei 6.000 - 10.000 Partien, und das nur für EINE Engine. Wir haben es in solchen Fällen meist so gehalten, dass wir die MP-Version mit x64 sowie die 32bit-Single getestet haben . w32 4CPU, w32 2CPU und x64 1CPU fielen erstmal flach und wurden ggfs. später nachgeholt.

Vor einigen Monaten fragte jemand - ich glaube es war Frank Rahde - warum wir Engines selten(er) mit w32-2CPU testen würden mit dem nachvollziehbaren Argument, dass doch viele User zwar eine 64bit-fähige MP-Maschine hätten, darauf aber ein 32bit-OS laufen ließen. Bezog sich zwar auf 40/20, ist aber prinzipiell bei allen Bedenkzeiten ein Problem. Je länger die Bedenkzeit umso größer. Wir haben für unsere Blitzliste nur 2 feste Tester (GS und mich) mit derzeit nur einem Quad (GS). Da kannst du nicht alles testen und es somit leider auch nicht allen recht machen

. Aber wir geben uns Mühe, die weißen Flecken in der Liste nach und nach zu beseitigen....

By Wolfgang Battig Date 2009-07-01 18:16

[quote="Udo Kaiser"]
in der tat sollte sich naum4 schon von rybka 2.2 abheben. wenn nicht ist da was falsch.
[/quote]

die Zahlen (Ingo, CEGT, CCRL) sprechen aber eine andere Sprache. Allerdings nur bezogen auf
64bit und vor allem eine CPU. Rybka profitiert enorm von 64bit (Naum deutlich weniger,
wenn überhaupt) und Rybka ist schon auf Single enorm stark.

Das von Dir erwartete "Abheben" passiert bei Naum erst mit mehr CPU und (deutlich) längerer Bedenkzeit!

Ich kann Ingos "Bauchgefühl" nachvollziehen, aber die Zahlen - und das sind zusammengenommen Tausende von Partien -
sagen nunmal was anderes, Bauchgefühl hin oder her....

By Ingo Bauer Date 2009-07-01 18:51 Edited 2009-07-01 18:55

Hallo

[quote="Wolfgang Battig"]

die Zahlen (Ingo, CEGT, CCRL) sprechen aber eine andere Sprache. Allerdings nur bezogen auf
64bit und vor allem eine CPU. Rybka profitiert enorm von 64bit (Naum deutlich weniger,
wenn überhaupt) und Rybka ist schon auf Single enorm stark.

Ich kann Ingos "Bauchgefühl" nachvollziehen, aber die Zahlen - und das sind zusammengenommen Tausende von Partien -
sagen nunmal was anderes, Bauchgefühl hin oder her....

[/quote]

Wie kommst du zu "einer anderen Sprache" bei "Ingo, CEGT und CCRL"?

Zu R2.2n2 hat CEGT KEINE Zahlen,

die CCRL hat 26 Elo Vorsprung von Naum (40/4+)


  Naum 4 64-bit  3050  2709
  Rybka 2.2n2 64-bit  3024 824

und ich habe in meiner 6 + 3 Ponder on Liste einen Vorsprung von 16 Elo (und die Error Margins überschneiden sich nur mit 1 Elo!)

Naum 4                         : 2699    7   7  5500    55.3 %   2662   40.1 %
Rybka 2.2n2 mp 1T              : 2683   10  10  2600    59.2 %   2618   41.4 %

Die Zahlen sprechen für sich (und sagen nichts anderes) denke ich.

Nur weil der Rest halbwegs stimmt heist das nicht das auch Naum und Rybka stimmen! Ich vermute im Moment "Bedenkzeit zu kurz" für Naum und habe obiges Turnier neu gestartet, allerding mit 6 + 3 als Bedenkzeit.
Natürlich könnte man mir vorwerfen das ich so lange drehe bis es mir passt, allerdings will ich erstmal eine Rangliste die wirklich plausibel ist und sich mit anderen Zahlen verifizieren läßt.

Mal sehen was jetzt bei meinem Experiment rauskommt.

Gruß
Ingo

By Thomas Müller Date 2009-07-01 19:00

ich bin gar nicht sicher ob das überhaupt geht mit anderen ranglisten zu verifizieren?!
Andere HW, andere zeitkontrolle und vorallem andere bücher bzw in deinem fall andere (64) vorgabestellungen!
Ich bin kein freund von vorgabestellungen, das ist mir zu eingeengt. Lieber ein gutes einheitsbuch (oder mehrere) bis ca 12 züge und etwas in die breite gestreut.
Trotzdem viel erfolg.....bin ja auch gespannt was im zweiten durchlauf rauskommt

--
TM

By Ingo Bauer Date 2009-07-01 19:19

Moin,

[quote="Thomas Müller"]
ich bin gar nicht sicher ob das überhaupt geht mit anderen ranglisten zu verifizieren?!
Andere HW, andere zeitkontrolle und vorallem andere bücher bzw in deinem fall andere (64) vorgabestellungen!
Ich bin kein freund von vorgabestellungen, das ist mir zu eingeengt. Lieber ein gutes einheitsbuch (oder mehrere) bis ca 12 züge und etwas in die breite gestreut.
Trotzdem viel erfolg.....bin ja auch gespannt was im zweiten durchlauf rauskommt

--
TM
[/quote]

Das Unterschiede bestehen ist unstrittig - schließlich mache ich meine eigene Liste weil ich mit der Methodik der anderen nicht immer einverstanden bin. Aber wenn eine Engine, die überall schlechter ist plötzlich zu einer anderen aufschließt, macht mich das stutzig und ich prüfe sehr genau. Sollte jetzt wieder ein Gleichstand rauskommen dann ist das eben so - ich glaube es aber irgendwie nicht.

Zum Thema Bücher habe ich eine komplett andere Meinung. Egal wie breit, egal wie neutral sie können IMMER einer Enigne besser liegen als einer anderen und sie sind ein Zufallselement! Ein möglichst breites Eröffnungsset, in dem ich die Farben tausche, scheint mir am gerechtesten. Obendrein habe ich vor Eröffnungen, sollten sie nur Gewinne für eine Farbe produzieren, rauszuwerfen und durch balanciertere zu ersetzen. (Sollte es keine solche geben suche ich mir die mit der schlechtesten Farbquote und werde sie SEHR genau inspizieren ...)

hier noch mein Turnieranfang:

Shredder

BIG_1

Rank	Name	Ryb	Ryb	Nau	H12	Gla	Zap	Tog	Onn	DSj	Fru	Points	S-B	%
1	Rybka 3mp 1T	X	0.0	1.0	1.5	2.0	0.5	0.5	0.0	1.0	1.0	7.5 / 11	37.75	68.18%
2	Rybka 2.2n2 mp 1T	1.0	X	0.5	1.5	0.5	0.5	0.5	1.0	0.5	1.0	7.0 / 10	36.50	70.00%
3	Naum 4	0.0	0.5	X	0.0	1.0	0.5	0.5	2.0	1.0	1.0	6.5 / 10	30.00	65.00%
4	H12.1 MP 1T	0.5	0.5	1.0	X	0.0	0.0	1.0	0.5	1.0	1.0	5.5 / 11	28.00	50.00%
5	Glaurung 2.2 JA 1T	0.0	0.5	0.0	1.0	X	1.0	1.0	1.0	0.0	1.0	5.5 / 11	27.50	50.00%
6	Zappa Mexico II x64 1T	0.5	0.5	0.5	1.0	0.0	X	0.5	0.0	2.0	0.5	5.5 / 11	27.25	50.00%
6	Toga II 1.4 beta5c BB	0.5	0.5	0.5	0.0	1.0	0.5	X	0.5	0.5	1.5	5.5 / 11	27.25	50.00%
8	Onno-1-0-0 x64	1.0	0.0	0.0	0.5	0.0	1.0	0.5	X	1.0	0.5	4.5 / 11	23.50	40.91%
9	DSjeng WC2008 x64 1T	0.0	0.5	0.0	0.0	1.0	0.0	0.5	1.0	X	0.5	3.5 / 11	17.75	31.82%
10	Fruit 05/11/03	0.0	0.0	0.0	0.0	0.0	1.5	0.5	0.5	0.5	X	3.0 / 11	15.00	27.27%

54 out of 5760 games played
Level: 6 Minutes/Game + 3 Seconds/Move
Games: Z:\Schach_Tests\Deep Shredder 12 UCI\BIG_1.pgn
www.shredderchess.com

Gruß
Ingo

By Thomas Müller Date 2009-07-01 21:49

Gleichstand glaube ich auch nicht!
Ok, wenn du es so machst mit dem eröffnungsset dann ist das auch ok.
Warum nicht, du wirst schon das beste für dich finden!

--
TM

By Roland Rösler Date 2009-07-01 19:50

Interessant an deiner 3'+2" Liste ist, daß Naum mit 68-60 gegen R2 gewinnt (möglicherweise das "erwartete" Ergebnis). 6 Punkte davon verliert N4 im Vergleich gegen R3. Und gegen die restlichen acht Gegner ist R2 2 Punkte besser als N4.
Auch würde ich die "Viererbande" (Zappa, Hiarcs, Onno und DSjeng) als gleichstark einschätzen. Auch hier ist es interessant zu sehen, gegen wen die Engines ihre Punkte holen.

By Wolfgang Battig Date 2009-07-01 23:08

[quote="Ingo Bauer"]
Hallo

.....

Hallo Ingo,

Zitat:

Wie kommst du zu "einer anderen Sprache" bei "Ingo, CEGT und CCRL"?

Zu R2.2n2 hat CEGT KEINE Zahlen,

das stimmt bezogen auf die von Dir getestete Version. Ich habe weiter oben (Posting von 16.38 Uhr) aber nicht nur einfach
so auf die kommerzielle 2.2 hingewiesen, sondern mir schon was dabei gedacht.
Man kann davon ausgehen - natürlich müssen wir es noch testen - dass die
freie 2.2n2 leicht schwächer ist als die kommerzielle 2.2. Zumindest sagen das unsere Zahlen:

x64-2CPU: -16 ELO
w32-2CPU: -20 ELO
w32-1CPU: -12 ELO

Natürlich kann man das jetzt nicht einfach auf die x64-1CPU übertragen, aber die Wahrscheinlichkeit, dass sich auch diese
Versionen in etwa um diese Punktezahl unterscheiden ist zumindest groß genug, dass man sie nicht einfach wegwischen kann.

Bei uns liegt die kommerzielle 2.2 x64 1CPU ca. 20 ELO vor Naum 4. Jetzt kannst Du rechnen, wieviel Unterschied
bleibt, wenn meine obige Annahme halbwegs stimmt. Ich würde da von gleicher Stärke sprechen...

Zitat:

die CCRL hat 26 Elo Vorsprung von Naum (40/4+)


  Naum 4 64-bit  3050  2709
  Rybka 2.2n2 64-bit  3024 824

und ich habe in meiner 6 + 3 Ponder on Liste einen Vorsprung von 16 Elo (und die Error Margins überschneiden sich nur mit 1 Elo!)

Naum 4                         : 2699    7   7  5500    55.3 %   2662   40.1 %
Rybka 2.2n2 mp 1T              : 2683   10  10  2600    59.2 %   2618   41.4 %

Die Zahlen sprechen für sich (und sagen nichts anderes) denke ich.

Ich wundere mich schon, dass Du auf Differenzen von durchschnittlich +/- 20 ELO so "herumreitest" und offenbar meinst, dass dies unbedingt
in jeder Rangliste oder jedem Turnier (so verstehe ich Dich, korrigier mich wenn ich es falsch sehe) abgebildet sein sollte.
Die Bedingungen bei Dir, CEGT, CCRL sind insgesamt so unterschiedlich (Bedenkzeit, Hardware, Eröffnungen), dass diese Unterschiede
aus meiner Sicht völlig normal sind.

Du hast 3+2 mit Vorgabestellungen
CEGT hat 40/3 repeated mit buntem Mix aus Vorgaben und Büchern (GS testet ausschließlich mit Vorgaben, ich überwiegend mit Büchern von Schnapp, Canbaz usw. und nur ab und zu mit Vorgaben)
CCRL hat 40/4 adaptiert auf x2-4200+ (also mal mehr, mal weniger je nach Rechner) ebenfalls mit Mix aus Büchern und Vorgaben

Die unterschiedlichen GUI (bei Dir nur Shredder Classic / bei CEGT Arena, Shredder Classic, CB / bei CCRL auch diese 3 und zusätzlich noch ChessGUI) seien nur am Rande erwähnt.

M.E. muss es da schon fast Abweichungen geben, ich würde mich ehrlich wundern, wenn überall dasselbe Bild bis in die Details (+/- 20 Punkte) herrschen würde.

Zitat:

.... Ich vermute im Moment "Bedenkzeit zu kurz" für Naum und habe obiges Turnier neu gestartet, allerding mit 6 + 3 als Bedenkzeit.

ja, 100% Zustimmung!!

Zitat:

Natürlich könnte man mir vorwerfen das ich so lange drehe bis es mir passt, allerdings will ich erstmal eine Rangliste die wirklich plausibel ist und sich mit anderen Zahlen verifizieren läßt.

Ich kenne zwar einen bekannten "Experten" (Du kennst ihn auch!), der Dir als Shredder-Tester das u.U. vorwerfen würde....
Da ich dieses "ungute Gefühl" was Du hast aber auch kenne, käme ich nicht auf diese Idee.
Ich glaube nur, dass Du Differenzen im Bereich von +/- 20 ELO eine zu große Bedeutung beimisst. Beim Betatesten von verschiedenen Versionen einer Engine
(z.B. Shredder) kann ich das nachvollziehen. Im Vergleich zwischen zwei verschiedenen Engines haben 20 ELO Differenz m.E. (fast) keine Bedeutung

Zitat:

Mal sehen was jetzt bei meinem Experiment rauskommt.

Ja, ich bin auch gespannt, wenn ich auch urlaubsbedingt nicht alles mitbekommen werde.
Viel Spaß dabei!
....

By Roland Rösler Date 2009-07-02 00:00

[quote="Wolfgang Battig"]
Ich wundere mich schon, dass Du auf Differenzen von durchschnittlich +/- 20 ELO so "herumreitest" und offenbar meinst, dass dies unbedingt
in jeder Rangliste oder jedem Turnier (so verstehe ich Dich, korrigier mich wenn ich es falsch sehe) abgebildet sein sollte. [/quote]
Die Mathematik sagt uns nun mal, daß man mit +/- 20 Elo leben muss, wenn man "nur" ~1200 Spiele pro Engine spielt. Will man kleinere error-bars, muß man mehr Spiele spielen. Bei 3000 Spielen pro Engine hat man aber immer noch eine Breite von +/- 10 Elo (und natürlich immer noch mit "nur" 95% Wahrscheinlichkeit).
M. E. macht es keinen Sinn zu versuchen den "wahren" Elowert zu ermitteln. Dafür wären zu viele Spiele notwendig und das Ergebnis selber ist auch ziemlich uninteressant. Was nutzt es mir wenn ich weis Onno ist 2 Elo besser als Hiarcs bei 3'+2". Da interessiert mich schon viel mehr die Spielweise der Engine.

By Gerhard Sonnabend Date 2009-07-02 09:12

[quote="Wolfgang Battig"]
[...snip...]
ja, 100% Zustimmung!!

Die Bedenkzeit ist für Naum - noch dazu auf Single-CPU - zu kurz.
Habe es in 2 Postings weiter oben geschrieben: Naum legt mit mehr CPU und langer/längerer
Bedenkzeit deutlich zu und setzt sich auch deutlich von Rybka 2.2n2 ab! Das beweisen unsere
Zahlen ganz eindeutig (Beispiele habe ich oben genannt). Bei 40/120 auf Quad kommt Naum
sogar bis auf erträglich 60 Punkte an Rybka 3 (drei!!) heran, beim Blitz auf Quad sind es
-110 und beim Blitz auf 1CPU sogar -163!! Ich bin mit dem Begriff "Beweis" im Computerschach
sehr vorsichtig, aber dass Naum zumindest im Vergleich mit Rybka von längerer BZ und/oder
mehr CPU deutlich profitiert dürfte unbestritten sein.
[...snip...]
[/quote]

Ja, Ingo gab sich die Antwort quasi schon selbst,
indem er auf seine frühere Liste hingewiesen hatte.
Diese wurde mit fast doppelter Bedenkzeit gespielt.
Mal wieder ein schöner Hinweis darauf, dass man
z.B. Blitz- und Aktivschach eben nicht immer
1 zu 1 vergleichen kann/darf. Aber darauf weise ich
nun schon seit über 10 Jahren hin und sehr viele Leute
wollen es einfach nicht wahr haben. Damit bist aber
weder Du Wolfgang, noch Ingo gemeint.

Viele Grüsse,
G.S.

By Georg Hutschenreuter Date 2009-07-02 10:05

Hallo Ingo,
wenn jemand einen Test wiederholt, weil ihm die Ergebnisse nicht passen, drängt sich in der Tat der Verdacht auf, dass jemand so lange testet, bis er sein "Wunschergebnis" hat.
Ich frage mich, was Ziel des Tests sein soll? Eine Rangliste, die der CEGT und CCRL entspricht? Unnötig, weil es die ja bereits gibt. Ein Satz Vorgabestellungen, die im Ergebnis die Rangfolge von CEGT und CCRL ergeben soll? Kann man sich eigentlich auch schenken, weil meines Wissens mindestens eine der beiden Listen (unter anderem?) mit Vorgabestellungen erzeugt wird. Also kann man doch einfach diese nehmen.

Das erinnert mich alles irgendwie an die prinzipielle Sinnfrage von Tests im Computerschach. Insbesondere bei Vorgabestellungen. Ich wüsste schon nicht, welche ich nehmen würde und wie viele Züge lang die Vorgaben sein sollen. Bei zu langen Varianten besteht das Risiko, dass das Resultat mitunter schon fest steht. Auf eine nicht gewinnbare Stellung, die ein 2600er Programm locker verteidigt, hilft es nicht, wenn ich einen 2600er oder 3000er Gegner los lasse. Das Ergebnis ist und bleibt remis. Auf den ersten Blick ist das 3000er Programm aber nicht besser, weil es ja nur das gleiche Ergebnis erzielt wie das 2600er. Ergo ist meine Schlussfolgerung, dass das eigentlich 3000er Programm so stark sei wie das 2600er, völlig falsch.
Nehme ich eine zu kurze Variante, kann ich damit dem einen oder anderen Programm ein Bein stellen, weil es in einer Stellung entlassen wird, die es nicht so recht versteht und konsequent versemmelt. Aus diesem Grund aber zum Beispiel noch 10 weitere Züge im eigenen Eröffnungsbuch hat und damit 75% erzielt. Falsche Schlussfolgerung nach Vorgabestellung: Programm taugt nix.
Nun kann ich natürlich versuchen, eine "vernünftige" Anzahl von Vorgabestellungen auszuwählen, um die oben genannten Fälle statistisch verschwinden zu lassen. Aber verschwinden sie wirklich? Und wie viele Vorgabestellungen sind vernünftig? 50? 100? 200?
Es ist das ewige Dilemma des Testers, es bleibt immer ein fader Beigeschmack. Aber OK, das Thema ging sicher schon oft durchs Forum, und auf eine weitere Diskussion bzw. Infragestellung von Computerschachtests kann man hier sicher verzichten.

By Udo Kaiser Date 2009-07-02 14:41

ich denke naum4 ist vor rybka2.2 anzusiedeln.

dabei spreche ich erst einmal von 32 Bit und 1 Core Systemen.

By Wolfgang Battig Date 2009-07-02 15:08

[quote="Udo Kaiser"]
ich denke naum4 ist vor rybka2.2 anzusiedeln.

dabei spreche ich erst einmal von 32 Bit und 1 Core Systemen.
[/quote]

"erst einmal" ist gut..., denn davon war in Deinem vorigen Posting nicht die Rede, zumal es sich auf Ingos Tests bezog und
die sind mit den 64bit-Versionen durchgeführt worden.
32bit ist ein ganz anderes Pflaster und mittlerweile hat es wohl jeder mitbekommen, dass Rybka sehr stark von 64bit profitiert
(übertroffen wohl nur von Zappa), Naum 4 eher nicht.

Auf 32bit-Single bezogen stimmt die Aussage, dass N4 besser ist als R2.2n2, nicht weltbewegend, aber immerhin:

CEGT Blitz: +37
CEGT 40/20: +49

By Udo Kaiser Date 2009-07-02 19:59

die breite masse hat wohl mittlerweile 64 bit cpus... aber häufig ab werk 32 bit os.

By Gerhard Sonnabend Date 2009-07-02 20:20

[quote="Udo Kaiser"]
die breite masse hat wohl mittlerweile 64 bit cpus... aber häufig ab werk 32 bit os.
[/quote]

Was zwischenzeitlich (eigentlich schon mind. 2 Jahre) unverständlich
anmutet. Aber jeder soll seine CPU so gut es geht ausbremsen

By Udo Kaiser Date 2009-07-02 23:40

es liegt an diesen gründen weniger. eher daran das die rechner wenn sie in Geizistgeil-Läden oder an Tankstellen oder sonstwo verkauft werden eigentlich immer am Werk mit nem 32 Bit Windows System ausgestattet sind.

und nur wenige kaufen sich dann noch mal ein OS um alles neu zu installieren.
Also es ist Bill Gates Schuld.

By Kurt Utzinger Date 2009-07-03 18:17

[quote="Gerhard Sonnabend"]
[quote="Udo Kaiser"]
die breite masse hat wohl mittlerweile 64 bit cpus... aber häufig ab werk 32 bit os.
[/quote]

Was zwischenzeitlich (eigentlich schon mind. 2 Jahre) unverständlich
anmutet. Aber jeder soll seine CPU so gut es geht ausbremsen

Auch wenn jetzt gleich wieder die alte Leier von wegen Treibermangel
und (meist uralter) gewisser Software welche nicht unter 64-Bit laufen
will kommt - verstanden habe ich dieses Verhalten bisher nicht.
[/quote]

Hallo Gerhard
Das Verhalten ist äusserst einfach erklärbar. 990 von 1000 Käufern haben
ein vorinstalliertes 32-bit OS mit wahrscheinlich X-vorinstallierter Software
und 980 von diesen 1000 Käufern käme es nie in den Sinn, ein neues OS
dazu zu kaufen und eine (Neu)Installation zu machen (wagen). Selbst mir
ging das mit meinem Quad so ... und dass ich für eine Schachlösung ein wenig
länger auf den vermeintlichen Wunderzug warten muss, ist mir völlig gleichgültig.
Schuldig sind einzig die PC-Verkäufer (oder Microsoft?), die sich anmassen,
neue X64-Kisten zu verkaufen mit einem nicht angepassten OS dazu. Eine
Preisfrage sollte das ja nun wirklich nicht sein ... ansonsten darf gelacht werden.
Mfg
Kurt

By Udo Kaiser Date 2009-07-03 20:01

sehr richtig kurt.

mir ist auch schleierhaft warum die für 64 bit cpus 32bit os verkaufen.

das ist ungefähr so als ob sie dir autos mit 320 km/h verkaufen, in deinem land
aber überall 120 höchstgeschwindigkeit ist.