Rybka - Ippolit-Clone Vergleichstest, Tester gesucht

By Ralf Badera Date 2010-06-04 13:32

Hallo zusammen,
in einem anderen Beitrag hatte ich es schon geschrieben, nun aber konkret:

Zitat:

OK, dann Butter bei die Fische. Ich mache mit, aber nicht alleine, und folgendes müsste vorab festgelegt werden:

1. Wie viele Partien umfassen die Einzelmatches?
2. Welche Bedenkzeit wird gewählt?
3. Welches Programm in welcher Version wird aus der Ippolit-Clique gewählt, Stichworte Stärke, Stabilität?
4. Welche Gegnerschaft wird auserkoren?
5. Mit welcher Konfiguration wird gespielt? Also welche Eröffnungsbücher, Tablebases, Robo-/TotalBases, welche Gui?
6. Kann die Hardware egal sein?
7. Wer koordiniert das alles?

Vielleicht sollte ich dazu einen eigenen Thread eröffnen.

MfG,
Ralf

Das habe ich hiermit getan. Es geht also darum, Rybka 4 und das beste bzw. empfohlene Programm aus der Ippolit-Sippe im Quervergleich gegeneinander zu testen. Das bedeutet, dass beide unter den gleichen Bedingungen gegen die gleiche Gegnerschaft antreten.
Ich schlage schon mal vor:
zu 1) 100 Partien
zu 2) 40/40
zu 3) Fire 1.3.1
zu 4) a. Naum 4.2 b. Stockfish 1.7.1 c. DeepShredder 12 d. DeepFritz 12 e. Zappa II f. Komodo g. Hiarcs 13.1 h. DeepJunior 11.2 i. Spark 0.4/0.5 j. Onno 1.2.70 - also 10 Gegner, ergeben zusammen also jeweils 1000 Partien für Rybka und Ippo. Habe ich eine wichtige Engine vergessen?
zu 5) Eigene Eröffnungsbücher, wo nicht vorhanden: StrongBook 2010 oder perfect15 oder HS-Buch; permanent brain und alle Endspieldatenbanken bis zu den 5-Steinern. GUI: Da DeepFritz nicht unter Shredder läuft, bleibt nur eine Chessbase-GUI. Vorschlag: Fritz 11 GUI.
zu 6) Ich denke ja, die Verhältnisse der Engines untereinander sollten auch auf verschiedener Hardware ähnlich genug sein. Vorschlag minimale Hardware: Core2Duo 2.0 GHz, damit darauf ein Match mit zwei Engines je 1 Thread mit permanent brain laufen kann. Auf einem Quadcore sind somit zwei Matches gleichzeitig möglich.
zu 7) Notfalls ich, wenn das sonst niemand übernehmen möchte.

Wie schaut der Zeitaufwand aus? Ich schätze: Eine Partie sollte im Schnitt nach 120 Zügen entschieden sein, dauert also 4 Stunden. 100 Partien pro Match bedeuten also 400 Stunden = 16 Tage 16 Stunden. Das ist natürlich schon eine Menge, weshalb sich die Arbeit mehrere Leute teilen sollten. Im Idealfall sollten zehn Beteiligte ausreichen, so dass jeder ein Match spielen kann. Oder auch zwei auf Quadcore.

Wem das zu lange sein sollte, es lassen sich Partienanzahl und Bedenkzeit noch ändern, z.B. nur 50 Partien pro Match, 40/20' oder g/60. Ich bin da offen für Vorschläge.

Also, wer macht mit?

01) Ralf Badera (Email: ralf.badera(ät)gmx.de)
02)
03)
04)
05)
06)
07)
08)
09)
10)

MfG,
Ralf

By Gerhard Sonnabend Date 2010-06-04 15:00

Ich würde f.d. Testserie Vorgabestellungen nehmen.

Viele Grüsse,
G.S.

By Ralf Badera Date 2010-06-04 15:33

Hallo Gerhard,
ja, das garantiert die hundertprozentige Vergleichbarkeit. Ich stehe dem jedoch zwiespältig gegenüber. Was ist mit Vorgabestellungen, die ein 2800er Programm remis halten kann, egal gegen wen? Dann spielt es remis gegen 3000 ELO ebenso wie gegen 3400 ELO. Schaue ich nur auf das Ergebnis, kann ich bei dem 3400er nicht feststellen, dass es stärker ist als das 3000er. Schwierig, oder? Davon einmal abgesehen, dass den Programmen nicht ohne Grund auf sie zugeschnittene Eröffnungsbücher mitbekommen. Aber diese Diskussion ist so alt wie das Forum.

MfG,
Ralf

By Gerhard Sonnabend Date 2010-06-04 16:32

[quote="Ralf Badera"]
Hallo Gerhard,
ja, das garantiert die hundertprozentige Vergleichbarkeit. Ich stehe dem jedoch zwiespältig gegenüber. Was ist mit Vorgabestellungen, die ein 2800er Programm remis halten kann, egal gegen wen? Dann spielt es remis gegen 3000 ELO ebenso wie gegen 3400 ELO. Schaue ich nur auf das Ergebnis, kann ich bei dem 3400er nicht feststellen, dass es stärker ist als das 3000er. Schwierig, oder? Davon einmal abgesehen, dass den Programmen nicht ohne Grund auf sie zugeschnittene Eröffnungsbücher mitbekommen. Aber diese Diskussion ist so alt wie das Forum.

[/quote]

Ja, das stimmt, die Diskussion ist schon sehr alt.
Ich würde einfach 6-8-zügige Vorgaben aus gängigen Eröffnungen wählen,
gut verteilt über die Systeme A-E, am besten das jeweilige "Stammsystem",
resp. die Hauptvariante. Da kann man i.d.R. nicht Gefahr laufen, dass eine
deutlich schwächere Engine "aus Versehen" Remis hält.

Viele Grüsse,
G.S.

By Ralf Badera Date 2010-06-07 10:07

Hallo Gerhard,
[quote="Gerhard Sonnabend"]
Ja, das stimmt, die Diskussion ist schon sehr alt.
Ich würde einfach 6-8-zügige Vorgaben aus gängigen Eröffnungen wählen,
gut verteilt über die Systeme A-E, am besten das jeweilige "Stammsystem",
resp. die Hauptvariante. Da kann man i.d.R. nicht Gefahr laufen, dass eine
deutlich schwächere Engine "aus Versehen" Remis hält.

Viele Grüsse,
G.S.
[/quote]
Hierbei sehe ich doch nur, welche Engine am besten die Theorie selbst berechnet, denn die geht doch im Normalfall bis 15-20 Züge weiter. Das ist nicht unbedingt mein Ziel. Und die Resonanz lässt sehr zu wünschen übrig, so dass ich diese Projektidee ad acta legen werde. Für mich alleine ist es einfach zu zeitaufwendig. Vielleicht führe ich irgendwann eine Kurzfassung dieses Tests durch, nur für mich im stillen Kämmerlein.

MfG,
Ralf

By Werner Mueller Date 2010-06-04 15:55

[quote="Ralf Badera"]
...
3. Welches Programm in welcher Version wird aus der Ippolit-Clique gewählt, Stichworte Stärke, Stabilität?
...
zu 3) Fire 1.3.1
[/quote]

... aber dann bitte stilvollerweise (wenn schon illegal, dann auch richtig) auch ein raubkopiertes Rybka 4.

(kann ja wohl nicht sein, wie sich hier manche dumm stellen: Ippolit-Derivate mit geschlossenen Sourcen sind schlicht illegal)

By Ralf Badera Date 2010-06-04 16:16

Hallo Werner,
[quote="Werner Mueller"]
[quote="Ralf Badera"]
...
3. Welches Programm in welcher Version wird aus der Ippolit-Clique gewählt, Stichworte Stärke, Stabilität?
...
zu 3) Fire 1.3.1
[/quote]

... aber dann bitte stilvollerweise (wenn schon illegal, dann auch richtig) auch ein raubkopiertes Rybka 4.

(kann ja wohl nicht sein, wie sich hier manche dumm stellen: Ippolit-Derivate mit geschlossenen Sourcen sind schlicht illegal)[/quote]
War ja nur ein Vorschlag. Machst Du mit, wenn stattdessen ein legales Derivat oder Original getestet würde?

(Welches?)

MfG,
Ralf

By Werner Mueller Date 2010-06-04 16:32

[quote="Ralf Badera"]
War ja nur ein Vorschlag. Machst Du mit, wenn stattdessen ein legales Derivat oder Original getestet würde?

(Welches?)
[/quote]
Sorry, aber für meine Hardware müsste ich mich fast schon schämen.

By Peter Behringer Date 2010-06-04 18:32

"Ippolit-Derivate mit geschlossenen Sourcen sind schlicht illegal"

Nöö - wegen 'public domain' (fav. Lizenz der Dekabristen).

By Werner Mueller Date 2010-06-04 18:59

[quote="Peter Behringer"]
"Ippolit-Derivate mit geschlossenen Sourcen sind schlicht illegal"

Nöö - wegen 'public domain' (fav. Lizenz der Dekabristen).
[/quote]
Haste Recht, die ursprünglichen Sourcen sind tatsächlich 'public domain'.

Man lernt nie aus, und es zeigt einmal mehr wie vorsichtig man doch mit Vorwürfen sein muss.
War schon mein 2. Beitrag mit diesem Inhalt, deshalb eine Entschuldigung in Richtung Kranium.

Und thx für den Hinweis.

By Peter Martan Date 2010-06-04 20:09

Das jemand einfach so einen Irrtum einsieht, dann auch noch sofort offen zugibt und sich sogar entschuldigt, ist aber auch selten und erfrischend zugleich.

By Peter Behringer Date 2010-06-04 21:09

Zitat:

deshalb eine Entschuldigung in Richtung Kranium

Warum? Kranium bedient sich ja nur...; Rückfluß von Code ins Projekt? Zilch.

Windowsgeraffel obendrein. Nix mehr für Linux/Unix...

"I'm disappointed!!!!!!!!!!11111111"

Grüße

By Werner Mueller Date 2010-06-04 22:47

[quote="Peter Behringer"]

Zitat:

deshalb eine Entschuldigung in Richtung Kranium

Warum? Kranium bedient sich ja nur...; Rückfluß von Code ins Projekt? Zilch.

Windowsgeraffel obendrein. Nix mehr für Linux/Unix...

"I'm disappointed!!!!!!!!!!11111111"

Grüße

Wenn man jemanden irrtümlich bezichtigt, silberne Löffel gestohlen zu haben, kann man sich schon mal entschuldigen, auch wenn er bei Tisch gerülpst und gepupst hat.

@Peter Martan
danke für das Kompliment (ich erröte ja fast

)