Die ideale Engine-Rangliste!

By Gerhard Sonnabend Date 2009-10-08 06:52

[quote="Roland Rösler"]
[...snip...]
Ich bin sicher, meine Zeitvorgabe ist besser als 40/40 bei CCRL und allemal besser als 40/20 bei CEGT.
[...snip...]
[/quote]

Weshalb sollte 15'+5" (ponder=on) besser sein als
40/40 und/oder 40/20 (ponder=off) ?

Viele Grüsse,
G.S.

By Roland Rösler Date 2009-10-08 06:54

Wegen des Referenzsystems (Nehalem 3 GHz)!

By Gerhard Sonnabend Date 2009-10-08 07:24

[quote="Roland Rösler"]
Wegen des Referenzsystems (Nehalem 3 GHz)!
[/quote]

Meinst Du u.U. "länger" ?

Viele Grüsse,
G.S.

By Roland Rösler Date 2009-10-08 07:29

Ja! Für mich ist länger besser!

By Gerhard Sonnabend Date 2009-10-08 11:34

[quote="Roland Rösler"]
Ja! Für mich ist länger besser!

[/quote]

Kommt immer darauf an was man testen will !
Für Blitz wäre die Spielstufe z.B. zu lang.

Viele Grüsse,
G.S.

By Frank Quisinsky Date 2009-10-08 13:39

Hi,

beachte das Fischer Zeitkontrollen von vielen Engines gar nicht gemocht wird und teilweise aus einem schlechten Zeitmanagement ein noch schlechteres wird. Fischer Zeitkontrollen waren mal in Anfangszeiten von Eng-Eng und Winboard bzw. dem Adapterkram beliebt. Durch die Winboard Adapter, gerade für ChessBase GUIs ging bei der Zugübertragung viel Zeit verloren. Durch +x Zeitfaktoren konnte man das ausgleichen und Zeitüberschreitungen vermeiden. Es passiert heute relativ selten, dass mal eine UCI auf Zeit verliert. Aber es passiert immer noch recht häufig das Engines vor der Zeitkontrolle noch 20-40% Ihrer Zeit übrig haben und dann für unsinnige Zugberechnungen vor der Zeitkontrolle vergolden (meist wenn es eh schon zu spät ist).

Betrachte ich nun die ganzen Jahre Eng-Eng Testerei sind Listen im Verlgeich mit Zeitkontrollen wie 40 in 40 oder 40 in 20, 60 in 30 etc. aussagekräftiger. Das kannst Du erkennen wenn Du die Listenergebnisse der letzten Jahre miteinander verglichen hast und Dir dann die Frage gestellt hast ... warum schneidet Engine X bei 15 +5 schlechter ab als bei einer Liste 40 in 40. Das war dann immer sehr leicht zu sehen wenn genau das Zeitmanagement dieser Engine mal intensiv beobachtet wurde.

Ich finde die Zeitkontrollen der CEGT sind durchdacht und gut.
15 + 5 etc.. sind Themen die eigentlich für langjährige Tester keine mehr sind

Viele Grüße
Frank

By Roland Rösler Date 2009-10-08 06:52

[quote="Roland Rösler"]Zeit: 15'+5" (ponder=on); ~3 Spiele pro Stunde auf 2 Cores.[/quote]
Besser wäre natürlich 25'+5" (ponder=on); ~2 Spiele pro Stunde auf 2 Cores! Hab ich mich aber nicht getraut! Das würde alle Zeiten noch mal um den Faktor 1.5 erhöhen!

By Benno Hartwig Date 2009-10-08 08:52

> Jede gelistete Engine hat immer nur 1800 Spiele! Wichtig!

Warum ist das denn so besonders wichtig?
"Mindestens 1800" klar, solche Mindestwerte sollten sein. "Höchstens?" Warum?
Abgesehen davon, dass ich von einer 'idealen' Ratingliste gern auch mehr Partien jeder Engine sehen würde (OK, ich verstehe es mal als idealen Kompromiss), verstehe ich nicht, warum es z.B. insgesamt eher schädlich wäre, wenn eine der Engines z.B. 3600 Partien gespielt hätte.
OK, in irgendeinem Sinne hätte diese Engine bei der Liste dann ein größeres Gewicht. Engines, die besonders gut gegen sie können, würden sich zum Beispiel 'freuen', wenn sie häufiger gegen sie spielen dürften. Klar.
Andererseits gewinnt die Liste in Teilen aber deutlich an statistischer Aussagekraft.
Ist es so klar, dass dieser zweite Punkt weniger zählt? Warum?

Welche Vorgehen hieltest du für angemessen, wenn eine Engine durch einen Fehler doch 3600 Partien gespielt hätte.
Diese Ergebnisse komplett streichen und noch mal anfangen?

Einige streichen? Nach welchem Schlüssel?

Benno

By Kurt Utzinger Date 2009-10-08 08:58

Ich bin erstaunt, mit welchem Eifer hier nach dem angeblichen "Non-Plus-Ultra" für
Engine-Tests gesucht wird. Meines Erachtens braucht man nichts Neues zu erfinden.
Die bestehenden Ranglisten genügen durchaus für jeden Computerschächer, sich
ein Bild zu machen. Wer es noch ein ganz klein wenig besser machen will, der muss
einen absolut unverhältnismässigen Aufwand betreiben, der sich schlicht und einfach
nicht lohnt >auch diese Engine-Rangliste wäre eine unter vielen.
Mfg
Kurt

By Roland Rösler Date 2009-10-08 23:18

[quote="Kurt Utzinger"]Die bestehenden Ranglisten genügen durchaus für jeden Computerschächer, sich ein Bild zu machen. [/quote]
Gut Kurt, dann mach Dir mal ein Bild über diese beiden Engines (Elo-Differenz 53 Punkte!):

DS12 x64 1CPU Elo 3025 nach 1000 Spielen
DS12 w32 1CPU Elo 2972 nach  800 Spielen

Welche Engine ist besser?

By Kurt Utzinger Date 2009-10-08 23:38

[quote="Roland Rösler"]
[quote="Kurt Utzinger"]Die bestehenden Ranglisten genügen durchaus für jeden Computerschächer, sich ein Bild zu machen. [/quote]
Gut Kurt, dann mach Dir mal ein Bild über diese beiden Engines (Elo-Differenz 53 Punkte!):

DS12 x64 1CPU Elo 3025 nach 1000 Spielen
DS12 w32 1CPU Elo 2972 nach  800 Spielen

Welche Engine ist besser?

[/quote]

Hallo Roland
Mich interessieren nicht die ELO-Zahlen, sondern die Relation von Engine X zu
anderen Engines in der/den jeweiligen Liste(n). So gesehen kann ich mit Deinen
Angaben wenig anfangen.
Mfg
Kurt

By Roland Rösler Date 2009-10-09 00:31

Das verstehe ich wiederum nicht! Was ist die Elozahl, wenn nicht eine Zahl, die Relationen zu anderen Gegnern (Engines) ausdrückt?

By Kurt Utzinger Date 2009-10-09 09:07

[quote="Roland Rösler"]
Das verstehe ich wiederum nicht! Was ist die Elozahl, wenn nicht eine Zahl, die Relationen zu anderen Gegnern (Engines) ausdrückt?
[/quote]

Hallo Roland
Ich habe bereits betont, dass mich die Elo-Zahl nicht interessiert.
Diese kommt ja zustande aufgrund einer erbrachten Leistung auf
der Basis eines angenommenen Grundwertes (der m. E. immer viel
zu hoch angesetzt wird). Mich interessieren nur die Ränge der
einzelnen Engines in den verschiedenen Listen und die jeweiligen
Abstände der Engines und Engine-Versionen untereinander in der
jeweiligen Liste. Die Tendenzen interessieren mich, aber nicht ob
Engine X in der Liste A mit 3100 ELO und dieselbe Engine X in der
Liste B mit 2937 geführt wird.
Mfg
Kurt

By Benno Hartwig Date 2009-10-09 09:26

[quote="Roland Rösler"]Das verstehe ich wiederum nicht! Was ist die Elozahl, wenn nicht eine Zahl, die Relationen zu anderen Gegnern (Engines) ausdrückt?[/quote]Wenn du denn die gemäß dieser Liste ermittelten ELO-Werte der anderen Engines mitlieferst, kann sich das jeder ausrechnen (wenn er will).
Wenn nicht, dann hängen die ELO-Werte dieser beiden Engines in der Luft.
"Ich bin 77 KiloMops schwer! Kritik? Das verstehe ich wiederum nicht! Was ist die KiloMops wenn nicht eine Zahl, die (auch) Relationen zu anderen Gewichten ausdrückt?"

Benno

By Peter Martan Date 2009-10-09 09:34

[quote="Roland Rösler"]
Das verstehe ich wiederum nicht! Was ist die Elozahl, wenn nicht eine Zahl, die Relationen zu anderen Gegnern (Engines) ausdrückt?
[/quote]
Wenn sie sonst nichts ausdrückt, also nichts mit der Elozahl menschlicher Spieler zu tun hat, glaube ich Kurt dahingehend zu verstehen und finde das auch wirklich sehr verständlich, wozu dann Elo und nicht einfach Ranglistenplatz, wie auch immer die Rangliste erstellt ist.
Ich finde überhaupt, dass deine Kriterien gut sind, für das, was dich interessiert. Wenn du nur Interesse an einer Oberliga von 10 engines hast, natürlich brauchst du dann nur die gegeneinander testen. Umso besser kannst du die Stellungen aussuchen, von denen du ausgehst und die Partien, die daraus gespielt werden, anschauen. Dass du dabei Elo- statistisch ein größeres Tausend- Partien- Phänomen haben wirst als bei ein paar hundert engines (kann man heutzutage schon leicht zusammenkriegen, wenn man alle alten und neuen Versionen nimmt und noch ihre single- und MP- Versionen, bei letzteren noch auf verschieden vielen cores) spricht erst recht gegen komplizierte Elo- Auswertung. Da wäre statistisch meiner Meinung nach viel aussagekräftiger neben dem Ranglistenplatz eine Unterteilung nach den Prozent oder Partiepunkten der performance zwischen den Teilnehmern.

By Benno Hartwig Date 2009-10-08 09:13

Zitat:

Wo bleibt x64 vs. w32?

Ich finde sehr OK, wenn für die Beurteilung "Wie gut ist eine Engine?" gewertet wird, wie gut sie sich unter X64 behauptet. Und wenn sie dies denn als 32bit-Kompilat versuchen muss, dann muss sie das eben.
Mögen heute die meisten noch 32bit-Rechner haben, so wird sich das meiner Meinung nach jetzt kurzfristig ändern.
Mein nächter Desktop wird wohl X64 sein.
Bei den Käufen in 2 Jahren ist W32 Auslaufmodell, allenfalls im Mobilbereich noch leidlich geduldet. Und vielleicht geht's auch noch viel schneller. Windows7

Zitat:

100 Vorgabestellungen

Ein fester Satz? Problematisch. Wenn die bekannt würden, könnte natürlich jeder Programmierer seiner Engine beibringen, hier 'aus dem Buch zu spielen'. Die müssten schon häufiger wechseln.

Zitat:

ponder=off sondern ponder=on!

Dass das Pondern einbezogen werden soll, finde ich gut. Pondern könnte ein Feld sein, auf dem Engine-Entwickler versuchen könnten, Vorteile zu erlangen. Dann sollte das in der Ratingliste auch Erfolg bringen können!
Halbiert aber die Zahl der Partien/Engines.

Zitat:

Der Rest soll sehen wo er bleibt

1. Liga, 2. Liga. Hmm...
Zumindest für einen Moment dachte ich an ein darunter liegendes, baumartiges Klassensystem, mit Aufstiegen und Abstiegen, und eben auch in 'deine' 2. Liga...

Zitat:

MP-Versinen verschieben nur die Zeitkontrolle

Einspruch. Auch die Qualität der Parallelisierung ist ein wichtiges Kriterium. Und genau wie Pondern sollte auch die MP-Fähigkeit ihren Einfluss haben.
Aus meiner Sicht benötigst du also für eine Begegnung 4 Kerne.
Wenn du dazu nicht bereit bist, sollte du IMO eher auf Pondern als auf MP verzichten!

Ggü. dem einfachen 1core_ohne_Pondern macht das natürlich viel mehr Aufwand.
Ob das lohnt? Ggf. wären einfach mehr Partien oder mehr Engines deutlich wünschenswerter.

Benno

By Georg Hutschenreuter Date 2009-10-08 10:18

Hallo Roland,
diese Rangliste scheitert wie alle anderen Ranglisten mit Vorgabestellungen genau an diesen. Welche Vorgabestellungen sollen genommen werden? Beginnend bei welchem Zug mit welchem Material?

By Peter Martan Date 2009-10-08 11:34 Edited 2009-10-08 11:42

[quote="Georg Hutschenreuter"]
...
diese Rangliste scheitert wie alle anderen Ranglisten mit Vorgabestellungen genau an diesen. Welche Vorgabestellungen sollen genommen werden? Beginnend bei welchem Zug mit welchem Material?
[/quote]

Genau das sind die Fragen, die man sich stellen muss. Übrigens genau so wie mit "Büchern". Oder glaubst du wirklich, dass die Statistik aussagekräftiger wird, wenn man die Stellungen, um die es sich ja bei den Büchern genau so handelt, den Zufall aus einer möglichst großen Zahl auswählen lässt? Das Denken (die Randomisierung) kann einem bei der Statistik weder der Zufall noch die Fallzahl abnehmen, das muss man schon selber machen oder das Ergebnis ist halt auch ein zufälliges.
Nun wirst du sagen, ja die Bücher sind ja altbewährt im Turnieralltag, da weiß man schon, dass sie ausgewogen sind, dann musst du aber überlegen, was ausgewogen in dem Zusammenhang bedeutet. Wären die Stellungen, in die sie aus dem Buch entlassen, wirklich so handverlesen, dass sie keiner Seite irgendwelche Vorteile einräumten, würde das natürlich einfach bedeuten, sie enthalten nur ausgeglichene Stellungen, ausgeglichener als die Grundstellung können sie aber kaum sein, es sei denn, sie enthalten zwingende Remisstellungen, das würde aber wieder engines begünstigen, die auf Remis spielen und wozu dann überhaupt Bücher und nicht gleich ohne? Weil dann die Fähigkeiten einer bestimmten engine mit der Grundstellung umzugehen, bevorzugt würden, nicht?
Du siehst, entweder du triffst die Entscheidung und die Auswahl selbst oder du überlässt sie dem Zufall.
Dass der automatische Farbwechsel die Sache nivellierte, dieser Irrtum sollte mittlerweile auch ausgeräumt sein, weil dieselben beiden engines dieselbe Eröffnungsstellung zwingend ein zweites Mal mit vertauschten Farben vorgesetzt bekommen, macht das ihre Chancenunterschiede, wenn sie eine zweite (Chance) haben nicht halb sondern doppelt so groß, wenn sie (die Unterschiede) darin bestehen, dass die einzelne Eröffnungsstellung der einen engine mehr liegt als der anderen.
Du kannst mit einem bestimmten Buch nur die Fähigkeiten der engines, mit diesem Buch umzugehen, testen und dass sich die Bücher im Handel alle dahingehend ähneln, macht es nicht einfacher, weil die engine- Programmier natürlich nicht nur für bestimmte Teststellungen tunen können sondern erst recht für schon lang im Handel und im Testbetrieb bekannte Bücher, das sogar müssen, wenn sie nix anderes haben und also sicher auch tun.

By Georg Hutschenreuter Date 2009-10-08 14:09

[quote="Peter Martan"]
Du siehst, entweder du triffst die Entscheidung und die Auswahl selbst oder du überlässt sie dem Zufall.
Du kannst mit einem bestimmten Buch nur die Fähigkeiten der engines, mit diesem Buch umzugehen, testen und dass sich die Bücher im Handel alle dahingehend ähneln, macht es nicht einfacher, weil die engine- Programmier natürlich nicht nur für bestimmte Teststellungen tunen können sondern erst recht für schon lang im Handel und im Testbetrieb bekannte Bücher, das sogar müssen, wenn sie nix anderes haben und also sicher auch tun.
[/quote]
Hallo Peter,
und genau deshalb gibt es für mich keine ideale Rangliste.

By Peter Martan Date 2009-10-08 14:42

Die gibt's nicht nur für dich nicht, Georg!

By Frank Quisinsky Date 2009-10-08 12:17

Hallo,

nur kurz ein paar Anmerkungen.

64Bit oder mehrere Cores sind lediglich geschwindigkeitsabhängige Faktoren.
Gut vergleichbar mit ... ich teste auf Pentium IV 2.0 GHz oder auf Pentium IV 3.0 GHz oder ...
Gut vergleichbar mit der Aussage ... ich übertackte mein System !!

Es mag sein, dass diverse gleiche Engines ein anderes Ausspielverhalten durch 32 oder 64Bit haben, aber das kann als wirklich nicht entscheidend in den Raum gestellt werden.

Von daher ...
Ob nun auf Pentium IV 2.0 oder 3.0 GHz getestet wird, beeinflussbar wäre eine minimal bessere Spielstärke im Verhältnis zur Gesamtspieltärke von der Zeitkomponente.
Diese Zeitkomponente wird wie oben beschrieben von 64Bit (je nach Engine) oder mehreren Cores maximal beeinflusst.

Für eine Ratingliste ist es fast egal ob diese nun auf 8 Pentium IV Systemen mit 2.0 GHz und 40 in 40 oder zwei Quad Cores ohne Ponder mit vielleicht 40 in 15 erspielt wird.
Wichtig ist alleine das Ergebnis bzw. der Abstand der Engines untereinander.

Ob bei folgendem Beispiel:

Quad Core System mit 3.0 GHz und Ponder = Off
01. 3000 ELO Rybka 3, 02. 2.925 ELO Shredder 12 oder

Pentium IV 2.0 GHZ
01. 2.850 ELO Rybka 3, 02. 2.775 ELO Shredder 12

Insofern kann ich die Hype um die Testerei für Ratinglisten mit 64bit oder mit mehreren Cores nicht verstehen.

Ein bissel "menschlicher" und spannender fürs Zusehen wird eine Ratingliste wenn mit Ponder gespielt wird.
Ponder on / off beeinflusst das Ausspielverhalten einer Engine mehr (durch das Zeitmanagement) als sture Zeitkomponenten wie x64 oder mehrere Cores.
Ferner überlegt der Mensch ja in der Regel auch ...

wenn der andere am Zug ist.

Anders wenn ich beabsichtige die maximale Leistung herauszuholen.
Dann wäre wichtig ...

1. Als wichtigster Punkt ... die Hardwareschlacht um die Cluster / Cores
2. Übertacktungen
3. 64Bit

Bei der CEGT ist z. B. interessant zu sehen ob Engines differenziert von 32 oder 64Bit profitieren bzw. wie viel für die Engines selbst mehrere Cores bringen. Wenn es um die Engines selbst geht finde ich interessant zu sehen wo diese bei 32Bit und einem Core stehen. Hier gibt es dann die größte unbeeinflusste Vergleichbarkeit hinsichtlich der Fragen: 1 Core, 32Bit ... mit anderen Worten die Leistung des Programs im Vergleich (das macht eine Ratingliste aus) steht im Vordergrund.

Ich weiß, dass viele die schon tausende Partien mit x64 oder mehrere Cores gespielt haben

eine andere Meinung haben. Niemand verurteilt seine eigene Arbeit bzw. stellt das nach Stunden von Testerei in Frage. Darum geht es auch nicht, jeder sollte bei der Erstellung einer Liste sich selbst die Frage stellen ... was möchte ich erreichen. Schon alleine weil aufgrund der Masse der Partien der CEGT selbst kleine unterschiedliche Testmethoden bzw. Einstellungen kaum noch eine große Rollen spielen.

Viele Grüße
Frank Quisinsky

By Frank Quisinsky Date 2009-10-08 12:21

Hi,

ach ja, was ich schreiben wollte ist doch nur ...

Insofern bzw. nach meinen letzten Ausführungen ist auch heute noch die Liste von Klaus Wlotzka sehr interessant oder auch andere alten Listen ... wenn es darum geht die Entwicklung von Computerschachengines zu verfolgen bzw. den Abstand der Engines untereinander zu sehen.

Gruß
Frank

By Gerhard Sonnabend Date 2009-10-08 12:39

[quote="Frank Quisinsky"]
[...snip...]
Insofern kann ich die Hype um die Testerei für Ratinglisten mit 64bit oder mit mehreren Cores nicht verstehen.
[...snip...]
[/quote]

Mich persönlich interessiert sehr stark, welche Steigerungen Engines
durch Nutzung von einer, zwei, vier oder auch acht Cores erzielen.
Auch deshalb betreibe ich meine eigene Quad-Blitz-Rating-Liste.
Ich kann nicht erkennen weshalb dies nun interessanter/uninteressanter
sein soll als alle anderen Vergleiche ?

Viele Grüsse,
G.S.

By Frank Quisinsky Date 2009-10-08 13:12

Hallo Gerhard,

also ich will nicht wirken wie ein Besserwisser bzw. mich mit einem langjährig erfahrenen Tester streiten und mit Dir schon mal gar nicht, weil ich mir Deine Sachen immer schon sehr gerne angesehen habe bzw. Deine Beiträge auch gerne lese.

Aber bei diesem Punkt, Gerhard ...

Kann die Aussage zu 33% nachvollziehen (vielleicht weil im Blitz dann durchschnittlich eine höhere Spielstärke für alle raus kommt und mir das Zusehen als starker Spieler dann besser gefällt). Aber für eine Ratingliste ist das doch egal.
Möchte ich kurz erklären.

Die Steigerung der Nutzung aufgrund von 1, 2, 4 Cores kann ich doch sehr einfach in 10 Minuten feststellen.
Schaue mir den programmiertechnisch erreichten Faktor an.

Beispiel ohne jetzt überprüft zu haben (Fantasiezahlen).

Hat Shredder einen Faktor 1 bei einem Core und 1.8 bei 2 Cores und 3,25 bei 4 Cores
nun im Vergleich zu Patzer
einen Faktor 1 bei einem Core und 1.35 bei 2 Cores und 2,10 bei 4 Cores
weiß ich doch ohne tausende Partien zu spielen, dass Shredder auf einem 4-Core System eine höhere Ausbeute bei Eng-Eng erzielen wird als bei bei einem Eng-Eng Match mit einem 1-Core System.
Das kann ich aufgrund bekannter Listen gar ziemlich genau in ELO schätzen.

Warum das dann trotz Schätzung immer noch in Einzelfall um mehr als 20 ELO abweichen könnte liegt doch auch auf der Hand (und auch das kann ich mittels 2 Stunden und unterschiedlichen Zeitkontrollen auch schnell feststellen).

Hauptthema ist das Zeitmanagement.
Sehe ich mir mal wieder die 14 Engines an, die hier nun auf 4 Systemen 5 gleiche Turniere spielen bin ich von einigen der Engines stark enttäuscht (unabhängig von der Spielstärke und den Optionen). Das Zeitmanagement ist immer noch bei einigen maximal ausreichend, bei anderen Engines sehr gut. Wenn 3 Züge vor der Zeitkontrolle noch 40% der Zeit übrig sind und die in der Eröffnungsphase zu schnell gespielt wurde, die andere Engine schnell in Vorteil kommt liegt das zu einem hohem Prozentsatz klar an dem Zeitmanagement.

Und jetzt:
Je schneller die Engine bzw. mehr Cores oder 64Bit, schnellere Hardware desto mehr fällt genau ein "schwaches" Zeitmanagement ins Gewicht.

Mit anderen Worten ...
Muss mich jetzt wirklich interessieren wie auf einem Quad Core unterschiedliche Abstände der Engines zueinander im Vergleich zu einem Single System zu Stande kommen bzw. muss mich wirklich interessieren warum ein besser programmiertes Zeitmanagement auf schnelleren Systemen Vorteile als im Vergleich zu weniger Cores erzielt.

Persönlich werde ich das wohl niemals verstehen bzw. immer mit einem Core testen, schon weil ich eine bessere Vergleichbarkeit habe.
OK, wenn alle Engines die mich interessieren x64 wären, alle 2, 4, 8 Cores nutzen könnten und ich wüsste das alle den gleichen Faktor bei mehr als 1 Core hätten, würde es anderes aussehen. Warum sollte ich dann nicht auch 2Core - 2Core mit Ponder spielen lassen.

Gruß
Frank

Eher eine Aufgabe z. B. WBEC Ridderkerk und deren Detailseiten:
Faktor Core 1 zu 2 und Faktor Core 1 zu 4
Bewertung des Zeitmanagement von mangelhaft bis gut
Mit diesen Infos würde ich wissen das eine Engine die hier Probleme hat in einer Quad Liste schlechter abschneiden würde und das würde mir ja schon ausreichen.

By Benno Hartwig Date 2009-10-08 13:46

[quote="Frank Quisinsky"]Hat Shredder einen Faktor 1 bei einem Core und 1.8 bei 2 Cores und 3,25 bei 4 Cores
nun im Vergleich zu Patzer
einen Faktor 1 bei einem Core und 1.35 bei 2 Cores und 2,10 bei 4 Cores
weiß ich doch ohne tausende Partien zu spielen, dass Shredder auf einem 4-Core System eine höhere Ausbeute bei Eng-Eng erzielen wird als bei bei einem Eng-Eng Match mit einem 1-Core System.
Das kann ich aufgrund bekannter Listen gar ziemlich genau in ELO schätzen.[/quote]

Sporadisch ließt man Werte von durch mehrere Kerne erreichten Geschwindigkeitssteigerung einzelner Engines.
Wie verlässlich sind diese Angaben eigentlich? Wie aussagefähig?
Man könnte die Zeiten nehmen, die für das Erreichen einer bestimmten Tiefe benötigt wird. OK.
Aber wissen wir eigentlich wirklich genau, dass die einzelnen Engines in diesen Fällen (z.B. 1 core, 2 core 4 core bei Tiefe 15) wirklich eine gleich gute Analyse verfertigten?
Kann es nicht sein, das mehrere Kerne Dank temporärer Unwissenheit einzelne spekulative Cuts weniger durchführten. (genauer prüften), oder dass sie aus mir unbekannten Gründen sogar weniger genau waren?

Ist die objektive Zugqualität bei gegebener Tiefe und unterschiedlicher Core-Zahl wirklich stets gleich gut?
Mir ist das unklar.
Genauer noch: ich habe Zweifel.

Benno

By Frank Quisinsky Date 2009-10-08 13:58

Hi,

natürlich ist das was Wahres dran, meine was Du gerade beschrieben hast.
Aber wie sehr fällt das ins Gewicht ?

Die CEGT Partien und Statistiken liegen ja frei.
Es gibt dann noch jede Menge anderer Ratinglisten und es gibt Excel.
Damit habe ich mich schon oft beschäftigt aber ich kam immer zu gleichen Ergebnissen.

Ich glaube z. B. das diese von Dir genannten Dinge und vielleicht noch x andere vergleichbare kleinere Faktoren niemals ein schlechtes Zeitmanagement einer Engine aufwiegen.
Für zukünftige Engine Optimierungen wäre zunächst das Zeit-Managment für viele Programmierer eine echte und fast sogar notwendige

Aufgabe.

Viele Grüße
Frank

By Michael Scheidl Date 2009-10-08 15:56

Dieses Konzept scheint gründlich durchdacht zu sein und gefällt mir insgesamt gut. Bei drei Details bin ich etwas skeptisch:

1. Vorauswahl der Top-10: Bei CCRL ist immer irgendeine Fruitoga in den Top-10... D.h. es gibt einige Engines wo m.E. derzeit nicht klar ist, ob sie - unter den skizzierten Bedingungen - knapp in oder knapp außerhalb der stärksten 10 sind. Aber das könnte man ja im Rahmen der "Grundsteinlegung" ermitteln indem man weitere zwei, drei solcher Kandidaten als erstes hinzutestet sozusagen.

2. Ponder = on: Das gefällt mir qualitativ im Prinzip auch, man könnte nur einwenden daß das in der Analyse mit Schachengines keine Rolle spielt. Meßbare Unterschiede von ponder on oder off scheint es aber eh nicht zu geben. Also ich mache daraus jedenfalls kein Dogma.

3. Keine MP-Versionen: Das ist wahrscheinlich der kritischeste Punkt, weil ein Skalierungsfaktor je Engine eine "echte" MP-Rangliste nicht ganz ersetzen kann. Meinst Du einen Geschwindigkeitsfaktor oder eine Elodifferenz? Ich glaube daß letzterer auch nicht bei jeder Engine gleich ist, d.h. ich nehme an, selbst ein identischer Geschwindigkeitsfaktor von x führt bei verschiedenen Engines nicht zu identischen Elosteigerungen relativ zur Singleversion...

Bei früheren eigenen Überlegungen wie ich so eine methodische Rangliste erstellen würde, schwebte mir immer ein Bedingungs-Mix vor, also mehrere "plausible" Varianten von Testkonfigurationen parallel, dafür vielleicht weniger Partien bei jeder einzelnen, die man dann sowohl einzeln als auch zusammengefaßt auswerten könnte.

By Benno Hartwig Date 2009-10-09 10:57

Es gibt für 'tolle' Ratinglisten wohl diverse Kriterien (und alle kosten Resourcen)
Pondern, mehrere Kerne, viele Engines, viele Partien, nicht zu kurze Denkzeiten.
Dass die erfüllt sind/nicht erfüllt sind wird ggf. unterschiedlich heftig als gut oder ärgerlich angesehen.
Und um einen Kompromiss kommt man nicht herum.

Ich versuche mal (in 0 bis 100 mit 0=supermieß und 100=superklasse) eine subjektive Übersicht, (zugegeben: recht spontan)
und wäre an anderen Sichten sehr interessiert

Pondern
ja : 100
nein: 80

mehrere Kerne
1 Kern : 60
2 Kerne : 90
4 Kerne : 100

durchschnittliche pro Zug (oder *70 = Zeit pro Partie oder so)
3 Min : 100
1 Min : 98
30 Sek : 90
15 Sek : 80
10 Sek : 72
5 Sek : 60
2 Sek : 20

Anzahl Engines
20 : 90
15 : 88
12 : 85
10 : 80
8 : 60
6 : 30

pro Engine gespielte Partien
5000 : 100
3000 : 90
2000 : 80
1500 : 70
1000 : 50
500 : 20

Und wenn man dann eine konkrete Realisierung, eine konkrete Nutzung der Resourcen und ein konkretes Inkaufnehmen von Schwächen bewerten möchte, dann könnte man einfach diese 5 Zahlen multiplizieren.
Das größte Produkt als die sinnvollste Nutzung der Resourcen?

Quatsch? Oder ein vernünftiger Anfang?

Benno

By Gerhard Sonnabend Date 2009-10-09 11:28

Ich vergleiche mal Deine Wünsche mit meiner QBRL,
siehe: http://www.pcschach.de/Punkt3.htm.

Du wünscht Dir:
- 100 Vorgabestellungen
(ich verwende 50 Vorgabestellungen)

- Ponder=on
(bei mir Ponder=off)

- Nur TOP-10
(In meiner QBRL spielen die TOP-10 x 2, da ich die jeweils
2 stärksten Programme eines Autoren in der Liste führe.
Ryb vs Ryb oder Naum vs Naum spiele ich nicht)

- Immer 1800 Spiele, also Jeder gegen Jeden.
(Ich lasse ebenfalls Jeder gegen Jeden spielen mit o.g. Ausnahme)

- PC @3GHz
(Bei mir kommt ein PC@2.4 GHz zum Einsatz)

- Level 15+5
(Ich verwende 40/3+..., will aber auch etwas anderes messen,
nämlich die Blitzspielstärke)

- Nur 3-4er TBs/SBs/BBs
(Bei der QBRL ebenso)

- Keine MP-Versionen
(ich lasse aussschliesslich 4-CPU spielen, sehe aber keinen
sinnigen Grund, weshalb dies ein Problem sein könnte)

Fazit:
SO weit bin ich von Deiner Idealvorstellung gar nicht weg.
Lediglich die Bedenkzeit (ich will aber auch etwas ganz anderes
messen als Du) und PB=on/off sind die grösseren Unterschiede.
Alle Tests dahingehend zeigen jedoch, dass dabei keine Unterschiede
zu erwarten sind. Weshalb lediglich SP anstatt MP ? Der Sinn dieser
Forderung erschliesst sich mir nicht.

Viele Grüsse,
G.S.

By Klaus Wlotzka Date 2009-10-09 22:52

Code:

Wie soll die ideale Engine Rangliste aussehen?

Nun, das ist schon das erste Problem. Ideal ist bei jedem etwas anderes und allen kann man nicht gerecht werden.

Zitat:

Man testet nicht mehr 10 Vorgabestellungen sondern 100!

Vorgabestellungen halte ich zwar auch für die sinnvollste Methode, hat aber immer einen faden Beigeschmack. Die Engines müssen durch Eröffnungen lavieren, die sie durch Ihr eigenes Buch vielleicht nie spielen würden.

Zitat:

Man spielt nicht mehr ponder=off sondern ponder=on!

Nun, mit Ponder=on hatte ich seitdem ich einen Dual-Core-Prozessor einsetzte, auch schon gespielt.

Zitat:

Man spielt nicht mehr mit ~ 25 Engines in der Elite-Liga, sondern nur noch mit 10

Ein Punkt, den ich völlig anders sehe. Die breite Gegnerschaft halte ich für wichtig. Da würde ich lieber auf einige Vorgabestellungen verzichten.

Zitat:

Jede gelistete Engine hat immer nur 1800 Spiele!

Das jede Engines die gleiche Partienanzahl halte ich in nder Tat für wichtig. Ob die Unterschiede nach 1000 oder 2000 Partien so groß sind, bezweifle ich.

Zitat:

Zeit: 15'+5"

Ich würde heute ohne Fischerbonus spielen. Einige Engines gehen damit nicht korrekt um und sind dadurch benachteiligt.

Zitat:

Was heisst das? Wir haben 9000 Spiele zu spielen

Ronald, Du wirst nicht so viele Testpartner finden und allein ist das nicht zu bewältigen. Das systemtische Testen ist für viele eher langweilig.

Gruß

Klaus

By Michael Scheidl Date 2009-10-09 23:39

Das sogenannte "eigene Buch" der Engines ist vollkommen unwichtig. Es ist nur "für den Moment", für den Anwender der es kauft und momentan nichts besseres hat, als Referenz interessant.

Sonst überhaupt nicht.

Bei jeder anderen relevanten Anwendung (egal ob praktischer IM, GM, Freestyle Player, Corr. Player, etc.) kommen eigene erfahrungsbedingte, ausgefeilte Eröffungsdatenbanken zum Einsatz.

Ist das klar?!

By Roland Rösler Date 2009-10-10 02:08

Hallo Klaus,

schön mal wieder was vom "Meister der Engine-Ratingliste" zu hören! Ich hoffe, es geht Dir gut!

Zitat:

Eine Engine-Rangliste testet Engines und nicht Eröffnungsbücher! Ich will gar nicht wissen, wie die Engine mit ihrem eigenen Eröffnungsbuch spielt! Mit der Wahl der Engine lasse ich mir nicht das Eröffnungsbuch vorschreiben.
Um es ganz puristisch zu machen: Man spielt Chess960 und die 100 Vorgabestellungen werden immer neu ausgewürfelt. Und wehe man erwischt eine Engine, die Eröffnungszüge im Progamm hat! Ausschluß für mindestens 2 Jahre!

Zitat:

Ein Punkt, den ich völlig anders sehe. Die breite Gegnerschaft halte ich für wichtig. Da würde ich lieber auf einige Vorgabestellungen verzichten.

Diesen Disput hatten wir schon vor Jahren!

Mir geht es darum, ~3 Engines auszuwählen, mit denen ich meine Analysen mache. Unter den besten 10 werde ich dann bestimmt 3 finden, die meinen Anspüchen gerecht werden. 25 Engines kann ich aber nicht gerecht werden.

Zitat:

Das jede Engines die gleiche Partienanzahl halte ich in nder Tat für wichtig. Ob die Unterschiede nach 1000 oder 2000 Partien so groß sind, bezweifle ich.

Da hast Du sicher Recht! Aber hier geht es ums Prinzip! In einer Liga-Tabelle hat jede Engine gleich viele Spiele. Hier wird ein Turnier gespielt!
Die nicht gewerteten Partien werden ja nicht gelöscht, sondern kommen in einen Pool! Immer wenn man will, kann man ja eine Auswertung (Elostat) über alle Partien machen. Das hat dann aber nichts zu tun mit unserem Turnier!

Zitat:

Ich würde heute ohne Fischerbonus spielen. Einige Engines gehen damit nicht korrekt um und sind dadurch benachteiligt.

Keine Gnade! Die GMs mussten sich auch an die unterschiedlichen Zeiten gewöhnen und dann kann ich das auch von Maschinen verlangen! Und Du wirst sehen: Hat sich die "ideale" Rangliste durchgesetzt, können auch plötzlich alle neuen Engine(-Versionen) mit Fischer-Bonus umgehen.

Zitat:

Ronald, Du wirst nicht so viele Testpartner finden und allein ist das nicht zu bewältigen. Das systemtische Testen ist für viele eher langweilig.

Lukas (Cimiotti) könnte das locker allein bewältigen (9x Nehalem EP = 72 cores)! Ideal für die Rangliste wäre ein Nehalem EX System mit 4 oder 8 Sockeln (32 oder 64 cores). Wir hätten einheitliche HW und deterministische Spielverläufe! Und man könnte ganz nebenbei noch gut den Skalierungsfaktor ermitteln (bis 64 cores) und ein paar Testmatches durchführen! Ob es Spaß machen würde? Mir schon (ich bin ein Systematiker!), aber ich werde mir dieses System in den nächsten 2 Jahren nicht zulegen!

Gruß Roland

By Ingo Bauer Date 2009-10-10 08:50 Edited 2009-10-10 08:52

Hallo Roland, Hallo Klaus

[quote="Roland Rösler"]

Zitat:

Ich würde heute ohne Fischerbonus spielen. Einige Engines gehen damit nicht korrekt um und sind dadurch benachteiligt.

Da muß ich Roland Recht geben und ich weiß auch nicht woher dieses Vorurteil kommt das Engines das nicht könnten.

Ich habe eine Liste mit 145300 Spielen in 6 + 3 (Rund 44 Engines + Betas). Davon sind rund 200+ WIRKLICH auf Zeit verloren worden (Die Spiele bei denen die Engine nach der Eröffnungsstellung gar nicht erst losrechnette habe ich nachgespielt) Rund ein Drittel dieser Spiele sind von der selben Engine in den Sand gesetzt worden. Der Rest verteilt sich praktisch über alle anderen. Mann könnte meinen diese EINE Engine hat ein Problem, allerdings hat sie auch 8700 Partien, so dass selbst wenn ich diese Spiele wiederholen würde und ALLE statt verloren gewonnen würden sich exakt NICHTS ändert!
Jeder Spieler der auf Zeit verliert hat verloren. Eine Enigne die bei auf Zeit verliert, hat verloren - Punkt. Wenn sich ein Programmierer beschwert, soll er diesen spielstärkeschwächenden Umstand eben "fixen".

Fischer ist Standard! Wenn ich mir einen Vereinsabend ansehe, dann wird ENTWEDER (größtenteils) Sudden death, also in X Mminuten komplette Partie oder Fischer gespielt. X Züge in Y Minuten und wiederholend passiert praktisch NUR am Sonntag bei Manschaftskämpfen. (Eigentlich zeigt das nur wie starr und konservativ (im negativen Sinne) Schachinstitutionen sind). Wie gerade ebene beschrieben, habe ich auch noch eine gewisse Symphatie für fest Zeitlängen, meine aber das eine Blitzliste mit z.B. 3 + 0 doch zu kurz ist. ein 15 + 0 sieht aber schon ganz anders aus. Wenn eine Engine da auf Zeit verlieren würde, hätte sie, wie im wirklichen Leben, eben verloren.

Ich halte nochmal die Fakten fest:

1. Nach 145000 Spielen Fischer kann ich keine Benachteiligung durch Fischer feststellen!
2. Sollte eine Engine kein Fischer können , ist das ihr Pech. Jeder Spieler der auf Zeit verlierrt, verliert!

Fazit: "Mitleid" mit einem fehlerhaften Programm ist falsch und eine aus "Mitleid", mit gewissen Bedinungen geschaffene Rangliste, ist auch nicht notwendig! Diese Liste benachteiligt ordentlich programmierte Engines und bevorteilt fehlerhafte Programme! (Sogar den Programmierer bringt so etwas nicht weiter!)
In anderen Worten, wenn jemand sagt "Ich finde 40 Züge in 2h + 40/2h + schöner" dann ist das OK, wenn aber jemand argumentiert "Einige Engines gehen (mit Fischerzeit) nicht korrekt um und sind dadurch benachteiligt." dann ist das im Sinne einer exakten Rangliste falsch!

Gruß
Ingo

By Klaus Wlotzka Date 2009-10-10 12:03

Hallo Ronald,

Zitat:

schön mal wieder was vom "Meister der Engine-Ratingliste" zu hören! Ich hoffe, es geht Dir gut!

Danke für die Blumen, mir geht es übrigens sehr gut.

Zitat:

Da sind wir einer Meinung. Wenn ich heute eine Rangliste erstellen würde, würde ich auch nicht mit Eröffnungsbücher testen. Nur wird Deine Rangliste immer an der Qualität der Vorgabestellungen gemessen. Bei den 10 Stellungen bei meiner Rangliste war dieser Punkt noch wichtiger als bei Deinen 100. Wenn eine Engine bei den 10 Vorgabestellungen eine oder zwei Eröffnungsstellungen "nicht versteht" hat es Auswirkungen auf das Gesamtresultat. Ich habe seinerzeit bei bestimmten Eröffnungen immer wieder ungesunde Fortsetzungen gesehen, da die Engines die Folgen erst viel zu spät selbst erkennen. Sicher kann man kann das eine Schwäche der Engine nennen, aber eine Programmierer würde diese Schwäche nie beheben, da ein Buch über die Schwäche hinweghilft. Bei 100 musst Du schon wieder aufpassen, dass durch Zugumstellungen aus 100 nicht schon wieder 90 oder weniger entstehen. Besonders dann, wenn Du nur wenige Züge vorgeben solltest. Angesichts der unten aufgeführten Enginevielfalt würde ich heute vielleicht 30 oder maximal 50 verwenden. Ob das letztlich Auswirkungen auf das eigentliche Ranglistenergebnis bezogen auf 100 Vorgabestellungen hat, weiß ich nicht. Ich denke, die Unterschiede bewegen sich eher in der statistischen Schwankungsbreite. Letztlich ist das eine Entscheidung die davon abhängig ist, wieviel Engines man in seiner Rangliste listen möchte.

Zitat:

Ich dachte es geht um die Erstellung einer aussagekräftigen Rangliste

Die etwas schwächeren, aber vielleicht dennoch interessanten Engines würden in Deiner Rangliste fehlen. Manchmal ist es gerade interessant, wie eine Top-Engine sich gegen einen vermeintlich deutlich schwächeren Gegner verhält. Auch hier habe ich schon die tollsten Dinge erlebt. Dieser Punkt hat durchaus Auswirkungen auf die Spielstärkebewertung. 25 Engines sind angesichts des zu großen Leistungsunterschieds vielleicht in der Tat zu viele. Ich würde hier gar keine feste Grenze ziehen sondern von der Qualität vorliegender Engines mit einem maximalen Unterschied zu den spielstarken Engines. Aber, wie schon gesagt, alles Geschmacksache.

Zitat:

Das ist mir schon klar, prinzipiell habe ich es schließlich genauseo gehandhabt. Dennoch war ich der Meinung, es geht Dir in erster Linie um die Erstellung einer "idealen" sprich aussagekräftigen Rangliste.

Zitat:

Mir geht es hier noch um einen anderen Punkt und zwar um das richtige Zeitmanagement, dies wird bei der Fischerbonus verwischt. Ich bin da auch hin und her gerissen. Mit Fischerbonus entfällt der Zeitdruck im Endspiel und es kommen gerade bei langzügigen Partien hochwertigere Partien heraus. Das war seinerzeit auch der Grund für mich, diese Bedenkzeit zu wählen. Auch hier ist es müßig zu diskutieren, ob es letztlich Auswirkungen auf die eigentlichen Ranglistenergebnisse hat.

Zitat:

Na, dann spar schon mal kräftig

Gruß

Klaus

By Benno Hartwig Date 2009-10-10 07:40

[quote="Klaus Wlotzka"]

Code:

Wie soll die ideale Engine Rangliste aussehen?

Nun, das ist schon das erste Problem. Ideal ist bei jedem etwas anderes und allen kann man nicht gerecht werden.[/quote]Ich denke, diese Bemerkung kann sinnvollerweise nur verstanden werden als "Wie soll der ideale Kompromiss bei einer Engine Rangliste aussehen?"
Und du hast recht, da gibt es diverse sehr unterschiedliche Idealvorstellungen.

Benno