Initiative von Ingo, 64-Bit Testverfahren, Frage/Experiment!

By Frank Quisinsky Date 2010-04-01 04:42

Hallo zusammen,

Ingo spielt derzeit mit Naum 4.2 32Bit eine kleinere Serie aufgrund unserer Diskussion.
Das finde ich Klasse und bringt auch ein paar interessante Erkenntnisse (gerade zu Naum ist das offenbar interessant).
Erinnere auch daran: Naum 4.0 w32 wird z. B. in der CEGT besser bewertet als Naum 4.0 x64.
Bei Naum ist das alles ein wenig durcheinander.

Ich möchte mich ja auch nicht lumpen lassen und überlege mir gerade ein Testverfahren für x64 Engines.
Das muss natürlich auch etwas bringen und sollte Erkenntnisse hervorrufen, die so noch nicht ermittelt wurden.
Meine wenn wir alles gleich machen, kommen auch keine neuen Erkenntnisse heraus.

Mein Problem ist dabei, ich darf w32 nicht aus den Augen verlieren weil ganz sicher die meisten Leser der Schachwelt kein x64 einsetzen.
x64 in die SWCR zu integrieren ist schon allein aus diesem Punkt nicht so ganz einfach.
Erschwert also meine Überlegungen.

Nun, wenn ich x64 integriere wird es unübersichtlich in den Tabellen, dass möchte ich vermeiden!
Unübersichtlich weil 2 ELOs (w32 und x64) von der gleichen Engine auftauchen.

Ich finde zwar CEGT auch sehr gut aber in den riesigen Tabellen geht schnell die Übersichtlichkeit verloren. Auch nicht weiter verwunderlich, viele ältere Engines und das Alter der Liste (kein Vorwurf).
Wenn gleich ich immer auf CEGT schaue um mir eine ELO zu holen, meist von Programmen die ich noch nicht getestet habe oder wenn ich einen eigenen Wert vergleichen möchte.

Auf Ingo's Liste, der von Christian Koch und der von Thomas Müller, schaue ich aber ehrlich gesagt mehr.
Das hat einen Grund: Hier ermittelt eine Person, nicht mehrere ... die Testbedingungen für die Engines sind absolut identisch.
Nicht das ich falsch verstanden werde, wie beschrieben mag ich auch die CEGT.
Thread von Gerhard Sonnabend: Daher die Kommentare!

Nun habe ich folgende Idee:

In den SWCR Tabellen steht eine Spalte für den 64-Bit Zuwachs. Es ist eh aufwendig dafür einen Rechner abzustellen, der einfach nur versucht herauszufinden, ob die Zuwachsberechnung stimmt und per Stichproben Serien von Eng-Eng Matches spielt.

32-Bit bleibt das Hauptthema in der SWCR, klar!

Eine x64 spielt nun z. B. 19x gegen die w32 durch.
Anstatt den ELO-Zuwachswert setze ich die ELO nach 760 Partien in die Spalte.
So stehen dann die beiden ELOs in der Tabelle, sortiert wird aber nach der 32-Bit ELO, wie bisher auch.

Dieses Verfahren hätte einen Vorteil und einen Nachteil.

Vorteil:
Eine x64 spielt nur gegen 20 w32. Dadurch ergibt sich eine eindeutige Zuwachsberechnung für den x64 Vorteil.

Beispiel:
Zappa Mexico II w32 spielte gegen 19x w32 (andere Engines)
Zappa Mexico II x64 spielte gegen die gleichen 19x w32 (andere Engines).
GLEICHE Voraussetzungen.

Frage ist dann:
Muss Zappa Mexico x64 gegen Zappa Mexico w32 spielen (denke nicht).

Nachteil:
Der Vorteil ist auch ein Nachteil.
Es spielen keine x64 gegeneinander.

Die Frage hierbei ist (keine x64 gegeneinander):
Müssen die x64 überhaupt gegeneinader spielen?
Und in wie weit verschieben sich dann die ELO-Werte wenn der ELO-Durschnitt aufgrund dessen größer ist.

Ich meine:
Eine x64 spielt 19x gegen w32.
Die 19 w32 haben einen ELO-Durchschnitt von 2.680

Eine x64 spielt 14x gegen x64 und 5x gegen w32 (im Grunde wie bei den vielen anderen Listen).
Die 19 w32 / x64 haben demnach einen höheren ELO-Durschschnitt !!

Der ELO-Durschnitt wird selbstsprechend höher!
Hat das einen Einfluss auf alle anderen ELOs bzw. auf die ganze Liste?
Ist aufgrund von diesem Einfluss ein Vergleich w32 zu x64 ELO-Steigerung überhaupt möglich?

Persönlich finde ich:
Eine w32 sollte nur gegen w32 spielen (w32 gibt es von jeden Engines)
Eine x64 sollte nur gegen x64 spielen

NEU wäre dann:
Eine x64 spielt nur gegen w32

Letztendlich könnte aber folgendes passieren:
Meine x64 Werte weichen teilweise von denen anderer Listen ab.
Wenn ich dieses Testverfahren einsetze, weil so niemand testet.

Das wäre nicht schlimm, weil die Aktion dann einfach als "nettes" Experiment gewertet werden könnte.
Aber zumindest wäre das eine Erkenntnis.
Glaube das hat in dieser Form auch noch nicht stattgefunden und mithin würden die ganzen Rechner auch nicht umsonst laufen.

Gruß
Frank

By Frank Quisinsky Date 2010-04-01 04:55

Hi,

also, wenn daran ein Interesse besteht, werde ich das in Angriff nehmen und zwischendurch auch die x64 testen.
Hierfür müssen drei Maschinen umkonfiguriert werden, was aber an einem Tag erledigt ist.

Die w32 Engines können problemlos auch unter xp prof. x64 ed. laufen.

Insofern mal hören ob die Idee einen Anklang findet.
Wenn nicht, spiele ich mit den w32 wie bisher auch weiter.
Gibt da ja immer etwas zu testen.

Nach Naum 4.2 folgt Protector 1.3.4.

Gruß
Frank

By Timo Haupt Date 2010-04-01 08:22

Hallo Frank,

ich würde mir den Testaufwand an deiner Stelle sparen. Du hast dich damals entschlossen, nur 32-bit Engines zu testen - dies mit dem Argument, dass die meisten Schachfreunde immer noch 32-bit Hardware bzw. Betriebssysteme einsetzen. Solange dieses Argument aus deiner Sicht noch gültig ist, würde ich auch nichts an deiner Testphilosophie ändern. In dem Moment, wo 32- und 64-bit Engines gemeinsam in einer Rangliste sind, wird der Aufwand enorm hoch (wenn alle die gleiche Anzahl an Partien spielen sollen) und man gerät in die gleichen Entscheidungsnöte, wie du sie schon beschrieben hast (Soll eine 64-bit Engine dann immer nur gegen alle 32-bit Engines antreten? Soll es Bruderduelle geben zwischen 32- und 64-bit Version der gleichen Engine?). Wenn die Zeit aus deiner Sicht reif ist, komplett auf 64-bit umzustellen (d.h. immer, wenn eine Engine auch als 64-bit Version verfügbar ist, diese testen), würde ich das für deine Liste tun. Solange würde ich nichts ändern.

Just my 2 cents...

Viele Grüße
Timo

By Frank Quisinsky Date 2010-04-01 13:46

Hi Timo,

das sind dann alles die Probleme die kommen werden.
Werde mit dem Testen nicht mitkommen weil einfach unter den TOP-20 zu viele Updates erscheinen.

Zielsetzung 32-Bit ist natürlich immer noch absolut vorrangig.
Vielleicht sollte ich wirklich wie geplant später umstellen.

Ich glaube nicht, dass sich an dem Umstand der Benutzung von OS w32 oder OS x64 in absehbarer Zeit etwas ändern wird.
Das langsam immer mehr x64 Anwender dazu kommen glaube ich auch aber auch nur sehr langsam.

Gruß
Frank

By Thomas Müller Date 2010-04-01 15:13

bevor rechner von der stange nicht mit einem OS x64 (meistens immer noch windows) ausgeliefert wird,
ist x32 noch am verbreitestens. Leider wie ich finde.
Da ich schon seit > 4 J nur noch x64 einsetze kam für mich bei den tests auch nix anderes in frage als immer die x64-version einer engine zu nehmen!
Von dem her würde ich bei deiner liste nicht auf x64-OS umstellen. Warte lieber noch.

--
TM

By Frank Quisinsky Date 2010-04-01 14:34

Hi Timo,

schau mal ans Ende der der SWCR:
http://www.schach-welt.de/spezial/computerschach-/swcr-engines-top-20-.html

Platz 20 für Twisted Logic und Platz 19 für Smarthink.

schau mal in mein Qualle-Turnier:
Ratingliste aus Qualle-Turnier:
http://www.nk-qy.info/swcr-blitz.txt

Aus Partie in 5 Minuten Turniere werden die SWCR Teilnehmer bzw. die TOP-20 ermittelt.

Ich bin mir noch gar nicht so sicher ob ich die TOP-20 wirklich zusammen habe. Crafty 23.2 und Scorpio 2.5 sind zu weit weg. Wurde in den letzten Wochen ermittelt. Derzeit läuft Spike 1.2 Turin und TheKing 3.50 Nazgul. Das Setting habe ich mir von Cook geben lassen. TheKing 3.50 spielt sehr schöne Partien aber ob es reichen wird ist eine andere Frage.

Was ich sagen will, es dauerte auch sehr lange die passenden 20 zu finden bzw. wird auch Zeit in Anspruch nehmen das weiterhin zu prüfen. Hierbei verlasse ich mich nur bedingt auf die anderen Listen. Schaue mir natürlich für diese Fragen die CEGT Ergebnisse an. Auch im CEGT Forum finde ich viele Informationen, wie jetzt zu Daydreamer. Das ist schon sehr gut wie die CEGT vorgeht, bzw. die Tester machen sich sehr viel Mühe mit fast allen Engines, nicht nur mit den TOP-Engines.

ETChess, King Of Kings, AnMon, Pharaon, Phalanx, Yace etc. zu sehen würde mir auch gefallen.
So nach dem Motto, ein Turnier von Platz 21-40 !!

Aber dazu habe ich weder die Zeit noch die Möglichkeiten, noch besteht sicherlich ein Interesse bei den Lesern der Schachwelt.

Gut ist aber, das das SWCR Konzept steht.
Im Grunde ist die SWCR keine Ratingliste sondern ein fortlaufendes Turnier der TOP-20.
Aus den Ergebnissen werden Listen generiert.

Gruß
Frank

By Ingo Bauer Date 2010-04-01 09:06

Moin moin,
[quote="Frank Quisinsky"]
...
Ingo spielt derzeit mit Naum 4.2 32Bit eine kleinere Serie ...
[/quote]

Leider ist mir mein Remotezugang "abgek...". Wenn der sich nicht recovert gibts Ergebnisse erst am Sonntag Abend.

[quote="Frank Quisinsky"]
...
Letztendlich könnte aber folgendes passieren:
Meine x64 Werte weichen teilweise von denen anderer Listen ab.
Wenn ich dieses Testverfahren einsetze, weil so niemand testet....
[/quote]

Das sollte nicht passieren! Die x64 Engine spielt gegen eine Engine mit einem Rating X, ob das eine 32 oder 64bit Enigne ist ist dabei irrelevant für das Ergebniss!

Aber:
Auch wenn du eine 32 bit Liste führst, würde ich die BESTE Engine als Referenz führen und nur den Verlust zur schwächeren Version angeben. Wenn demnächst nämlich bessere Engines kommen, sieht es komisch aus wenn du eine Engine als 3 führst, die aber in ihrer besseren Version erste wäre. Also: Beste Version in die Liste, Differenz zur schwächeren in Klammern dazu.
Bsp Zappa, der würde in deiner Liste einen riesen SPrung machen, sieht doch komisch aus zu schreiben: Die Engine ist zwölfter, wäre aber neunter ... und dann kommt die nächste Engine und die schreibst die ist 10, wäre aber 6, oder 7 wenn man Zappa mit dazunimmt. WEnn du dann noch eine dritte, vierte, fünfte Engine mit dieses Extraplätzen reinnimmst wird es kompliziert.
Kurz: Beste Version und gut!

Gruß
INgo

By Frank Quisinsky Date 2010-04-01 13:36

Hallo Ingo,

OK, muss mal überlege wie ich vorgehe, danke für Deine Vorschläge.
Glaube auch nicht das bei dem beschriebenen Verfahren die ELO Werte der so getesteten x64 abweichen.

Gruß
Frank

By Ralf Badera Date 2010-04-01 09:21

Hallo Frank,
wozu all der Aufwand für ein bisschen Erbsenzählerei und statistisches Rauschen?

Es gibt wesentlich sinnvollere Tests.

Ich bin übrigens wie Ingo der Meinung, dass bei Deinem Naum 4.2 Test etwas nicht stimmen kann, wenn in allen anderen Listen Rybka 3 mindestens 50 Punkte vor Naum liegt. Da steckt mehr dahinter als statistische Abweichungen.
MfG,
Ralf

By Frank Quisinsky Date 2010-04-01 14:41 Edited 2010-04-01 14:44

Hallo Ralf,

Ingo hat einen Unterschied zwischen Naum 4.0 - 4.2 von 45 ELO ermittelt.
Bei mir ist der Unterschied zwischen Naum 4.0 - 4.2 jetzt nach 472 Partien 56 ELO, bei CEGT sind es 60 ELO.

Naum 4.2 liegt derzeit nach 472 Partien 18 ELO hinter Rybka 3.

Also bei den Unterschieden zwischen den Naum Versionen gibt es offenbar keine Zweifel.
Bei Ingo stehen alle Naum Versionen niedriger als in der SWCR.

Ob das jetzt mit x64 oder w32 zu tun hat oder ob mit dem der Bedenkzeit etc.. das ist eher die Frage.

Listen in den Rybka 3 32Bit 50 ELO mehr vor Naum 4.2 32Bit steht gibt es nicht.
Da musst Du dich geirrt haben bzw. mit x64 Werten etwas verwechselt haben.

Doch die gibt es, sorry (nachträglich eingefügt) aber das Listen mit Blitz-Resultaten.
Wird wohl auch in der SWCR Blitzrangliste so sein, wenn Naum 4.2 startet.
Naum 4.1 liegt über 70 ELO hinter Rybka 3.

---

Natürlich gibt es sinnvollere Dinge

Die gibt es immer, egal was Du machst.

Gruß
Frank