Aus dem Leben eines Enginetesters...

By Gerhard Sonnabend Date 2009-10-22 18:00

Hi to all !

Wie einige wissen, führe ich neben den Spielen für die CEGT
auch selbst eine eigene Ratingliste, siehe:

http://www.pcschach.de/Punkt3.htm

Ab und zu wiederhole ich Matches, bisher wie das 3x der Fall.
Einmal wars aus Versehen, ich hatte vergessen ein Resultat in
meine Liste einzutragen und so lies ich die Begegnung 2x spielen.
Zweimal wars, weil das Matchresultat ganz und gar nicht den
Erwartungen entsprach.

Jede Wiederholung jedoch erbrachte das selbe Endresultat,
die maximale Streuung lag bei +- 0.5 Punkten (bei 100 Spielen !).

Selbstverständlich ging und geht immer der "1. Versuch" in die
Wertung ein.

Gestern nun war es wieder soweit.
Im Rahmen des Tests mit Deep Shredder 12 x64 4CPU war gerade
das Match gegen Glaurung 2.2 x64 4CPU zuende gegangen.
Das Resultat war (ist) 61.0-39.0.

Zum ersten Mal in meinem Shredder-Test konnte die Version 12
das Ergebnis der Version WM Edition Bonn nicht deutlich steigern.
Nein, es ist sogar ein wenig schwächer !

Grund genug um das selbe Match über Nacht und bis gerade eben
nochmal laufen zu lassen.
Gerade ist es fertig geworden; Endstand diesmal 61.5-38.5.

Es ist wie es ist und zeigt ausserdem auf, dass auch MP-Engines bei
entsprechendem Testaufbau nachvollziehbare Resultate erzielen.

So etwas beruhigt ungemein

Viele Grüsse,
G.S.

By Kurt Utzinger Date 2009-10-22 18:15

Hallo Gerhard
Auf 100 Partien gesehen sind Differenzen des Gesamtresultats
wie vorliegend geschildert (statt 61.0-39.0 nun 61.5-38.5) doch
schon ziemlich bedeutungslos. Oder habe ich an diesem Posting
was falsch verstanden?
Mfg
Kurt

By Gerhard Sonnabend Date 2009-10-22 19:13

[quote="Kurt Utzinger"]
Hallo Gerhard
Auf 100 Partien gesehen sind Differenzen des Gesamtresultats
wie vorliegend geschildert (statt 61.0-39.0 nun 61.5-38.5) doch
schon ziemlich bedeutungslos. Oder habe ich an diesem Posting
was falsch verstanden?
Mfg
Kurt
[/quote]

Nein Kurt, Du hast alles vollkommen richtig erfasst.
Deshalb auch mein: "So etwas beruhigt ungemein".

Viele Grüsse,
G.S.

By Benno Hartwig Date 2009-10-22 18:27 Edited 2009-10-22 18:29

Thanx für den Blick in das Leben eines Enginetesters.

Und da frage ich gleich mal was aus Praxis.

Angenommen du hast 2 Engines und du bist dir sehr sicher (vieleicht weil du nur einen unscheinbaren Parameter gedreht hast), dass die Spielstärke schon sehr ähnlich geblieben sein wird.
Du hast vor vielleicht 300 Partien zu spielen, und nach 10 Partien stellst du fest 8:2.
Du bist die sicher, dass dies den Sielstärkeverhältnissen überhaupt nicht entspricht (aber 10 Partien eben nur!)
Aber was machst du nun?
1) was gespielt ist zählt, weitermachen!
   Du wirst aber wohl erleben, wie sich die Erfolge wieder angleichen. Eine Engine steigt meist, die andere fällt tendentiell.
   Und du hast den Eindruck "Wenn am Ende diese Engine ca. 6 Punkte mehr hat, dann lag das doch nur an diesem blöden Anfang!"
2) noch mal anfangen
   "So ein Anfang kann doch nur das Egebnis verfälschen!"

Wie gehst du da vor, Gerhard?
Ich mache es gemäß 1)
aber bin mir nicht sicher, ob das wirklich vernünftig ist.

Benno

By Peter Struwel Date 2009-10-22 18:32

Genau das ist der Unterschied zwischen ELO und DWZ!

Um an eine Elo Zahl zu gelangen hast du unendlich viele Versuche, während bei der DWZ Berechnung jedes Ergebnis zählt,
mit einer Einschränkung: zwischen dem ersten Egebnis und der Berechnung darf eine zeitliche Frist nicht überschritten werden.

Peter

By Gerhard Sonnabend Date 2009-10-22 19:18

[quote="Benno Hartwig"]
Thanx für den Blick in das Leben eines Enginetesters.

Und da frage ich gleich mal was aus Praxis.

Angenommen du hast 2 Engines und du bist dir sehr sicher (vieleicht weil du nur einen unscheinbaren Parameter gedreht hast), dass die Spielstärke schon sehr ähnlich geblieben sein wird.
Du hast vor vielleicht 300 Partien zu spielen, und nach 10 Partien stellst du fest 8:2.
Du bist die sicher, dass dies den Sielstärkeverhältnissen überhaupt nicht entspricht (aber 10 Partien eben nur!)
Aber was machst du nun?
1) was gespielt ist zählt, weitermachen!
   Du wirst aber wohl erleben, wie sich die Erfolge wieder angleichen. Eine Engine steigt meist, die andere fällt tendentiell.
   Und du hast den Eindruck "Wenn am Ende diese Engine ca. 6 Punkte mehr hat, dann lag das doch nur an diesem blöden Anfang!"
2) noch mal anfangen
   "So ein Anfang kann doch nur das Egebnis verfälschen!"

Wie gehst du da vor, Gerhard?
Ich mache es gemäß 1)
aber bin mir nicht sicher, ob das wirklich vernünftig ist.

Benno
[/quote]

Hi Benno !

Ums auf einen ganz kurzen Nenner zu bringen:
- ich greife niemals ein
und
- gespielt ist gespielt !!

Übrigens weis ich nie wie es zwischenzeitlich steht,
da ich den (die) PC(s) erst wieder bediene wenn das
komplette Match beeendet ist.

Die o.g. Wiederholungen bestärken mich sehr darin,
(nur) deshalb mein Posting.

Man liest ja ab und an ziemlichen Unsinn Betreff:
Reproduzierbarkeit der Resultate bei MP-Engines.

Viele Grüsse,
G.S.