SF PHQ-2, erste Ergebnisse ...

By Frank Quisinsky Date 2011-07-01 08:06 Edited 2011-07-01 08:09

Nach 326 Partien ...
25x unter 56 Zügen gewonnen = 7,6687 ... PHQ erreichte ca. 8%.
02x unter 56 Zügen verloren = PHQ-1 verlor 8 nach 1.200 Partien

Die Ergebnisse gegen Rybka / Houdini und Critter 1.03 sind nach den ersten Partien deutlich besser.
Derzeit läuft nach diesen Statistiken alles nach Plan.
Auch die schnellen Remisen sind weniger geworden.

Allerdings ist das Rating zu PHQ-1 erst um 3 ELO gestiegen.
Prognose aufgrund der ponderlosen Partien = + 9 - 12 ELO zu PHQ-1

Mal abwarten wie sich das weiter entwickelt, zumal PHQ-2 bislang auch eine sehr schlechte Runde spielte, die das Anfangsrating nach 125 wahnsinnig in den Keller hiefte.
Danach folgten dann wieder 4 starke Runden (Runde 1x gegen die 30 Gegner, so gesehen gibt es 40 Runden).
Nehme ich das beste und das schlechteste Rundenergebnis weg, lande ich bei +9 ELO, die ja auch erwartete werden.

Kommt es zu einem besseren Ergebnis ist eigentlich schon klar, das noch aggressivere Einstellungen als PHQ-1 zumindest die ELO nicht weiter steigen wird.
Kommt es zu einem schlechteren Ergebnis ist auch klar, das aggressivere Einstellungen als PHQ-2 die ELO steigern wird.

Zur Erinnerung PHQ-2 wurde im Vergleich zu PHQ-1 getunt aufgrund von Stellungsanalysen.
Die Schrauben der aggressiven Einstellungen wurde nach unten gedreht, aber sind immer noch deutlich höher als bei default.

Gruß
Frank

By Benno Hartwig Date 2011-07-01 10:10

[quote="Frank Quisinsky"]Kommt es zu einem besseren Ergebnis ist eigentlich schon klar, das noch aggressivere Einstellungen als PHQ-1 zumindest die ELO nicht weiter steigen wird.
Kommt es zu einem schlechteren Ergebnis ist auch klar, das aggressivere Einstellungen als PHQ-2 die ELO steigern wird.[/quote]Frank, ich befürchte, dass die Ergebnisse von Default, PHQ1 und PHQ2 so dicht nebeneinander liegen werden, dass daraus leider gar nichts wirklich klar wird.
Gut 1200 Partien für jede Engine jeweils sind zwar eine ganze Menge. Aber vermeintliche ELO-Differenzen von 3, 9 oder auch 12 Punkten sind auch verdamt klein.

Benno

By Frank Quisinsky Date 2011-07-01 19:58

Hi Benno,

ja, aber die ELO ist zweitrangig.
Schön ist doch das anhand der Partien deutlich wird, dass PHQ wesentlich aggressiver spielt.
Mit ELO können wir leider keinen Spielstil messen, daher wäre es ja gut wenn es Auswertungsprogramme für PGN files gibt.

Halte den Spielstil für genauso wichtig, ja gar noch für wichtiger als ein Ergebnis in ELO.

Und wenn sich PHQ-2 wieder um 10 zu PHQ-1 verbessert sind es schon 20 ELO zu default ... also ganz klar messbar!
Immer noch zuversichtlich

Gruß
Frank

By Peter Martan Date 2011-07-01 20:16 Edited 2011-07-01 20:24

[quote="Frank Quisinsky"]
ja, aber die ELO ist zweitrangig.
Schön ist doch das anhand der Partien deutlich wird, dass PHQ wesentlich aggressiver spielt.
Mit ELO können wir leider keinen Spielstil messen,
[/quote]

Hallo Frank!
Bevor ich mich, wie schon mehrmals angekündigt, wieder eine Weile verabschiede (kuckuck, bin schon wieder da

), muss ich dir doch auch noch schnell zu dieser Aussage gratulieren.
Ich sehe schon dich, Ingo, mich und noch ein paar andere, die dann noch am Leben sind, einträchtig beinander hocken in fernen Tagen und Stellungstests machen wie in den guten alten Zeiten, natürlich nur zusätzlich zu den eng-eng-eng-Turnieren.

Statisch- dynamischer eval- Vergleich im Vor- und Zurückgehen auf Varianten von engines, die sie allein ausspielen, gegeneinander und nach dem Vor- und Zurückgehen auf Vergleichsvarianten, eindeutigen taktischen bm und am- Varianten, positionellen, vielfältigen ohne best moves, aus der Eröffnungstheorie, dem Mittel- und Endspiel, mit und ohne tbs...
Und das beste daran wird sein, es wird endlich absolut unumstritten sein, welche Stellungen wer dafür hernehmen darf, es spielt von der mathematischen Aussage her keine Rolle, jede beliebige Stellung am Brett bietet dieselben Möglichkeiten und jede stellt und beantwortet eine Frage für sich, es werden halt nicht immer alle Stellungen von allen gleich interessant gefunden werden, damit muss man sich beim Schach abfinden, sonst eigentlich mit nichts, wenn es einem nicht nur ums Gewinnen geht.

Herrliche Statistiken werden manche von uns aus den Zahlenwerten machen, die die engines vor und nach bestimmten Zeiten und den verschiedenen gegenseitig eingebenen und ausgespielten Varianten ausspucken...

Das werden Zeiten, Frank, das werden Zeiten...
Bis dann,

By Frank Quisinsky Date 2011-07-02 00:21 Edited 2011-07-02 00:28

Hallo Peter,

na ja, Stellungstesten kommt hier immer kürzer, hat aber auch seine Berechtigung und wenn es nicht immer die gleichen sind macht es auch Spaß

Wirklich ungewöhnlich der SF Test. Schon was dran was Benno schreibt.
Ganz schwierig in ELO zu messen und jetzt hat SF wieder schlechtere Runde gespielt, meine das PHQ-2 Setting.

Also wenn, trotz der ca. 800 ponderlosen Partien jetzt ein Rating unterhalb von PHQ-1 rauskommen sollte das stellt das mal wieder alles auf dem Kopf.

Dann müssen wir wie folgt zusammenfassen:

Leichtes herunterdrehen der Schrauben führt nicht zu einem besseren Ergebnis.
Logischerweise führ dann Kamikaze zu einem besseren Ergebnis.

Die Aussage vom Stockfish Programmierer ... Mobility Werte erhöhen das Rating nach seinem Kurztest ... deckt sich dann mit den Erfahrungen von Erdogan der die Mobility Werte bei einem Turnier erhöht hat.

Mist ...
PHQ-3 muss in diesem Fall kreiert werden.
Entgegen meiner Logik bzw. Analysen!

Würde bedeuten:
Mobility Endgame nicht leicht herunter stufen sondern leicht nach oben.
Mobility Mittelspiel noch höher einstellen als bei PHQ-1
Feigheit so belassen wie bei PHQ-1 und Aggressivität bei 150 belassen, entgegen den Test von Benno, der nur Aggressivität getestet hat.
Also, alles noch aggressiver machen als bei PHQ-1.

Vielleicht so:
Mobility Middlegame = 150
Mobility Endgame = 125
Agressiveness = 150
Covardice = 75

Würde gar noch einen drauf setzen ... wenn schon denn schon und dann so ...

Mobilty Middlegame = 160 ... das wird der Parameter sein der offenbar wirklich zu den mehr schnellen Gewinnpartien im Mittelspiel gesorgt hat
Mobility Endgame = 140 ... mir unlogisch aber egal!
Aggressivenss = 160 ... höher bei weniger Feigheit könnte gar gut in Kombination zu den anderen Settings sein
Covardice = 60

Das wäre dann die super aggressive Variante.

Würde bedeuten noch mehr schnelle Gewinnpartien aber auch mehr schnelle Verlustpartien.
Fraglich ob das gegen die anderen TOPs noch greift oder ob überreizt.

Aber das wäre das logische Ergebnis wenn PHQ-2 schlechter als PHQ-1 abschneidet denn dann hätten wir ...

1. Schon direkt mit PHQ-1 eine gute Einstellungen gefunden, die aber nur unwesentlich besser als default ist, weil default offenbar doch hinsichtlich Spielstärke schon gut optimiert ist.
2. Die ELO geht hoch ... dann verstehe ich die Engine-Welt nicht mehr.

Gruß
Frank

Tja, dann mal an die Arbeit ...
Setting wird versucht zu ermitteln anhand von Eng-Eng oder
Die Peter Martan Variante ... er testet das anhand von Positionen.

Mach mal ... was meinst Du?
Teste mal ...

Default im Vergleich zu PHQ-3

Mobilty Middlegame = 160
Mobility Endgame = 140
Aggressivenss = 160
Covardice = 60

By Peter Martan Date 2011-07-02 18:56

[quote="Frank Quisinsky"]
Mach mal ... was meinst Du?
Teste mal ...

Default im Vergleich zu PHQ-3

Mobilty Middlegame = 160
Mobility Endgame = 140
Aggressivenss = 160
Covardice = 60
[/quote]

Hallo Frank!
Kein schlechtes setting so auf einen Blick, hat in halboffenen Eröffnungen seine Stärken, scheint mir, bei geschlossenen kommt's drauf an, und bei offenen wird es hin und wieder ins eigene Messer rennen. Für echte Unterscheidung von default fehlt mir hier die Zeit momentan, Frank, das liegt zu nah beisammen, die Aggressiveness und Mobility ändert an den neueren Stockis überhaupt für mich enttäuschend wenig, da war das mit der linearen Königssicherheit von 1.6 abwärts noch was Anderes.
Außerdem interessiert mich momentan mehr die tbs nutzende persistent hash- Version von 2.11, die Michael Scheidl aus dem Rybkaforum hergebracht hat:
http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=39705#pid39705
Mir scheint, das gibt mehr her, auch wenn Ingo meint, es sei etwas langsamer als die schnellsten compiles, das macht für mich nichts aus.