Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Drawkiller V2.00 (neues balanced set)
- - By Stefan Pohl Date 2019-02-20 14:08 Edited 2019-02-20 14:16 Upvotes 1
Da ich leider momentan wenig Zeit habe, hier nur der Link zum englischen Talkchess-posting... sorry dafür

http://talkchess.com/forum3/viewtopic.php?f=2&t=69971#p790639

Ganz kurz zur Erläuterung: Es gibt neue balanced Sets in Drawkiller, wo die Komodo-Eval in einem sehr engen Intervall von [-0.09;+0.09] liegen mußte.
Dies hat zur Folge, daß zwar die Remisqouten leicht steigen, aber dafür auch die Ergebnisspreizung nochmals deutlich steigt (Testergebnisse auf meiner Website!), da es nun noch weniger 1:1 Ergebnisse gibt (logischerweise, da die Stellungen nun alle extrem ausgeglichen sind).

Hier die Testergebnisse, die für sich selbst sprechen:

https://www.sp-cc.de/experiments.htm

In einem Top3-Engines RoundRobin hat sich die Elospreizung dank Drawkiller balanced im Vergleich zu den Stockfish Framework 8move-Eröffnungen fast verdoppelt, was bedeutet, daß man mit Drawkiller balanced nur noch 25%-30% der Partienzahl benötigt, um dieselbe Engine-Ranking Ergebnisqualität zu bekommen, da für eine Halbierung der Errorbargröße 4x soviel Partien zu spielen sind...(und bei einer halb so großen Ergebnisspreizung braucht man logischerweise auch halb so große Errorbars, um Elo-Abstände aus den Errorbars herauszubekommen).
Parent - - By Benno Hartwig Date 2019-02-20 16:38 Edited 2019-02-20 16:42
Sehr interessanter Ansatz. Danke!

Hast du in den Durchläufen, wo etwas häufiger 1:1-Ergebnisse zu erwarten waren, dann tatsächlich auch gesehen, dass solche Ergebnisse dermaßen häufig waren, dass sie als Erklärung taugen?

Ich frage deshalb, weil auch für das TCEC-Finale ja erwartet wurde, dass die gewählten Eröffnungen soetwas "1:1" ggf. recht häufig hervorbringen könnten.
Und ich habe nun doch den Eindruck, dass dies hier gar nicht der Fall ist.

Ein gewisse Quote von 1:1-Ergebnissen ist ja auch bei perfekt ausgeglichenen Stellungen zu erwarten und darf nicht verdammt werden.
Im TCEC-Finale: im Moment nicht-remis-Quote = 22% bei gleicher Chancen für die Engines
--> wenn gerade EngineA ein erstes Spiel eines Paares gewonnen hat, dann haben wir gleich mit 11%-Wahrscheinlichkeit gleich ein 1:1-Paar. Immerhin.

Benno
Parent - By Stefan Pohl Date 2019-02-20 17:19
Benno Hartwig schrieb:

Sehr interessanter Ansatz. Danke!

Hast du in den Durchläufen, wo etwas häufiger 1:1-Ergebnisse zu erwarten waren, dann tatsächlich auch gesehen, dass solche Ergebnisse dermaßen häufig waren, dass sie als Erklärung taugen?

Ich frage deshalb, weil auch für das TCEC-Finale ja erwartet wurde, dass die gewählten Eröffnungen soetwas "1:1" ggf. recht häufig hervorbringen könnten.
Und ich habe nun doch den Eindruck, dass dies hier gar nicht der Fall ist.

Ein gewisse Quote von 1:1-Ergebnissen ist ja auch bei perfekt ausgeglichenen Stellungen zu erwarten und darf nicht verdammt werden.
Im TCEC-Finale: im Moment nicht-remis-Quote = 22% bei gleicher Chancen für die Engines
--> wenn gerade EngineA ein erstes Spiel eines Paares gewonnen hat, dann haben wir gleich mit 11%-Wahrscheinlichkeit gleich ein 1:1-Paar. Immerhin.

Benno


Im RoundRobin-Modus spielt die LittleBlitzerGUI immer für jede neue Partie eine neue, zufällig gewählte Eröffnung als Vorgabe. Es gibt also kein Hin- und Rückspiel bei diesen Testruns. Das ist aber auch gar nicht zwingend nötig. Eine erhöhte Elospreizung von Engine-Wettkämpfen läßt sich nur durch zwei Möglichkeiten erreichen, nämlich zum einen eine geringere Remisqoute und zum anderen durch sehr gut ausbalancierte Eröffnungsvorgaben, die nicht eine Farbe stark bevorteilen, wodurch eben 1:1 Ergebnisse unwahrscheinlicher werden. Bleibt die Remisqoute nun konstant (oder wie hier: steigt sie sogar leicht im Vergleich zu Drawkiller tournament), und die Elospreizung ist dennoch höher geworden, dann muß die Zahl der potentiellen 1:1-Ergebnisse/Vorgabestellungen gesunken sein. Da gibt es gar keine andere Option.
Und natürlich gibt es auch in Drawkiller immer noch Stellungen, die ein 1:1 Ergebnis ergeben können. Das kann man nie zu 100% vermeiden. Gerade bei Engines, die in der Spielstärke nicht so weit auseinander liegen, kann sowas immer mal auftreten. Das ist unvermeidbar und natürlcih auch nicht zu "verdammen". Es geht nur darum, Eröffnungsvorgaben möglichst nicht zu vorteilhaft für eine Farbe zu machen, damit nicht 1:1-Ergebnisse auftreten, auch wenn es ein beträchtliches Spielstärkegefälle bei den Engines gibt. Denn das drückt die Elospreizung Richtung 50% zusammen, genau wie Remisen. Und das ist natürlich nicht wünschenswert.
Up Topic Hauptforen / CSS-Forum / Drawkiller V2.00 (neues balanced set)

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill