Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Pondertrefferrate Tool gesucht
- - By Ingo Bauer Date 2010-06-12 09:30
Hallo

gibt es ein Tool mit dem ich aus einer Datenbank die Pondertrefferrate rausziehen kann?

Also alle 0s Antwortzüge einer Engine.

Würde ich doch gerne mal über ein zwei Datenbanken laufen lassen um "Gleichförmigkeiten" festzustellen.

Danke und Gruß
Ingo
Parent - - By Ernst Happe Date 2010-06-12 10:34
[quote="Ingo Bauer"]
...
Also alle 0s Antwortzüge einer Engine.
...

Danke und Gruß
Ingo
[/quote]
Hi Ingo,

0 Sekunden = 0 Millsekunden = 0 Mikrosekunden = 0 Nanosekunden = 0 ... = 0... u.s.w. .u.s.f. !!!

Also die Frage nach 0s ist ziemlich unscharf!

Ernst
Parent - - By Thomas Müller Date 2010-06-12 11:02
gibt es partienotationen in denen was anderes steht als "0s" ?!
Parent - - By ernst happe Date 2010-06-12 11:04
kommt darauf an wo du hinguckst, gui, motorfenster, logfiles...
Parent - By Thomas Müller Date 2010-06-12 11:15
die frage war aber "Datenbank"!
Parent - By Ingo Bauer Date 2010-06-12 11:27 Edited 2010-06-12 11:29
Ja Ernst, schöne philosophische Frage.

Ich suche eine praktische Lösung, verstanden hast du mich wohl auch, kannst du mir helfen?

Bye
Ingo
Parent - - By Karl-Heinz Milaster Date 2010-06-12 20:00
[quote="Ingo Bauer"]... ein Tool mit dem ich aus einer Datenbank die Pondertrefferrate rausziehen kann?[/quote]

Hallo Ingo,

was für ein Datenbank-Format?

Gruss,
khm
Parent - - By Ingo Bauer Date 2010-06-12 20:03
Moin Karl-Heinz,

PGN, das kann man immer lesen, aber ich könnte auch in fast alles andere konvertieren.

Gruß
Ingo
Parent - By Karl-Heinz Milaster Date 2010-06-13 08:55
Hallo Ingo,

sende mir mal per E-Mail eine Muster-PGN-Datei (mit mehreren Partien) und eine Beschreibung, was Du genau ausgewertet haben willst.
Ich nehme an, dass Du eine Liste aller Nicht-Buch-Züge mit einer Rechenzeit von 0s Sekunden für jede Engine haben willst.
Wahrscheinlich würde es Sinn machen, auch die jeweilige Brettposition (EPD/FEN) aufzulisten.

Gruss,
khm(at)schachserver(punkt)de
Parent - - By Ernest Bonnem Date 2010-06-17 18:49
[quote="Ingo Bauer"]Also alle 0s Antwortzüge einer Engine.[/quote]
Hallo Ingo,
Da hab' ich eine Frage: warum soll auf Ponderhit der Antwortzug 0 Sek. dauern?
Wenn ich gegen ein Engine spiele (mit Pondern) ist das sicher nicht so!...
(meistens rechnet das Engine seine Tiefe aus bis am Ende)
Parent - By Frank Quisinsky Date 2010-06-17 19:06 Edited 2010-06-17 19:14
Hallo Ernest,

die einfachen Dinge liegen oftmals so Nahe.
So ist es

Aber darauf musst Du auch erst mal kommen ... im Eifer des Gefechtes denn die Idee ein solches Tool zu erstellen ist gar nicht mal schlecht.

Habe das Thema vor ca. 11 Jahren mal aufgenommen.
Seinerzeit geisterten in sämtlichen Foren die Ponder Diskussionen umher.
So wie derzeit die Clone Diskussionen.

Das war eine Diskussion mit Prof. Hyatt.

Wir spielten die ersten Winboard Turniere ohne Ponder. Ging auch nicht mit Ponder denn PCs mit 2 Prozessoren waren noch nicht erschwinglich.
Hyatt kam mit vernichtenden Kommentaren ...

Zeiteinteilung war sein Aufhänger.
Engines rechnen mit Ponder-Treffer und wenn diese ausblieben gibt es Zeitnotphasen in wichtigen Partienphasen.

Daraufhin simulierte ich 3 Crafty Partien die ohne Ponder gespielt wurden anhand der Crafty Log files.
Spielte die Partien von der Seite Crafty's Gegner bzw. die gleichen Züge immer nach der Zeit die Crafty für seinen Zug benötigte.

Ergebnis war:
Es kam bei Partie 1 zu einem anderen Zug, in Partie 2 zu keinem anderen zug und in Partie 3 zu zwei anderen Zügen.
Keine Zeitnotphase bei Crafty zu sehen ... glaube mit Version 10.18 oder so getestet ... sehr lange her.

Das arbeitete ich so gut es ging aus und schrieb es Hyatt.
Eine Antwort blieb aus

Aber nur ein anderer Zug führt zu einer anderen Partie, damit hatte Hyatt natürlich Recht.

Die 0sek Züge kannst du auch einfach mit einem Texteditor herausfiltern. Ist sehr umständlich aber geht.

Partiedurchschnitt wenn bis zum Ende gespielt wird = 85 Züge.
Rechne 8 Züge Eröffnung ab, klare Züge auch durch TB Treffer vielleicht 12 = 65 Züge.

Von den 65 Zügen sind durchschnittlich knappe 20 Züge Zwangszüge, logische Zugfolgen ... Schlagzüge etc..

Verbleiben 45 Züge pro Partie.
Diese gilt es zu untersuchen und nach meinen Experimenten kommt es bei ca. gleich starken Engines zu 35-40% Pondertreffer. Das geht dann bis ca. 30% runter wenn die Engines ca. 200 ELO auseinander liegen. Anderes Ergebnis wenn Engines gegeneinander spielen die gleich sind, wie z. B. Clones.

Insofern hat Karl-Heinz schon Recht mit einer seiner Bermerkungen zu diesem Thema.

Aber wie Du richtig schreibst ...
Ponder Treffer heißt nicht unbedingt das die Engine sofort zieht.

Die GUIs benötigen zunächst eine Option (setze Zeichen für Ponder-Treffer als Kommentar). Ansonsten kann eine genaue Auswertung mittels Programm nur dann erfolgen wenn ein Log File ausgewertet wird. Un da die Logifles von Engines unterschiedlich sind ... kaum umzusetzen.

Es wäre also zunächst mal wichtig Stefan Meyer-Kahlen zu bitten eine Option zu setzen, damit ein Ponder-Treffer im PGN File entsprechend abgespeichert wird. War auch mal ein Vorschlag den ich Martin bei Arena machte. Vielleicht kann Arena das gar ... schon länger nicht mehr angesehen.

Viele Grüße
Frank
Parent - By Ingo Bauer Date 2010-06-17 20:20
Hallo Ernest,

[quote="Ernest Bonnem"]
Da hab' ich eine Frage: warum soll auf Ponderhit der Antwortzug 0 Sek. dauern?
Wenn ich gegen ein Engine spiele (mit Pondern) ist das sicher nicht so!...
(meistens rechnet das Engine seine Tiefe aus bis am Ende)
[/quote]

Völlig korrekt!
Aber WENN in 0 Sekunden ein Pondertreffer erfolgt war das ein Ponderhit eine so ermittelte Quote ist sozusagen die "minimale" Trefferquote - sie kann aber auch noch höher sein. Wenn man also zwei Enignes findet die auf diese Art und Weise eine sehr hohe Quote aufweisen ist das ... interessant und es könnte sogar NOCH interessanter sein.

Je nach Zeitkontrolle könnte man auch noch Antwortzüge in 1 oder 2 Sekunden dazunehmen ...

Ich weiß auch nicht was dabei rauskommt - ich finde es nur spannend.

Gruß
Ingo

Gruß
Ingo
Parent - - By Thomas Mayer (Quark) Date 2010-06-18 00:50
[quote="Ernest Bonnem"]
[quote="Ingo Bauer"]Also alle 0s Antwortzüge einer Engine.[/quote]
Hallo Ingo,
Da hab' ich eine Frage: warum soll auf Ponderhit der Antwortzug 0 Sek. dauern?
Wenn ich gegen ein Engine spiele (mit Pondern) ist das sicher nicht so!...
(meistens rechnet das Engine seine Tiefe aus bis am Ende)
[/quote]

Hallo Ernest,

Du hast vollkommen recht, eine Auswertung der Antwortzeit macht keinerlei Sinn. Die meisten Engines ziehen z.B. sofort wenn nur ein legaler Zug zur Verfügung steht, daß muß sicher kein ponderhit sein. Auch Easy-Move ist weit verbreitet und geht oft in 0s. Bei Zeitknappheit wird auch oft in Bruchteilen von Sekunden gezogen. Buchzüge sind ebenfalls nicht zu erkennen.
Eine Auswertung kann also nur erfolgen, wenn der ursprünglich geponderte Zug in irgendeiner Art und Weise aus dem PGN ersichtlich ist. Arena kann m.W. z.B. die Hauptvariante ins PGN aufnehmen, CB speichert glaube ich je nach Einstellung den geponderten Zug wenn der dann gewählte davon abweicht.
Ponderraten um 60% sind bei ähnlich starken Programmen sagen wir mal im Bereich ab 2500 Elo aufwärts ganz normal, höhere Werte evtl. auffällig aber vielleicht auch auf die zunehmende Perfektionierung der Engines zurückzuführen, wobei meiner Meinung das Ende der Fahnenstange noch lange nicht erreicht ist.
Ohne es nachweisen zu können hatte ich bisher den Eindruck, daß die Ponderhitrate meist in den entscheidenden Partiephasen deutlich sinkt - klingt zumindest logisch, die eine Engine hats schon begriffen, die andere fischt noch im Trüben. Ich hatte allerdings auch mal eine Turnierpartie gegen Fritz bei der Quark nahezu 100% ponderhits hatte, die erste Abweichung kam nachdem die Partie bereits verloren war. Wahrscheinlich war die Niederlage quasi aus dem Buch schon folgerichtig obwohl dies nach den ersten Zügen nicht so aussah, jedenfalls mit umgekehrten Farben hätte Fritz wahrscheinlich genauso verloren.
Spielt die gleiche Engine gegen sich selbst sind Ponderhitraten um 85% zu erwarten. Bob Hyatt legt dies in diesem Thread: http://www.open-chess.org/viewtopic.php?f=5&t=45 dar und erklärt warum das so ist. Er hat zu dem Thema auch größere Testserien erstellt. Ich vermute allerdings, daß bei größeren Tiefen die Prozentrate für einen neuen Zug sinkt, habe dazu allerdings keine Testreihen um dies zu belegen.

Gruß, Thomas

P.S.: Eine hohe Ponderhitrate kann ein Indiz für einen Clone sein, ist aber sicher kein hinreichender Beweis. Ingo nannte es mal besonders interessant, wenn man durch andere Parameter eine Persönlichkeit einer Engine schafft die vollkommen anders spielt jedoch ihre Spielstärke erhält. Wäre interessant, was dann mit der Ponderhitrate passiert. Vielleicht sollte man mal Ingo fragen, welche Shredder Persönlichkeiten er für gleichstark und gleichzeitig in ihrer Spielweise für am weitesten entfernt hält. Ausgang vollkommen offen. Hätte man z.B. bei "Shredder" gegen "Shredder" die erwartete Ponderhitrate von ca. 85% und bei "Shredder" gegen "Shredder ganz anders" nur noch 60% aber beidesmal ein ausgeglichenes Resultat, dann wäre quasi belegt, daß schon kleine Bewertungsänderungen es unmöglich machen Clones mithilfe der Ponderhitrate zu enttarnen. (Relativ gesehen an den Möglichkeiten, die man hat, die Bewertung in einer Source zu verändern ohne die Spielstärke stark zu beeinflußen sind die paar Parameter die die meisten Engines zur Personalisierung bieten kleine Änderungen)
Parent - - By Ingo Bauer Date 2010-06-18 07:20
Moin Thomas,

[quote="Thomas Mayer (Quark)"]

Du hast vollkommen recht, eine Auswertung der Antwortzeit macht keinerlei Sinn. Die meisten Engines ziehen z.B. sofort wenn nur ein legaler Zug zur Verfügung steht, daß muß sicher kein ponderhit sein. Auch Easy-Move ist weit verbreitet und geht oft in 0s. Bei Zeitknappheit wird auch oft in Bruchteilen von Sekunden gezogen. Buchzüge sind ebenfalls nicht zu erkennen.
[/quote]

Das stimmt nur teilweise:

1. Legaler Zug: ja, die meisten Engines ziehen sofort, mit genug Spielen sollte sich das statistisch aber ausgleichen
2. Easy Move: ist ein Problem, kommt aber auch nicht zu oft vor und könnte man teilweise sogar an "Erste Engine zieht, 0s, 0s" erkennen ...
3. Zeitknappheit: Das größte Problem! Eine Datenbank die Spiele in X-Zügen in Y-Minuten enthält ist davon sicherlich besonder betroffen, sehr gutgeht es hingegen bei meinen Incrementspielen. Ich habe dadurch selbst in Endspielen praktisch keine Sofortzüge.
4. Buchzüge: Das hängt von der PGN ab. Bei der Classic sieht das z.B so aus "10. O-O Nf8 11. Rac1 {+0.30/16 15s} Ng6 {+0.28/18 16s (h6)}". Der 10 Zug ist ein Buchzug, der 11. errechnet. Buchzüge haben gar keine Zeit ...
5. Von dir nicht erwähnt: Tbs Züge: Auch da hängt es von der Datenbank ab. Da ich mit "Ettiquette" spiele, habe ich deutlich weniger Spiele die bis zum Matt gehen.

Aber ja, ein solches Tool wäre nicht perfekt - aber immerhin das beste was wir in dieser Richtung hätten!

[quote="Thomas Mayer (Quark)"]
Eine Auswertung kann also nur erfolgen, wenn der ursprünglich geponderte Zug in irgendeiner Art und Weise aus dem PGN ersichtlich ist. Arena kann m.W. z.B. die Hauptvariante ins PGN aufnehmen, CB speichert glaube ich je nach Einstellung den geponderten Zug wenn der dann gewählte davon abweicht.
[/quote]

Ja, wenn man einen "Nichtpondertreffer" anzeigt ist das mit Sicherheit die beste Lösung!

[quote="Thomas Mayer (Quark)"]
Ponderraten um 60% sind bei ähnlich starken Programmen sagen wir mal im Bereich ab 2500 Elo aufwärts ganz normal,
[/quote]

Mein Bauchgefühl für die Riege um "Deep Fritz 12, Critter 0.70, Kommodo 1.2, Shredder 12, Naum 4.2" geht von weniger als 60% aus und die Spielen alle in einer Liga! Aber genau deswegen finde ich eine ordentliche Auswertung ja interessant. Mal sehen was raus kommt.

[quote="Thomas Mayer (Quark)"]
...
Spielt die gleiche Engine gegen sich selbst sind Ponderhitraten um 85% zu erwarten. Bob Hyatt legt dies in diesem Thread: http://www.open-chess.org/viewtopic.php?f=5&t=45 dar und erklärt warum das so ist. Er hat zu dem Thema auch größere Testserien erstellt. Ich vermute allerdings, daß bei größeren Tiefen die Prozentrate für einen neuen Zug sinkt, habe dazu allerdings keine Testreihen um dies zu belegen.
[/quote]

Da würde ich nach Bauchgefühl sogar noch höhere Raten als 85% erwarten ... Es gibt nichts langweiligeres als auf Playchess Enginematche zu schauen in denen gleiche Engines gegeneinander antreten! Wenn ich mal da mit Shredder spiele, spiele ich deswegen NIE gegen andere Shredders.

[quote="Thomas Mayer (Quark)"]
P.S.: Eine hohe Ponderhitrate kann ein Indiz für einen Clone sein, ist aber sicher kein hinreichender Beweis. Ingo nannte es mal besonders interessant, wenn man durch andere Parameter eine Persönlichkeit einer Engine schafft die vollkommen anders spielt jedoch ihre Spielstärke erhält. Wäre interessant, was dann mit der Ponderhitrate passiert. Vielleicht sollte man mal Ingo fragen, welche Shredder Persönlichkeiten er für gleichstark und gleichzeitig in ihrer Spielweise für am weitesten entfernt hält. Ausgang vollkommen offen. Hätte man z.B. bei "Shredder" gegen "Shredder" die erwartete Ponderhitrate von ca. 85% und bei "Shredder" gegen "Shredder ganz anders" nur noch 60% aber beidesmal ein ausgeglichenes Resultat, dann wäre quasi belegt, daß schon kleine Bewertungsänderungen es unmöglich machen Clones mithilfe der Ponderhitrate zu enttarnen. (Relativ gesehen an den Möglichkeiten, die man hat, die Bewertung in einer Source zu verändern ohne die Spielstärke stark zu beeinflußen sind die paar Parameter die die meisten Engines zur Personalisierung bieten kleine Änderungen)
[/quote]

Der "Gambit Shredder 12" spielt sicherlich verschieden zu "Normal Shredder 12" - bei praktisch gleicher Spielstärke (+/-10 Elo nach 1000 Spielen gegen andere Gegner). Falls ich so ein Tool hätte würde ich das mal "auswerten".

Gruß
Ingo
Parent - By Ingo Bauer Date 2010-06-18 08:34
Hallo

[quote="Ingo Bauer"]

"10. O-O Nf8 11. Rac1 {+0.30/16 15s} Ng6 {+0.28/18 16s (h6)}". Der 10 Zug ist ein Buchzug, der 11. errechnet.
[quote="Thomas Mayer (Quark)"]
Eine Auswertung kann also nur erfolgen, wenn der ursprünglich geponderte Zug in irgendeiner Art und Weise aus dem PGN ersichtlich ist. Arena kann m.W. z.B. die Hauptvariante ins PGN aufnehmen, CB speichert glaube ich je nach Einstellung den geponderten Zug wenn der dann gewählte davon abweicht.
[/quote]

Ja, wenn man einen "Nichtpondertreffer" anzeigt ist das mit Sicherheit die beste Lösung!

[/quote]

In meinem Beispiel oben kann man sogar sehen das auch die Classic den erwarteten Ponderzug (in diesem Fall h6) mitspeichert. Das ist sicherlich der Idealfall.

Gruß
ingo
Up Topic Hauptforen / CSS-Forum / Pondertrefferrate Tool gesucht

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill