Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Interesssante Erkenntnisse: SWCR zu Ipon ...
- - By Frank Quisinsky Date 2010-01-03 06:01 Edited 2010-01-03 06:09
Hi,

IPON und SWCR gleichen Ihre Berechnungsgrundlagen an.
Beide Listen werden mit Ponder = On erstellt.
Bei Ingo 64-Bit, bei mir 32-Bit.

Gerade habe ich die erste Seite der SWCR Online gestellt:
Die Weiteren Seiten im Navigations-System der Seite folgen noch.

SWCR:
http://www.schach-welt.de/index.php?option=com_content&view=article&id=87&Itemid=90

Vergleiche ich jetzt die 32-Bit Engines von Ingo mit denen von mir:

Fritz 12 bei SWCR 3 ELO stärker
Hiarcs 12.1 bei SWCR 2 ELO stärker
Rybka 3 bei SWCR 14 ELO stärker
Loop 13.5 / 13.6 bei SWCR 2 ELO stärker
Fruit 05/11/03 fehlt bei mir noch

Ingo und meine Liste (SWCR) hätten damit 5 Vergleichs-Engines bzw. derzeit 4.
Wäre gut wenn Ingo noch die kritische Cyclone xTreme Wrath Version in seine Liste hereinholt.
Sofern bei mir dann Fruit und bei Ingo Cyclone getestet wurde hätten wir 6 Vergleichs-Engines.

Ferner decken sich die 64-Bit zu 32-Bit Vergleiche mit meinen ermittelten Durchschnittswerten (Zuwachs bei 64-Bit) bzw. den durchschnittlich Zuwächsen anderer Ratinglistenbetreiber.

Einzige Abweichung zwischen Ipon und SWCR wäre Junior 2010:
Bei mir spielt die 32-Bit Version 20 ELO stärker als bei Ingo die 64-Bit Version.
Kann durchaus sein, hierüber liegen sonst kaum Erkenntnisse vor.

Weiß nicht ob Ingo die Partien von Junior unter der Shredder GUI kontrolliert.
Junior kann bei vielen Endspielkonstellationen nicht Matt setzen. Viele Partien enden Remis mit der 50-Züge Regel. Daher spiele ich mit Junior unter der Fritz GUI und schalte nur für Junior die GUI-Table-Bases an. Sonst für alle anderen Engines aus. Da Ingo mit Junior 2010 unter Shredder 12, ich selbst unter Fritz 12 GUI spielt, könnte das ein logischer Grund sein.

Daraus ergeben sich interessante Thesen zu den Beeinflussungsfaktoren (wie Zeitkontrolle etc..).

1. Bei Ingo dauert eine Partie durchschnittlich 18 Minuten, bei mir 40 Minuten.
Die erhöhte Bedenkzeit ist nicht ausschlaggebend für andere Ergebnisse (sehr interessant).
Vielleicht wird die Qualität der Partien bei SWCR etwas besser aber rein statistisch macht sich das nicht bemerkbar.

2. Ingo hat zwischen 700 und 4.000 Partien pro Engine.
Selbst habe ich derzeit zwischen 600 - 680 Partien.
Bei den vielen Listen, die ich in der Vergangenheit erstellt hatte, kam ich auch nie zu einem anderen Ergebnis als:
Ab 350 Partien wird eine Liste aussagekräftig, ab 500 Partien sehr genau (Grundsatz von mir)
Damit bestätigt sich die These, dass ca. 500 Partien für ein Rating ausreichen.
Da ich nichts von ErrBars halte, führe ich diese in der Schach-Welt Ratingliste auch nicht auf.

3. Ingo spielt mit einem anderen Eröffnungssystem, selbst spiele ich mit Büchern (Strong 2008 und Buch von Sedat).
Auch hier zeigt sich mal wieder, dass Eröffnungssysteme kaum Einfluss auf die Listen haben.

4. Hardware ab einen bestimmten Level spielt auch kaum eine Rolle.

5. Ansonsten sind GUI, Table-Bases, Hash-Table Einstellungen, Lernen = Aus, Core = 1, Jeder gegen Jeden, bei mir und Ingo vergleichbar bzw. identisch.

Im Umkehrschluss würde das bedeuten, dass wenn nun die anderen Ratinglisten-Betreiber auf die gleichen Berechnungsfaktoren Ihre Listen umstellen würden, sich Abweichungen zwischen diesen Listen zu den Listen von mir und Ingo ergeben, kann das eigentlich nur noch 2 Gründe haben:

1. Ponder / Permanent Brain ... An / Aus
2. Es spielte nicht Jeder gegen Jeden die gleiche Anzahl von Partien

Die anderen Faktoren sind meines Erachtens fast komplett irrelevant.

Finde das sehr interessant und bestätigt im Grunde jede von mir schon in der Vergangenheit aufgestellte These zu den Beeinflussungsfaktoren.

Stellt sich nun die logische Frage:
Die Liste von mir bringt im Grunde keine weiteren Erkenntnisse. OK, ein paar andere Engines bzw. Engine-Versionen tauchen im Vergleich zu der Liste von Ingo und meiner auf aber bis auf Cyclone (erspielt meines Erachtens unklare Ergebnisse, in der Historie meiner Ratingliste ist zu sehen das die Engine selbst bei 300 auf 500 Partien starken Schwankungen unterzogen ist). Cyclone war bei mir auch die einzige Engines mit solchen Abweichungen.

Meines Erachtens bildet also die IPON und die der Schach-Welt Ratingliste eine optimale Ergänzung.
Die Betreiber sind sich einig, die Ergebnisse sind absolut vergleichbar.

Also, eine absolute Einheit bei Permanent Brain = An im Bereich der Ratinglisten !!
Komme zu keinem anderen Ergebnis !!

Gruß
Frank
Parent - - By Frank Quisinsky Date 2010-01-03 06:36
Hi,

Ergänzung:

Eine fehlende Information, glaube das hat noch niemand getestet:
Doch 1.2 verbessert sich im Vergleich zu Doch 09.980 bei 32-Bit um 10 ELO.

Bei 64-Bit waren es in CEGT und bei IPON ca. 30 ELO.

Da Don (siehe Interview) den Schwerpunkt auf 64-Bit legt auch verständlich.
Doch gehört neben Rybka und ZapChess zu den drei Engines die von 64-Bit am Meisten profitieren.

Bei 32-Bit hält Shredder 12 gerade noch knapp Platz 2 vor Stockfish 1.6.
Stockfish verbessert sich wie bereits nach 450 Partien im News-Ticker angekündigt um ca. 65 ELO und ist nun die Beste Freeware vor Rybka 2.
Übrigens war das Rating von Doch 1.2 und Stockfish 1.6 nach nur 330 Partien stabil (+-5 zu jetzt 600 Partien).

Witzig ist:
Jetzt könnte Ingo z. B. eine 32-Bit in seine Ratingliste aufnehmen und hätte zu 95% keine Abweichung größer als 15 ELO

Nochmal kurz zu der SWCR:
Die anderen Unterseiten erstelle ich in den nächsten 2 Tagen.
Ziehe das Thema nun doch vor.

Zu den Beeinflussungsfaktoren bei der Erstellung von Ratinglisten schreibe ich einen Bericht der dann als PDF abrufbar ist.

Gruß
Frank

PS: Kann die Tabellen mit den Möglichkeiten der Schach-Welt Seite leider nicht so darstellen wie ich es möchte.
Muss daher etwas tricksen und auf mehrere Unterseiten aufteilen.
Parent - By Patrick Buchmann Date 2010-01-03 11:00
[quote="Frank Quisinsky"]
Eine fehlende Information, glaube das hat noch niemand getestet:
Doch 1.2 verbessert sich im Vergleich zu Doch 09.980 bei 32-Bit um 10 ELO.[/quote]

Hallo Frank,

http://pagesperso-orange.fr/lefouduroi/tournois/uci/arch/senior0912.htm#161209

MfG,
Patrick
Parent - - By Ingo Bauer Date 2010-01-03 09:28
Moin Frank

[quote="Frank Quisinsky"]
...

Einzige Abweichung zwischen Ipon und SWCR wäre Junior 2010:
Bei mir spielt die 32-Bit Version 20 ELO stärker als bei Ingo die 64-Bit Version.
Kann durchaus sein, hierüber liegen sonst kaum Erkenntnisse vor.

Weiß nicht ob Ingo die Partien von Junior unter der Shredder GUI kontrolliert.
Junior kann bei vielen Endspielkonstellationen nicht Matt setzen. Viele Partien enden Remis mit der 50-Züge Regel. Daher spiele ich mit Junior unter der Fritz GUI und schalte nur für Junior die GUI-Table-Bases an. Sonst für alle anderen Engines aus. Da Ingo mit Junior 2010 unter Shredder 12, ich selbst unter Fritz 12 GUI spielt, könnte das ein logischer Grund sein.
...
[/quote]

Ich muß dir in ein paar Dingen wiedersprechen:

Ich fasse mal zusammen: Alle Engine spielen ohne Tbs, nur der arme Junior kann nicht Mattsetzen, deswegen darf er mit Tbs spielen!
Das wäre, als wenn ein Schachschüler schlecht in Endspielen ist und bei einem Turnier mal seinen Trainer dazuholt. Was würdest du sagen wenn ich in meiner Liste für Shredder, weil der arme Kerl Probleme mit Läuferendspielen hat (stimmt nicht) ausnahmweise und nur für Ihn die 5 Steiner Sbases zulasse? Was ist falsch wenn eine Partie mit 50 Züge Remisregel endet? Wenn es Matt wäre und eine Engine kann es nicht dann ... kann sie es nicht! Da darf ich als Tester nicht eingreifen und das Ergebniss verfälschen. Für meine Kriterien müsstest du die Juniorspiele alle, mit gleichen Bedinungen wie für die anderen, wiederholen!

Bei aktuellen GUIs spielt für ein Turnierergebniss die GUIs praktisch keine Rolle mehr; die Zeiten sind lange vorbei. Was das duchführen eines Turniers betrifft (wie einfach ist es) schon, deswegen nehme ich die Classic. Ich spiele ALLE Engines mit 4 Steiner Tbs, aber NICHT in der GUI. Ich teste Engines und nicht GUIs! Wenn eine Engine keinen Tbs Support hat, dann ist das eben so. (Junior hat ihn und benutzt die 4 Steiner auch fleissig bei mir - und ja, ich schau mir die Spiele an und konnte bisher bei Junior keine Endspielauffälligkeiten feststellen.

Deiner 500 Spiele Theorie kann ich mich auch nicht anschließen. Ich spiele zu Anfang immer Reihen von 1000 Spielen und lasse die Eröffnungen über die 10 Gegner zufällig ausspielen (Variaty on). Ich habe mich schon so oft gefreut oder geärgert nach 500 Spielen, und 500 Spiele später war es eine komplette Errormargin besser oder schlechter. Zwischen 1000 und 1500 tut sich aber nicht mehr viel in der Regel - mit der Ausnahme das praktisch alle Top Engines, wenn sie gegen deutlich schlechtere Engines spielen, etwas (~5 Elo) abfallen, aber das ist so wenig, das bekommt man statistisch nicht zu fassen.

Gruß
Ingo

PS: Ich hoffe dein vorpreschen mit dem gemeinsamen Rating verprellt jetzt nicht die anderen, ich bin jedenfalls dabei!
Parent - - By Ingo Bauer Date 2010-01-03 10:03
Moin Frank

[quote="Ingo Bauer"]
... ich schau mir die Spiele an und konnte bisher bei Junior keine Endspielauffälligkeiten feststellen....
[/quote]

Habe gerade nochmal in meine Ipon Liste geschaut, wie man sehen kann hat Junior sogar eine niedrige Remisquote. Ein 50Züge Remisproblem sehe ich in keinster Weise.

Gruß
Ingo
Parent - By Frank Quisinsky Date 2010-01-03 13:54
Hallo Ingo,

Amir Ban testet offenbar ausschließlich unter Fritz GUI und mag die Shredder GUI nicht
Allard Siemeling testet offenbar nicht unter der Fritz GUI

Es gibt nach wie vor kleine aber feine Unterschiede zwischen den GUIs.
Wobei die Fritz GUI zum Testen meines Erachtens nun auch viel besser geeignet ist als die letzten Versionen der 9er GUI Oberfläche, die ich mir zuletzt für diesen Zweck kritisch angesehen habe.

Fall Spark:
Auf dem Intel Quad Core läuft Spark mit einem Core und Ponder problemlos unter der Fritz GUI.
Auf den beiden Intel Duo Cores gab es 7 von 40 Partien gegen Fritz 12 und 11 von 40 Partien gegen Junior 2010 mit Zeitüberschreitungen seitens Spark. Alles andere lief problemlos unter der Fritz GUI. Schwierig den Fehler zu finden, habe es schon erfolglos versucht.

Die Partien mit den Zeitüberschreitungen auf den Dual Cores habe ich auf dem Quad Core wiederholt.

Fall Junior:
Teste doch mal die Stellungseingabe von Junior 2010 unter Shredder GUI (Analysen laufen nicht).
Jetzt unter Arena, Fritz anderen GUIs (läuft).

Gibt noch ein kleines Ponder Problem unter der Shredder GUI und noch ein weiteres (wird mir hier aber jetzt zu technisch).
Das kann der Grund für die Abweichungen von Junior 2010 zwischen IPON und SWCR sein.

Teste doch Junior 2010 unter Fritz 12 und wir haben wieder das gleiche Ergebnis
Bin mir da sicher (auch wenn wir hier nur von 20-30 ELO reden).

Der ELO-Zuwachs von Junior 2010 zwischen 32-Bit und 64-bit kann nur sehr gering, wahrscheinlich wie bei Shredder 12 oder Naum 4 nicht messbar.
Bleibt also ca. bei 20 - maximal 30 ELO Abweichungen bei einer einzigen Engine.

Gruß
Frank
Parent - - By Frank Quisinsky Date 2010-01-03 13:45
Hi,

nein, alle Engines spielen bei mir mit Endspieldatenbanken !!
Wie bei Dir auch, glaube wir haben auch hier die gleichen Voraussetzungen bis auf das Du 64Mb Cash gibst (bei mir sind es 32Mb).

Lediglich die Funktion GUI nutzt Endspieldatenbank ist bei Junior eingeschaltet (also Nutzung nicht über die Engine sondern über die GUI).
Das hat die Auswirkung ,dass es nicht zu dem "Nicht Matt-Setzen-Problem" kommt.

Der Fehler ist also offensichtlich und kann mittels einer Funktion die keinen Einfluss auf das Ergebnis hat bereinigt werden.

Wie gesagt, die Bedinungen hinsichtlich der Nutzung der Endspieldatenbanken stehen auf der ersten der Ratingliste, die ja schon fertig ist.

Also bei der Theorie zur Anzahl der notwendigen Partien habe ich auch schon Erfahrungen aus ca. 40.000 Eng-Eng Partien die ich so in den Jahren gespielt habe. Die Statistiken hierzu (z. B. bei der ATL) habe ich immer offen gelegt. Auch im Download der derzeitigen Ratingliste steht eine Historie zur Ratingliste. Daraus geht sehr schön hervor ab wie vielen Partien ein Rating aussagekräftig ist.

Ich vertraue der ErrorBar nicht da es von der ErrorBar keine ErrorBar gibt

Lasse mal 5.000 Partien Rybka 3 - Stockfish 1.6 spielen. Stockfish 1.6 macht 50% und die ErrorBar sagt Abweichung von 5 ELO. Wir wissen aber das der Unterschied ca. 10x so groß ist. Soweit zum Thema ErroBars. Und je nach Gegnerschaft halte ich genau das für einen Beeinflussungsfaktor.

Wenn ich mich an Deine Kommentare aus der Vergangenheit erinnere hast Du hier eine andere Meinung.
Ist ja OK, aber ich habe noch nie etwas gegenteiliges festgestellt.

Werde ja wie gesagt noch einen Bericht über die Beeinflussungsfaktoren schreiben, bzw. meine Betrachtungsweisen aufgrund meiner Erfahrungen offen legen.
Natürlich nicht mit dem Anspruch das ich damit das Recht für mich pachte.

Vielmehr denke ich eher das es keine perfekte Ratingliste gibt.
Aber künstlich müssen wir auch kein Thema erschaffen

Gruß
Frank

Warum sollen sich die anderen Betreiber verprellt fühlen.
Eine Liste entsteht aufgrund der eingesetzten bzw. festgelegten Voraussetzungen.
Also, ich greife keine andere ELO-Liste an sondern sehe die Bemühungen als willkommene Ergänzungen.

Übrigens, das Junior 2010 Problem wird bei Dir glaube ich deswegen nicht aufkommen, weil Du mit Aufgabefaktor spielst. Oder lässt Du auch bis zum Matt spielen?
Parent - - By Ingo Bauer Date 2010-01-03 14:05
Moin

[quote="Frank Quisinsky"]
...
Lediglich die Funktion GUI nutzt Endspieldatenbank ist bei Junior eingeschaltet (also Nutzung nicht über die Engine sondern über die GUI).
Das hat die Auswirkung ,dass es nicht zu dem "Nicht Matt-Setzen-Problem" kommt.

Der Fehler ist also offensichtlich und kann mittels einer Funktion die keinen Einfluss auf das Ergebnis hat bereinigt werden.
[/quote]

Ich habe weder die Funktion an, noch dein Problem mit Junior! Bei mir läuft die engine absolut rund!

[quote="Frank Quisinsky"]
...
Ich vertraue der ErrorBar nicht da es von der ErrorBar keine ErrorBar gibt
Lasse mal 5.000 Partien Rybka 3 - Stockfish 1.6 spielen. Stockfish 1.6 macht 50% und die ErrorBar sagt Abweichung von 5 ELO. Wir wissen aber das der Unterschied ca. 10x so groß ist. Soweit zum Thema ErroBars.
...
[/quote]

Entweder hast du oder ich die Error Margins nicht verstanden. Für mich heist eine Error Margin von +/- 5 Elo (mit Elostat oder BayesElo erstelt) das die Engine mit 95% Wahrscheinlichkeit innerhalb des 10 Elo Intervalls liegt. Beide Enignes können natürlich trotzdem 50, 100 oder 2000 Elo weit we sein.

[quote="Frank Quisinsky"]
Und je nach Gegnerschaft halte ich genau das für einen Beeinflussungsfaktor.
[/quote]

Wie soll denn eine statistische Aussage die Gegnerschaft beeinflussen?

[quote="Frank Quisinsky"]
Wenn ich mich an Deine Kommentare aus der Vergangenheit erinnere hast Du hier eine andere Meinung.
Ist ja OK, aber ich habe noch nie etwas gegenteiliges festgestellt.
[/quote]

Auch hier ein "?"

[quote="Frank Quisinsky"]
Übrigens, das Junior 2010 Problem wird bei Dir glaube ich deswegen nicht aufkommen, weil Du mit Aufgabefaktor spielst. Oder lässt Du auch bis zum Matt spielen?
[/quote]

Nein, aber es kommt erstaunlich oft vor das eine Engine ein Matt anzeigt und die andere noch weit von 3x +/-5 gegen sich entfernt ist, in solchen Fällen läßt die GUI dann durch spielen bis zum Matt. Aber in der Tat könnte das ein Grund sein warum ich das vielleicht nicht sehe. Allerdings sollten unsere Ergebnisse dann auch beieinander liegen ...

Gruß
Ingo
Parent - - By Frank Quisinsky Date 2010-01-03 14:20 Edited 2010-01-03 14:30
Hi Ingo,

dann siehst Du das Problem mit dem Mattsetzen nicht, kannst Du nicht sehen.

Das Problem mit dem Matt-Setzen kommt offenbar nur unter der Shredder GUI vor wenn wirklich nur noch 3-4, einmal 5 Steine auf dem Brett sind.
Das kannst Du nicht sehen weil die Partie dann bei Dir schon längst als entschieden durch den Aufgabefaktor abgebrochen wurde.

Um sicher zu gehen, dass dieses Problem nicht unter der Fritz 12 GUI auftaucht habe ich GUI nutzt Endspieldatenbanken eingeschaltet.
Könnte ich auch unter der Shredder GUI machen, klar aber Junior produziert hier weitere Fehler (Analyse-Mode als Beispiel).
Wollte da einfach sicher gehen !!

Also, Du kannst das Problem aufgrund Deiner Bedingungen nicht sehen !!

Glaube schon das ich EloStat verstehe, habe dem Programmierer vor ca. 12 Jahren Partie-Material für seine Berechnungsgrundlagen geliefert und genau das auch überprüft.

Bei Deinem Beispiel stellt sich die Folgefrage:
Wie hoch ist die ErrBar wenn ELOstat zu dem Ergebnis kommt das es als 95% sicher gilt das eine Abweichung +-5 ist?

Nach meinen Ergebnissen = 10%

In 10% der Fälle liegt ein Ergebnis außerhalb der ErrorBar bei egal wie vielen Partien ab Partienummer 200-500.
Hatte ich schon ... muss das Experiment nicht wiederholen.

Jede Engine hat Lieblingsgegner / Angstgegner !!
Eine große Menge von Partien macht ein Ergebnis sicherer, klar.
Eine große Anzahl von Gegner macht ein Ergebnis noch sicherer.

Der Faktor: Mehr unterschiedliche Gegner ist für mich aussagekräftiger als die Menge von Partien.

Nun gut bei dem Vergleich unserer Listen kommt das nicht zum Tragen, weil Du auch viele unterschiedliche Gegner bei den Eng-Eng Matches einsetzt und diese dann offenbar auch langfristig die gleiche Anzahl von Partien spielen (wenn ich das jetzt richtig deute, lasst Du nicht zwei Shredder Versionen etc. gegeneinander antreten. Halte ich auch für besser !!

Die ErrorBar Diskussion hatten wir schon vor ca. 4 Jahren in der Schachwerkstatt

Warum unsere Ergebnisse nicht beieinander liegen ...
Das kann ich nicht richtig sehen aber fest steht das sich Junior unter der Shredder GUI merkwürdig verhält, nicht unter anderen GUIs (Stellungseingabe und Analyse) oder leichte Pondertreffer Verzögerungen ... in diesem Fall unter der Shredder GUI.

Gruß
Frank

Übrigens weiß ich von Shay das der Programmierer von Junior kein Fan von Fischer Zeitkontrollen ist bzw. auch hier die Zeit nicht richtig einteilt. Junior ist eine von drei mir bekannten aktuellen bzw. älteren TOP Engines die Fischer Zeitkontrollen nicht mögen. Auch das könnte eine Ursache sein. Die Zeiteinteilung von Junior bei x Züge in x Minuten ist hingegen schon als perfekt zu bezeichnen. Insofern könnte das Problem mit dem Matt-Setzen auch mit der Zeitkontrolle zuzammenhängen. Festgestellt bei Partie in 5 Minuten.
Parent - - By Ingo Bauer Date 2010-01-03 16:21 Edited 2010-01-03 16:23
Moin Frank

[quote="Frank Quisinsky"]
...Junior ist eine von drei mir bekannten aktuellen bzw. älteren TOP Engines die Fischer Zeitkontrollen nicht mögen. ...
[/quote]

Ich will gar nicht auf das obige von dir eingehen, aber manchmal kommt es mir so vor als wenn du ein paar Jahre nichts gemacht hast und jetzt deine Erkenntnisse von früher ohne zu Hinterfragen auf heute überträgst!

Ich jedenfalls habe KEINERLEI Hinweise das Junior mit Fischer nicht zurechtkommen sollte. In 2100 Spielen hat Junior 3 Spiele auf Zeit verloren - alle nach 256 Zügen - offensichtlich hat die Engine einen Bug (kann aber auch nur UCI Protokoll 1) - aber selbst wenn ich die 3 Spiele nachspielen würde und Junior ALLE gewinnt würde das vielleicht 1 Elo bedeuten.
Fischer ist für UCI Engines auch völlig unerheblich, weil die Engine per Protokoll nicht mal Weiß das sie Fischer spielt. Sie bekommt praktisch mit jedem Zug nur die Restzeit zum Spielende mitgeteilt - genauso wie beim klassischen Schach am Ende einer Partie (30 Min Rest). De fakto ist Fischer für eine UCI Engine nichts anderes als "Spiel in X Minuten" - unterscheidet sich also nicht von den ganzen Blitzranglisten, ausser natürlich das es länger ist ...!

Gruß
Ingo

PS: http://www.inwoba.de ist auf neue Engine geeicht!
Parent - By Frank Quisinsky Date 2010-01-03 16:38
Hi Ingo,

die Info ist in der Tat älter und ich spiele nicht mit Fischer Zeitkontrollen.
Allerdings habe ich das geprüft als mir die Probleme unter der Shredder GUI aufgefallen sind.

Teste mal folgendes:
40 Züge in 5 Minuten und beobachte wie viel Zeit Junior vor der Zeitkontrolle noch hat.
Dann teste das mal mit Fischer Bedenkzeit ... da geht es nicht so knapp zu und Junior hält Zeit zurück.

Allerdings habe ich das auch nur bei 2 Testpartien beobachtet.
Wie gesagt, spiele selbst nicht mit Fischer Zeitkontrollen.

Gruß
Frank

Wenn ich eine neue Engine in eine GUI picke nutze ich ein Testverfahren (sofern ein Interesse besteht kann ich das mal beschreiben bzw. würde ich das dann in den Bericht zu den Beeinflussungsfaktoren packen, wäre vielleicht eine Idee).

Kurz: Ponder-Verhalten, TB-Verhalten (werden die TBs gefunden), Auswirkung bei größeren Hash-Tables im Mittelspiel zum Vergleich im Endspiel, Prozessorauslastung,  Zeiteinteilung bei Partie in x Minuten, x Züge in x Minuten, bei Problemen dann Fischer Zeit-Kontrollen. Lernen aus, sonstige engine spezifische Einstellungen, Faktor bei Multiprozessing. Wenn ich das weiß erlebe ich nur selten Aussetzer. Allerdings kann ich auch nicht sagen warum Spark unter der Fritz GUI bzw. Junior unter der Shredder GUI Probleme haben. Wenn solche Probleme auf unterschiedlicher Hardware zustande kommen, obwohl die Rechner gleich konfiguriert sind wird es schwierig denn dann könnten es auch Hardwareeinstellungen sein. Wie gesagt, sonst laufen alle Engines unter Shredder 12 und Fritz 12 GUI problemlos. Schwierig wird es nur Ktulu einzupicken weil die Engine unregelmäßig hängen bleibt.

Auf meinen SWCR Systemen sind z. B. nur 19-22 Windows Dienste aktiv. Nichts im Autostart, Kaspersky deaktiviert, Internet Aus etc..

Das habe ich mir in Winboard Zeiten angewöhnt. Teste alles mögliche durch bevor ich die Engine dann in ein Ratinglisten Rennen schicke.
Musste ich auch denn aufgrund von diesem Test habe ich seinerzeit bei Frank's Chess Page die Winboard Detailseiten erstellt.
Parent - By Frank Quisinsky Date 2010-01-03 16:54
Hi,

OK, haben wir dann unsere Listen angepasst. Bin nun gespannt auf das Ergebnis von Fruit. Da wir die gleiche Version einsetzen sollte sich auch dieses Rating absolut angleichen

Zu Fischer Zeitkontrollen:
Da kann ich nicht richtig mitreden bzw. überprüfe nur grob da ich Fischer Zeitkontrollen noch nie eingesetzt habe. Die Infos die ich hier habe sind schon älter und stammen aus E-Mails mit Programmierern. Keine Ahnung ob es bei der Programmierung der Zeiteinteilung so grobe Unterschiede gibt bzw. kann das programmiertechnisch nicht nachvollziehen. Zarkov wäre Engine 2, Engine 3 war Ruffian. Blitze mal mit Shredder 12 GUI Partie in 5 Minuten. Ruffian 2.2.1 sagt z. B. auch hier vielen DANK und Tschüss ... ca. bei jeder 7 Partie ... hier aber auch nur merkwürdiger Weise auf AMD.

Gibt heit so Dinge!

Gruß
Frank
Parent - - By Michael Scheidl Date 2010-01-03 15:22
Zitat:
Ich spiele ALLE Engines mit 4 Steiner Tbs, aber NICHT in der GUI. Ich teste Engines und nicht GUIs! Wenn eine Engine keinen Tbs Support hat, dann ist das eben so.

Das ist für eine Testphilosophie welche Engines isoliert betrachtet, verständlich. Etwa nach dem Motto: Ich teste ausschließlich diese Softwarekomponenten, und die GUI dient nur zur Abwicklung, Partieerfassung usw. ohne sich "inhaltlich" in die Partien einzumengen.

Das kann man so sehen, aber es ist eine etwas künstliche Laborsituation.

Ich selber teste zwar nicht so methodisch bzw. umfangreich, sehe es aber fast umgekehrt: Warum sollte ein Anwender im Alltagsgebrauch einer GUI verbieten, Endspieltables zu benutzen - und dadurch beispielsweise, wenn er gerade mit Stockfish in eine Tbs.-Stellung reinanalysiert, auf die optimale Information verzichten? Also meine Philosophie ist eher (vielleicht nicht zu 100%), in meinen Tests brauchen die Engines nichts zu machen was sie nicht auch in einer "Normalpraxis" in meiner Konfiguration machen müssen. Wobei ich ohnehin nicht die ganze absurde Ladung Tablebases benutze, nur 3/4er und ein paar ausgwählte 5er. Aber damit dürfen bei mir ggfs., wenn die GUI es macht, selbst solche Tbs.-Endspiele mit Datenbankzügen abgewickelt werden, wo eine oder beide Engines überhaupt nicht zugreifen könnten. Ich halte das für eine sinnvolle Unterstützung die manche GUIs solchen (bzw. dann natürlich allen) Engines geben.

Ähnlich liberal sehe ich das, wie schon früher erwähnt, hinsichtlich Remis, Aufgeben und extrem langen Partien. Warum soll ich in Tests uninteressant gewordene Stellungen "mit Gewalt" zu Ende spielen lassen, deren Ausspielen mich im Normalfall überhaupt nicht interessieren würde? Immer wieder Zeit zu verschwenden, nur um eine Art Durchhaltevermögen von Engines oder seltsame Zeiteinteilungsprobleme oder so abzutesten, finde ich unnötig.

Ich bin auch skeptisch bei der Überlegung, ob solche für die gewöhnliche Anwendungspraxis kaum relevanten Umstände Einfluß auf Engineratings haben sollten.

Es ist natürlich trotzdem eine Affenschande, wenn - insbesondere gute bzw. prominente - Engines so elementare Lücken haben, wie nun zu meinem Schrecken von Junior, einem mehrfachen Computerweltmeister berichtet wird. Das umso mehr, als es sicherlich nach wie vor nicht wenige User gibt, die nichts über Tablebases wissen und diese daher auch nicht installiert haben (es zeigt sich regelmäßig in Forenanfragen). Diese neue GUI "Bobby Junior" wendet sich ja eher an Freizeit- bzw. Hobbyspieler, die sich ganz besonders über sowas wundern würden/werden, falls diese keine Tablebases gleich mitliefert...
Parent - - By Frank Quisinsky Date 2010-01-03 16:22
Hi Michael,

zu Deinen Kommentaren:
Partie abbrechen wenn Stellung entschieden ...

Zwei Dinge:

1. Ich habe unter der Shredder GUI bei einem Spiel folgendes gesehen:
Zwei Engines bewerten sich mit -6, beide nutzen keine Endspieldatenbanken. Keine Engine kann gewinnen (Läufer und Randbauer mehr, aber der falsche Läufer). Shredder bricht mit Remis ab, der GUI fehlt im Grunde eine Detail-Einstellung. Auch die Shredder GUI ist nicht perfekt und es gibt Verbesserungspotential

Dennoch ist die GUI wirklich richtig gut !!

Die Frage ist dann natürlich ...
OK, das ist nicht die Regel und dann ist heit eine solche Partie in der Datenbank.

Ich kann eh weder unter Shredder noch unter Fritz GUI einfach sehen ob Engines durch Zeit verloren haben. Arena zeigt das z. B. im Datenbankfenster an. Das erschwert natürlich die Kontrollfunktionen. Fraglich ist ob das bei der Masse der Partien überhaupt etwas ausmacht. Im Grunde ist das einfach nur unschön !!

2. Punkt 1 ist aber nicht der Punkt warum ich einstelle, dass bis zum Matt gespielt wird oder das ich bei Shredder GUI den Aufgabefaktor nicht so bequem variieren kann. Eher, interessieren mich die schnellsten Partien bis zum Matt. Sehe solche Partien sehr gerne, taktisch offene Verwicklungen. Möchte mal feststellen welche Engines die schnellsten Siege bis zum Matt glücken. Wahrscheinlich Spark, Shredder oder Stockfish ... mal schauen wenn ich mehr Partien habe.

Eine Sache die mich persönlich sehr interessiert.
Oft ärgere ich mich beim Zusehen.

Jetzt wurde ein schöner Angriff erspielt und ich sehe die Mattführung nicht Live beim Zusehen. Mitten in einer Spannungsphase wird die Partie abgebrochen. Das hat mich auch bei Arena früher schon sehr verärgert.

Gruß
Frank
Parent - - By Frank Quisinsky Date 2010-01-03 16:44
Fehler:
Shredder bricht nicht mit Remis sondern mit 1:0 ab, was ja nicht richtig ist.
GUI nutzt Endspieldatenbanken war ausgeschaltet.
Parent - - By Michael Scheidl Date 2010-01-03 19:10
Ich überprüfe normalerweise alle Stellungen, in denen aufgrund einer Partielängenbegrenzung abgebrochen wurde, manuell. Manchmal (selten) ist es tatsächlich kein Remis. Allerdings muß ich zugeben, daß ich Partien die aufgrund einer Aufgeben-Einstellung beendet wurden, nicht daraufhin überprüfe. Die Engines müssen ja konform gehen, also daß sich beide übereinstimmend irren, ist schon ziemlich exotisch. Es gibt Festungen die notorisch falsch bewertet werden, aber praktisch nie mit einer Bewertungsdifferenz über 600. Typisch wäre Dame gegen Turm und einige Bauern.

Im Allgemeinen stelle ich Aufgeben auf -700 und für "schnelle informelle" Tests auf -600, was wiederum etwas Zeit spart.
Parent - - By Ingo Bauer Date 2010-01-03 21:25
Hallo

[quote="Michael Scheidl"]
... Die Engines müssen ja konform gehen, also daß sich beide übereinstimmend irren, ist schon ziemlich exotisch. ...

Im Allgemeinen stelle ich Aufgeben auf -700 und für "schnelle informelle" Tests auf -600, was wiederum etwas Zeit spart.
[/quote]

Ich weiß das du die CB GUI meinst, aber für die Classic stimmt das nicht. Die verlierende Engine muß sich dort 3 mal mit 5 oder mehr Bauern im Nachteil sehen. In der Regel ist aber bei -5 der nächste Zug schon -5.5 und noch einer späer bei -7 aber natürlich könnte die andere Engine sich bei 0.00 sehen. Aber ich glaube es gibt mehr aufgegebene GM Partien die im Nachhinein per Analyse als Remis festgestellt wurden als den obigen Fall bei Enginespielen. (Wenn gleich ich mich an eine solche Partie erinnere!)
Ganz interessant, aber sehr theoretisch und demnach wohl praktisch auszuschließen ist, wenn sich BEIDE Enignes verlieren sehen würden

Wie macht die CB-GUI das, reicht das einmalige erreichen der -700 oder muß das auch mehrmals in Folge kommen?
Wenn es einmal reicht würde mich die Anzahl an Spielen interessieren die bei -500 dann doch Remis oder anders ausgehen (Prozentual) Theoretisch glaube ich könntest du mit -500 mehr Zeit sparen als damit "Seeschlangen" mit mehr als 250 Zügen zu verhindern

Gruß
Ingo
Parent - By Michael Scheidl Date 2010-01-04 05:56
In der Fritz-GUI gibt es diese Zahlenwerte nicht, zumindest nicht bis zu 10er. Es gibt: Aufgeben: niemals/spät/früh. Die Hilfe führt hierzu aus:

Zitat:
Aufgeben: Späte Aufgabe bedeutet, daß das Programm viermal hintereinander eine Bewertung von schlechter als 6,5 Bauerneinheiten für sich sehen muß, bevor es das Handtuch wirft. Bei einer frühen Aufgabe reicht dreimal hintereinander eine Bewertung von schlechter als 4,8 Bauerneinheiten.

Bei Enginematches müssen höchstwahrscheinlich die Engines übereinstimmen, wie üblich. Ich habe es jetzt nicht genau nachgeprüft, glaube mich aber zu erinnern daß ich in Fritz Enginepartien erhielt, die weitergingen während nur eine Seite (irrigerweise) über +6.5 bewertete und die andere möglicherweise ein Remis erkannte oder so.

Interessantes Detail:

Zitat:
Das Programm gibt nicht auf, wenn es sieht, daß es forciert mattgesetzt wird.

Letzteres bezieht sich wohl auf Mattankündigungen, die eine der Engines macht. - Die Bedingungen für frühes oder spätes Remis sind leider nicht beschrieben.
Parent - - By Kurt Utzinger Date 2010-01-03 13:27
[quote="Frank Quisinsky"]
[...]
Junior kann bei vielen Endspielkonstellationen nicht Matt setzen.
Viele Partien enden Remis mit der 50-Züge Regel. Daher spiele
ich mit Junior unter der Fritz GUI und schalte nur für Junior die
GUI-Table-Bases an. Sonst für alle anderen Engines aus.
[...]
[/quote]

Hallo Frank
Das darf doch aber nicht wahr sein ... Du gibst dem Junior
andere Bedingungen als den übrigen Engines. Das solltest
Du nun aber schleunigst ändern, oder den Junior aus Deiner
Liste streichen.
Mfg
Kurt
Parent - By Frank Quisinsky Date 2010-01-03 13:31
Hi,

geht nicht anders.
Da ich ohne Aufgabefaktor spiele (bis zum Matt spielen lasse) und Junior diverse Fehler unter der Shredder GUI prodziert (in Endspielstellungen nicht Matt setzen kann, weitere Fehler) nehme ich für Junior 2010 die Fritz GUI. Dort verhält sich Junior absolut perfekt aber auch nur wenn das Häckchen für "GUI nuzt Endspieldatenbanken" gesetzt ist. Damit umgehe ich ja nur das Partien nicht nach 50 Zügen mit Remis enden weil Junior nicht Matt setzen kann.

Hinsichtlich Vorteil: Macht sich kaum bemerkbar !!

Gruß
Frank
Up Topic Hauptforen / CSS-Forum / Interesssante Erkenntnisse: SWCR zu Ipon ...

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill