Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Was will man testen?
- - By Ingo B. Date 2013-12-23 16:21
Hallo alle,

Im Rahmen der Erweiterung meiner privaten Liste habe ich mir ein paar Gedanken gemacht und bin auf ein "Problem" gestoßen. Nun interessiert mich dazu die allgemeine Meinung und vielleicht hat irgendein kluger Kopf ja sogar eine gute Idee/Lösung.

Meine Liste war schon immer etwas "dünn" in der E-Line der Eco Codes und auch  die A-Linie war unterrepräsentiert. Da ich sowieso von 150 auf 200 Partien je Enginematch erhöhen wollte und somit 25 weitere Teststellungen brauchte, habe ich also einige A und E Linien (+ein paar aus BCD) genommen, die auf Teststellungstauglichkeit abgeklopft und schließlich mit diesen 25 Stellungen ein großes Turnier der TOP16 Engines gestartet. Nun liegt H4 bei mir in der vollen (und TOP22) Liste weit vorne, um so erstauner war ich zu sehen, dass H4 in der A Linie abgeschlagener dritter wurde (zu wenig Spiele, nach der B-Linie war er wieder erster).

Dieses Ereigniss habe ich zum Anlass genommen um mal zu sehen was ich und andere überhaupt teste(n):

     IPON-2013 T22   IPON-2013      CEGT-2013 40/20 CCRL-2013 4040  5000-PGN      SWCR 
                       
NO GAMES 
        34650        282400         708726          487986          5000          161160                      
ECO                       
A      6493  18,74%  53929  19,10%  129783  18,31%   90447  18,53%  1504  30,08%  56913  35,31%
B      8726  25,18%  73151  25,90%  192991  27,23%  131692  26,99%  1105  22,10%  30895  19,17%
C      7942  22,92%  65843  23,32%  127867  18,04%   81064  16,61%   612  12,24%  24205  15,02%
D      7291  21,04%  59216  20,97%  141832  20,01%  102220  20,95%  1068  21,36%  34084  21,15%
E      4198  12,12%  30261  10,72%  116253  16,40%   82563  16,92%   711  14,22%  15063   9,35%


Alle Zahlen sind von heute.

Zur Erläuterung noch, dass B und C alles mit e4 ist, D und E alles mit d4 als erster Zug und A ist der gesammte Rest. Im B Code steckt der Sizilianer, der wohl die meistgespielte Eröffnung der letzten Jahre in der menschlichen Turnierpraxis ist.

Die "klassischen" Buchlisten haben Ihren Schwerpunkt im B Bereich, auch ich habe dort die Majorität, das 5000er PGN SET das ich habe (FQ?) sowie die SWCR (selig) haben eine komplett andere Verteilung. (Inwiefern sind alle diese Listen, neben der unterschiedlichen Errorbar, überhaupt noch vergleichbar? Sie MÜSSEN Aufgrund der Eröffnungen eine andere Endverteilung haben. Wie groß ist diese andere Verteilung? Kleine Frage am Rande)

Ich habe darüber nachgedacht und glaube das die Verteilung nicht "gut" oder "schlecht" ist, sondern die Frage muß lauten was relevant ist? Will man eine Rangliste die sich am menschlichen Turnierschach orientiert? Dann frage ich mich ob das nötig ist, da Engines diser Turnierstärke definitiv entwachsen sind und man eher eine Liste machen sollte die "das Schach" abbildet. Auf der anderen Seite ist "das Schach" ein ziemlich abstrakter Begriff und die Listen werden für Menschen gemacht, warum also nicht die Turnierpraxis abbilden.
Die zweite Frage die sich mir stellt ist, ob der ECO Code so wie wir ihn gewohnt sind, überrhaupt eine ordentliche Relation für das Schach bietet. Wenn 4/5 nur mit e4 und d4 zu tun haben, ist es vielleicht an der Zeit diese Art der Darstellung - zumindest für Computerschach - abzulösen (ich weiß, ich träume. Nichts ist konservativer als der Schachspieler, zumindest in seinem "Sport"). Oder anders, wenn man auf A bis E jeweils 20% verteilen würde, wie "korrekt" wäre das für eine Rangliste.

Meine Fragen zusammengefasst:

1. In Bezug auf Eröffnungen, was sollte eine ideale Rangliste darstellen?
2. Ist im oOmputerschach eine Nomenklatur die 4/5 mit nur zwei Eröffnungszügen belegt nur weil der Mensch diese zwei Züge gerne spielt, noch zeitgemäß. (20% je Kategorie?)

Vielen Dank für eine Meinung, bin gespannt ob mir irgendetwas weiterhilft und vielleicht hat der ein oder andere auch etwas zum Nachdenken über die Feiertage.

Gruß
Ingo
Parent - - By Stefan Pohl Date 2013-12-23 17:38
Sehr interessant. Deine Ansicht, daß es fraglich ist, ob die Eröffnungsvorgaben noch das menschliche Turnierschach abbilden sollten, obwohl die Engines längst in unmenschliche Elo-Sphären entschwebt sind, teile ich voll und ganz. Die Frage ist dann natürlich, wie die Verteilung sonst aussehen sollte.
Ich kann dazu nur die Idee posten, die mir diesbzgl. seit geraumer Zeit im Kopf rumgeistert. Nämlich die Überlegung, für eine Rangliste komplett auf Laborbedingungen umzuschwenken und mit minimal variierten Grundstellungen zu operieren, die aber dennoch kein FischerRandomSchach sind. Dazu kann man Stellungen erstellen, wo Bauern um 1 Feld vorgezogen werden und zwar für beide Farben spiegelsymmetrisch, sodaß 100% neutrale Stellungen entstehen. Zum Verständnis ein paar Beispiele:
1. a3 a6
1. b3 b6
1. b3 b6 2. a3 a6
1. c3 c6
1. c3 c6 2. b3 b6
1. c3 c6 2. a3 a6
1. c3 c6 2. b3 b6 3. a3 a6
1. d3 d6
usw.

das ergibt maximal 255 absolut symmetrische Anfangsstellungen. Ich habe mir schon mal ein PGN-File mit 250 Stellungen kreiert, sodaß damit immerhin 500 Partien pro Engine-Engine Match möglich wären. Das wären zwar nur halb so viele, wie ich bisher spielen lasse, aber die die Stellungen absolut symmetrisch sind und daher keine Seite im Vorteil ist (bis auf den weißen Anzugsvorteil) könnte das für statistisch brauchbare Ergebnisse durchaus reichen.
Ich werde mit diesem Ansatz demnächst mal ein paar Praxistests machen und sehen, was dabei so für Partienmaterial entsteht.

Es ist klar, daß die Stellungen erst mal ein bißchen komisch aussehen, aber sie sind der Grundstellung sehr ähnlich, bevorteilen keine Seite und erlauben den Engines sich völlig selbstständig eine Stellung aufzubauen bzw. die Figuren zu entwickeln. Und es ist reguläres Schach, kein FischerRandom, was ja viele Engines nicht beherrschen, sodaß alle Engines damit zurechtkommen. Und es umgeht die Frage, welche Eröffnungssysteme man auswählen soll.

Nur so als Diskussionsbeitrag meinerseits...Muß mir das wie gesagt erst mal selber in der Praxis ansehen.

Gruß - Stefan
Parent - By Guest Date 2013-12-23 19:02
Stefan Pohl schrieb:

Sehr interessant. Deine Ansicht, daß es fraglich ist, ob die Eröffnungsvorgaben noch das menschliche Turnierschach abbilden sollten, obwohl die Engines längst in unmenschliche Elo-Sphären entschwebt sind, teile ich voll und ganz. Die Frage ist dann natürlich, wie die Verteilung sonst aussehen sollte.
Ich kann dazu nur die Idee posten, die mir diesbzgl. seit geraumer Zeit im Kopf rumgeistert. Nämlich die Überlegung, für eine Rangliste komplett auf Laborbedingungen umzuschwenken und mit minimal variierten Grundstellungen zu operieren, die aber dennoch kein FischerRandomSchach sind. Dazu kann man Stellungen erstellen, wo Bauern um 1 Feld vorgezogen werden und zwar für beide Farben spiegelsymmetrisch, sodaß 100% neutrale Stellungen entstehen. Zum Verständnis ein paar Beispiele:
1. a3 a6
1. b3 b6
1. b3 b6 2. a3 a6
1. c3 c6
1. c3 c6 2. b3 b6
1. c3 c6 2. a3 a6
1. c3 c6 2. b3 b6 3. a3 a6
1. d3 d6
usw.

das ergibt maximal 255 absolut symmetrische Anfangsstellungen. Ich habe mir schon mal ein PGN-File mit 250 Stellungen kreiert, sodaß damit immerhin 500 Partien pro Engine-Engine Match möglich wären. Das wären zwar nur halb so viele, wie ich bisher spielen lasse, aber die die Stellungen absolut symmetrisch sind und daher keine Seite im Vorteil ist (bis auf den weißen Anzugsvorteil) könnte das für statistisch brauchbare Ergebnisse durchaus reichen.
Ich werde mit diesem Ansatz demnächst mal ein paar Praxistests machen und sehen, was dabei so für Partienmaterial entsteht.

Es ist klar, daß die Stellungen erst mal ein bißchen komisch aussehen, aber sie sind der Grundstellung sehr ähnlich, bevorteilen keine Seite und erlauben den Engines sich völlig selbstständig eine Stellung aufzubauen bzw. die Figuren zu entwickeln. Und es ist reguläres Schach, kein FischerRandom, was ja viele Engines nicht beherrschen, sodaß alle Engines damit zurechtkommen. Und es umgeht die Frage, welche Eröffnungssysteme man auswählen soll.

Nur so als Diskussionsbeitrag meinerseits...Muß mir das wie gesagt erst mal selber in der Praxis ansehen.

Gruß - Stefan


Sieht auf den ersten Blick sehr gekünstelt aus. Interessant wäre mal zusehen wie sich eine Liste daraus im Vergleich zum herkömlichen aufbaut.

Bei mir ist interessant das die 25 neuen grundverschiedenen Positionen nach 2/3 der nachzuholenden Spiele, doch wieder die "alte" Reihenfolge erspielt haben (wenn auch mit anderem Abstand)

Ingo
Parent - - By Stefan Schiffermüller Date 2013-12-23 17:43
Hallo Ingo,

ich denke, dass ein Eröffnungsset für eine Rangliste jene Positionen enthalten sollte, die am häufigsten in Partien starker Spieler vorgegekommen sind. Gleichzeitig sollten alle Positionen zueinander unähnlich sein, was z.B. heißen könnte, dass es keine zwei Positionen des Eröffnungssets geben darf, die innerhalb der Pariendatenbank in die selbe Position münden. Auf diese Weise werden die Engines in jenen Eröffnungen getestet, die von Menschen am häufigsten gespielt werden. Schließlich will ich die Engine als Analysewerkzeug für meine Partien benutzen und da muss sie in normalen vom Menschen gespielten Eröffnungen zurechtkommen.

Gruß Stefan
Parent - - By Ingo S Date 2013-12-23 18:50
Stefan Schiffermüller schrieb:

ich denke, dass ein Eröffnungsset für eine Rangliste jene Positionen enthalten sollte, die am häufigsten in Partien starker Spieler vorgegekommen sind.


Das ist ein Standpunkt, bleibt die "gemeine" Frage warum das so sein sollt wenn alle getesteten Engines (Top 15) besser sind als als diese "starken Spieler"?

Stefan Schiffermüller schrieb:

Gleichzeitig sollten alle Positionen zueinander unähnlich sein, was z.B. heißen könnte, dass es keine zwei Positionen des Eröffnungssets geben darf, die innerhalb der Pariendatenbank in die selbe Position münden.


Sehr schwierig, wenn nicht unmöglich. Mein 75er Testset, und auch mein zukünftiges 100, enthält z.T. sehr kurze Varianten (Durchschnitt bei den 75 war 6-7 Züge). Da ist es fast unausweichlich das die Engines auch mal in etwas völlig anderes abwickeln. Die ECOs meines Testsets weichen durchaus von den ECOs meines fertigen Top22 Turniers ab ... Da streitet sich die Prämisse möglichst kurze Eröffnungen zu spielen, um auch die Engines spielen zu lassen, mit dem Versuch Einmaligkeit herzustellen.

Stefan Schiffermüller schrieb:

Auf diese Weise werden die Engines in jenen Eröffnungen getestet, die von Menschen am häufigsten gespielt werden. Schließlich will ich die Engine als Analysewerkzeug für meine Partien benutzen und da muss sie in normalen vom Menschen gespielten Eröffnungen zurechtkommen.


Da kommst du wieder mit "Realität", phhh
Im Ernst, kein Rechner sieht sich die Listen an, warum also künstliche Stellungen benutzen. Ich sehe den Punkt, bin aber unschlüssig.

Gruß
Ingo
Parent - - By Stefan Schiffermüller Date 2013-12-23 21:27
Ingo S schrieb:

Stefan Schiffermüller schrieb:

ich denke, dass ein Eröffnungsset für eine Rangliste jene Positionen enthalten sollte, die am häufigsten in Partien starker Spieler vorgegekommen sind.

Das ist ein Standpunkt, bleibt die "gemeine" Frage warum das so sein sollt wenn alle getesteten Engines (Top 15) besser sind als als diese "starken Spieler"?

Weil die Engine in den Positionen getestet werden soll, die auch im menschlichen Schach üblich sind, da ich die Engine zur Analyse meiner menschlichen Partien benutzen will. Eine Engine, die nur bestimmte computer-typische Eröffnungen aufs Brett bringt und auch nur dort gut ist, nützt mir nichts.

Ingo S schrieb:

Stefan Schiffermüller schrieb:

Gleichzeitig sollten alle Positionen zueinander unähnlich sein, was z.B. heißen könnte, dass es keine zwei Positionen des Eröffnungssets geben darf, die innerhalb der Pariendatenbank in die selbe Position münden.

Sehr schwierig, wenn nicht unmöglich. Mein 75er Testset, und auch mein zukünftiges 100, enthält z.T. sehr kurze Varianten (Durchschnitt bei den 75 war 6-7 Züge). Da ist es fast unausweichlich das die Engines auch mal in etwas völlig anderes abwickeln. Die ECOs meines Testsets weichen durchaus von den ECOs meines fertigen Top22 Turniers ab ... Da streitet sich die Prämisse möglichst kurze Eröffnungen zu spielen, um auch die Engines spielen zu lassen, mit dem Versuch Einmaligkeit herzustellen.

Das ist per Hand tatsächlich unmöglich. Aber vielleicht gibt es Tools mit Hilfe derer sich das anstellen ließe. Man würde sowohl Positionen erhalten, die aus langen Hauptvarianten als auch aus kurzen Nebenvarianten entspringen. Die Frage nach der Variantenlänge stellt sich gar nicht, da es nur nach Häufigkeit des Auftauchens einer Position geht.

Gruß Stefan
Parent - By Guest Date 2013-12-23 22:26
Stefan Schiffermüller schrieb:

Ingo S schrieb:

Stefan Schiffermüller schrieb:

ich denke, dass ein Eröffnungsset für eine Rangliste jene Positionen enthalten sollte, die am häufigsten in Partien starker Spieler vorgegekommen sind.

Das ist ein Standpunkt, bleibt die "gemeine" Frage warum das so sein sollt wenn alle getesteten Engines (Top 15) besser sind als als diese "starken Spieler"?

Weil die Engine in den Positionen getestet werden soll, die auch im menschlichen Schach üblich sind, da ich die Engine zur Analyse meiner menschlichen Partien benutzen will. Eine Engine, die nur bestimmte computer-typische Eröffnungen aufs Brett bringt und auch nur dort gut ist, nützt mir nichts.
...


Schön pragmatisch beantwortet - trotzdem scheint es so als wenn a) "das Schach" größer ist als das was du so spielst und b) man sich vielleicht auch um das kümmern sollte was ausserhalb des eigenen Horizontes so tut.

Wobei ich zugeben muß, dass beide Thesen aufgrund der enormen Spielstärke der Engines vielleicht zu viel sind  ... in dem Fall ist das alles aber sowiso vergebens.

Vielleicht ist eine gute Mischung die, die aus Turnierpraxis und Computertypisch diejenige die uns ermöglicht auch mal etwas Neues zu entdecken?!?
Konkret heißt das für mich das ich vielleicht mehr Schwerpunkte auf anderes als e4 und d4 legen sollte und darauf achten muß, dass dies sich nicht einfach "umstellt" ohne gleich e4 und d4 auf jeweils 1/20 der möglichen Eröffnungszüge zu reduzieren ... Das ist schon fast ein Projekt für die IPON 2015 (und nicht 2014).

Gruß
Ingo
Parent - - By Stefan Pohl Date 2013-12-23 19:39
Stefan Schiffermüller schrieb:

Schließlich will ich die Engine als Analysewerkzeug für meine Partien benutzen und da muss sie in normalen vom Menschen gespielten Eröffnungen zurechtkommen.


Das werden wohl viele Leute so sehen, daher fürchte ich, daß die Akzeptanz meiner Idee mit den künstlichen symmetrischen minimal-variierten Grundstellungen wohl bei den meisten eher gering sein wird. Dennoch werde ich mal ein paar kleinere Tests damit machen, um mal zu sehen, wie die Partien so laufen.

Stefan
Parent - - By Stefan Schiffermüller Date 2013-12-23 21:32
Stefan Pohl schrieb:

Stefan Schiffermüller schrieb:

Schließlich will ich die Engine als Analysewerkzeug für meine Partien benutzen und da muss sie in normalen vom Menschen gespielten Eröffnungen zurechtkommen.


Das werden wohl viele Leute so sehen, daher fürchte ich, daß die Akzeptanz meiner Idee mit den künstlichen symmetrischen minimal-variierten Grundstellungen wohl bei den meisten eher gering sein wird. Dennoch werde ich mal ein paar kleinere Tests damit machen, um mal zu sehen, wie die Partien so laufen.

Stefan


Hallo Stefan,

wenn ich deinen Gedanken, die Engine möglichst viel selbst spielen zu lassen und daher kurze Varianten wähle, konsequent zu Ende führe, bietet sich Fischer-Random-Schach an, was aber leider nicht alle Engines beherrschen.

Gruß Stefan
Parent - - By Stefan Pohl Date 2013-12-24 05:52
Stefan Schiffermüller schrieb:

Stefan Pohl schrieb:

Stefan Schiffermüller schrieb:

Schließlich will ich die Engine als Analysewerkzeug für meine Partien benutzen und da muss sie in normalen vom Menschen gespielten Eröffnungen zurechtkommen.


Das werden wohl viele Leute so sehen, daher fürchte ich, daß die Akzeptanz meiner Idee mit den künstlichen symmetrischen minimal-variierten Grundstellungen wohl bei den meisten eher gering sein wird. Dennoch werde ich mal ein paar kleinere Tests damit machen, um mal zu sehen, wie die Partien so laufen.

Stefan


Hallo Stefan,

wenn ich deinen Gedanken, die Engine möglichst viel selbst spielen zu lassen und daher kurze Varianten wähle, konsequent zu Ende führe, bietet sich Fischer-Random-Schach an, was aber leider nicht alle Engines beherrschen.

Gruß Stefan


Das war ja der Grund, warum ich diese Idee vorgestellt habe, da sie eben kein FischerRandom Schach ist, so daß alle Engines mit diesen Stellungen getestet werden können bzw. könnten. Zudem hat man beim FischerRandom Schach wieder das gleiche Problem, wie bei den klassischen Eröffnungsvorgaben, nämlich welche man auswählt (es gibt ja sehr viele mögliche FischerRandom Startpositionen). Dieses Problem hätte man bei meiner Idee nicht, denn erstens gibt es nur 255 mögliche Eröffnungspositionen und zweitens sind die Stellungen absolut symmetrisch, sodaß kein Vorteil für Weiß oder Schwarz auf dem Brett ist.
Diese Stellungen hätten also schon viele Vorteile gegenüber den klassischen Testmethoden, aber ich fürchte eben, daß viele diese Stellungen als praxisfremd ablehnen werden - und somit auch die sich daraus ergebenden Testergebnisse.
Dazu aber gerne mehr Kommentare.

Stefan
Parent - - By Guest Date 2013-12-24 08:15
Stefan Pohl schrieb:

... und zweitens sind die Stellungen absolut symmetrisch, sodaß kein Vorteil für Weiß oder Schwarz auf dem Brett ist.


Symetrisch ja, aber a) viele dieser Positionen können sich in gleiches weiterentwickeln und b) dass, weil symetrisch, kein Vorteil auf dem Brett ist, ist nur eine, zugegebenermaßen plausible, Hypothese!

Trotzdem wären es neutrale Stellungen in dem Sinne, dass sie eben nicht das räpresentieren was Menschen meinen gut zu finden.

Ingo
Parent - By Stefan Pohl Date 2013-12-24 14:02
Guest schrieb:

Stefan Pohl schrieb:

... und zweitens sind die Stellungen absolut symmetrisch, sodaß kein Vorteil für Weiß oder Schwarz auf dem Brett ist.


Symetrisch ja, aber a) viele dieser Positionen können sich in gleiches weiterentwickeln


Ja, das ist ein Argument. Echte Dubletten dürften zwar praktisch ausgeschlossen sein, aber es könnten sich ähnliche Stellungstypen ergeben, diese Befürchtung hege ich auch.
Leider bin ich mit meiner LS-Rangliste aufgrund meiner dürftigen Hardwarewausstattung so ausgelastet, daß ich kaum dazu komme, mal etwas ausführlichere Tests mit diesen Stellungen zu machen.
Sollte jemand freie Hardware und Interesse haben, mit diesen Stellungen ein paar Testreihen zu machen, so möge er mir per PM oder per Kontaktfunktion meiner Website seine email-Adresse zukommen lassen, dann sende ich die 250 Stellungen als PGN-File gerne zu.

Stefan
Parent - - By Chess Player Date 2013-12-23 18:11
Endlich einmal wird hinterfragt was man testen soll. Finde ich gut. Was kann man im Zusammenhang denn testen? Die Stärke der Engine, die Güte der Eröffnungen, Hardware, SP, MP, ...Ponder...u.s.w. Endspiele, Mittelspiele... Gambitspiele...

Es ist auch gut mal den Big Key von Chessbase mal anzusehen. Dort fällt mir auf, das auch in A5-A9 1. d4 drinne steht!

Wie sieht es mit Zugumstellungen aus? Können die Engines damit umgehen?

Der Vorschlag von Stefan erscheint mir nicht erfolgreich zu sein...Viele Eröffnungen sind dann nicht mehr möglich...
Parent - - By Ingo B. Date 2013-12-23 18:59
Chess Player schrieb:

Endlich einmal wird hinterfragt was man testen soll. Finde ich gut. Was kann man im Zusammenhang denn testen? Die Stärke der Engine, die Güte der Eröffnungen, Hardware, SP, MP, ...Ponder...u.s.w. Endspiele, Mittelspiele... Gambitspiele...


Eröffnungen war miene Frage. HW, SP, MP, Ponder habe ich für mich pragmatisch beantwortet (im Moment). Endspiele, Mittelspiele, Gambit oder sonstwas ist eine sehr individuelle menschliche Sichtweise die der Mensch versucht dem Schachspiel aufzudrängen - bedeutungslos im Sinne einer Testumgebung die ganze Spiele behandelt..

Chess Player schrieb:

Es ist auch gut mal den Big Key von Chessbase mal anzusehen. Dort fällt mir auf, das auch in A5-A9 1. d4 drinne steht!


A5 bis A9 hat kein d4 als ersten Zug, auch sortiert CBs Bigkey bei mir d4 SPiele nicht in die A-Kategorie ...
Hier mal die ECOs die ich nutze: ECO.7z Keine Ahnung wo ich die herhabe.

Chess Player schrieb:

Wie sieht es mit Zugumstellungen aus? Können die Engines damit umgehen?


Was soll eine Engine damit "umgehen"? So was passiert halt!

Ingo
Parent - - By Chess Wendicus Date 2013-12-24 09:55
Wikipedia gibt aber dem Poster Chess Player recht: schau nach bei Wiki!
http://de.wikipedia.org/wiki/ECO-Code#Hauptschl.C3.BCssel_der_A-Reihe
Parent - - By Chess Player Date 2013-12-24 10:33
Das heisst mit anderen Worten: Diese Auswertungen sind auf Sand gebaut und damit fragwürdig! Nicht schön.
Ob die anderen Ratingersteller auch den gleichen Fehler gemacht haben?

Für mich als Schachspieler, der gelegentlich Partien analysieren will, ist es erforderlich, dass die Chess Engines ALLE
erdenklichen Schachstellungen gut behandeln. Eröffnungen auszusortieren ist daher Kontraproduktiv. Auch wenn es in der Vergangenheit als Kompromiss erforderlich schien...
Parent - By Guest Date 2013-12-24 12:19
Chess Player schrieb:

Das heisst mit anderen Worten: Diese Auswertungen sind auf Sand gebaut und damit fragwürdig! Nicht schön.
Ob die anderen Ratingersteller auch den gleichen Fehler gemacht haben?

Für mich als Schachspieler, der gelegentlich Partien analysieren will, ist es erforderlich, dass die Chess Engines ALLE
erdenklichen Schachstellungen gut behandeln. Eröffnungen auszusortieren ist daher Kontraproduktiv. Auch wenn es in der Vergangenheit als Kompromiss erforderlich schien...


Nichts schlimmeres als jemand der mit gespaltener Persönlichkeit hier postet. Sich selber Antworten ehe das Anonposting freigeschaltet wird ist schon seltsam. Ich würde da mal schauen lassen ob noch alles i.O. ist.

Ansonsten hat auch meine ECO Liste oben D4 in der A linie. Habe ich offensichtlich übersehen. Weiter unten sind wir aber schon bei einer anderen, wie mir schient, sinnigeren Klassifikation - Danke Werner!

Ob "die anderen" solche Fehler machen ist irrelevant wenn man sich mal die Listen anschaut. Interessanterweise ist insbesondere die CEGT 40/20 immer fast eine Kopie der IPON gewesen, obwohl völlig anders konzipiert. Auf sehr seltsame Weise gleichen sich die Listen alle mit vielen Spielen aus. Ein Mysterium das meine Frage nach "Was will man testen" eigentlich ad absurdum führt - weil man annehmen könnte es wäre völlig egal, so lange es nur genug Spiele sind ...

Ingo
Parent - - By Frank Quisinsky Date 2013-12-23 18:41
Hallo Ingo,

hattest ja bei IPON auch den Vorteil, durch das Nutzen von gleichen Stellungen (augenscheinlich) die Engine immer gleich starten zu lassen. Nur, die Partie wird durch ausgeglichene Stellungen hierdurch nicht beeinflusst (soll ja auch nicht).

Nachteilig eher für Dich dabei ist, siehst immer die gleichen Eröffnungen und das ist auf Dauer beim Zusehen langweilig.

Im großen Downloadfile auf meiner Webseite sind alle Daten und Erläuterungen enthalten hinsichtlich der Auswahl und Erstellung des Shredder Random Buches. Leider hat die Shredder GUI keine PGN-Random Funktion. Insofern muss da getrickst werden und das versuchte ich mit diesen ca. 5.000 Stellungen. Shredder also dazu zu bewegen folgendes zu tun:

1. Zufälliges auswählen der 5.000 Positionen!
2. Unter Beibehaltung der ECO Aufteilung der letzten 10 Jahre GM Praxis (das war die größte Arbeit). Selbst wenn Shredder zufällig ausspielt habe ich nicht die gewollte ECO Aufteilung weil zu viel 1. c4, 1. d4, 1. Sf3 Eröffnungen in gleiche System landen und dann ECO technisch zu wenig 1. e4 Eröffnungen gespielt werden.
3. Die Stellungen raus zu holen die zu schnellen Remisvarianten durch dreifache Stellungswiederholung führen und die Stellungen raus zu holen mit denen Engines gar nicht klar kommen. So wurden im Verlauf der SWCR1 rund 150 Stellungen entfernt und leider auch rund 400 Stellungen entfernt um den ECO Code so durch das Random Book zu beeinflussen damit die ECO Aufteilung stimmt.

Ca. 1 Jahr Arbeit gewesen mit durchaus sehr zufriedenstellenden Erfolg denn ...

1. Shredder spielt zufällig ... kaum mal doppelte Eröffnungen in einem 50Partien Wettkampf
2. ECO Code stimmt zu 90% ... Bei ECO-B leider noch ca. 5% zu viel die wonders fehlen aber sein es drum ... es geht nicht besser oder ich muss zu viel löschen (macht keinen Sinn)
3. In jetzt ca. 15.000 Partien die ich für die SWCR2 habe spielen lassen gab es 2 Partien mit Remis unter 18 Zügen (werden bei mir wiederholt). Nur 2 !! Kürzeste Gewinnpartie von Spike - Rykba nach 28 Zügen. Da hat Rybka aber auch einen Bock geschossen, mein lieber ...

Buch ist perfekt zum Testen einer Ratingliste.
Es macht Sinn sich auf moderne GM Theorie zu konzentrieren denn die GMs kennen das alles in und auswendig. Macht keinen Sinn Königsgambit spielen zu lassen oder zu kritische holländische Eröffnungen die unsere Engines eh kaum verstehen.

Übrigens, die 5000 Positionen wurden seinerzeit mit 3 Engines bei 4-Core 1-Minute Analyse pro Position analysiert. Wenn eine Engine z. B. über +0.60 ging wurden die Daten in eine extra Datenbank gespielt und nochmals überprüft. Meist kommt der Ausgleich dann wenige Züge später ... auch hier musste ich nochmals rund 40 Stellungen entfernen.

Es gibt ja auch noch das Tool von Volker Annuss speziell zu dieser SWCR Datenbank.
Per Zufallsgenerator kannst Du aus den 5.000 einen Test-Set in beliebiger Größe unter Beibehaltung der ECO-GM Aufteilung erstellen.
Könntest also rein theoretisch vor jedem Spießroutenlauf einen neuen Testset zufällig kreieren lassen.

Die Lösung wäre auch eine weil ich ca. 400 Stellungen entfernen musste um das Shredder Random Buch überhaupt hin zu bekommen. Probiere das mal aus ... geniales Tool. Lade einfach die komplette Datei mit über 100 MB nochmals herunter und beschäftige Dich mal mit der HTML zur Erstellung der Datenbank. Vielleicht hast Du ja Ideen hier noch irgend etwas zu verbessern. Ich habe keine mehr denn für mich sind es die optimalen Testdaten speziell zugeschnitten auf die Erstellung einer Computerschach Ratingliste.

Tja, was eine ideale Ratinglisten darstellten sollte.
Ich denke das was Modern ist und von Experten angewendet wird. Im Eröffnungsbereich sind die GMs den Computerprogrammen weit überlegen und warum dieses Wissen nicht optimal nutzen. Halte hier auch die moderne Theorie für wichtig. Hatte ja auch zwei GMs die sich intensiv mit der SWCR beschäftigten. Sie waren auch immer sehr dankbar für das Partiematerial ... einer schrieb mal ... Frank Du produzierst unglaublich wichtige Daten zur aktuellen Theorie. Nur leider ... warum schneidest Du ab Zug 9 ab?

Ich schrieb ihm dann ab welchen Zug sollte ich denn sonst abschneiden ... er dann ... unterschiedlich!
Ich dann ... dann gehe die 5.000 Stellungen durch und schneide ab wenn die Theorie abgeschlossen ist ... er dann ... das kann ich nicht, das Wissen hat niemand.
OK, verstehe für Computerschach auch nur wichtig das die Engines nicht mit Nachteil in die Partie gehen.

Gruß
Frank

PS: Kann dir die aktuelle HTML der SWCR2 senden wenn Du willst. Dann kannst Du ja das mit den Eröffnungen anhand der aktuellen Partien mal selbst prüfen.
Parent - By Frank Quisinsky Date 2013-12-23 18:51
Hallo,

doch einen Nachteil hat das Buch bzw. das Random File noch.
Es sind natürlich Stellungen drin bei denen die Dame schnell innerhalb der ersten 8 Züge getauscht wird.

Nicht gut!
Mache ich eine Statistik zum Ausgang dieser Partien sind im Vergleich zu den Partien wo die Dame noch drin ist etwas gravierendes auffällig. Die Remisquote steigt um 6,2% an. Am liebsten würde die ich die Stellungen raus holen aber dann beeinflusse ich das was Vorgabe war ... moderne Theorie und dazu gehören auch solche Stellungen bzw. Positionen.

Finde dennoch ich sollte hier beeinflussen.
War hier immer hin- und hergerissen und habe mich bis heute nicht daran getraut.

Gruß
Frank
Parent - - By Guest Date 2013-12-23 20:06
Frank Quisinsky schrieb:

....
Es macht Sinn sich auf moderne GM Theorie zu konzentrieren denn die GMs kennen das alles in und auswendig. Macht keinen Sinn Königsgambit spielen zu lassen oder zu kritische holländische Eröffnungen die unsere Engines eh kaum verstehen.
...


Ich teile deinen Glauben an die GMs nicht mehr. Und auch du schreibst einerseits das die GMs dem Computer haushoch in der Eröffnung überlegen sind und dann das deine mitarbeitenden GMs von Perlen sprechen die die Computer da erarbeiten ... das passt nicht wirklich zusammen.

Eine Kritik an höllandischen im speziellen und im Allgemeinen an Stellungen die Computer nicht verstehen teile ich nicht. Sollte es solche unverstandenen Stellungen geben, gehören gerade diese in ein Testset damit eine ENgine, sollte sie es irgendwann doch verstehen, daraus auch Nutzen ziehen kann.

Gruß
Ingo
Parent - By Frank Quisinsky Date 2013-12-23 20:28 Edited 2013-12-23 20:32
Hi Ingo,

es gibt ja auch nicht nur einen GM.
Die Theorie ist entstanden aus dem erarbeiteten Wissen über Generationen. Und die TOP Spieler heute haben auch ganz andere Möglichkeiten als noch vor 30 Jahren. Nun ja, wenn wir so GM Partien analysieren stimmt es schon das zu viele Fehler aufgedeckt werden wenn die TOP Engines mitrechnen. Aber das Wissen der Theorie kann eine Engine nicht selbst erarbeiten.

Meine Lieblingseröffnung, auch wenn ich selbst Angriffsspieler bin, ist als schwarzer Skandinavisch. In der aktuellen Theorie wird diese Eröffnung selten angewendet weil schwarz zu passiv steht, zu wenige Möglichkeiten von Umgruppierungen hat und die Dame zu schnell im Spiel ist, sich zu oft erklären muss. Nun nehme einen Komodo und lasse Komodo mit Skandinavisch Buch gegen Stockfish antreten. Stockfish hat hier alle Möglichkeiten seine Stärken ins Spiel zu bringen und Komodo als Stratege wird gut dagegen halte (normal gedacht). Dem ist aber nicht so, Stockfish spielt Skandinavisch nicht so gut als weißer und Komodo hält nicht nur dagegen sondern punktet als schwarzer ausgeglichen.

Das sind dann die Feinheiten und wir beginnen zu rätseln warum spielen die GMs nicht mehr Skandinavisch. Weil selbst die besten Engines die Feinheiten nicht errechnen können. Alles was geschlossen ist ... die Geheimnisse bleiben den Engines verborgen. Alles was offen ist ... hier feuern die Engines Feuerwerke ab, gerade Stockfish oder Spark auch Junior und teilweise Hiarcs bzw. sehr gut auch Critter.

Willst Du Krieg auf dem Schachbrett ...
Offene Varianten!

Willst du die Langeweile fördern die Houdini die ersten Züge an den Tag legt.
Dann geschlossene Stellungen.

Und willst Du nichts von beiden ... ausgeglichen etwas darstellen.
Dann alles zusammen aus der modernen Theorie.

Holländisch ist unlogisch für ein Computerschachprogramm. Beobachte die Stellungsbewertungen wenn Du Holländer aus der Theorie eingibst. Und genauso unlogisch gehen die Programme auch mit diesen Eröffnungen um. Klar wird das passieren das eine TOP Engine auch mal einen Theorieschwachpunkt aufdeckt ... Junior ist dafür prädestiniert. Aber wir wollen ja nicht die Eröffnungstheorie mit Computerschach Ratinglisten auf den Kopf stellen bzw. das versuchen. Denke dafür fehlen uns noch 10 Jahre. Können wir in 10 Jahren mal tun ... wenn die Engine dann anstatt mit 3.100 mit 3.300 ELO spielen. Dann sollte ein Gleichgewicht in der Eröffnugnstherie zum GM der seine Eröffnungen in und auswendig kennt hergestellt sein.

Probiere das Tool von Volker aus.
Damit hast Du einen echten Vorteil ...
Hast immer eine vernünftige ECO Code Aufteilung ...
Kannst ja zu meinen Stellungen auch andere hinzunehmen oder komplett andere benutzen.
Nur wenn Du eine Datenbank erstellt mit Eröffnungen bis Zugtiefe 8 werden die von mir verwendeten mit 90% Wahrscheinlichkeit drin sein

Gruß
Frank
Parent - - By Michael Scheidl Date 2013-12-23 19:38
Zu 1. Maximales Chaos IOW. eine große Bandbreite.
Zu 2. Nein! Das war nie zeitgemäß und wurde nur von Performancefetischisten verursacht, die sich anstatt für die klassische Startposition, nur für die nach 1.e4 c5 interessieren. Quasi ein "Subset" vom gesamten Schach.
Parent - - By Ingo B. Date 2013-12-23 20:21
Michael Scheidl schrieb:

Zu 1. Maximales Chaos IOW. eine große Bandbreite.


OK, ich habe jetzt schon 100 Stellungen die möglichst kurz und gleichzeitig möglichst verschieden sind. Nach welchem Kriterium (Kriterien) definierst du "große Bandbreite"
("IOW" ist furchtbar!)

Michael Scheidl schrieb:

Zu 2. Nein! Das war nie zeitgemäß und wurde nur von Performancefetischisten verursacht, die sich anstatt für die klassische Startposition, nur für die nach 1.e4 c5 interessieren. Quasi ein "Subset" vom gesamten Schach.


OK , ECO halte ich auch irgendwie für nicht Zeitgemäß, aber wie definiert man dann "große Bandbreite"? Was ist "möglichst verschieden". 2 Züge die 4/5 des Schachs definieren kann ja wohl nicht sein, aber wie viel sollten diese zwei Züge dann sein? 1/3, 1/10, 1/50 ...?

Gruß
Ingo
Parent - - By Werner Schüle Date 2013-12-24 09:04 Edited 2013-12-24 09:06
Hallo Ingo,
könnte man nicht auch eine Testserie so aufbauen, dass gleich viele offene und geschlossene Stellungen enthalten sind?
Wie sind halboffene Stellungen da einzuordnen?
Wie sähe da deine Statistik aus, mit der du hier angefangen hast?

Viele Grüße
Werner
Parent - By Ingo B. Date 2013-12-24 09:11
Werner Schüle schrieb:

könnte man nicht auch eine Testserie so aufbauen, dass gleich viele offene und geschlossene Stellungen enthalten sind?
Wie sind halboffene Stellungen da einzuordnen?
Wie sähe da deine Statistik aus, mit der du hier angefangen hast?


Moin Werner,

Natürlich könnte man - wenn man Arbeit investiert. Aber der Begriff "offen" und "geschlossen" ist natürlich ein menschlicher der für Engines evtl irrelevant ist. Zumindest in Randbereichen gibt es sicherlich Überschneidungen die das ganze unscharf werden lassen.

Was man aber einfach machen könnte ist für die A bis E ECOs eigene Ranglisten führen - sofern die Basisliste genug Spiele hat. Eure 5+3 ist dafür sicherlich noch zu klein, aber die 40/20 bietet sich an (eurer 40/4 konnte ich nicht nehmen, irgendetwas war mit dem Download, ich glaube zu kompliziert zusammenzusetzen)

Vielleicht mache ich mal eine Liste für jeden ECO code mit meiner Liste. Ich schicke dir dan das Ergebniss. Mal sehen ob und wie sehr das abweicht. Allerdings sind das Spezialfragen. Es ist bestimmt nicht "das Schach" das dann abgebildet wird.

Gruß
Ingo
Parent - - By Ingo B. Date 2013-12-24 09:14
Werner Schüle schrieb:

Hallo Ingo,
könnte man nicht auch eine Testserie so aufbauen, dass gleich viele offene und geschlossene Stellungen enthalten sind?
Wie sind halboffene Stellungen da einzuordnen?
Wie sähe da deine Statistik aus, mit der du hier angefangen hast?

Viele Grüße
Werner


Jetzt antworte ich und du änderst den Text ...

Na ja, man könnte Dritteln, wenn man Eröffnungsstellungen nimmt und mit Farbtausch spielt. Ist sicherlich ein Ansatz wenngleich ich glaube das ist zu grob.

Gruß
Ingo
Parent - - By Werner Schüle Date 2013-12-24 10:26
Hallo Ingo,
ich habe mal in Wikipedia geschaut:

Geschlossene Spiele A, D, E      (387431)
Halboffene Spiele B, C00-C19   (232456)
Offene Spiele C20-C99             ( 88174)

Die Zahlen stammen aus der CEGT 40/20. Um zu dritteln, müssten wir viel mehr Eröffnungen haben mit 1. e4 e5. Das käme z.B. der Engine Naum sehr entgegen 
Ich muss mal meine Eröffnungsstellungen danach anschauen.

Viele Grüße
Werner
Parent - - By Ingo B. Date 2013-12-24 11:17
Werner Schüle schrieb:


Geschlossene Spiele A, D, E      (387431)
Halboffene Spiele B, C00-C19   (232456)
Offene Spiele C20-C99             ( 88174)

Die Zahlen stammen aus der CEGT 40/20. Um zu dritteln, müssten wir viel mehr Eröffnungen haben mit 1. e4 e5. Das käme z.B. der Engine Naum sehr entgegen 



Ja, offene sind zu wenig.

In Prozent:

Geschlossen: 55%
Halboffen: 33%
Offen: 12%

Ich schau mal bei mir wie es da aussieht

Gruß
INgo
Parent - By Guest Date 2013-12-24 12:24
Ingo B. schrieb:

Werner Schüle schrieb:


Geschlossene Spiele A, D, E      (387431)
Halboffene Spiele B, C00-C19   (232456)
Offene Spiele C20-C99             ( 88174)

Die Zahlen stammen aus der CEGT 40/20. Um zu dritteln, müssten wir viel mehr Eröffnungen haben mit 1. e4 e5. Das käme z.B. der Engine Naum sehr entgegen 



Ja, offene sind zu wenig.

In Prozent:

Geschlossen: 55%
Halboffen: 33%
Offen: 12%

Ich schau mal bei mir wie es da aussieht

Gruß
Ingo


Ich habe dir ein Email geschrieben ...

Für die anderne:

DIe IPON hat mit obigem ECO Schlüssel:

Geschlossen: 50%
Halboffen: 33%
Offen: 17%

Wenn man sich so eine Rangliste erzeugt, fällt schön auf welche Engine was gar nicht kann. Stockfish DD kann keine offenen Partien und baut da ab, dafür ist er gut in halboffen und geschlossen, Komodo TCRC kann sehr gut offen, Houdini kann alles!

Gruß
Ingo
Parent - - By Guest Date 2013-12-24 10:48
mit Farbtausch muss man sowieso spielen und mit
unterschiedlicher Eröffnungslänge!! zwischen 2 ( e4 e5 f4 exf4) und etwa 16 Zügen!!!!
Auf keine Fall eine scharfe Eröffnung weglassen!!!!!!
FROHES FEST
Parent - - By Guest Date 2013-12-24 12:28
Guest schrieb:


Auf keine Fall eine scharfe Eröffnung weglassen!!!!!!



Was soll den "scharf" sein? Etwas das Menschen als "scharf" empfinden ist für Engines vielleicht schon für eine Farbe gewonnen - und eine Eröffnung die z.B. immer von Weiß gewonnen wird hat in einer Testsuit nichts zu suchen.
Eine gute Eröffnung sollte bei identischen Engines 50% bringen und trotzdem Möglichkeiten lassen die bessere Engines nutzen können.

Gruß
Ingo
Parent - By Guest Date 2013-12-25 01:09
stimmt scharf ist nicht so gut. es sollte keine Haupteröffnung weggelassen werden.
sagen wir mal " die Remisquote" sollte unter dem Durchschnitt liegen.
Parent - By Chess Player Date 2013-12-24 11:01
Ich würde die komplette ECO Liste der Eröffnungen bis zum 5 Zug als Eröffnungsbuch benutzen und keine aussortieren!
Parent - By Michael Scheidl Date 2013-12-24 18:41
Als große Bandbreite verstehe ich beispielsweise, daß Eröffnungen wie Schottisch, Italienisch oder Wiener Partie im 1.e4-Segment öfter - bzw. überhaupt - vorkommen. Bei den halboffenen hat Sizilianisch normalerweise eine Dominanz die zu Gunsten anderer, vollkommen anerkannter Systeme reduziert gehört... usw.usf. (In den geschlossenen kenne ich mich kaum aus, aber da dürfte Slawisch auch zu stark dominieren.)

Der Punkt ist, daß nicht alle Schachspieler "sklavisch" nur das spielen was eine Handvoll Top-Großmeister glauben ausschließlich spielen zu müssen. Also haben sie auch Analysebedarf über eine größere Variationsbreite als diese "Tunnelsicht".

Dieses Konzept habe ich in meinen "Balanced"-Büchern umgesetzt. Wenn es Dich näher interessiert kannst Du sie ausprobieren:

http://members.aon.at/computerschach/links.htm#downloads

Unter der Bedingung daß irgendeine GUI die Buchvariante zwischen denselben Gegnern mit Seitenwechsel wiederholt, wäre das genauso fair wie vordefinierte Sets von Varianten.
Up Topic Hauptforen / CSS-Forum / Was will man testen?

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill