Standard-Bedenkzeiten für Schachpartien gegen Engines

By Frank Qy. Date 2015-01-31 12:47

Hi,

1.
Würde das immer so einstellen, dass ich beim zu sehen der Partien noch folgen kann. Sonst ist das erstellen einer Ratingliste eher eine rein statistische Klamotte denn niemand spielt sämtliche Blitzpartien nach. Und wenn ich nicht zu sehen kann lerne ich nichts bzw. kann mir eine Meinung bilden. Außerdem macht das richtig Spaß bei Zeitbedarf den vielen Engines zu folgen, selbst zu versuchen während der Partie Züge zu finden. Benutze bei meiner Ratingliste die Zeitkontrolle 40 Züge in 10 Minuten. Bei einem Zügedurchschnitt von 87,49 Zügen ohne Aufgabefaktor (bessere Statistiken werden so möglich, allerdings sind dann oft langweilige Endlosketten zu beobachten) dauert eine Partie ca. 45 Minuten ohne Ponder. Bei mir laufen auf zwei i7 4.3 GHz Systemen immer 8 Partien gleichzeitig, so dass am Tag 250 Partien prodziert werden. Beame das auf meinem 50er SmartTV und kann so sehr schön verfolgen. Habe einfach 8 Kanäle mehr ...

2.
Einige Engines benötigen etwas Zeit um anzulaufen. Paradebeispiel ist Junior. Braucht ca. 5-7 Sekunden bis mal eine längere Hauptvariante zu sehen ist. Auch andere Engines benötigen etwas Zeit um wirklich auf Hochtouren zu laufen (z. B. auch Zappa Mexico II, andere). Diese Engines werden bei der Erstellung einer Ratingliste stark benachteiligt wenn die Zeit zu kurz gewählt wird, können ihre Stärke nicht richtig ausspielen. Und gerade der Angreifer Junior ist hochinteressant.

3.
Zeit Management ist ein großes Thema bei so vielen Engines. Ohne Ponder meist deutlich besser als mit Ponder (habe ja bislang immer mit Ponder gespielt aber zu viele Engines produzieren ein schlechtes Zeit Management und auch hier werden die Messungen ungenauer). Bei zu kleinen Zeitkontrollen (GUI benötigt ja auch etwas Zeit) wird's heftig ungenau und vor allem häufen sich die Verluste auf Zeit.

Es kommt immer darauf an was jemand machen möchte. Legt er Wert auf Genauigkeit oder auf ich will einfach schnell irgend ein Ergebnis, egal wie ungenau es zu Stande kommt. Da ich ja nur 1.000 Partien bei einem direkten Test spielen lassen versuche ich natürlich sämtliche Beeinflussungsfaktoren auf das Ergebnis zu gering wie möglich zu halten. Viele Gegner und möglich alle Schwachpunkte irgend wie weitestgehend ausschalten.

Ungenaue Ergebnisse kommen aber hauptsächlich zu Stande wenn nicht ausreichend Gegner benutzt werden. Nach wie vor halte ich die Meinung, das bestätigt jede meiner Statistiken.

Also wenn Du wirklich etwas für Dich tun möchtet und Dein Hauptaugenmerk nicht nur auf das erstellen von schnellen Tabellen gerichtet ist, sondern Dich auch wirklich die Engines interessieren denke ich das 40 Züge in 5 Minute die unterste Stufe ist. Mit meiner Zeitkontrolle von 40 Züge in 10 Minuten liege ich so in der Mitte, besser wäre ich würde 40 Züge in 20 Minuten einsetzen aber da kann ich leider nicht so viele Engines abtesten die ich sehen will oder ich müsste noch 2 Rechner anschaffen und das ist mir zu teuer. Daher habe ich für mich die Lösung gefunden mit 40 Züge in 10 Minuten zu testen. Beim Zusehen noch so an der Schmerzgrenze aber noch OK.

Gruß
Frank

By Joe Boden Date 2015-01-31 14:16

Schön Frank, dass Du Dir immer wieder die Zeit nimmst, ausführlich und fundiert zu schreiben. Ich bin ganz bei Deiner Meinung, auch und insbesondere was die Beobachtung von Partien angeht und die versuchsweise Feststellung von Spielstil und anderen individuellen Merkmalen der Engines.

Ebenso finde ich, dass das Spielen von eigenen Partien gegen die Programme, auch wenn man dauernd verliert, etwas zu einer persönlichen Meinung beitragen kann, zumindest was das Spiel gegen Menschen angeht. Schade, dass wir hier so überhaupt nichts in dieser Richtung sehen, wie ich neulich schon einmal angemerkt habe.

Ich selber haben ja auf meinem Blog einige Partien gegen Schachcomputer veröffentlicht, um mit gutem Beispiel voranzugehen. Zudem spiele ich regelmässig auf meinem Lichess-Account, sodass man sich immer einen Eindruck verschaffen kann, wie ich schachlich grade unterwegs bin. Dieser Stallgeruch fehlt hier bei vielen, was ich schade finde.

Und danke Frank, dass Du Dir immer Mühe gibst, was substantielles beizutragen. Das vermisse ich von den meisten. Du bist halt ein echtes Urgestein!

P.S.: Dass einige Engines Zeit brauchen, um "richtig anzulaufen" war mir absolut neu. Danke für diesen Hinweis. Wie hast Du das eigentlich festgestellt? Dann wären ja die ganzen Partien z.B. von Stefan Pohl, der ja im sekundenbereich testet, nicht wirklich objektiv.

By Frank Qy. Date 2015-01-31 14:48

Stefan testet mit einer GUI die das sehr gut handelt.
Kenne seine Statistiken nicht zum Thema Zeitüberschreitungen, werden aber wahrscheinlich niedrig sein.

Beobachten Joe.
Wenn Du x tausend Partien gesehen hast, weißt Du welche Engines noch viel Zeit vor der Kontrolle auf der Uhr haben, welche etwas länger brauchen um auf Tiefe zu kommen, oftmals gar je nach Stellungstyp. Einfach Analysen beobachten, das Zeitmanagement beim Zusehen beobachten. Das kannst Du nicht richtig beobachten beim Extrem Blitz, siehst einfach nichts als permanent schwebende Figuren über dem Schachbrett. So schnell kann kein Mensch etwas erfassen und logisch nachvollziehen eh nicht.

Etwas herauszufinden geht mit Zusehen auch nur sehr begrenzt. Musst immer etwas Aufwand investieren und mittels Statistik ergänzend ermitteln. Viele Eindrücke beim Zusehen kannst Du durch die Statistik schnell wieder in die Tonne drücken.

Person A denkt Rhetoric ist gut:
Warum denkt er das ... er hat rein zufälliger Weise mal irgend eine schnelle Gewinnpartie verfolgen können.

Von solchen Aussagen werden wir direkt verführt wenn wir etwas sehen. Bei näherer Untersuchung stellt sich heraus, völliger Käse. So entstehen schnell Gerüchte und beim Computerschach wimmelt es nur so von unsinnigen Gerüchten.

Rybka ein starker Taktiker

Muss immer im Verhältnis zur Spielstärke gesehen werden.
Rybka ist zwar taktisch nicht langweilig, liegt eher so im unteren Mittelfeld im Verhältnis zur Spielstärke zu anderen aber ist unglaublich schwach in der eigenen Königssicherheit. Verliert zu viele schnelle Partien. Rybka ist unglaublich stark im Endspiel.

TheKing ein Taktiker nur weil er Wissen zur Mattsuche hat. TheKing spielt äußerst passiv. Gambit-Tiger spielt äußerst passiv wenn wir uns heute Statistiken ansehen und mit anderen Vergleichen. Wir haben heute mehr Möglichkeiten und können besser erkennen. Früher haben wir geraten ... bei Gambit-Tiger ... der Name "Gambit" im Namen ließ uns schon die Sabber laufen.

Fritz war mal taktisch gut mit der Version 5.0. Seit der Version wurde an Spielstärke zugelegt aber das Programm wurde im Verhältnis zur Spielstärke immer passiver bis hin zum Remisschieber in den letzten Versionen mit Stärken im Endspiel. Früher war Fritz im Endspiel grottenschwach. Das Gesicht der Engine hat sich im Laufe der Jahre völlig verändert. Es gibt genug Spieler die ruhige positionelle Programme bevorzugen, weil sie selbst einen solchen Spielstil bevorzugen.

Der Reiz beim Computerschach heute ist eher das spektakuläre. Die Programme sind eh schon ca. 1.500 ELO vom Durchschnittsspieler entfernt. Wenn denn ein solcher Durchschnittspieler am Brett sitzt der will Glanzpartien sehen beim Eng-Eng zusehen, wie einst die Altmeister spielten ... die wenigsten haben ein Interesse beim Eng-Eng testen die 120 Züge Partien in Serie zu beobachten. Und diese Glanzpartien entstehen mit der Theorie, bei vielen Figuren auf dem Brett. Da wo die Programme wahrscheinlich den starken GMs noch unterlegen oder nicht mehr als leicht überlegen sind.

Das ist die spannendeste Phase der Partie.
Der Übergang zum Endspiel ist auch nicht ohne und hier werden die meisten Partien entschieden ... nur da blicken die Menschen nicht mehr so wirklich durch. Das zu beurteilen ist sehr sehr schwierig und gar mit aufwendigen Statistiken kaum zu bewerkstelligen ... liegt zu weit über unseren Horizont. Nur in Einzelfällen bei längerer aufwendiger Analyse erkennen wir noch Fehler. Offensichtliche Engine Fehler gibt es allerdings immer.

Letzte Woche schaute ich bei einer Senpai Partie zu. Senpai spielte einen schrecklichen Zug und ich erkannte sofort das geht doch jetzt Matt mit einer sehr einfachen Kombination die sicherlich fast jeder 1.600 ELO gesehen hätte. Jetzt habe ich mit der anderen Engine mitgefiebert ... hoffentlich sieht die Engine den Gewinnzug weil der sehr riskannt aussah. Und siehe da nach 15 Sekunden war der Zug auf dem Display und die Bewertung ging nach oben. Das habe ich intuitiv direkt nach einer Sekunde gesehen.

Also, offensichtliche Fehler gibt es aber die sind eher selten und liegen noch nicht mal an der Engine.
Senpai hat 0 Wissen, arbeitet nur bekannte Programmierungstechniken ab bzw. versucht diese zu optimieren.

Junior spielte kürzlich einen so unglaublichen Zug. Ich dachte das kann doch nicht gut gehen, das ist ja Selbstmord. Dachte auch die andere Engine in den folgenden 3 Zügen, dann nicht mehr. Junior vergurkte im frühen Endspiel den Vorteil und es wurde Remis. Diesen Zug ... ich glaube diesen Zug hätten weniger als 0.01% der Menschen gespielt.

So schön kann Computerschach sein ... muss es nur erkennen oder daran arbeiten es erkennen zu wollen. Alles eine Frage wie gehe ich mit den vielen Möglichkeiten heute um.

Gruß
Frank

By ? Date 2015-01-31 14:26

Ach so ...

4. Optimierung des Buches für Ratinglisten.
Mithilfe der produzierten Partien versuche ich sämtliche starke Varianten ausfindig zu machen und gem. den Ausspielwahrscheinlichkeiten der aktuellen GM-Theorie dann auszuspielen.

Die FCP Rating Liste verfolgt also direkt mehrere Ziele.

1. Spielstile versuchen herauszufinden, diesbezüglich mehr anzubieten als nur blanke Zahlen.
2. Optimierung des Eröffnungsbuches
3. Erstellung der Ratingliste
4. Produzieren von Partien für die Programmierer mit den kompletten Bewertungen, zwecks Optimierung der Engines und finden von Fehlern.
5. Versuchen die Engines so zu testen das mit dem niedrigsten Aufwand (Anzahl der Partien) der größtmögliche Erfolg erzielt wird.
6. Versuchen Engines die am aufsteigen sind mehr Spielraum zu geben (habe die Liste durch die Qualifikation und dem laufenden FCT1-2015 Turnier) komplett umgestaltet, meine mittels den letzten 21.000 45-Minuten Partien.
7. Zu animieren um selbst wieder einen Nutzen von Arbeiten anderer zu bewirken.

Also, alles mögliche miteinander verknüpfen.

Wenn Du dich wirklich mit Schach beschäftigen möchten, wäre es immer besser sein Testen so zu gestalten das ein eigener Nutzen dabei heraus kommt. Sonst macht das alles keinen Sinn. Du kannst Dich natürlich auch an den Ergebnissen der anderen bedienen aber viel schöner ist es doch selbst etwas herauszufinden und dann diese Erkenntnisse zu teilen ... geben und nehmen ist das Thema. Mit schnellen Blitzpartien kannst Du nichts herausfinden, allerdings interessiert es viele weil wie wir Männer so sind ... ungeduldig wenn es darum geht über etwas neues eine Aussage zu treffen. In der Ruhe liegt die Kraft, gerade beim Schach!!

Die Frage ist nun ist 40 Züge in 120 Minuten wirklich out. Ich glaube nicht! Es macht auch Spaß solchen Partien zuzusehen und dann gar 5 oder 6Steiner einzusetzen, mehrere Cores, Ponder ... die volle Suppe. So wie bei TECE wobei der glaube ich Ponder weg lässt (besser so, hätte sonst nur unnötig Arbeit bei den vielen der verwendeten Engines). Auch das macht Spaß, nicht unbedingt um mittels den Resultaten Aussagen zu treffen aber jedes Turnier hat seinen Reiz. Wobei ich Turniere nach Schweizer System spannender finden würde, meine wenn ich hingehen würde und mit extrem langen Zeiten spielen lassen würden. Dann mit den Favoriten mit fiebern ... das hat aber nichts mit Spielstärke messen zu tun.

Messen am besten mit einem Core, weil ich teste doch keine Option ab die mal mehr mal weniger auf Faktor 1.8 oder nicht bei zwei Cores kommt. Macht keinen Sinn ... wie gut die SMP Unterstützung ist sehe ich mit 3 Teststellungen und unterschiedlicher Anzahl Figuren auf dem Brett.

Ich denke immer Extrem Blitz ist eher etwas für sehr ungeduldige Zeitgenossen es sei denn ein ausgereiftes Testsystem steht dahinter um sehr genau etwas auszusagen. Aber dann hat das auch nichts mehr mit Schach sondern eher mit Statistik zu tun. Wo liegt der schachliche Nutzen?

Bei den Bedenkzeiten ist also alles interessant, je nachdem was gewollt ist, was erreicht werden möchte.

Auf meinem schnellen Notebook lasse ich oft 40 Züge in 40 Minuten laufen. Teste da interessante Eröffnungspositionen mit Eng-Eng gegeneinander ab. Suche mir die Perlen der Theorie heraus, die Perlen der Engines die damit besonders gut umgehen können und los geht ein kleines sechser Turnier. Schön zurücklehnen, mitfiebern, mit rechnen. Schlüsselstellungen später analysieren bzw. dann selbst versuchen aus der Schlüsselstellungen zu spielen und eigenen Ideen umzusetzen. Da sind mir schon so mache Stellungen aufgefallen die ich ganz anders gespielt hätte, konnte gar dann TOP Engines bezwingen oder gehe sang und klanglos baden. Gut für die Bucherstellung, so verstehen ich die Varianten besser.

In Schachcomputerzeiten hatten wir oft das Problem, wie setze ich denn nun die gekauften Geräte ein. Was genau mache ich damit. Mal dieses und jenes und oft fehlte ein gutes Konzept. Alles war zu langwierig. Das Problem haben wir doch heute nicht mehr.

Interessiert sich jemand für Stellungen ... Datenbanken herunterladen und auf die Suche gehen. Einen Testset kreieren, das ist so einfach mit dem Material was wir haben. Die Möglichkeiten sind einfach unerschöpflich!

Extreme Blitzbedenkzeiten ... glaube in der Realität sind es wenige die das selbst spielen. Diese wenigen tauschen sich in der kleinen Community regelmäßig aus. Aber ein wirklich guter Schachspieler kann damit einfach nicht wirklich etwas anfangen.

Gruß
Frank

By Benno Hartwig Date 2015-01-31 15:33

> aussagekräftig genug bei Engine-Engine-Testläufen?

Welche Aussagen interessieren dich denn?
1+1-Partien sind geradezu ideal, wenn einen 1+1-Aussagen interessieren.

Man sollte also zuächst entscheiden, was einen interessiert (beispielsweise 3 min pro Zug) und kann dann überlegen, wie man darüber möglichst verlässliche Aussagen erhält.
Bei gegebenen Ressourcen könnte man jetzt beispielsweise 100 Partien 3m pro Zug spielen. (genau die richtigen Bedingungen, aber sehr(!) wenig Partien, riesige Streuung)
Oder ich könnte 1000 Partien mit 18s pro Zug spielen (in der Hoffnung, dass die relativen Stärken ähnlich sind, die Streung ist aber deutlich(!) kleiner)
Oder ich könnte 10000 Partien mit 1,8s pro Zug spielen (in der Hoffnung, dass die relativen Stärken wenigstens noch einigermaßen ähnlich sind, die Streuung aber erfreulich klein)
Oder irgendwas dazwischen.

Mein Tip: 18s/Zug oder sogar etwas weniger wären eine gute Wahl.
Aber: ob Komodo aber tatsächlich besondere Langzeitstärken hat, wirst du so nicht erfahren. Dafür wären vielleicht 1m/Zug besser.

Aber ohne zu sagen, was interessiert, kann man wohl auch nicht sagen, wie man dazu besonders gute Aussagen erhält.

Benno

By Benno Hartwig Date 2015-01-31 18:40

PS:
Vielleicht sollte ich deine Frage eher verstehen als: "Welche Zeit ist heute besonders interessant?"
Welche Kriterien könnten hier denn wichtig sein?
Vielleicht:
Bei welcher Zeit spielt die Engine heute so stark wie ein durchschnitts-Bundeligaspieler bei 3m/Zug? (vielleicht 2s/Zug?)
Oder bei welcher Zeit spielt die Engine heute so stark wie ein durchschnitts-GM bei 3m/Zug? (vielleicht 10s/Zug?)
Oder auch: Bei welcher Zeit spielt die Engine heute so stark wie Carlsen bei 3m/Zug? (vielleicht 1m/Zug?)
Vielleicht auch: Bei welcher Zeit spielt die Engine heute so stark, dass ich keine Chance mehr habe? (vielleicht 0,1s/Zug?)

Benno

By Michael Scheidl Date 2015-01-31 17:28

Zitat:

Welche Bedenkzeit würdet Ihr einstellen, wenn Ihr selber "ernste" Partien gegen ein Schachprogramm spielt?

Keine, sondern Rechentiefestufen (bei Rybka 2 aber x-2 usw.), und ponder off. Sollte ich tatsächlich z.B. gegen Tiefe 3, die ja stets durch Ruhesuhe und mächtige Extensions erweitert wird, 50%+ erzielen, was in meinem Fall zweifelhaft scheint

kann ich die RT. erhöhen oder andere Engines auf derselben probieren, usw.usf...

Ein Vorteil bei fixer RT./Singlecore ist, daß die Eigenleistung hardwareneutral wäre.

Da selbst bei schmalen Bedenkzeitrahmen wie etwa 1m+0.6s heutzutage zweistellige RT. erreicht werden, plus Extensions, kann der geneigte Amateur- und Hobbyspieler dabei nicht mit motivierenden und daher wichtigen Erfolgserlebnissen rechnen. Für Titelträger sieht es vielleicht ein bißchen besser aus.

Hierbei denke ich natürlich an Engines der Top 20-Kategorie. - Alternativ dazu könnte man die üblichen Ranglisten quasi von unten nach oben durcharbeiten, und mit mehr Halbzügen bzw. besseren Bedingungen beginnen. Ich habe das einmal gegen MicroMax versucht, gegen 6 oder 7 Halbzüge oder so, und ich muß zugeben mehrere Anläufe gebraucht zu haben, bis ich endlich einen Sieg erzielte. Es war erstaunlich und hat mir Respekt gegenüber diesem minimalistischen Code eingeflößt.

By Kurt Utzinger Date 2015-02-01 10:59

Hi Joe

Mit solchen Zeiten 1+1 oder 3+3 habe ich nie spielen lassen
und werde das auch zeitlebens nie tun. Für mich kommen nur
solche Bedenkzeiten in Frage, wo ich genüsslich die Partien
live mitverfolgen kann. Unter 15m+3s läuft da gar nichts, eher
30m+3s oder gar noch höher.

Mfg
Kurt