The Beasts of Chess Turniere

By Andreas Wutzke Date 2012-07-11 09:06

Hallo zusammen,

immer wieder bin ich auf Eröffnungen gestossen wo ich das Gefühl hatte hier stimmt die aktuelle Theorie nicht ganz, oder die Experten waren sich uneinig wie die Position zu bewerten ist.
z.B. obwohl die Stellung als fast ausgeglichen gilt, standen meine Engines immer schlecht wenn sie der weiteren Theorie gefolgt sind.

Oder alle Engines bewerten die empfohlenen Theoriezüge als zweitklassig und berechnen selbst deutlich besser bewertete Varianten.

Also kam ich auf die Idee solche Stellungen als Vorgabestellungen auszuwählen und in einem Turnier mit den stärksten oder interesantesten Engines auf sehr langen Bedenkzeiten ausspielen zu lassen.
Der Sinn ist hier also etwas über die Stellung und die weiteren Spielmöglichkeiten rauszufinden, sehr hochklassige Partien zu produzieren und nicht durch das Turnier zu bestimmen welche Engine die stärkste ist.

Ich habe mich für 40 Züge in 180 min gefolgt von 40 Züge in 120 min gefolgt von 30 min + 15s entschieden, falls die Vorgabestellung weniger als 15 Züge vorgibt, wenn ich Mittelspielstellungen teste dann reduziere ich die erste Zeitkontrolle meist von 180 auf 120 min. Alle Engines spielen mit Ponder on, learning on, auf 2 Cores (single natürlich auf 1 core) und 2GB hash für 32bit und 4 GB Hash für x64 sowie alle 4 und 5 Steiner sowie einige wichtige 6 Steiner TB auf SSD.

bisherige Vorgabestellungen

Turnier 1: Hauptstellung der Tarrasch Verteidigung des Damengambits
als nachhaltigster bester Zug gilt Lg5 hier, die meisten Engines spielen aber dxc5
nach 9. Lg5 ist unklar welche der 3 hauptsächlichen schwarzen Möglichkeiten c5-c4,c5xd4 oder Le6 die beste ist....
Schwarz hat eine gute Figurenentwicklung, aber in vielen Varianten einen schwachen (manchmal starken) isolierten d Bauern....

Turnier 2: Gambit im Hauptsystem der Tarrasch Verteigung
Tarrasch hielt dieses Gambit für völlig korrekt, weiss hat einen Bauern mehr, aber der weisse Springer steht am Rande und schwarz drückt mit dem d Bauern auf die weisse Stellung, es ist sehr schwer zu spielen, der von der Theorie als stärkster angegebener Zug Lf4 macht schwarz kaum Probleme, während die als minderwertig geltenden Züge wie z.B. b4 schwarz in Bedrängnis bringen...es ergeben sich wilde taktische gemetzel die richtige Stellung für Taktikmonster....

Turnier 3: Offener Spanier, weiss zieht Sbd2 statt c3....

Die Stellung gilt auch als fast ausgeglichen, aber als schwarzer hatte ich als auch meine Engines immer Probleme. Wollte mal rausfinden wie man das als schwarzer am besten spielt.....

Weitere Vorgabestellungen sind in Vorbereitung......
Im 1. Turnier spielen 10 Engines in den anderen nur die besten 8.
Dabei ist mir bisher aufgefallen, dass Junior in allen Turnieren entweder die Tabelle anführt oder mind auf dem 2-3 Platz ist.

Diese Tatsache hat mich selbst erstaunt, aber natürlich gefallen und ich wollte ganz begeistert das den anderen Junior Fans mitteilen in meine Posting neulich "Junior auf dem Weg..."
Leider wurde ich deswegen recht angegriffen, ich würde was falsch machen, ich würde manipulieren, das kann nicht sein etc.
Kann ja sein, dass diese Stellungen Junior besonders liegen, aber ich habe sie nicht deswegen ausgesucht, sondern weil sie mich interesieren.
Ausserdem spiele ich das Turnier nicht um die beste Engine zu bestimmen, aber wenn Junior hier so erfolgreich ist, was mach ich denn da falsch???
Ich behaupte nicht, dass andere was falsch machen, oder das Junior bei den üblichen heutigen Bedenkzeiten zu den Top 10 Engines gehört, aber unter den Bedingungen der The Beasts of Chess Turnier ist es die bisher stärkste Engine....

Alle Turnier laufen noch, also kann noch einiges passieren.

Hier ein zwischenstand zum Turnier 2:
Da sieht man mal mit was für hochklassigen Gegnern Junior zu tun hat....

Tarr_main_gambit  2012

                               1   2   3   4   5   
  1 Deep Junior 13            +½  -1  +1  +½  -1   4.0/5
                              6   5   7   2   8   
  2 Deep Rybka 4 x64          +½  -½  +½  -½  +1   3.0/5
                              4   6   5   1   7   
  3 Komodo64 SSE Version 4    -1  -½  +½  -½  +½   3.0/5
                              8   7   4   6   5   
  4 Houdini 1.5a x64          -½  +1  -½  -½       2.5/4
                              2   8   3   7       
  5 Critter 1.6a 64-bit       +½  +0  -½  +½  -½   2.0/5
                              7   1   2   8   3   
  6 Stockfish 2.2.2 JA SSE42  -½  +½  -½  +½       2.0/4
                              1   2   8   3       
  7 Deep Fritz 13             -½  +½  -0  +½  -0   1.5/5
                              5   3   1   4   2   
  8 HIARCS 13.2 MP            +0  -0  +½  -½  +0   1.0/5
                              3   4   6   5   1

Gruß
Andi

By Harald Faber Date 2012-07-11 12:32

[quote="Andreas Wutzke"]
Dabei ist mir bisher aufgefallen, dass Junior in allen Turnieren entweder die Tabelle anführt oder mind auf dem 2-3 Platz ist.

Leider wurde ich deswegen recht angegriffen, ich würde was falsch machen, ich würde manipulieren, das kann nicht sein etc.
Kann ja sein, dass diese Stellungen Junior besonders liegen, aber ich habe sie nicht deswegen ausgesucht, sondern weil sie mich interesieren.
Ausserdem spiele ich das Turnier nicht um die beste Engine zu bestimmen, aber wenn Junior hier so erfolgreich ist, was mach ich denn da falsch???
Ich behaupte nicht, dass andere was falsch machen, oder das Junior bei den üblichen heutigen Bedenkzeiten zu den Top 10 Engines gehört, aber unter den Bedingungen der The Beasts of Chess Turnier ist es die bisher stärkste Engine....

Gruß
Andi
[/quote]
Das geht einfach nicht. Junior ist so weit weg von der Spitze, dass er auch unter solchen Bedingungen niemals vorne landen DARF.

=> Es kann nicht sein was nicht sein darf, kennt man ja. Notfalls kommt die Statistik-Keule als Totschlag-Argument, auch das kennen wir ja.

Was Du eventuell falsch machst? Spielst Du mit Hin- und Rückrunde, sprich mit vertauschten Farben? Hat Junior immer Weiß?

By Simon Gros Date 2012-07-11 20:19

"Spielst Du mit Hin- und Rückrunde, sprich mit vertauschten Farben?"

Nein, tut er leider nicht, siehe http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=51062#pid51062
Simon_G

By Timo Haupt Date 2012-07-11 22:47 Edited 2012-07-11 22:54

Sollte man bei Tests mit Vorgabestellungen aber immer machen...

Wäre schön, wenn Andi mal die bisherigen Partien posten oder zum Download anbieten könnte. Denke mal, dass Junior schon immer von Runde zu Runde mit vertauschten Farben spielen muss, ansonsten wäre das ja ein erheblicher Vorteil für Junior, wenn er stets mit Weiß spielen dürfte.

Übrigens, Andi, ich wollte dir bestimmt nichts unterstellen - erst Recht nicht, dass du manipulierst oder so. Ich habe lediglich eine Gegendarstellung zur Stärke von Junior angeführt, die auf meinen bisherigen Erfahrungen basierte. Ich möchte dich weder angreifen, noch deine Ergebnisse in den Dreck ziehen o.ä. Ich finde es ja schön, dass Junior in deinen Tests so gut abschneidet. Trotzdem muss es ja erlaubt sein, dass man hinterfragt, welche Bedingungen eventuell Juniors Stärke begünstigen - da sonst der Unterschied zum Abschneiden in vielen anderen Tests kaum erklärt werden kann.

Viele Grüße
Timo

By Andreas Wutzke Date 2012-07-12 08:52

Hallo Timo,

du hast recht, in einem Turnier bei dem der Sieger bestimmt werden soll, sollte man immer mit vertauschten Farben spielen, aber das hatte ich gar nie vor.
Ich wollte nur zu einer Stellung, einem Eröffnungssystem eine Anzahl hochwertiger Partien produzieren um festzustellen was in der Stellung so drin ist, wie man sie einschätzen sollte zumal sie in der Theorie nicht eindeutig klar beurteilt wird. Da ist es egal ob mit vertauschten Farben eine Rückpartie gespielt wird. Wenn ich viele Rechner und beliebig Zeit hätte würde ich das ja machen, aber ich will noch viele weitere Vorgabestellungen ausprobieren z.B. aus der Franz. Eröffnung, Sizilianisch etc und da ich mit sehr langen bedenkzeiten spiele würde ich nicht mehr fertig werden wenn ich auch ne Rückrunde spielen würde. Man könnte natürlich die Anzahl der Engine verringern, aber ich denke ich habe eine gute Auswahl von verschiedenen sehr starken Engine und ich würde jede vermissen.....

Ich spiele also das Turnier nur um solche Partien automatisch zu erzeugen. Eine bessere Möglichkeit dazu als ein Turnier ist mir nicht eingefallen.
Natürlich lies ich Junior mitspielen, weil das zur Zeit meine Lieblingsengine ist (neben meinen Oldies, M-Chess und The King) und weil Junior öfters aussergewöhnliche Züge spielt die andere Engine gar nicht gross in betracht ziehen das ist sicher eine Bereicherung um auch ungewöhnliche Fortsetzungen in diesen Stellungen zu erkunden.

Natürlich spielt jede Engine abwechselnd mit weiss und schwarz auch Junior.

Ich hab gehört, dass du nochmals einen Junior Test machen willst.
Dazu hätte ich einen Vorschlag an dich...lass uns das mal per privater Message diskutieren....

Leider hab ich keine Homepage, ich habs bei mehreren kostenlosen Anbietern probiert und mich angemeldet, aber entweder beakm ich keine Antwort, oder die Seite ist meistens nicht erreichbar oder kein FTP upload möglich, so dass ich das Turnier leider nicht automatisch live übertragen kann oder die Partien als pgn zum download anbieten kann. Wenn ich auf dem chessbase server gelegentlich eine Partie live übertrage dann ist das handarbeit! Und einzelne Perlen werden hier im Forum gepostet.....

Viele Grüße
Andi

By Thomas Müller Date 2012-07-12 10:52

Hallo ,

du hast doch eine oder mehrere mailadressen.
Ist dort nirgends ein webspace mit en paar MB dabei evtl.?
Oder vielleicht ist auch eine von den kostenlosen PHP-foren etwas für dich?
Oder blogs.....wordpress?!

gruß thomas

By Timo Haupt Date 2012-07-12 13:29

Hallo Andi,

vielen Dank für deine Erläuterungen - ich denke, wir konnten damit unsere "Differenzen" ausräumen, falls es überhaupt welche gab...

[quote="Andreas Wutzke"]
Ich hab gehört, dass du nochmals einen Junior Test machen willst.
Dazu hätte ich einen Vorschlag an dich...lass uns das mal per privater Message diskutieren....
[/quote]

Gerne, mache ich!

Viele Grüße
Timo

By Günther Höhne Date 2012-07-11 13:43

[quote="Andreas Wutzke"]
Turnier 3: Offener Spanier, weiss zieht Sbd2 statt c3....

Die Stellung gilt auch als fast ausgeglichen, aber als schwarzer hatte ich als auch meine Engines immer Probleme. Wollte mal rausfinden wie man das als schwarzer am besten spielt.....

[/quote]

Hallo Andi,

gibt man 9. Sbd2 nicht vor, würden viele Engines z.B: Fritz13 ganz anders fortsetzen z.B. mit Le3 oder Sc3?, aber 9. Sb1-d2 ist wohl gefährlichste Zug für Schwarz. Nach 9.Sc5 10. c3,d4
steht Weiß deutlich besser und kann nun mit dem Springeropfer 11.Sg5! die Königsstellung von Schwarz deutlich schwächen.

Gruß
Günther

By Andreas Wutzke Date 2012-07-12 09:03

Servus,

ja das habe ich auch festgestellt, dass kaum eine Engine 9.Sbd2 spielt, obwohl das der beste Zug zu sein scheint. Wie kann man nur Sc3 spielen???
Le3 scheint nicht so gefährlich für schwarz zu sein wie Sbd2 aber sicher gut spielbar.....

Zu der von dir skizierten Variante mit Sg5 ist es bisher nicht gekommen....

Gruß
Andi

By Andreas Wutzke Date 2012-07-12 09:15

Servus,

gerade läuft die Partie im Turnier 2 (tarrasch gambit) die Partie Critter 1.6a gegen Houdini 1.5a.....die ich live auf chessbase übertrage.....
Houdini scheint sich mit dem springer vergaloppiert zu haben.....critter zeigt deutlich plus an...

Gruß
Andi

By Andreas Wutzke Date 2012-07-12 20:16 Edited 2012-07-12 20:20

Servus,

The Beasts of Chess 2 Turnier:
in der 6.Runde gewinnt Critter 1.6a mit weiss gegen Houdini 1.5a.
Dann spielte Komodo 4 gegen Deep Junior 13 remis.
Nicht nur erstaunlich wo in der Tabelle Junior zu finden ist, sondern auch Houdini überrascht durch die schlechte Plazierung....

Eben startet die Partie Deep Rybka 4 gegen Hiarcs 13.2 MP wird live auf dem Chessbase Server übertragen....

so ist der aktuelle Stand:

Tarr_main_gambit  2012

  1  2  3  4  5  6  7  8  
1  Deep Junior 13  *  ½  ½  ½  1     1  1  4.5/6
2  Komodo64 SSE Version 4  ½  *     ½  ½  ½  ½  1  3.5/6
3  Deep Rybka 4 x64  ½     *  ½  ½  ½  1     3.0/5  8.75
4  Stockfish 2.2.2 JA SSE42  ½  ½  ½  *     ½  ½  ½  3.0/6  8.50
5  Critter 1.6a 64-bit  0  ½  ½     *  1  ½  ½  3.0/6  7.75
6  Houdini 1.5a x64     ½  ½  ½  0  *  ½  1  3.0/6  6.75
7  Deep Fritz 13  0  ½  0  ½  ½  ½  *     2.0/6
8  HIARCS 13.2 MP  0  0     ½  ½  0     *  1.0/5

Gruß
Andi

By Andreas Wutzke Date 2012-07-14 07:49

Servus,

die letzte Partie des The Beasts of Chess 2 Turniers läuft.
Stockfish 2.2.2 spielt gegen Critter 1.6a, werde die live Übertragung auf dem Chessbase Server in wenigen minuten starten....

Viel Spass beim Kibitzen

Gruß
Andi

By Andreas Wutzke Date 2012-07-14 15:50

So,

das Beasts of Chess Turnier 2 ist beendet.
Hier ist der Endstand:

Was sagt ihr dazu?
Überraschend, was?

Tarr_main_gambit  2012

  1  2  3  4  5  6  7  8  
1  Deep Junior 13  *  ½  ½  ½  1  ½  1  1  5.0/7
2  Deep Rybka 4 x64  ½  *  ½  ½  ½  ½  1  1  4.5/7
3  Komodo64 SSE Version 4  ½  ½  *  ½  ½  ½  ½  1  4.0/7
4  Stockfish 2.2.2 JA SSE42  ½  ½  ½  *  ½  ½  ½  ½  3.5/7  12.25
5  Critter 1.6a 64-bit  0  ½  ½  ½  *  1  ½  ½  3.5/7  11.50
6  Houdini 1.5a x64  ½  ½  ½  ½  0  *  ½  1  3.5/7  11.25
7  Deep Fritz 13  0  0  ½  ½  ½  ½  *  ½  2.5/7
8  HIARCS 13.2 MP  0  0  0  ½  ½  0  ½  *  1.5/7

Gruß
Andi

By Thomas Müller Date 2012-07-14 16:09

und einmal in leserlich

                              1  2  3  4  5  6  7  8 
1  Deep Junior 13             *  ½  ½  ½  1  ½  1  1  5.0/7
2  Deep Rybka 4 x64           ½  *  ½  ½  ½  ½  1  1  4.5/7
3  Komodo64 SSE Version 4     ½  ½  *  ½  ½  ½  ½  1  4.0/7
4  Stockfish 2.2.2 JA SSE42   ½  ½  ½  *  ½  ½  ½  ½  3.5/7  12.25
5  Critter 1.6a 64-bit        0  ½  ½  ½  *  1  ½  ½  3.5/7  11.50
6  Houdini 1.5a x64           ½  ½  ½  ½  0  *  ½  1  3.5/7  11.25
7  Deep Fritz 13              0  0  ½  ½  ½  ½  *  ½  2.5/7
8  HIARCS 13.2 MP             0  0  0  ½  ½  0  ½  *  1.5/7

zum turnier...ja typisch junior

By Klaus Ritter Date 2012-07-14 22:04

Hallo Andreas,
ich mag dich als Mensch und als Chat Partner aber deine Rangliste interessieren mich genauso wenig wie diese von Orlando....

Alleine eine vorgabestellung ?! Halloooo was soll das den ? soll ich nun hier junior Partien Posten ? da bekommt der schrecklich den hintern voll....

aber weiterhin viel spaß,
Klaus

PS: Andreas, bitte nicht Persönlich nehmen

By Peter Martan Date 2012-07-15 08:29 Edited 2012-07-15 08:33

[quote="Klaus Ritter"]
ich mag dich als Mensch und als...
[/quote]

...Fernschachspieler, was nämlich dich und mich angeht, so wenig wir einander persönlich ja auch nur kennen, aber...

[quote="Klaus Ritter"]
Alleine eine vorgabestellung ?! Halloooo was soll das den ?
[/quote]

Das nennt man Thementurnier, Klaus.
Patrick Buchmann und sein toller Fou Numérique fällt mir dazu immer sofort ein:
http://lefouduroi.pagesperso-orange.fr/computerchess.htm

Was mich an dem Ansatz immer so fasziniert hat: es trägt der Erkenntnis Rechnung, dass jede Art der Spielstärkenbestimmung immer stellungsabhängig ist und bleibt, man kann das zur Kenntnis nehmen oder ignorieren, ignoriert man es, darf man sich nicht wundern, dass verschiedene Tests verschiedene Ergebnisse haben.
.....
.....
Die vielen Punkte stehen für viele Worte, die ich in der Folge mal wieder getippt hatte, es kam mir nur zum Schluss wieder mal alles so bekannt vor, dass ich es durch ..... ersetzt habe und gleich zum ohnehin auch nicht ganz kurzen Ende gesprungen bin, das jetzt folgt.

Welche engine oder welches setting welcher engine in welcher Stellung?
Das ist die Frage, die sich die user immer mehr stellen, vor Allem diejenigen, die sich überhaupt mit Stellungen, Zügen, Varianten und Partien beschäftigen über das statistisch zählenden Ergebnis hinaus.
Wir wissen, dass es immer eine beste engine für jede Stellung gibt und für jede engine eine beste Stellung.
Ob du die Stellungen deines Interesses anhand der Varianten, der Züge und der evals der engines, die dich interessieren, testest und umgekehrt die engines an ihnen, ob du das auf Zeit, auf Absolutwerte oder Verlaufskurven der Bewertungen eichst, ob du es irgendwie automatisiert als Stellungstest oder händisch in Eigenanalyse machst, oder ob du es als Thementurnier ausspielen lässt, das ist alles Geschmackssache, die Ergebnisse werden immer so aussagekräftig sein, wie deine Fragestellung und deine Testmethode genau darauf zurecht geschneidert ist.
Fakt ist und bleibt, andere als stellungsabhängige Ergebnisse wirst du nie bekommen, sei dir darüber im Klaren und du wirst kein Problem mit den Tests anderer Leute haben, du wirst dir am ehesten das heraus picken können von den Ergebnissen, was dich interessiert daran, und du wirst nicht mit ihnen streiten müssen, weil sie nicht das testen, was dich interessiert.

Und noch kürzer: Turniere sind immer Thementurniere, die Themen können breiter und enger gesteckt werden, so breit, dass die Ergebnisse irgendwie berechtigt in Elo gemessen werden können, dabei merkt man halt mehr und mehr, dass es bei dem Überangebot an ähnlichen und ähnlichsten engines, die schon zu lange ausschließlich auf diese Testumgebungen hin entwickelt und geklont wurden, ohnehin schon mehr als auf alles andere darauf ankommt, wen du mitspielen lässt, oder du steckst die Themen, die Stellungen, so eng, dass sie über die eine Stellung und die paar engines, die du testest, hinaus, nichts mehr aussagen.
Ich persönlich habe aber gerade mit solchen Themen, den Einzelstellungen, am wenigsten Problem, ich glaube nämlich, dass Schach nur aus solchen besteht.

Und was die Auswahl der engines angeht, da sieht man ja am output auch anhand von Einzelstellungen schneller als an breiten Ranglistenergebnissen, wo die Ähnlichkeiten und die Unähnlichkeiten sind.

[quote="Klaus Ritter"]
PS: Andreas, bitte nicht Persönlich nehmen
[/quote]

P.S. Gilt auch für dich, Klaus, ich gehe aber ohnehin davon aus, dass die Gefahr da bei dir nicht so groß ist, wie bei ein paar Anderen.

By Klaus Ritter Date 2012-07-15 11:09

Hi Peter,

Code:

Das nennt man Thementurnier

das ist schon klar, aber hier wird laufend Junior (bin junior fan) stärker gemacht als er wirklich ist.

gruß,
klaus

PS: Spiele gerne Thementurniere (Fernschach) aber selbst da spielt man meist mit Farbtausch

By Peter Krug Date 2012-07-15 14:11

...und ich mag dich, weil du damals vom fernschach so ehrliche worte geschrieben hast...
aber trotzdem gute Fernschachspieler sind interaktiv starke leute und

ich denke heutzutage, dass Fernschachspielen auf hoch interaktiver Weise
eine sicherlich sehr spannende (anspruchsvolle) Sache ist.

Peter

By Ingo Bauer Date 2012-07-14 23:20

[quote="Andreas Wutzke"]Überraschend, was?
[/quote]

Nachdem Klaus hier seinen späten Kommentar abgegeben hat, auch von mir eine Antwort:

Sehend woher es kommt: Kein bisschen!

Gruß
Ingo

By Andreas Wutzke Date 2012-07-15 17:38

Inspiriert durch Ingos "Kleines Turnier"

werd ich die Grundstellung als Vorgabestellung 4 in meiner "The Beasts of Chess" Turnierserie wählen.
Also alle Engines spielen von der Grundstellung aus ohne Buch, als Bedenkzeit wähle ich 150min + 30s und spiele auch mit Rückrunde, also jeder spielt gegen jeden mit weiss und schwarz.
Zusätzlich nehm ich noch 3-4 Engines aus der 3-4 Reihe dazu mal sehen wie die sich gegen die TOP Engines so schlagen unter diesen besonderen Bedingungen.
Alles natürlich mit Ponder ON auf einem i7 und 2 (32-bit) bzw 4 GB hash für x64

Start ist schon heute abend.......

Werde die 1.Partie gleich live auf dem Chessbase Server Übertragen viel Spass beim Kibitzen....
Bin mal gespannt was sich für exotische Eröffnungen ergeben werden....

Gruß
Andi

By Simon Gros Date 2012-07-15 18:15

Ingo Bauer führt doch bereits solch ein Turnier durch, erwarten Sie abweichende Ergebnisse wegen der etwas längeren Bedenkzeit?
Simon_G