Wer gewinnt das Superfinale?

By Michael Scheidl Date 2013-11-20 23:57

Beide sind jetzt schon Gewinner.

By Benno Hartwig Date 2013-11-21 04:19

Ja. Wie hätten vor dem TCEC-Beginn die Quoten gestanden für "Houdini kommt nicht in das Finale!"?
Ich glaube, sooo viele hätten das nicht prognostiziert.
Benno

By Stefan Pohl Date 2013-11-21 04:47

[quote="Benno Hartwig"]
Ja. Wie hätten vor dem TCEC-Beginn die Quoten gestanden für "Houdini kommt nicht in das Finale!"?
Ich glaube, sooo viele hätten das nicht prognostiziert.
Benno
[/quote]

Vor allem nicht diejenigen, die verstanden haben, daß bei so wenigen Partien die Ergebnisse rein zufällig sind und daher jedwede Prognose derselben so verläßlich wie ein Horoskop ist...
Wenn R.Houdarts Prognose hingegen zutrifft, nach der der neue Houdini 4 30-50 Elo besser ist als Houdini 3, dann dürfte es mehr als wahrscheinlich sein, daß Houdini 4 in allen halbwegs seriösen Ranglisten die Nummer 1 sein wird (wie es Houdini 3 auch immer noch ist). So viel zur kruden These, daß ja auch im TCEC (mit so wenigen Partien) die besten Engines sich am Ende durchsetzen (und es ja deswegen gar nicht nötig ist, so wahnsinnig viele Partien spielen zu lassen)...Tja, dumm gelaufen.

Stefan

By Heiko Krauss Date 2013-11-21 06:31

Das erwartete Finale STOCKFISH vs KOMODO
Favorit ist für mich Stockfish

Dass Houdini bei dieser Bedenkzeit noch Platz 3
erreichen konnte überrascht etwas.
Schade nur , dass Critter nicht mehr weiterentwickelt wurde,
dem hätte man dann auch einen Platz im Finale zutrauen können

Heiko

By Benno Hartwig Date 2013-11-21 07:48

[quote="Heiko Krauss"]Dass Houdini bei dieser Bedenkzeit noch Platz 3
erreichen konnte überrascht etwas.[/quote]Wurde Houdini bei langen Zeiten als sooo schwach angesehen.
Asche auf mein Haupt: Aber ich war so naiv, ihn auch unter TCEC-Bedingungen als Favoriten (mit nur kleinem Vorsprung) zu sehen.
Und gab's da vorher nicht auch ne Umfrage?
Benno

By Thomas Schoenegger Date 2013-11-21 06:33

Stefan nicht missverstehen: Houdini ist die unumstrittene Bulletengine, keine Frage. Und Houdart ist nicht der einzige Programmierer was von seinem Handwerk viel versteht. Don Dailey sagte als er noch online war, sei es im nTcec Chat, als auch im Talkchess Forum "Sollte Houdart es wirklich geschafft haben 30 - 40 Punkte auf H3 draufzupacken dürfte die Sache klar sein wer gewinnt. Und ja er war auch derselben Meinung wie du bei so wenigen Partien kann alles passieren, anything can happen. Trotzdem ist für mich Houdini der klare Verlierer. Das kann man drehen und wenden wie man will, es ist Fakt. Und ja es freut mich, jedoch aus einem simplen Motiv heraus: R.H war ein einziges Mal online und dann Stille. Geht für ein kommerzielles und ein "angeblich so gut verbessertes Produkt gar nicht. Ansonsten gibt er ja auch sehr gerne seinen Senf dazu. Und seine Prognosen bzgl. Spielstärkesteigerung stimmten nicht immer. Erinnere mich nur von H 1.5 auf die 2.0! Seine prognostizierte Steigerung bewahrheitete sich nur im Bulletbereich. Andere Listen ermittelten weniger. Dieses Turnier erfreut sich größter Beliebtheit und nicht wenige Programmierer sind ab und zu für eine kurze Zeit online und updaten Ihr Baby, warum wohl? Doch nicht aus Langeweile. Letzte Season war Kmodo CCT auf einem Core der Hammer und nicht wenige fragten Don sofort ob sie käuflich zu erwerben wäre. Jedes gewonnene Turnier ist auch ein Verkaufs/Kaufargument. Hiarcs Junior usw. werben ja auch mit Ihren Wm-Titeln. Und die spielen bei der Computer-wm deutlich weniger Partien.
Mein Tipp: Komodo
Gruß
Thomas Schönegger

By Chess Player Date 2013-11-21 06:41

[quote="Stefan Pohl"]
[quote="Benno Hartwig"]
Ja. Wie hätten vor dem TCEC-Beginn die Quoten gestanden für "Houdini kommt nicht in das Finale!"?
Ich glaube, sooo viele hätten das nicht prognostiziert.
Benno
[/quote]

Vor allem nicht diejenigen, die verstanden haben, daß bei so wenigen Partien die Ergebnisse rein zufällig sind und daher jedwede Prognose derselben so verläßlich wie ein Horoskop ist...
...

Stefan
[/quote]

Da bist Du aber auf dem berühmten Holzweg!

Das Turnier kannste mal selber 100.000 fach durchführen lassen und dann erstaunt feststellen, dass die Ergebnisse
durchweg identisch sind.

Deine falschen Scheinargumente stellen jedwede Liga Meisterschaft auf den Kopf. Deiner Meinung nach ist das doch alles nur zufällig?!

By Ralf Mueller Date 2013-11-21 08:01

Natürlich spielt da eine gehörige Portion Zufall mit rein.

Das lässt sich auch immer schön verfolgen, wenn hier nach tausend Partien eine neue Engineversion ein unglaubliches Eloplus hat und nach 100.000 Partien liegt alles wieder im "Soll". Bei so wenigen Partien wie im TCEC ist es natürlich noch extremer.

By Stefan Pohl Date 2013-11-22 07:04

Ach ja? Wo ist der Beweis? Hast du das Turnier 100000 mal wiederholt durchgeführt? Solange das niemand gemacht hat, ist DAS ein Scheinargument.
Das einzige echte "Argument" ist es, die TCEC-Partien durch bayeselo oder Elostat laufen zu lassen, und sich dann mal die Errorbars anzugucken. Dann sieht jeder, daß die Ergebnisse praktisch Zufall sind.

Stefan

By Benno Hartwig Date 2013-11-22 10:58

Zitat:

Das Turnier kannste mal selber 100.000 fach durchführen lassen

Hast du aber nie gemacht.
Wenn du selbst ein wenig herumprobiert hättest, dann wüsstest du, wie sehr z.B. 100-Partien-Ergebnisse in die irre führen.
Deine Änderung sieht klasse aus, deine Engine zeigt eine deutliche Verbesserung nach 100 Partien, und bei 500 oder 1000 Partien hat dich die Ernüchterung wieder eingeholt.
In der Mehrzahl bekommst du auch bei kleineren Testreiehn gute Ergebnisse. OK.
Manchmal (und dieses manchmal ist dann nicth soo selten) bekommst du aber Quark. Aber das kannst du zu diesem Zeitpunkt nicht erkennen, denn du hast ja nur dieses Ergebnis.
Und wenn du viele kürzere Testreihen machst, dann werden etliche davon einfach falsche Ergebnisse gebracht haben.

Eine kurze Testreihe liefert bestenfalls einen Hinweis, wo eine lange Testreihe besonders interessant sein kann.

Benno

By Rudolf Rohs Date 2013-11-21 07:33

Hallo Stefan,

es setzen sich eindeutig die besten Engines (unter diesen Turnierbedingungen) durch.

Houdini 4 wird ca. 50 Elopunkte besser sein, als Houdini 3, da Robert Houdart mit seinen Prognosen sehr verlässlich ist, aber wie wir ja wissen ist Houdini vor allem ein Bulletmonster und
der Vorsprung lässt bei längeren Bedenkzeiten nach. Du darfst auch nicht vergessen, daß zumindest Komodo auch eine von Dir noch nicht getestete Experimentalversion ist, die aber auch
schon wieder etwas stärker als der von Dir gewertete Komodo 6 ist. Somit dürften die Finalversionen von Stockfish und Komodo in deinen Ranglisten ungefähr Houdini 3 Niveau haben und bei
längeren Bedenkzeiten evtl. schon stärker sein. (Bei CEGT-bedenkzeit ist der Unterschied bei 4 Cores zwischen Houdini 3 und Komodo 6 gerade noch 13 Elopunkte).

Auch scheint Houdini mit Stockfish Probleme zu haben. Rechne mal die 3 Stockfishsiege gegen Houdini raus und Houdini liegt auf Komodoniveau und nur noch leicht hinter Stockfish.
Diese relative "Schwäche" von Houdini gegen Stockfish hat sich sowohl bei Klemens 3 Kings (wo Houdini noch knapp gewann, aber Stockfish ist bekanntlich inzwischen deutlich stärker geworden),
wie auch bei anderen Turnieren schon gezeigt und wiederspricht nicht der Führung von Houdini in den Gesamtranglisten (also über alle Engines). Da aber Houdini vor allem bei schwächeren
Engines besser punktet, dürfte der Unterschied bei den Spitzen-Engines sehr gering ausfallen. Genau dies zeigt auch das TCEC-Turnier.
Da kann ein schlechtes Abschneiden gegen einen Konkurrenten schon mal den Unterschied ausmachen.

Die Finalteilnehmer sind also nicht so unerwartet.

Gruß

Rudolf

By Christian Strunk Date 2013-11-21 08:20

Hallo!

(Teilzitat):
"Houdini 4 wird ca. 50 Elopunkte besser sein, als Houdini 3, da Robert Houdart mit seinen
Prognosen sehr verlässlich ist, aber wie wir ja wissen ist Houdini vor allem ein Bullet-
monster und der Vorsprung lässt bei längeren Bedenkzeiten nach."

Das lese ich hier nicht zum ersten Mal und ich frage mich woher diese Feststellung stammt?!
Ein Blick auf die sehr umfangreichen Cegt Listen scheint das aus meiner Sicht nicht zu bestätigen.

Beispiele (Cegt Listen):
40 in 4:
Houdini3 / Komodo5 = Unterschied + 76 Punkte

40 in 20 (ohne ponder):
Houdini3 / Komodo5 = Unterschied + 53 Punkte

40 in 20 (mit ponder):
Houdini3 / Komodo5 = Unterschied + 55 Punkte

40 in 120(!!):
Houdini3 / Komodo5 = Unterschied + 59 Punkte

Houdini ist bei der sehr kurzen Bedenkzeit (40 in 4) schon "etwas" besser,
mit den längeren Zeiten jedoch wird (bleibt) alles stabil.
Ich persönlich würde Houdini nicht auf ein reines Bulletmonster "reduzieren",
dies erscheint mir doch deutlich zu kurz gegriffen.

Mit Gruß Christian

By Rudolf Rohs Date 2013-11-21 09:39

Hallo Christian,

vergleiche mal über Komodo 6.

Lt. Stefans Liste mit Bedenkzeiten von ca. 1 Minute pro Partie ist der Unterschied 47 Elopunkte zwischen Houdini 3 und Komodo 6.
Bei CEGT 40/20 (4 Cores) ist der Unterschied gerade noch 13 Elopunkte also 34 Elopunkte weniger.

Auch beim CCRL ist der Unterschied von 40/4 (68 Punkte) zur 40/40 (20 Punkte) 48 Punkte niedriger.

Der Vorsprung schmilzt also mit mehr Zeit. Bei einem Monsterturnier wie bei TCEC (noch mehr Cores und Zeit) könnte der Eloabstand also
schon komplett eingestammt sein.

Gruß

Rudolf

By Stefan Pohl Date 2013-11-22 07:13

Ich bin auch der Meinung, daß Houdini mit weniger Zeit überproportional gut scort (oder die Konkurrenz besonders schlecht, das kann man so oder so sehen). In meiner LS-Liste (mit 80-90 Sekunden pro Partie und Engine übrigens (nicht ca. 1 Minute)) ist der Vorsprung von Houdini daher größer als bei anderen.
Zudem sind bei geringeren Bedenkzeiten die Elo-Abstände zwischen einzelnen Engines generell tendenziell größer, weil die Remisquote insgesamt geringer ist (der von mir sog. "Zieharmonikaeffekt"), als mit mehr Bedenkzeit. Das kommt zusätzlich immer der führenden Engine zugute, die dadurch "weiter weg" von der Nummer 2 rückt.

Stefan

By Andreas Aicher Date 2013-11-21 16:35

Hallo Rudolf,
ich sehe das sehr ähnlich, hatte ja auch ein Finale Komodo gegen Stockfish getippt.
Unter diesen Bedingugen waren auch für mich diese zwei die besten

Andreas

By Stefan Pohl Date 2013-11-22 07:16

Ich denke auch, daß unter TCEC-Bedingungen Komodo und Stockfish am besten sind. ABER: Das TCEC taugt nicht dazu, diese Meinung/Ansicht zu beweisen. Nur darauf kam es mir an! Leider wird das TCEC aber von vielen als Beweis dieser Meinung/Ansicht herangezogen. Und das ist schlicht unzulässig (aus der Sicht der seriösen Statistik - ja, ich weiß, daß ich euch damit nerve. Aber so ist es nun mal.)...

Stefan

By Andreas Aicher Date 2013-11-22 16:19

Hallo Stefan,
ich kann Dir da durchaus nicht widersprechen, Du nervst auch nicht, es stimmt ja.
Ich finde auch, dass das nTCEC alleine nichts beweist, ich sehe es auch nur als Indiz und auch nur in Zusammenhang mit anderen Turnieren, Zweikämpfen, Ranglisten, jeweils mit längerer Bedenkzeit und MP.
Das ganze gibt dann ein mehr oder weniger rundes Bild, eigentlich mehr einen Anhaltspunkt über die jeweilige Spielstärke und damit auch indirekt über die Analysefähigkeit(en).
Also mehr nicht, ein weiteres kleines Puzzle auf der Suche nach "schachlicherWahrheit" (Smiley)

Andreas

By Thomas Mayer (Quark) Date 2013-11-22 17:20

Hallo Andreas,

dabei gibt es ja durchaus interessante Fragen. Einerseits scheinen die Engines bei längeren Bedenkzeiten zusammenzurücken. (Das ist aber nicht zweifelsfrei bewiesen) Andererseits kann es aber durchaus sein, daß Stockfish & Komodo aus dem Mehr an Bedenkzeit wirklich mehr rausholen können, d.h. sie würden nicht nur näher rankommen, sondern sogar Houdini überholen. Nur die Nachweisbarkeit wird halt wohl einmal mehr daran scheitern, dass man bei wirklich langen Bedenkzeiten nur schwer wirklich statistisch relevante Partienanzahlen zustande bekommt.
Der Optimist in mir würde es ja wirklich gern so haben, aber der ewige Zweifler, der mir ja durch den Namen quasi schon in die Wege gelegt wurde, zweifelt...

Denn es geht ja wiederum um die Frage ob bestimmte Engines von längerer Bedenkzeit stärker profitieren als andere. Ich meine insbesondere Ingo Bauer hat das schon mit erheblichem Einsatz nachzuweisen versucht, hat aber kein entsprechendes Beispiel gefunden.

Gruß, Thomas

P.S.: Man bräuchte auch schon ganz erhebliche Zeitunterschiede, ein Faktor 50 wäre vielleicht interessant... also z.B. 40 in 5 Sekunden, 40 in 250 Sekunden, 40 in 12500 Sekunden (ca. 208 Minuten) -> Das mag bisher auch ein Problem des Versuchsaufbaus gewesen zu sein, der Sprung zwischen 40 in 20 und 4 in 120 ist vielleicht einfach viel zu klein, um irgendwelche Tendenzen nachzuweisen, sind ja nur ein Faktor 6.

By Andreas Aicher Date 2013-11-23 13:52

Hallo Thomas,
mir (als Optimisten) scheint es so, dass genau das eingetreten ist, Komodo und Stockfish haben inzwischen Houdini überholt, Stockfish ist Houdini inzwischen sogar in Blitzpartien sehr nahe gekommen (CCRL 40/4 fehlen nur noch 11 Comp. Elos)
Aber eins ist zumindest eingetreten, noch vor kurzer Zeit wurde hier im Forum Houdini in den Computerschachhimmel gehoben, immer nur Houdini, jede Analyse, Fernschachspieler, die schrieben, sie analysieren fast ausschlisslich mit Houdini ..... war schon fast ein Houdini Forum.
Der Beweis wird sicher nicht leicht, Deine Vorschläge sind sicher dazu geeignet, aber eigentlich bin ich mir nicht mal ganz sicher, ob die aktuellen Tests, da ja auch dort immer eine Auswahl getroffen werden muss (ohne eigenes Buch, Vorgabestellungen, Bedenkzeit, Auswahl der Gegner - wie ist der Einfluss auf die Rangliste, wenn einige Engines sehr eng miteinander verwandt sind Stw Ippos etc. etc.

schöne Grüsse
Andreas

By Andreas Aicher Date 2013-11-21 09:01

eigentlich schon, so hoch wäre die Wettquote dann eher nicht gewesen Komodo

Komodo   27   45%
Houdini   13   22%
Stockfish   14   23%
Bouquet   6   10%
Gull   0   0%
Naum   0   0%

By Tom Paul Date 2013-11-21 20:00

Stage 4 Partie 89
Stockfish vs Komodo 1-0

Stockfish	6	60%
Komodo	4	40%