Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Angstgegner Stockfish (SF250814aMZ x64 vs. Komodo 8
- - By Joe Boden Date 2014-09-17 20:15
In meinem Turnier mit 36 -Engines kämpft sich Komodo 8 langsam voran, mittlerweile auf dem 4. Platz. Aber gegen Angstgegner SF250814aMZ x64 gibt es nichts zu gewinnen.

Die Engine führt Komodo regelrecht vor. Gut zu sehen in nachstehender Partie, in welcher Komodo sich selbst dann noch leicht im Vorteil sieht, als Stocki schon deutlich auf Gewinn steht. Kein Wunder, in einem kleinen 30Partien Wettkampf kam Komodo über 9 Punkte nicht hinaus und verlor 21 - 9.

In einigen Partien macht Stockfish mit Komodo kurzen Prozess, so wie in folgender Partie.

Event:
Ort:
Datum:

Weiss:
Schwarz:

Ergebnis
Board
Parent - - By Silvio Zschako Date 2014-09-17 21:00
Kleiner Tipp: Aus einer Analyseengine sollte man kein Rennpferd machen bzw. einen 100-Meter-Sprinter. Mal Bedenkzeiten erhöhen, dann wird's was mit Komodo!  
Parent - - By Joe Boden Date 2014-09-17 21:50
Komodo8 wird von seinen Autoren gerade bei Blitzpartien als deutlich stärker angegeben. Die Geschichte mit mehr Zeit gilt nicht mehr für K8 oder gibt es da andere Aussagen?
Parent - - By Michael Scheidl Date 2014-09-17 21:55
Zum Stand der Dinge dürfte 1m+1s für Entwickler sowieso eine Art Fernschachbedenkzeit sein.

9-21 ist wohl ein "statistischer Ausreißer"?
Parent - - By Silvio Zschako Date 2014-09-17 22:26
Es ist geplant, demnächst mal eine Test-Bundesligasaison im Fußball nicht mehr mit 90 min pro Spiel, sondern mit 1 min Bedenkzeit, pardon, Spielzeit zu absolvieren...

Der FC Bayern München hatte kürzlich schon mal zehn Testspiele unter diesen Bedingungen gegen den SSV Dorfclub 0815 absolviert.

Umfrage: Wieviele Male hat der FC Bayern München gegen SSV Dorfclub 0815 gewonnen? Zusatzfrage: In wievielen Begegnungen konnte der FC Bayern München seine Spielstärke ausspielen?
Parent - - By Joe Boden Date 2014-09-17 22:28
der kommentar dürfte wohl als versuchter gag durchgehen....
Parent - - By Silvio Zschako Date 2014-09-17 22:45
Sicher meinte der Herr sein oben angezeigtes Turnier...
Parent - - By Joe Boden Date 2014-09-18 00:12
Zitat:
Die Geschichte mit mehr Zeit gilt nicht mehr für K8 oder gibt es da andere Aussagen?


anstatt im trüben zu fischen, solltest du mal lieber was qualifiziertes beitragen und obige frage beantworten.
Parent - - By Silvio Zschako Date 2014-09-18 01:03 Edited 2014-09-18 01:05
Über den Sinn von kurzen Bedenkzeiten, insbesondere für (qualifizierte) Tester, wurde in einem anderen Thread schon gesprochen. Über den Unsinn kurzer Bedenkzeiten wie dein obiges "Kastrationsturnier", scheint mir genau dies hier der richtige Thread zu sein.

Bist du ernsthaft der Ansicht, dass dies hier deinerseits ein qualifizierter Beitrag ist? Statt das Forum zuzumüllen mit nichtssagenden "Tests", solltest du deine kostbare Zeit auf Besseres verwenden.

Was willst du eigentlich beweisen? Dass Komodo bei diesen Bedenkzeiten nicht besonders gut ist? Das können dir Insider, die diese Engine etwas besser kennen als du, auch so bestätigen.

Ich sagte doch schon, Komodo ist eine ausgezeichnete Analysengine, aber kein allzu guter 100-Meter-Sprinter. Für Letzteres wurde diese Engine ganz bestimmt nicht entwickelt.

Wer im Trüben fischt, bist du, denn: Du zäumst das Pferd von der falschen Seite auf!
Parent - - By Joe Boden Date 2014-09-18 07:19 Edited 2014-09-18 07:22
Zitat:
Ich sagte doch schon, Komodo ist eine ausgezeichnete Analysengine, aber kein allzu guter 100-Meter-Sprinter. Für Letzteres wurde diese Engine ganz bestimmt nicht entwickelt.


Woher willst Du das wissen? Engines werden ganz sicher entwickelt, um gut und stark Schach zu spielen und nicht, um eine besondere Analysefähigkeit zu haben, welche sich nämlich implizit ergibt, wenn das Programm gut ist.

Das Märchen mit den kurzen Bedenkzeiten ist längst Schnee von gestern. Früher war einmal Turnierbedenkzeit das, was man sich vorstellte, um sich einen Eindruck über die wahre Spielstärke einer Engine zu machen. Das ist heute längst anders.

Ich behaupte, dass bei jeder Bedenkzeit (Anzahl der Partien ist wichtig) eine Aussage über die relative Spielstärke einer Engine zuverlässig getroffen werden kann. Und das dies so ist, zeigt sich auch darin, dass viele Tester heutzutage weitgehend locker mit den Bedenkzeiten umgehen. 15 Minuten heute sind bereits das, was vor Jahren einmal 2 Stunden waren. Die Rechner sind halt schneller geworden. Und auch Bullett-Partien liefern gute Hinweise auf die Fähigkeiten eines Programms.

Zudem ist Dein "Zumüllen" wenig respektvoll. Lass doch jeden so an das Computerschach rangehen, wie es ihm beliebt.

Ende der Durchsage.
Parent - - By Silvio Zschako Date 2014-09-18 13:42
Die spezifischen Stärken/Schwächen einer Engine zu bestimmen, Ihre Charakteristika zu benennen, eine Engine auf ihr strategisches, positionelles Verständnis hin zu prüfen und auf die Weiterentwicklungen in diesen Bereichen – all das und mehr, scheint mir richtig und notwendig zu sein, um einer Engine, in diesem Falle Komodo 8, gerecht zu werden. Was aber du betreibst, Joe Boden, ist Zweckentfremdung und geht völlig am Wesen des modernen Computerschachs vorbei.

Es mutet schon sehr komisch an, wenn ein „Schmied“ sich hier als „Uhrmacher“ betätigt. Und sich darin gefällt, Klötzchen schieben zu lassen in 1-min-Bedenkzeittunrnieren. Was soll das?

Lies dir noch/erst mal den Begleittext zu Komodo 8 durch, da findest du einige Hinweis über die spezifischen Charakteristika und Fähigkeiten dieser Engine und ihre besondere Eignung für Analysen, auch im Hinblick auf ihr positionelles und strategisches Verständnis.
Dass Larry Kaufmann, der Entwickler von Komodo, darauf immer besonderes Augenmerk gelegt hat, ist inzwischen ein offenes Geheimnis.

Ich glaube nicht, dass es sinnvoll ist, Joe Boden, sich wollwülstig insbesondere auf den Score von K8 gegen SF in 1-min-Bedenkzeit-Partien zu widmen. Hilfe!
Parent - - By Joe Boden Date 2014-09-18 13:54
Ich lasse jetzt mal probeweise ein 90/10 Turnier laufen. Was das ist? 3 Testläufe a 30 Partien mit 1+1, 5+1, 15+1 und 10 Partien mit Turnierbedenkzeit 2 Stundenfür 40 Züge.

Das Ergebnis für 5+1 Blitz liegt bereits vor, siehe nachstehend. Wie man sehen kann, hat sich auch hier Stockfish noch deutlich von K8 einsortiert. Kann natürlich wieder ein statistischer Ausreißer sein, aber darauf wetten würde ich nicht.

Platz  Name  SF2  Kom  Punkte  S-B  %  Perf
1  SF250814aMZ x64 [new]  X  19.5  19.5 / 30  204.75  65.00%  
2  Komodo 8 64-bit [new]  10.5  X  10.5 / 30  204.75  35.00%  

Zitat:
Was aber du betreibst, Joe Boden, ist Zweckentfremdung und geht völlig am Wesen des modernen Computerschachs vorbei.


Wie schon gesagt, lass doch einfach die Leute so an das Computerschach rangehen, wie sie wollen. Du hast die Wahrheit nicht gepachtet. Und Computerschach  ist schon mein Hobby seit Ende der siebziger Jahre, wie lange bist Du denn schon dabei?

30 von 30 Partien gespielt
Spielstufe: 5 Minuten/Partie + 1 Sekunden/Zug
Parent - By Heinz Hagenstein Date 2014-09-20 13:26
Ich möchte mal meine Erfahrung zu Blitz und Turnierpartien schildern.

Ich habe ein Eröffnungsbuch aus Bitzpartien 3 min bis 10 min erstellt,dann ein Buch aus Partien 16 min bis 360 min.

Ein Turnier Stochfish 5 mit den Blitzpartien gegen Stockfish 19 8 14 mit den längeren Zeiten war absolut Remis,nach 50 Partien abgebrochen.

Die Bedenkzeit im Turnier 5 min.

Es muß wohl so sein  denn beide Bücher wurden ja mal aus Großmeisterpartien erstellt.

Erstaunt war ich trotzdem ich hatte auf die längeren Bedenkzeiten getippt.

Gruß Heinz
Parent - By Benno Hartwig Date 2014-09-18 08:26 Edited 2014-09-18 08:39

> Statt das Forum zuzumüllen mit nichtssagenden "Tests",


Ich finde eigentlich ganz schön, dass jeder selbst entscheiden kann, was er
a) für interessant und mitteilenswert hält (Joe)
b) lesen will (du)


Ich finde kurze Zeiten übrigens auch sehr gut. Allerdings sollten die dann auch genutzt werden, um zumindest mehrere Hundert Partien abzuliefern! Da hilft dann ja schon ein schneller 24-Stunden-Lauf deutlich weiter.

Ich befüchte übrigens, dass die Tests der Developer, und das nicht nur bei SF(!), meist mittels sehr kurzer Zeiten laufen.
Dass das Tuning in der Entwicklung damit eh die kurzen Zeiten pusht. Dass die Spielstärke bei langen Zeiten davon ebenfalls profitiert, ist natürlich eingeplant und willkommen. Dies ist aber nicht das direkte Ziel der Entwicklung, und wohl auch bei K nicht.

Ansonsten hast du mit deiner Einschätzung K wird bei langen Zeiten erst gut! vielleicht Recht. Die These existiert ja schon länger.
Ein Indiz bei CCRL:
K8 vs. SF5
40/4        51,0 - 49,0    (51,0%)
40/40       53,5 - 41,5    (56,3%)

aber bei CEGT (1 Kern) finde ich:
40/4       106,0 - 94,0    (53,0%)
40/20       46,0 - 54,0    (46,0%)

Also, bei diesen wenigen Partien erhalten wir kein klares Bild
a) ob K8 im direkten Vergleich wirklich stärker ist als SF5
b) ob K8 von längeren Zeiten wirklich stärker profitiert als SF5.


Benno
Parent - By Tom Paul Date 2014-09-18 09:17
Und als ausgezeichnete Analyse-Engine bewertet Komodo 8 2-Fold Rep mit 0.00 in total verlorener Stellung.
Parent - By Joe Boden Date 2014-09-20 18:30
Jetzt, nach weiteren 30 15-Minuten Partien herrscht absoluter Gleichstand. Allerdings bei dieser Bedenkzeit auch kein plus für K8. Lasse jetzt noch 10 Turnierpartien folgen. Die Partien selbst sind sehenswert und man hat leicht den Eindruck, die beiden Engines spielen gegeneinander auf Augenhöhe. Immerhin, Computerschach ist wieder spannend. Schon seltsam: von Houdini redet kaum mehr einer.

ponder on
264 MB Hash
i3 Notebook
Rotate Shredder Book

Platz  Name  Kom  SF2  Punkte  S-B  %  Perf
1  Komodo 8 64-bit [new]  X  15.0  15.0 / 30  225.00  50.00%  
1  SF250814aMZ x64 [new]  15.0  X  15.0 / 30  225.00  50.00%  

30 von 30 Partien gespielt
Spielstufe: 15 Minuten/Partie + 1 Sekunden/Zug
Parent - By Benno Hartwig Date 2014-09-18 08:00

> Komodo8 wird von seinen Autoren gerade bei Blitzpartien als deutlich stärker angegeben


Seit langem besteht meist eher der Eindruck, dass Komodo im Vergleich zu den Konkurrenten bei langen Zeiten an Spielstärke gewinnt.
Es mag sein, dass jetzt mit K8 diese relative Schwäche bei kurzen Zeiten etwas verkleinert hat.

21 zu 9 zwischen SF und K wird ganz sicher ein statistischer Ausreißer
oder sogar ein systematischer Fehler in deinem Testablauf sein
und nicht mal annähernd die realen Verhältnisse abbilden.

Benno
Parent - - By Rüdiger Hartmann Date 2014-09-18 16:57
Hallo Joe !

...es stimmt, daß Komodo 8 bei etwas längeren Bedenkzeiten nochmal richtig zulegt.
...das war auch schon bei seinen "Urahnen" "Socrates" und "Cilkchess" so, wenn man die noch als "Urahnen" bezeichnen darf...
...nach meinen Einschätzungen ist 1Min.+1 Sek. sehr sehr gut für alle Stockfish-Versionen...
...für seine stark positionell ausgerichteten Berechnungen braucht Komodo ein paar Sekunden mehr...

Gruß nach Trier
Rüdiger
Parent - - By Benno Hartwig Date 2014-09-19 00:09 Edited 2014-09-19 00:12

> ...es stimmt, daß Komodo 8 bei etwas längeren Bedenkzeiten nochmal richtig zulegt.


Ich bin gespannt, ob sich diese immer wieder gern geäußerte These anhand z.B. der Ratinglisten bestätigen lässt.
Beim letzten TCEC konnte ich davon nichts erkennen. Aber da mag Pech mitgespielt haben.
Benno
Parent - - By Michael Scheidl Date 2014-09-19 00:33
Auf statistisch verläßliche Langzeit-Tests, das wären nach Stand der Dinge eine Fantastillion Partien, brauchen wir nicht zu warten Daher kann jeder seiner Fantasie freien Lauf lassen. Ist doch schön. Ich muß auch meinen Realismus im Zaume halten, denn der zerstört jede Romantik...
Parent - - By Benno Hartwig Date 2014-09-19 09:12 Edited 2014-09-19 09:31
Ich schaue dann gern auch auf die Ratinglisten, die sehr kurze und mittlere Zeiten im Angebot haben.
Beispielsweise CEGT und CCRL (andere?). Hier wurden Partien-Anzahlen absolviert, die Aussagen mit einer gewissen Schärfe schon gestatten.

Ich habe ja die Erwartung, wenn  Komodo bei langen Zeiten relativ zulegen kann, dass sich dies auch gern schon zeigen sollte, wenn man den Engines 5 mal oder auch 10 mal so viel Zeit gibt!

Und es ist schon interessant, was da zu sehen ist:
          ccrl 40/40 4c    ccrl 40/4 4c        cegt 40/20 1c  cegt 40/4 1c
K8            3308             3360                 3141            3291
SF5           3285             3367                 3133            3313
K8-SF5         +23               -7                   +8             -22

Komodo schneidet bei den mittleren Zeiten bei CEGT und CCRL besser ab als den kurzen Zeiten (30 ELO bei CCRL-4cores und 30 ELO auch bei CEGT-1core, bei gut 2 bzw. 3 Zeitverdopplungen)
Es mag tatsächlich sein, dass K8 bis zur Turnierzeit ggü. SF5 noch mehr gewinnen kann. Vielleicht 20 oder auch noch etwas mehr ELO (eben weitere knapp 3 bzw. 2 Zeitverdopplungen). Aber ein wenig gewagt könnte diese Schätzung auch sein. Dass K8 mit längeren Zeiten relativ stärker wird, glaube ich jetzt allerdings schon!

Benno
Parent - By Michael Scheidl Date 2014-09-19 09:25 Edited 2014-09-19 09:30
Danke; das sind eigentlich überzeugende Zahlen. Es ist was dran.

Einen relativ großen Head-to-Head-Vergleich könnten wir durch TCEC/S7 erhalten. Das Finale wird diesmal über 64 Partien ausgetragen, wieder 120m+30s auf 16 Cores. Da die Kontrahenten schon zuvor mehrfach aufeinander treffen, ergäbe das 81 Partien. (Leider ungerade, denn Stufe 2 ist nur einrundig.)

Start heute um 18 Uhr. Aber vorerst kommt es noch nicht zu einer Begegnung, denn Stockfish ist in Vorgruppe 1a und Komodo in 1b.

Zum bequemeren Chatten in einem Extra-Browsertab: http://chatwing.com/tcec
Parent - - By Joe Boden Date 2014-09-19 10:05 Edited 2014-09-19 10:20
Hallo Rüdiger,

Nach meinen kleinen 30er Testläufen ist Stockfish derzeit klar vorne bei Bullett und 5min Blitz, wie bereits berichtet.

Jetzt laufen 30 15+1 Partien. Und da steht es derzeit 10:10, also absolut ausgeglichen.
Scheint was dran zu sein, dass Komodo mit mehr  Bedenkzeit stärker von dem Zeitplus profitiert.
Parent - - By GS Date 2014-09-19 11:31
Wir haben zwar auch noch nicht gerade viel bezügl. dieses
Zweikampfes zu bieten, dennoch (alles x64 1CPU):

Code:

CEGT 40/04 pb=off :  Komodo 8.0 vs Stockfish 5.0  106.0- 94.0
CEGT 40/20 pb=off :  Komodo 8.0 vs Stockfish 5.0   46.0- 54.0
CEGT 5'+3" pb=on  :  Komodo 8.0 vs Stockfish 5.0   22.5- 27.5
CEGT 40/120 pb=off:  Konodo 8.0 vs Stockfish 5.0   25.5- 24.5


Nichts zu sehen von der These (Annahme), dass Komodo 8.0 x64
gegen Stockfish 5.0 bei steigenden Bedenkzeiten besser/schlechter
abschneidet als bei kurzen (kürzeren) Bedenkzeiten !
Aber, nicht vergessen, die Datenbasis ist sehr sehr dünn.
Parent - By Joe Boden Date 2014-09-19 11:44
Jedes Ergebnis zählt. Sieht so aus, als ob die Diskussion weiter geht und wir warten müssen, bis eine größere Datenbasis erreicht ist.
Parent - - By Rüdiger Hartmann Date 2014-09-19 12:06
...nichts gegen die Bedingungen einzuwenden (1CPU/64Bit),
allerdings schreibst Du ja auch selbst, daß die Partienanzahl sehr sehr dünn ist.

...und auch hier mal mit wesentlich mehr Rechenpower (8 oder 16 Kernen) testen.
Komodo 8 profitiert sehr stark, wahrscheinlich wie keine andere Engine, von mehreren CPU-Kernen,
also dem Parallelrechnen, was Don Dailey schon bei "Cilkchess" ausgezeichnet gelungen war.
Parent - By GS Date 2014-09-19 14:47
Ja, SMP könnte tatsächlich ein Plus für Komodo 8 sein
im Vergleich zu Stockfish 5.0 und einigen anderen Engines.

Dazu haben wir (CEGT) bisher nur Folgendes zu bieten:
Code:

CEGT 40/20 pb=off:
Komodo 8.0 x64 4CPU vs Stockfish 5.0 x64 4CPU  60.5-39.5
Parent - By GS Date 2014-09-19 20:19
Meine eigene Liste (QBRL), zeigt bisher folgendes:

#  Program                        Elo    +    -   Games    Score  Av.Op.  Draws
01 Komodo 8.0 x64 4CPU           3151   26   26     700    85.2 %   2811  23.9 %
02 Stockfish 5.0 x64 4CPU        3138   15   15    2000    80.6 %   2846  30.6 %
03 Houdini 4.0 x64 4CPU          3131   14   14    2000    80.0 %   2846  26.1 %
04 Gull 3.0 x64 4CPU             3072   13   13    2000    74.7 %   2849  34.2 %
...


Siehe: http://www.pcschach.de/

Allerdings sind erst 700 Spiele durch, es wird resp. kann sich also noch einiges (ver)ändern.
Parent - By Rüdiger Hartmann Date 2014-09-19 17:55
Hallo Joe !

...ja, unbedingt, und nicht nur mit ein paar Sekunden mehr...
Don Dailey hat damals mit "Cilkchess" schon ganz deutlich bewiesen,
dass er Schach-Programmieren für Parallelrechner wohl wie kein Anderer beherrscht.

Schau doch auch mal in "CEGT 40/20"...
...etwas mehr Bedenkzeit und mehr Rechenpower (hier 4 CPU) und Komodo 8
punktet wahnsinnig gut !!
...gegen Stockfish 5 im Moment 60,5 : 39,5 !! für Komodo 8...

Gruß
Rüdiger
Up Topic Hauptforen / CSS-Forum / Angstgegner Stockfish (SF250814aMZ x64 vs. Komodo 8

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill