Komodo 9 erschienen

By Benno Hartwig Date 2015-04-28 09:45

> Damit wird mein Testergebnis wohl eines der letzten sein

Du bist aber streng mit dir!
Immerhin präsentierst du dann ein Ergebniss, was auf 9000 Partien beruht!

Aber natürlich werde ich und sicher auch du vorher schon immer wieder mal schauen, was andere eben nach weniger Partien so für Beobachtungen gemacht haben.
Und dass kann seehhr fix beginnen!

Benno

By Benno Hartwig Date 2015-04-28 10:26 Edited 2015-04-28 10:45

Und http://www.inwoba.de/ präsentiert in "Rating List" bereits eine erste Einschätzung.
Bei Ingo hat sich K9 ein paar ELO vor SF6 gesetzt.

   # PLAYER                : RATING  ERROR   POINTS  PLAYED    (%)   CFS(next)
   1 Komodo 9              :   3187     10   2595.0    3300   78.6%      97
   2 Stockfish 6           :   3173     10   2550.0    3300   77.3%     100

(Ingo, wann konntest du eigentlich mit den K9-Tests beginnen, so dass du bereits jetzt 3300 Partien absolviert hast?
Immerhin beschreibst du: "5 min/game + 3 sec/move (mean game length ~ 16 Minutes)"
Wieviele Partien laufen bei dir eigentlich gleichzeitig?)

Benno

By Ingo B. Date 2015-04-28 11:03

Hallo Benno,

Benno Hartwig schrieb:

...
(Ingo, wann konntest du eigentlich mit den K9-Tests beginnen, so dass du bereits jetzt 3300 Partien absolviert hast?
Immerhin beschreibst du: "5 min/game + 3 sec/move (mean game length ~ 16 Minutes)"
Wieviele Partien laufen bei dir eigentlich gleichzeitig?)

Benno

25 Partien gleichzeitig. (3300*16)/25/60 = 35.2 Stunden. Allerdings stimmt die Rechnung nicht ganz, weil a) ich DF14 in seiner eigenen GUI spielen muß und das nur auf 4 Turniere aufgeteilt habe - da dauern die 220 Partien also rund 14.6h und eine Nummer 1 die Gegner natürlich schneller "abfrühstückt" der Durchschnitt also eher unter 16 Minuten liegt (während er für eine Mittelfeldengine wohl darüber liegt).
Wann habe ich angefangen ... du sieht ja wann K9 im CCC angekündigt wurde.

Gruß
Ingo

PS: Ob meine Antworten hier erscheinen ist ja ein bisschen von Sympatie und Einverständniss mit dem was ich poste abhänig, ich nehme aber an, dass das hier unverfänglich war.

By Thomas Müller Date 2015-04-28 11:11

was soll das PS: ?

gruß
thomas

By Ingo B. Date 2015-04-28 11:39

Thomas Müller schrieb:

was soll das PS: ?

gruß
thomas

Na ja, da mein Posting mehr als 24h / weniger als 48h nicht freigeschaltet wurde während einige andere "Anonyme" freigeschaltet wurden konnte ich nur so etwas annehmen. Jetzt ist es ja freigeschaltet worden ... alles super!

Gruß
Ingo

By Robert Richter (Mod.) Date 2015-04-28 12:58

Wir bemühen uns alle Posts so schnell es geht freizuschalten. Manchmal werden allerdings Posts schlicht übersehen, da wir aber zu viert sind, dauert das selten länger als 24h.

By Benno Hartwig Date 2015-04-28 11:36 Edited 2015-04-28 11:42

Ah, thanx für die Infos (und überhaupt deine so aktuelle Tabelle!).
25 Partien gleichzeitig, das schafft natürlich richtig was weg!
Benno

PS:
Übrigens Punktlandung!
Gemäß deiner 'Complete List' hat Komodo bei 1 Thread genau die 50 ELO zulegen können, die die Komodo-Seite in Aussicht stellt.

   1 Komodo 9                     :   3192     11   2595.0    3300   78.6%      
   4 Komodo 8                     :   3142      9   3789.5    5060   74.9%

By Ingo B. Date 2015-04-28 11:42

Benno Hartwig schrieb:

Ah, thanx für die Infos (und überhaupt deine so aktuelle Tabelle!).
25 Partien gleichzeitig, das schafft natürlich richtig was weg!
Benno

PS:
Übrigens Punktlandung!
Gemäß deiner 'Complete List' hätte Komodo bei 1 Thread genau die 50 ELO zulegen können, die die Komodo-Seite in Aussicht stellt.

"Ursache <-> Wirkung" ist immer ein interessant Gedanke

Gruß
Ingo

By Ludwig Buergin Date 2015-04-28 12:02

Komodo 9 spielt im Maschinenraum schon merklich stärker.

Gruß Ludwig

By Benno Hartwig Date 2015-04-28 12:47

PPS:

> Übrigens Punktlandung!

Kein Wunder, denn die Komodoseite bezieht sich ja auf IPON. (War mir vorher nicht aufgefallen, sorry)
Benno

By Kurt Utzinger Date 2015-04-28 10:26

Stefan Pohl schrieb:

Nur nicht stressen -

Zitat:

Sollte beim Herunterladen und beim Testrun alles glattgehen, so sollte das Ergebnis am Mittwoch, den 6.5.15, vorliegen und dann auch auf meiner Website online gehen. Damit wird mein Testergebnis wohl eines der letzten sein, aber dafür spielt Komodo 9 bei mir auch gegen eine ziemlich aktuelle Dev-Version von Stockfish (150410) und gegen Sugar (150414).
Danach wird Komodo 9 natürlich dann in allen folgenden Stockfish-Testruns als Gegner Komodo 8 ersetzen.

Das ist ja schrecklich, wenn wir solange auf Resultate warten müssen -

Nein, im Ernst, spinnen wir denn langsam, dass wir meinen, am gleichen Tag nach Erscheinen eines neuen Programms oder wenigstens einen Tag später schon so viele Partien zu haben für eine Einschätzung der Spielstärke. Wenn du dich aber selber so unter Druck setzt, dann bist du selber schuld.

Zitat:

In meinem EndlessRoundRobin Turnier werde ich voraussichtlich ab Freitag Komodo 9 und die dann aktuellste Stockfish-Dev Version hineinnehmen und dafür natürlich Komodo 8 und Stockfish 150320 herausnehmen. Bis dort ein halbwegs valides Ergebnis von Komodo 9 (auf Quadcore) vorliegt, wird es natürlich dauern, denn im Endless RoundRobin werden ja nur 40 Partien pro Tag absolviert. Aber es wird dort natürlich sehr interessant sein, zu sehen, wie sich Komodo 9 auf 4 Cores gegen eine aktuelle Stockfish-Dev Version so schlägt.

Wenn der Komodo 9 Bullet-Testrun bei mir durch ist, poste ich einen entsprechenden Hinweis wie immer auf talkchess.

Stefan

By Stefan Pohl Date 2015-04-28 11:52

Kurt Utzinger schrieb:

Stefan Pohl schrieb:

Nur nicht stressen -

Zitat:

Das ist ja schrecklich, wenn wir solange auf Resultate warten müssen -

Zitat:

Moin Kurt,

ich setze mich nicht unter Druck. Es ging mir nur darum, eine ungefähre timeline zu posten, weil ich bis Freitag so wenig Zeit habe, daß ich meine Website diesbzgl. nicht aktualisieren kann.
Würde ich mich unter Druck setzen, wäre das auch ziemlich unklug, denn mit meiner kümmerlichen Hardwareausstattung (2 Quadcore Notebooks) kann ich beim Thema Ergebnisgeschwindigkeit mit Ingo oder Andreas Strangmüller sowieso nicht konkurrieren.

Also alles locker bei mir in Berlin...

Gruß - Stefan

By Tom Paul Date 2015-04-28 12:22

Stefan Pohl schrieb:

Ab sofort kann Komodo 9 auf der KomodoWebsite heruntergeladen werden.
Leider bin ich bis spät Abends aus Arbeit und kann mir Komodo 9 daher erst heute Abend herunterladen und meinen Testrun über 9000 Partien für meine kleine Top-Bulletliste starten.
Sollte beim Herunterladen und beim Testrun alles glattgehen, so sollte das Ergebnis am Mittwoch, den 6.5.15, vorliegen und dann auch auf meiner Website online gehen. Damit wird mein Testergebnis wohl eines der letzten sein, aber dafür spielt Komodo 9 bei mir auch gegen eine ziemlich aktuelle Dev-Version von Stockfish (150410) und gegen Sugar (150414).
Danach wird Komodo 9 natürlich dann in allen folgenden Stockfish-Testruns als Gegner Komodo 8 ersetzen.

In meinem EndlessRoundRobin Turnier werde ich voraussichtlich ab Freitag Komodo 9 und die dann aktuellste Stockfish-Dev Version hineinnehmen und dafür natürlich Komodo 8 und Stockfish 150320 herausnehmen. Bis dort ein halbwegs valides Ergebnis von Komodo 9 (auf Quadcore) vorliegt, wird es natürlich dauern, denn im Endless RoundRobin werden ja nur 40 Partien pro Tag absolviert. Aber es wird dort natürlich sehr interessant sein, zu sehen, wie sich Komodo 9 auf 4 Cores gegen eine aktuelle Stockfish-Dev Version so schlägt.

Wenn der Komodo 9 Bullet-Testrun bei mir durch ist, poste ich einen entsprechenden Hinweis wie immer auf talkchess.

Stefan

Falls dich das auch noch interessieren sollte:
https://groups.google.com/forum/?fromgroups=#!topic/fishcooking/RpCR4fNgd5k

Marco Costalba
25. Apr.
Andere Empfänger: joona....@gmail.com, h.s...@gmail.com
Nachricht auf Deutsch übersetzen

On Sat, Apr 25, 2015 at 10:57 AM, zamar <joona....@gmail.com> wrote:

> No matter what improvements or breakthroughs we make, they can be observed
> by Komodo team and also implemented in Komodo.
>
> So we are not competing in the same league...
>

I don't fully agree on this.

It is true that they can observe our changes, actually according to
Larry's post on talkchess they do much more than this, namely they
fully analyze our search and eval and split it in many parts that are
thoroughly tested in Komodo one by one (I think nobody else does the
same effort of analyzing and verifying the value of individual SF code
chunks in their engines).

On the other hand, thanks to our open development model we take
advantage of a huge and powerful distributed testing resources and on
the combined effort of many individuals that daily pour in new ideas
and tweaks.

You cannot really split the two things and trying to evaluate them
independently: ELO race between SF and Komodo is actually the fight of
two different ways to approach competitive engines improvement. It is
all about closed source "I see you, you don't see me" against open
source and development "I show all to everybody so that many of them
will help me to grow".

It is difficult to see the future and bet on which model will prevail,
realistically I guess it will be a continuous race where one part will
prevail only for a short period of time, before the other regains the
lead.

By Benno Hartwig Date 2015-04-28 13:02 Edited 2015-04-28 13:04

>"ELO race between SF and Komodo is actually the fight of two different ways to approach competitive engines improvement. It is all about closed source "I see you, you don't see me" against open source and development "I show all to everybody so that many of them will help me to grow".
> "realistically I guess it will be a continuous race where one part will prevail only for a short period of time"

Und das ist es, was die Computerschach-Zeit im Moment so spannend macht.
Dass weitere Engines, die doch ganz gut mit dabei waren, nicht an diesem Rennen teilnehmen, ist natürlich bedauerlich.
Aber dies soll diese beiden Kontrahenten mit ihren so verschiedenen Wegen ganz sicher nicht bremsen, unter Hochdruck an der weiteren Spielstärkesteigerung zu arbeiten!

Benno

By Benno Hartwig Date 2015-04-28 14:51

Und bei CEGT
http://cegt.forumieren.com/t326-testing-komodo-9-0
trudeln jetzt auch allerallererste 40/4-Ergebnisse ein:

Komodo 9.0 x64 1CPU          ELO 3203 out of 0100 games + 60
Komodo 8.0 x64 1CPU          ELO 3143 out of 3000 games

Diese 3203 ELO entsprechen genau der SF6-Spielstärkeeinschätzung.

Benno

By Wolfgang Battig Date 2015-04-28 15:26 Edited 2015-04-28 15:29

Allerdings wirklich noch allleralleralleraller erste Tendenzen...

Am Freitag wird es ein extra "Komodo 9-Update" unserer 40/4-Liste geben, mit dann deutlich >1000 Partien (1CPU) und einigen hundert (4CPU). Wenn alles durchläuft...

Am Sonntag wie üblich das 40/20-Update.

Die 5'+3" (Ponder=ON)-Tests haben ebenfalls begonnen, hier auch erst 200 Partien gespielt, +69 zu K8 und +25 zu SF6, aber noch keinerlei Aussagekraft.

40/120 später, wenn sich der Rauch der kurzen Bedenkzeiten etwas verzogen hat.

By Benno Hartwig Date 2015-04-28 15:36

> allleralleralleraller erste Tendenzen

Klar, und Thanx für euren schnellen Einsatz.
Es ging mir auch weniger um diese ersten Zahlen als um diese Adresse, wo man halt ggf. mal hin und wieder hinluschern kann, um allmählich einen K9-Eindruck zu erhalten.

Benno

By Wolfgang Battig Date 2015-04-28 15:49

ich denke bis morgen abend wird klarer wohin die Reise geht. Und mit Ingos 3300 Partien liegt ja zum Glück schon einiges Ergebnismaterial vor

By Benno Hartwig Date 2015-04-29 11:49

Inzwischen gibt es hier wirklich ein paar Ergebnisse mehr.

Komodo 9.0 x64 1CPU          ELO 3217 out of 0700 games + 74 to Komodo 8 / +14 to Stockfish 6.0
Komodo 8.0 x64 1CPU          ELO 3143 out of 3000 games

Nicht schlecht von Komodo9!
Insbesondere gegen Houdini hat Komodo recht deutlich gewonnen.
Und die Begegnung mit Stockfish steht noch aus.

Benno

By Hauke Lutz Date 2015-04-29 15:36

Hallo,
ich habe einen komodointernen Zweikampf spielen lassen.

BZ: 15"+200ms
HW: 1 Kern (Fritzmark 3,4 mN/s), 256 MB Hash
Gui: Arena-Blitzer
Eröffnungen: 10moves_SALC_500.pgn

Program    Elo    +   -   Games   Score    Av.Op. Draws

1 Komodo 9    : 3048 8   8 5000 57.0 %   3000   36.4 %
2 Komodo 8    : 3000 8   8 5000 43.0 %   3048   36.4 %

Gruß,
Hauke

By Stefan Pohl Date 2015-04-30 03:57

Hauke Lutz schrieb:

Moin Hauke, ich bin etwas verwirrt: 5000 Partien in einem Enginezweikampf mit nur 500 Vorgabestellungen?! Da hättest du ja 5 mal die gleiche Stellung doppelt ausspielen müssen ?!?
Wäre da nicht unser großes 12movesSALC File angeraten gewesen ?

Gruß - Stefan

By Hauke Lutz Date 2015-04-30 07:21

Moin Stefan,

die 10k-Datenbank wäre mit Sicherheit eleganter gewesen. Ich habe leider nicht dran gedacht das "gröbere" Set bei den kurzen Bedenkzeiten zu verwenden.
Es sollte dennoch keinen Unterschied machen, weil die Datenlage dennoch mit 5k Partien aus immerhin 500 Stellungen sehr hoch ist.

Ich lasse Komodo 9 bei gleichen Bedingungen gegen den Stockfish 15042823 antreten.
Bei diesen extrem kurzen Zeiten hat Stockfish bisher nach ca. 53% der Partien die Nase mit 64 Elo (+/-9) noch sehr weit vorne.
Gemäß meiner Erfahrung wird sich beim kleinen Set dank der intensiven Vorarbeit bei der Erstellung nicht mehr viel ändern.
Wie das bei einer ca. 4x so hohen Anzahl an Knoten aussieht wird man bei dir sehen können.

Gruß
Hauke

By Stefan Pohl Date 2015-04-30 07:57

Hauke Lutz schrieb:

Aber so hast du doch alle Stellungen (bei gleicher Engine/Farbkonstellation) 5 mal benutzt und somit könnte es etliche Doubletten gegeben haben.
Wenn man zwei Engines 5000 Partien gegeneinander absolvieren lassen will, braucht man deshalb 2500 Vorgabestellungen. Genau für solche langen Einzelvergleiche ist ja das große SALC Set mit seinen 10000 Stellungen gedacht.

Gruß - Stefan

By Hauke Lutz Date 2015-04-30 08:32

Grundsätzlich besteht diese Möglichkeit natürlich.
Hier muss jeder für sich abwägen, ob er mit der Gefahr arbeiten möchte/kann/darf.
Ich halte diese Gefahr bei diesen extrem kurzen Zeiten für sehr gering, da schon bei Analysen beobachtet werden kann, dass gerade zu Beginn der Berechnung innerhalb von Millisekunden die Rangordnung der Züge mit der besten Bewertung sich oft gravierend verändern kann.
Bei Bedenkzeiten von >5s/Zug teile ich deine Meinung jedoch uneingeschränkt.

Gruß
Hauke

By Wolfgang Battig Date 2015-04-30 10:24

???
Stefan hat völlig recht, für 5000 Partien brauchst Du für einen seriösen Test 2500 Testpositionen, ansonsten erhältst Du hunderte eher tausende von Doubletten bzw. sehr ähnlichen Spielen. Diese Möglichkeit besteht nicht nur "grundsätzlich" sondern "garantiert"!

500 Positionen = 1000 Partien (bei Farbtausch), alles andere ist Quatsch (sorry).

Aber vielleicht haben Stefan und ich Dein - möglicherweise revolutionäres - Konzept ja nur noch nicht durchblickt...

By Hauke Lutz Date 2015-04-30 11:26

Ich hatte nicht vor eine Grundsatzdiskusion zu eröffnen, sondern hab nur erklären wollen weshalb ich es bei Partien die innerhalb von ~ 1 Minute gespielt werden für nicht dramatisch halte..., aber was solls...
Für mich bleibt nur noch zu erwähnen, dass trotz der 5fach Belegung jeder Stellung nicht eine einzige Doublette entstanden ist. Der pgn-scanner ist doch ein Mittel der Wahl, meine ich, oder liege ich falsch?
Ich stelle für eine Überprüfung gerne die Ausgaben der Arena-Gui zur Verfügung um, falls es gewünscht ist, eine sachliche und rational begründbare Diskusionsgrundlage zu schaffen.....

By Benno Hartwig Date 2015-04-30 12:39

> Für mich bleibt nur noch zu erwähnen, dass trotz der 5fach Belegung jeder Stellung nicht eine einzige Doublette entstanden ist.

Unabhängig davon, ob das Vorgehen so empfehlenswert ist oder nicht, würde mich sehr interessieren, wie weit in diesen jeweils 5 gleichen Startstellungen einer Paarung ein gleicher Partiebeginn erfolgte.
Kommen die Differenzen durchweg schnell? Im Wesentlichen neue Partien?
Oder prökeln sich meist eine ganze Weile gleiche Zugfolgen auf das Brett, und damit eben immer wieder gleiche Fehler oder gleiche geniale Erkenntnisse?

Selbst wenn eine Eingie gegen verschiedene Gegner spielt, ist immer wieder dieselbe Startstellung nicht wirklich schön.
Wenn die Engine hier den ersten Zug vermasselt, dann vermasselt sie mit diesem Zug gleich ein Vielzahl von Partien. Und das kann doch eigentlich nicht gewünscht sein.

Benno

By Hauke Lutz Date 2015-04-30 12:47

Die Partien habe ich nicht intensiv genug studiert um die Frage beantworten zu können.
Grundsätzlich gilt meiner Meinung nach das bei der kurzen Bedenkzeit Millisekunden entscheiden ob Zug X, Y oder Z gespielt wird.
Von daher halte ich es für praktisch Unmöglich, dass sich bei sehr sehr kurzen Bedenkzeiten eine Doublette durchschummelt.

Gehen wir mal davon aus, dass nur 2 Züge zur Auswahl stehen mit praktisch identischer Bewertung, so können sich bereits nach 5 Halbzügen 32 unterschiedliche Varianten bilden je nach dem welcher Zug aufgrund der Schwankung im Bewertungsprofil gespielt wird.

By Ingo B. Date 2015-04-30 16:19

Hauke Lutz schrieb:

Ich habe bei mehreren 100000 Partien mit weniger Eröffnungen (aber mehr Engines) bis heute keine Doubletten das ist auch nicht das Problem. Das Problem ist, das du im Prinzip 5 mal das gleiche Turnier gespielt hast, und dann die Ergebnisse zusammengeworfen hast.

Vergleichbar ist eine Umfrage zu einer Wahl, bei der die Umfrager anstatt 1000 Leute zu interviewen (furtbarer Anglizismus) nur 200 befragen, das Ergebniss mal 5 nehmen und sagen die Wahrscheinlichkeit ist ziemlich hoch das so und so ausgeht, überspitz gesagt könnten sie auch nur einen befragen und das Ergebniss mal 1000 nehmen. Ein solches Unternehmen bekommt garantiert keinen Auftrag für eine Befragung mehr weil das schlich und einfach falsch ist!

Gruß
Ingo

By Hauke Lutz Date 2015-05-01 03:19

Unter identischen Bedingungen hat Stockfish 15042823 im direkten Vergleich mit Komodo 9 ganze 56 Elo Vorsprung errungen.

By Frank Qy. Date 2015-04-30 11:27

Wie gut das ich diese Probleme nicht habe.
Komplette moderne Schachtheorie, gewichtet nach GM-Ausspielpräferenzen aller relevanten Correspondence und GM-Partien, optimiert über Eng-Eng Matches sorgt für ...

Stats:
After 75.700 games: 12 double games produced = 0,015%
After 75.700 games: 241 draw games up to move number 20 produced = 0,318%
After 75.700 games: 17 draw games ended with move number 300 produced = 0,022%

= 12 + 241 + 17 = 270 games = 0.356%
All these games are replayed!

Kann sich sehen lassen wie ich finde.
Diese Probleme kann ich getrost zu den Akten legen aber das war ein hartes Stück Arbeit dahin zu kommen denn nur ausgeglichene Varianten sollten ausgespielt werden.
Optimal für Eng-Eng ... auch für Matches die 5.000 Partien beinhalten.

Ist einfach Geschichte aber leider nur für Shredder Classic GUI verfügbar und leider ... der Nachgeschmack ... immer noch ca. pro 100 Partien eine Bad-Line drin, die rausgeholt werden muss. Aber mit immer mehr Eng-Eng werden die Bad Lines weniger. Durch meine Durchsicht der Partien minimieren sich die Bad-Lines beständig und ein großartiges Buch für solche Zwecke entsteht. Testen mit Vorgabestellungen hat dann einfach ein Ende, weil nicht so sinnvoll wie ich finde. Was die Eröffnungstheorie her gibt sollte interessanter sein.

Spreche vom FCP Live Book.
Kann jeder runterladen und loslegen ...

By Kurt Utzinger Date 2015-04-30 11:16

Hallo Stefan
Ist Deine Homepage nicht mehr online?
Gruss
Kurt

By Stefan Pohl Date 2015-04-30 12:28

Kurt Utzinger schrieb:

Hallo Stefan
Ist Deine Homepage nicht mehr online?
Gruss
Kurt

Doch, natürlich. Bin zwar gerade arbeiten, aber auf meinem Ipad ist meine Website OK. Vielleicht gab es ein temporäres Problem bei beepworld?!? Hat es schon gegeben, allerdings selten und auch nur von kurzer Dauer.
Generell kann ich versprechen, daß ich nie eine Website aus dem Netz nehmen würde, ohne das vorher anzukündigen. Und daß ich das auch in nächster Zeit keinesfalls vorhabe.

Gruß - Stefan

By Kurt Utzinger Date 2015-04-30 14:23

Hallo Stefan
Habe den Übeltäter gefunden. Unter meinen Favoriten
unter "Chess" ist/war noch die alte Adresse drin. In
diesem Zusammenhang: weshalb nicht in der Signatur
oder deinem Profil die URL angeben?
Mfg
Kurt

By Stefan Pohl Date 2015-05-01 07:26

Kurt Utzinger schrieb:

Glaube das lohnt nicht. Ich poste nicht mehr oft hier. Und da meine neue Website jetzt fast ein Jahr online ist, sollte sie doch jeder, der sie interessant findet, inzwischen in seinen bookmarks haben, hoffe ich.

Gruß - Stefan