Komodo 10.4 veröffentlicht

By Benno Hartwig Date 2017-03-14 18:26

Jaaa, Chance für ein Aufholen auf einen zur Zeit stagnierenden Stockfish

By Stefan Pohl Date 2017-03-15 14:35

Benno Hartwig schrieb:

Jaaa, Chance für ein Aufholen auf einen zur Zeit stagnierenden Stockfish

Optimist!

In den Ranglisten eventuell, wo gegen viele schwache Gegner gespielt wird, die praktsch alle deutlich schlechter sind.
In meinem long-thinking time Turnier allerdings, wo die großen 3 unter sich sind, liegt Komodo 10.3 jetzt 79 Elo hinter asmFish (beide praktisch gleiches Release-Datum). Und da das Turnier ca. 78 Tage lang mit dieser Engine-Konstellation lief, sind immerhin über 2300 Partien gespielt worden (20'+5'' (= ca. 30 Partien pro Tag), die Engines haben zum rechnen immer 3.5 reale (=7 HT)-Kerne und 4 GB Hash zur Verfügung (auf einem aktuellen Intel-Skylake Notebook)). Somit kann das Ergebnis als recht verläßlich gelten (Errorbar +/-8 Elo). Und auch als schachlich hochwertig, wegen der relativ langen Bedenkzeit auf dem sehr flotten Notebook mit den sehr großen Hashtables.

Ich habe soeben das Turnier mit Komodo 10.4 und asmFish 170309 (und natürlich auch Houdini 5) neu aufgesetzt. Mal sehen...Aber damit Komodo, wenn die starken 3 Engines unter sich sind, Stockfish (also asmFish) einholt, müßte Stockfish wohl noch mindestens ein Jahr weiter stagnieren, denke ich...

Es wird natürlich einige Wochen dauern, bis sich bei diesem langsamen Spieltempo ein halbwegs verläßliches Ergebnis herauskristallisiert.

Stefan

By Benno Hartwig Date 2017-03-15 16:28

> Optimist!

Klar

Ich möchte ja auch gern ein wenig Kopf-an-Kopf-Gerenne.

Zunächst sehe ich aber SF als Kompilat aus den c++-Sourcen als Ziel (das ja auch einigermaßen weit weg ist).
Dass asmfish dann noch ein paar Punkte weiter weg aufspielt, wissen wir.

Schick wäre, wenn auch mal ein Lebenszeichen aus dem geheimnisvollen Houdini-Hut käme.
Vielleicht, wenn sich TCEC erneut zu Wort meldet?

Benno

By Stefan Pohl Date 2017-03-16 17:48

FGRL Bullet-Ergebnis ist da (+28 Elo zu Komodo 10.3. Sehr, sehr ordentlich!)
IPON Testrun läuft.

By Benno Hartwig Date 2017-03-17 08:37

CEGT hat sich erwartungsgemäß auch gleich für den neuen Komodo interessiert.

http://cegt.forumieren.com/t787-testing-komodo-10-4
mit +15 nach 700 Partien zeigt sich der Fortschritt zunächst erst mal moderater.
Benno

By Wolfgang Battig Date 2017-03-17 13:40

Bei IPON sind es aktuell 77,35% zu 75,1 (aber 10.2, die 10.3 hat Ingo nicht getestet), also ca. +16

Bei uns sind es +36 zur 10.2, aber noch deutlich zu wenig Partien (900 erst)

By GS Date 2017-03-17 14:15

Hi Wolfgang !

Und im ERET sind es lt. User Gregor Brunner sogar 5 Stellungen weniger,
siehe: http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=107044#pid107044
Was das "in ELO" bedeutet habe ich bisher leider nicht herausbekommen,
aber das ist schon ein eigenartiges Resultat, dafür jedoch ein sehr schnelles !

Viele Grüsse,
G.S.

By Walter Eigenmann Date 2017-03-17 14:59

GS schrieb:

Hi Wolfgang !
Und im ERET sind es lt. User Gregor Brunner sogar 5 Stellungen weniger,

Nö, der ERET hat schon vor Tagen - praktisch nach Erscheinen des K10.4 - angekündigt, dass der neue Komodo 10.4
eine deutliche Verbesserung darstellt - guggst du hier: http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=107041#pid107041

Schön, dass CEGT inzwischen diesen Befund des ERET auch zu bestätigen scheint - wenn auch reichlich spät...

Zu "Gregor Brunner" (?) und seiner lustigen Resultatmeldung später mehr.
(Momentan keine Zeit für CSS - aber wir sehen uns...

By Gregor Brunner Date 2017-03-17 18:07

Hallo,

angeregt durch Deine Anmerkungen zu meinen Ergebnismeldungen habe ich nun den Test insgesamt drei weitere Male laufen lassen.

Ursprünglicher Test von dem aus ich meine Ergebnismeldung gemacht habe: 58 gelöste Stellungen
Erste Wiederholung: 67 gelöste Stellungen (!)
Zweite Wiederholung: 73 gelöste Stellungen (!!)

Diese Tests wurden unter Fritz13 Testsuite lösen gemacht.

Zur Sicherheit dann noch ein Test auf Shredder13 GUI: 67 gelöste Stellungen

Schon ein bissl komisch, aber natürlich korrigiere ich mein erstes Urteil und behaupte das Gegenteil.

4 Kerne
512 MB
5 Sekunden fest (CB)
(Shredder 6 Sekunden)

By Kurt Utzinger Date 2017-03-17 18:20

Gregor Brunner schrieb:

[...]

Schon ein bissl komisch, aber natürlich korrigiere ich mein erstes Urteil und behaupte das Gegenteil.

4 Kerne
512 MB
5 Sekunden fest (CB)
(Shredder 6 Sekunden)

Hallo Gregor
Bei Verwendung von 4 Kernen sind keine identischen Ergebnisse zu erwarten.
Das finde ich ganz normal.
Gruss
Kurt

By Gregor Brunner Date 2017-03-17 18:27

Servus Kurt,

ja, daß ist mir schon klar, aber die nur 58 im ersten Durchlauf finde ich dann doch schon krass.
Kann mir auch nicht vorstellen, daß ich da bei den Einstellungen was verpfuscht habe. Table Memory war auch immer auf 128. Wirklich komisch.

By GS Date 2017-03-17 19:17 Upvotes 1

Ich führe solche "Tests" immer wie folgt durch:
- nach jedem Durchlauf nicht "nur" das GUI verlassen, sondern auch den PC booten !

Auf diese Art und Weise hatte ich bei allen Durchläufen , welche ich 2, oder gar 3 x habe
wiederholen lassen, identische Ergebnisse ! Allerdings alles immer "1CPU", SMP ist für
solche "Tests" absolut ungeeignet, ausser man verwendet deutlich längere Zeitvorgaben.

By Kurt Utzinger Date 2017-03-17 21:23

GS schrieb:

Hoffentlich nehmen sich alle Tester diese Tatsache zu Herzen.
Gruss
Kurt

By GS Date 2017-03-17 20:47

Walter Eigenmann schrieb:

[...snip...]
(Momentan keine Zeit für CSS - aber wir sehen uns...

Ja stimmt, man trifft sich immer wieder.

Ich habe auch noch einen, und schreibe jetzt mal aus dem Gedächtnis,
hoffentlich nicht ZU fehlerhaft.

Sie schrieben ja irgendwann/wo, dass Sie schon lange "dabei" sind.
Dann ist Ihnen sicherlich das legendäre "Piff-Paff-Puff" der einstigen
"Modulisten" (später PC-Schach) bekannt ?

Dieses "Piff-Paff-Puff" war auf Stellungstests im allgemeinen gemünzt
seinerzeit, mit dem Tenor, dass Stellungstests zwar alles messen, nur
keinerlei Rückschlüsse auf die Spielstärke der Schachcomputer geben.

Für alle die das nicht (mehr) kennen:
Piff = Stellung aufstellen auf dem Brettschachcomputer (seinerzeit).
Paff = den Brettschachcomputer starten mit vorgegebener Bedenkzeit
Puff = Zeit notieren, ab wann der "target move" erscheint

Danach, nennen wir es nun einfach "Peng" = eine "Listung" erzeugen.

Was damals dabei herauskam ? Um es kurz zu machen:
genau der selbe Scheiss wie bei allen diesen "Versuchen" = nichts.

Tja, bereits vor langer langer Zeit wussten diese Jungs, aber nicht
nur die, dass man damit rein gar nichts Messen kann in Bezug auf die
Spielstärke von Schachcomputern, heute von Schachengines !!

Die Jungs von Modul, später PC-Schach, haben Recht behalten, dies
wusste zu jener Zeit allerdings auch (fast) jeder, bis auf ganz wenige.

Danach kamen dann Gurevic & Co.

By Peter Martan Date 2017-03-17 22:28 Edited 2017-03-17 23:13 Upvotes 1

GS schrieb:

Danach kamen dann Gurevic & Co.

Und dann kam der Sonnabend und das Wochenende war fast um.

Inzwischen sind ein paar Jahre ins Land gegangen, vielleicht dürfen wir jetzt dann langsam doch auch wieder ein bisschen Spaß am Computerschach haben?

Wenn das die alten Stelluingstestphobien wieder akut weden lässt, das vergeht schon auch wieder, dann wird's wieder mehr ein chronisches Leiden und sowieso rein selbstverschuldet.

Vom Remistod im Schach sind wir ja auch noch ein Stück weit weg, es sei denn, wie lassen nur mehr die Engines ohne jede menschliche Einmischung gegeneinander spielen.
Maschinen (sich selbst weiter) entwickeln (lassen), die die Kartoffeln anbauen, ernten, kochen, schälen und aufessen.

By Roland Riener Date 2017-03-17 22:36 Upvotes 1

GS schrieb:

Zitat:

Was damals dabei herauskam ? Um es kurz zu machen:
genau der selbe Scheiss wie bei allen diesen "Versuchen" = nichts.

Diese alten Kamellen kenne ich tatsächlich nicht. Warum eigentlich werden die Standpunkte so aggressiv vertreten? Man könnte sich doch darauf einigen, daß die konventionellen Tester sehr aufwendig und genau die Spielstärke messen. Die Stellungstester dagegen messen die Erfolgsquote für eine gegebene Testsuite, also Analysefähigkeiten.

Fernschachspieler werden mehr an der Spielstärke interessiert sein, Liebhaber von Schachaufgaben und -kompositionen eher an den Analysefähigkeiten. Und gar so weit liegen beide nicht voneinander, abgesehen von Ausreißern, die in der Diskussion natürlich ausgeschlachtet werden können.

Roland

By GS Date 2017-03-18 11:28

Roland Riener schrieb:

[...snip...]
Man könnte sich doch darauf einigen, daß die konventionellen Tester sehr aufwendig und genau die Spielstärke messen. Die Stellungstester dagegen messen die Erfolgsquote für eine gegebene Testsuite, also Analysefähigkeiten.
[...snip...]

Da gibt es leider 2 Probleme:
a.) der Autor des ERET wird nicht müde zu behaupten (Zitat):
"Der Eigenmann Rapid Engine Test (ERET) ist eine neue Sammlung von 111 Aufgaben für Schach-Programme.
Er ist konzipiert worden, um schnell einen ersten Eindruck von der Spielstärke einer neuen Engine zu erhalten."

b.) es gibt keine "Analysefähigkeiten" bei Engines, solange nicht aktiv vom User eingegriffen wird.
Diesen Begriff hat einst Herr Gurevic kreiert als er feststellen musste, dass seine Tests entzaubert waren.

h.a.n.d.

By Roland Riener Date 2017-03-18 11:58

Ok, treiben wir die Semantik nicht auf die Spitze.

Ich sehe mir beides gerne an, Testranglisten und Stellungstests.

Gruß, Roland

By Guenter Stertenbrink Date 2017-03-17 19:57 Edited 2017-03-17 20:06

gute Gelegenheit, den contempt zu streichen ?!

siehe hier : http://magictour.free.fr/pohl17a.GIF
wie der contempt die evals verfaelscht

Komodo scheint besonders darunter zu leiden
und asmfish relativ wenig

By Stefan Pohl Date 2017-03-18 06:43

Guenter Stertenbrink schrieb:

gute Gelegenheit, den contempt zu streichen ?!

siehe hier : <a class='ura' href='http://magictour.free.fr/pohl17a.GIF'>http://magictour.free.fr/pohl17a.GIF</a>
wie der contempt die evals verfaelscht

Komodo scheint besonders darunter zu leiden
und asmfish relativ wenig

Nein. Zum ersten möchte ich ja die Ergebnisse der neuen Engines mit in die Auswertung hineinnehmen, insofern verbieten sich jedwede Änderungen der Turniersettings. Zum zweiten hat ein so kleiner Contempt von +15, insbesondere bei meinen nicht so ausbalancierten SALC-Vorgaben, keine große Wirkung. Und Komodo hat schon per default einen Contempt von +10. Insofern ist die Contempt-Änderung auf +15, die in meinem Turnier stattfindet, für Komodo am geringsten. Beide anderen Engines haben per default einen Contempt von 0.
Also lasse ich alles so, wie es ist.

Stefan

By Benno Hartwig Date 2017-03-18 07:43

Ist irgendwo beschrieben, was diese Kurven bedeuten, wie sie zustande kamen?

By Guenter Stertenbrink Date 2017-03-18 07:52 Edited 2017-03-18 08:12

Durchschnittsbewertungen ueber alle Partien fuer die Zuege 1,...,100
Bewertungen > 1.00 (<-1.00) werden auf 1.00 (-1.00) gesetzt,
um eine Uebergewichtung zu vermeiden.
Eine Kurve fuer die Bewertungen der weissen engine und eine fuer
die Bewertungen der schwarzen engine.
Ich habe solche Kurven schon oftmals gepostet, z.B. fuer die TCEC-Partien.
Zuletzt hier : http://magictour.free.fr/tour11a.GIF mit einer etwas
ausfuehrlicheren Erklaerung (auf Englisch)
[dort fuer beide Farbverteilungen kombiniert und beide Bewertungen
in einer Kurve , die Kurve fuer 5s pro Zug wird spaeter eingefuegt]

By Benno Hartwig Date 2017-03-18 11:48

Thanx, und eine sehr interessante Idee!
Die auffällige Verschiedenartigkeit dieser Kurven finde ich schon überraschend.

Benno

By Patrick Götz Date 2017-03-18 10:16

 
   3 Stockfish 8 64               :   3470      7   20000   89.09   15987   3661    352   18.31    64
   4 SugaR XPrO 1.0 64            :   3468      8   14000   90.39   11547   2215    238   15.82   100
   5 Houdini 5 x64                :   3454      7   19000   88.82   15255   3240    505   17.05   100
    6 Komodo 10.4 64-bit           :   3440      8   13500   88.88   10923   2152    425   15.94    98
   7 asmFish 160704 x64           :   3430      6   23750   87.40   18343   4830    577   20.34   100
   8 Komodo 10.2 64-bit           :   3413      7   17250   86.59   13435   3002    813   17.40    59
   9 Komodo 10.3 64-bit           :   3412      8   15750   87.75   12543   2556    651   16.23    91

http://fastgm.de/60-0.60.html