WEBMATCH Live - Komodo 11.01 - Stockfish 170606

By Clemens Keck Date 2017-06-16 13:57

Danke Andreas
super match mit 1A+ Live games.
voll der Honig

Clemens Keck

By Klaus S. Date 2017-06-16 13:59

Danke Andreas

Gruß
Klaus

By Stefan Pohl Date 2017-06-16 17:32 Edited 2017-06-16 17:40

Sehr interessant. Mich interessiert vor allem die Remisqoute...wegen des drohenden Remistodes, welcher ja angeblich ein Märchen ist (LOL). Auf dieser Hardware und bei dieser Bedenkzeit und mit normalen Eröffnungsvorgaben wäre ich sehr überrascht, wenn die Remisqoute unter 85% liegen würde...
Was wäre es toll, wenn du das Match anschließend mit frei von dir ausgewählten SALC-Stellungen aus meinem neuen 500-Stellungen Vorgabeset (diese sind nur 7.5 Züge tief) wiederholen würdest. Das gäbe sicher viel spannendere Partien und weniger Remisen.

Das komplette, neue SALC-set kannst du jederzeit auf meiner Website herunterladen. Darin ist auch das neue 500-Stellungs Vorgabeset enthalten, welches eben nur 7.5 Züge tief ist. Nicht zu verwechseln mit dem Einzel-Download des alten 500-Stellungssets, welches ich momentan noch für meine Stockfish-Testruns verwende!
Also bitte den Download wählen, der als “pohl_books“ angezeigt wird und den SALC 2017 Ordner enthält!!!

http://spcc.beepworld.de

Grüße - Stefan

By Stefan Pohl Date 2017-06-16 19:01

Noch eine Frage: Wie sind denn so die erreichten Knotenzahlen pro Sekunde der Engines, wenn sie zu Beginn der Partie bei vollem Brett losrechnen, auf deiner Monster-Maschine?! (Nur so ungefähr)

By Andreas Strangmüller Date 2017-06-17 00:42

In Grundstellung erreicht Stockfish ca. 19 Millionen Knoten pro Sekunde.
Bei Komodo ist die Knotenzahl zu Beginn der Partie, besonders bei Top-Hardware (Zwei und mehr NUMA Nodes) und großen Hashtables nicht aussagekräftig. Hier ist er als Langsamstarter bekannt und erreicht auf meinem Rechner "nur" etwa 11 Millionen Knoten pro Sekunde. Auf noch schnellerer Hardware teilweise noch weniger.
Nach einigen Zügen (und füllen der Hashtables) kommt er fast an die Knotenzahlen von Stockfish heran. Vielleicht 10-15% weniger.

By Guenter Stertenbrink Date 2017-06-17 07:40

das ist dann so ca. 1/4-1/8 oder 100Elo des TCEC-Superfinales, schaetz ich

By Clemens Keck Date 2017-06-17 09:29 Upvotes 2

schade das es nur den "Daumenhoch button" für Beiträge gibt.
Deinem würde ich so gerne den "Daumenrunter" verleihen.
C.K.

Guenter Stertenbrink schrieb:

das ist dann so ca. 1/4-1/8 oder 100Elo des TCEC-Superfinales, schaetz ich

By Clemens Keck Date 2017-06-17 09:26

Auf meinem Intel E5-2697A v4, also immerhin 32 echte CPU mit 3.1 GHz im Turbo Modus, schafft Komodo am Anfang 9.000 - 12.000 kNs. Der Effekt hält länger an bei größeren hashtables und bei größerem TableMemory.
C.K.

Andreas Strangmüller schrieb:

By Stefan Pohl Date 2017-06-17 12:11

Andreas Strangmüller schrieb:

Hallo Andreas,

Hmm, das ist gar nicht sooo monströs, wie ich dachte. Mein i7-6700HQ (2.6 GHz) Notebook kommt auf ca. 1/3 dieser Knotenleistung. Da hätte ich mehr geschätzt. Da muß ich meine Erwartung an die Remsiquote in deinem schönen Liveevent auf ca. 80% senken. Was aber immer noch sehr viel ist.

By Andreas Strangmüller Date 2017-06-17 14:37 Upvotes 1

AMD Opteron Server 6376 Kerne @ 2.3 GHz sind nur etwa 55-60% so schnell wie Intel Kerne @ 3.0 GHz.
Mein Dual Intel E5-2670 @ 2.6 GHz mit 16 Kernen ist bei Einsatz aller Kerne etwa gleich schnell wie der Dual AMD Opteron 6376 @ 2.3 GHz.
Allerdings sind 32 x 1 Kern des Opteron effektiver als die 16 x 1 Intel Kerne.

By Andreas Strangmüller Date 2017-06-17 00:18 Upvotes 1

Hallo Stefan,

die Remisquote wird bei meiner Auswahl klassischer Eröffnungen denke ich auch so bei 80-85% liegen.
Bin sozusagen mit diesen Eröffnungen aufgewachsen und es interessiert mich nach wie vor wie sie von den aktuell stärksten Programmen "behandelt" werden.
Remispartien sind ja nicht immer zwangsläufig langweilig. Es kommt auf den Partieverlauf an und da hoffe ich auf viele spannende Zweikämpfe, auch wenn viele bei der Spielstärke dieser beiden Top-Engines remis enden werden.

Danke für Deine neuen SALC-Stellungen. Habe sie mir heruntergeladen und werde sie mir demnächst mal genauer anschauen.

Grüße,
Andreas

By Stefan Pohl Date 2017-06-17 12:22 Edited 2017-06-17 12:29

Andreas Strangmüller schrieb:

Da hast du Recht, nicht alle Remisen sind langweilig. Nur, wenn es zu viele Remisen werden (sind?!), wird jeder Wettkampf per se irgendwann uninteressant. Zudem rücken die prozentualen Ergebnisse der Engines mit steigenden Remisquoten immer dichter an die 50%-Marke und es wird immer schwieriger, Spielstärkeunterschiede der Engines zuverlässig zu messen. Aber dir brauche ich das ja nicht zu erklären.
Da du ja gerne hochklassige und interessante Computerschach-Experimente durchführst, habe ich dir eben empfohlen, den Wettkampf im Sommerloch mal mit SALC-Stellungen als Vorgabe zu wiederholen. Ich behaupte einfach mal, du würdest die Ergebnisse sicher interessant finden. Gerade den Vergleich mit dem jetzt laufenden Zweikampf. Und zwar nicht nur aus statistischen Gesichtspunkten heraus. Die Partien werden sich, was die Spannung angeht, wie Tag und Nacht unterscheiden. Ich würde es jedenfalls toll finden, wenn du dich zu so einem SALC-Rematch durchringen könntest. Wäre bestimmt etwas für deine Experimente-Abteilung auf deiner Website.

Grüße - Stefan

PS: Wenn du es wünschst, kannst du gerne meinen SALC 2017 Ordner auf deiner Website zum Download anbieten. Komplett oder auch Auszüge (falls du z.B. ein SALC-Rematch durchführst, als Ergänzung zu den Ergebnissen, die von dir für das Match ausgewählten SALC-Vorgabestellungen). Wenn die weltweit beste Computerschach-Website etwas von meiner Wenigkeit zum Download anbietet, wäre mir das eine Ehre.

By Stefan Pohl Date 2017-06-29 11:57

Stefan Pohl schrieb:

Andreas Strangmüller schrieb:

Der Wettkampf ist nun fast vorbei, noch 3 Partien. Remisqoute bisher 85%. Und das auf einer schnellen, aber nicht monströs schnellen, Maschine. Allerdings mit sehr langer Bedenkzeit.
Ich würde zu gernen sehen, wie dieser Wettkampf mit gleichen Bedingungen aber mit SALC-Vorgabestellungen ablaufen würde. Vor allem bzgl. Remisqoute, Partielänge etc. Leider habe ich nicht die Hardware, um so etwas selbst durchzuziehen. Daher frage ich hiermit nochmals höflich an, ob das für dich, Andreas, nicht auch ein interessantes Experiment wäre. Zumal der Vergleich auch die Ergebnisse des jetzt fast abgeschlossenen Wettkampfes interessanter machen würde.
Ich fände das sooooo interessant: Wie sich meine Idee der SALC Eröffnungen bei solch guter Hardware und solch langer Bedenkzeit auswirken würden, meine ich.

Grüße - Stefan

By Guenter Stertenbrink Date 2017-06-29 13:45 Edited 2017-06-29 13:59

117/147 = 79.6% Remisen
82.5/147 = 56.1% fuer Stockfish

Stockfish 170606 x64 147 : 24+ : 117= : 6- : 82.5 : 5321.25
Komodo 11.01 64-bit 147 : 6+ : 117= : 24- : 64.5 : 5321.25

wie sieht es denn bei kurzer Bedenkzeit aus , Remisquote mit/ohne SALC ?
ich spiel immer Chess for Android, dessen Buch hat einige scharfe Varianten ...

ich poste den Vergleich mit/ohne Buch spaeter ...
koennte das auch nach den 50 Eroeffnungen aufschluesseln ...

By Stefan Pohl Date 2017-06-29 13:50 Edited 2017-06-29 13:54

Guenter Stertenbrink schrieb:

117/147 = 79.6% Remisen
82.5/147 = 56.1% fuer Stockfish

Stockfish 170606 x64 147 : 24+ : 117= : 6- : 82.5 : 5321.25
Komodo 11.01 64-bit 147 : 6+ : 117= : 24- : 64.5 : 5321.25

Du hast natürlich Recht. 79% Remisqoute. Ich hatte nur die angezeigte Remisquote von der Übertragungsseite abgelesen. Diese ist aber falsch. Merkwürdig.
Im Vergleich zur Hardware und Bedenkzeit in den TCEC-Superfinals (bis auf die letzte Season, wo ja Gambits und ähnliches zur Anwendung kamen) “paßt“ diese Remsiqoute von ca. 80% auch besser, weil sie eben niedriger ist, als in den Superfinals, wo die Hardware noch besser war...je schneller die Hardware und/oder länger die Bedenkzeit, desto höher die Remisqoute. Logischerweise.

By Guenter Stertenbrink Date 2017-06-29 14:38 Edited 2017-06-29 15:01

asmFish May22 gegen leicht veraenderten asmFish May22

67.8% Remisquote (0.5s pro Zug,4004 Partien,mit CfA-Buch)
72.1% Remisquote (1s pro Zug,3000 Partien,mit CfA-Buch)
73.8% Remisquote (0.5s pro Zug,4000 Partien,ohne Buch)
74.0% Remisquote (1s pro Zug,1000 Partien,ohne Buch)

Tolino Tab 8 , 4 threads , 1700 kn/s in der Startposition ,
Chess for Android (CfA)

Code:


 

the 50 openings from Chess for Andoid in >77000 games between
asmfishes and pedantfishes, mostly at 0.5s per move
Mar.-Apr.2017
sorted by drawrate

A: White-performance in 0/00
B: drawrate in 0/00
C: opening

  A   B               C
------------------------------------------------------
 353 382,1.e4 e5,2.f4 exf4,3.Nf3 g5,4.Bc4 g4 
 721 432,1.d4 c5,2.d5 e5,3.e4 d6 
 691 501,1.d4 d5,2.c4 e5,3.dxe5 d4,4.Nf3 Nc6 
 724 509,1.e4 d5,2.exd5 Qxd5,3.Nc3 Qa5,4.d4 e5 
 650 548,1.e4 d6,2.d4 Nf6,3.Nc3 g6,4.Bg5 h6 
 618 552,1.d4 Nf6,2.c4 g6,3.Nc3 Bg7,4.e4 d6 
 585 560,1.d4 Nf6,2.c4 e6,3.Nf3 c5,4.d5 b5 
 640 600,1.d4 e6,2.c4 Bb4+,3.Nc3 c6,4.Qb3 Qe7 
 651 606,1.d4 d5,2.c4 Nf6,3.cxd5 Nxd5,4.Nf3 Bf5 
 406 609,1.d4 d5,2.Nc3 Nf6,3.f3 Bf5,4.Bg5 Nbd7 
 553 638,1.d4 Nf6,2.c4 g6,3.f3 d5,4.cxd5 Nxd5 
 563 652,1.d4 f5,2.Nf3 Nf6,3.g3 g6 
 437 662,1.e4 e5,2.f4 exf4,3.Nf3 Be7,4.Bc4 Nf6 
 595 663,1.e4 b6,2.d4 Bb7 
 578 668,1.Nf3 Nf6,2.b3 g6,3.Bb2 Bg7,4.e3 d6 
 507 669,1.e4 e5,2.Nf3 Nc6,3.Bc4 Nf6,4.Ng5 d5 
 554 674,1.e4 c5,2.Nf3 Nc6,3.Bb5 g6,4.O-O Bg7 
 428 674,1.e4 e5,2.d4 exd4,3.Nf3 Bc5,4.Nxd4 Nf6 
 582 688,1.d4 d5,2.c4 e6,3.Nc3 c5,4.cxd5 exd5 
 526 689,1.e4 e5,2.Nf3 Nc6,3.Bb5 a6,4.Bxc6 dxc6 
 586 690,1.d4 d5,2.c4 e6,3.Nc3 Nf6,4.Bg5 Nbd7 
 561 695,1.d4 Nf6,2.c4 g6,3.Nc3 d5,4.cxd5 Nxd5 
 439 695,1.d4 Nf6,2.f4 g6,3.Nf3 Bg7,4.e3 O-O 
 540 701,1.e4 e6,2.d4 d5,3.Nc3 Bb4,4.e5 c5 
 562 704,1.e4 c5,2.Nf3 Nc6,3.d4 cxd4,4.Nxd4 g6 
 590 708,1.e4 e5,2.Nf3 d6,3.d4 Nf6,4.Nc3 Nbd7 
 526 721,1.d4 d5,2.c4 e6,3.Nf3 Nf6,4.Bg5 Bb4+ 
 567 722,1.e4 c5,2.Nc3 Nc6 
 464 731,1.c4 e5,2.Nc3 Nf6,3.Nf3 Nc6,4.d4 exd4 
 540 740,1.e4 e5,2.Nf3 Nc6,3.Bc4 Bc5,4.O-O Nf6 
 535 750,1.d4 Nf6,2.c4 e6,3.Nf3 Bb4+,4.Nc3 c5 
 537 752,1.d4 d5,2.c4 c6,3.Nc3 dxc4,4.e3 b5 
 533 752,1.e4 e5,2.Nc3 Nf6,3.Nf3 Nc6,4.Bb5 Bb4 
 576 753,1.e4 c6,2.c4 d5,3.exd5 cxd5,4.cxd5 Nf6 
 567 753,1.e4 c6,2.d4 d5,3.exd5 cxd5,4.c4 Nf6 
 587 757,1.d4 d5,2.c4 dxc4,3.Nf3 Nf6,4.e3 e6 
 482 759,1.d4 d5,2.Nf3 Nf6,3.e3 Bf5,4.Bd3 e6 
 532 759,1.e4 e6,2.d4 d5,3.exd5 exd5,4.Nf3 Bd6 
 544 760,1.d4 d5,2.c4 c6,3.Nf3 Nf6,4.cxd5 cxd5 
 518 761,1.d4 Nf6,2.Nf3 g6,3.Bf4 Bg7,4.h3 d6 
 522 767,1.d4 d5,2.e4 e6 
 525 768,1.d4 Nf6,2.c4 e6,3.Nf3 Bb4+,4.Bd2 Bxd2+ 
 480 788,1.e4 e5,2.Nf3 Nc6,3.c3 Nf6 
 531 794,1.e4 e5,2.Nf3 Nf6,3.d4 Nxe4,4.Bd3 d5 
 519 798,1.c4 c5,2.Nf3 Nf6,3.d4 cxd4,4.Nxd4 e6 
 531 806,1.e4 Nf6,2.e5 Nd5,3.c4 Nb6,4.c5 Nd5 
 532 807,1.e4 c5,2.Ne2 Nf6,3.Nbc3 d5,4.exd5 Nxd5 
 532 807,1.e4 e6,2.d4 d5,3.Nd2 c5,4.exd5 exd5 
 552 811,1.d4 Nf6,2.c4 e6,3.g3 Bb4+,4.Nd2 c5 
 512 879,1.e4 e5,2.Nf3 Nc6,3.Nc3 Nf6,4.d4 exd4

By Stefan Pohl Date 2017-06-29 13:59 Edited 2017-06-29 14:02

Guenter Stertenbrink schrieb:

wie sieht es denn bei kurzer Bedenkzeit aus , Remisquote mit/ohne SALC ?
ich spiel immer Chess for Android, dessen Buch hat einige scharfe Varianten ...

ich poste den Vergleich mit/ohne Buch spaeter ...

Auf meiner Website findest du mit kürzeren Bedenkzeiten Experiment-Testruns (die neuesten zwei Experiments (9.12.2016 und 19.5.2017)) mit Vergleichen von SALC-Vorgaben und konventionellen Eröffnungsvorgaben.

http://spcc.beepworld.de/experiments.htm

By Guenter Stertenbrink Date 2017-06-29 14:55

summary :

2017/05/19
The SALC book lowers the draw-rate a lot (53.9%) ,
compared to the FEOBOS book (61.7%)
and the Stockfish Framework opening set (63.4%),

2016/12/09
Test 1: 34700 standard 8-move opening epd. Draw rate: 83.0%
Test 2: 10000 SALC V2 epd. Draw rate: 68.2%

By Andreas Strangmüller Date 2017-06-29 16:34

Stefan Pohl schrieb:

Hallo Stefan,

selbstverständlich wäre der Vergleich mit Deinen SALC-Vorgabestellungen interessant. Die Remisqoute wäre bestimmt niedriger, zwischen 5 und 10 Prozent würde ich schätzen. Mehr glaube ich allerdings nicht bei der Hardware und langen Bedenkzeit.
Ich werde mir Deine 500 SALC-Vorgabestellungen 2017 bestimmt ansehen, aber aus diesen 500, 50 oder 75 Stellungen auszuwählen ist kein geringer Zeitaufwand, den ich in nächster Zeit nicht aufwenden möchte.
Zudem möchte ich nicht sofort wieder 15 Tage auf meine Hardware verzichten, es warten bereits einige andere für mich interessanten Experimente und Testläufe.

Evtl. werde ich im Herbst wieder ein Match zwischen Komodo und Stockfish durchführen.

Viele Grüße,
Andreas

By Benno Hartwig Date 2017-06-17 08:12 Edited 2017-06-17 08:19

Thanx, schönes Duell. Und auch mit einer sehr attraktiven Zeitvorgabe!
Und: sehr schöne Präsentation!
Und SF zielt wohl gerade auf seinen 5. Sieg.
Benno

By Clemens Keck Date 2017-06-29 17:40

Ich habe einen Test mit 200 Partien gespielt. Zeitformat 30Min.+10Sec.
NoomenShortLinesTestsuite 100 Vorgabestellungen, hervorragend für engine - engine Vergleiche.
10 cpu je engine, kein HT, kein lernen, ponder OFF.

Stockfish 180617 64 BMI2 cpu10 : 3024 200 (+ 37,=153,- 10), 56.8 %
Komodo 11.01 64-bit c0cpu10 : 2976 200 (+ 10,=153,- 37), 43.2 %

C.K.

By Guenter Stertenbrink Date 2017-06-29 17:47 Edited 2017-06-29 17:51

chart der Bewertungs-Durchschnitte ueber Zugnummer:

http://magictour.free.fr/FGM2.GIF

Bewertungen ueber 150 wurden auf 150 gesetzt
Bewertungen unter -150 wurden auf -150 gesetzt

By Klaus S. Date 2017-06-29 20:36

Das Turnier ist nun zu Ende.

Stockfish hat die letzte Partie gewonnen: 25+ 119= 6-

Im Download sind aber zur Zeit nur 149 Partien drin,
man kann die letzte Partie aber - mittels Feld c8 anklicken - *manuell* downloaden.

Danke Andreas für deine tolle Arbeit.

Gruß
Klaus

By Andreas Strangmüller Date 2017-06-29 22:52 Upvotes 1

Das Turnier ist nach gut 15 Tagen zu Ende und hat mit Stockfish, der 19 Partien mehr gewonnen hat, einen verdienten Sieger:

Engine                     Gms  :  Win  : Draw  : Lose  :  Pts 
Stockfish 170606 x64       150  :  25+  : 119=  :   6-  :  84.5
Komodo 11.01 64-bit        150  :   6+  : 119=  :  25-  :  65.5

# ENGINE                  :  RATING  POINTS   PLAYED   (%)
1 Stockfish 170606 x64    :  3022.5    84.5     150    56
2 Komodo 11.01 64-bit     :  2977.5    65.5     150    44

White advantage = 35.72
Draw rate (equal opponents) = 85.01 %
Draw rate = 79.33 %

Alle 150 Partien zum Download: http://www.fastgm.de/pgn4web/ranking.pgn

By Guenter Stertenbrink Date 2017-06-30 05:34

> Draw rate (equal opponents) = 85.01 %

wie berechnet sich diese ?

By Andreas Strangmüller Date 2017-06-30 09:15

Ist im Handbuch des Tools Ordo beschrieben:

https://github.com/michiguel/Ordo/releases/download/v1.2.6/MANUAL.pdf

By Guenter Stertenbrink Date 2017-06-30 11:28

nicht die Formel.

also schaetz ich mal:

Remisquote geht etwa 1% runter je 10 Elo-Differenz.
Remisquote geht etwa 3.5% rauf je TCverdopplung

Komodo-Elo geht etwa 5 Punkte rauf je TC-verdopplung

[?]

By Thomas Lagershausen Date 2017-06-30 09:52

Immer Danke für solch schöne Turniere.

Wir müßen aber im Hinterkopf haben das die Aussagekraft eines solchen Turnieres für die Allgemeinheit mehr und mehr abnimmt.

Auf der heutzutage meistverkauften CPU, dem Ryzen von AMD, ist das Kräfteverhältnis zwischen Komodo und Stockfish ein komplett anderes.

Komodo kann die Architektur des Ryzen wesentlich besser nutzen als Stockfish und erhält dadurch einen erheblichen Geschwindigkeitsschub.

Bei dem kommenden Threadripper von AMD wird es ähnlich sein. Auch dieser wird sehr wahrscheinlich ein Verkaufsschlager werden. Das ist dem Preis/Leistungsverhältnis geschuldet, das seines Gleichen sucht.

Die Zeiten bleiben also unübersichtlich, aber dafür wahrhaftiger.

ich wünsche viel Spaß beim Testen.