Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Test Stockfish 9 - Vielen Dank an Engine-Entwickler und Buchautoren !
- - By Reinhold Stibi Date 2018-02-04 11:05 Upvotes 1
Hallo Computerschachfreunde

habe nun den neuen Stockfish 9  mít Xeon X5680  je 20 Threads ChessBase GUI  2Min + 4 Sek.pro Zug getestet:

Stockfish 9  gegen  Stockfish 8  mit Eröffnungsbibliothek General von ChessBase

44 Partien  +9  =33  -2  =57,95 %   = +56 Elo

Stockfish 9  gegen Houdini 6.03  mit EB General von ChessBase

54 P  +6  =43  -5  = 50,93 %  = + 6 Elo

Stockfish 9  gegen Stockfish 8  mit SALC 5 von Stefan Pohl

34 P   +9  =23  -2  = 60,3 %  + 73 Elo

Stockfish 9 gegen Houdini 6.03  mit SALC 5 von Stefan Pohl

26 P  +7  =16  -3  =57,7 %  =+54 Elo

Gruß
Reinhold
Parent - - By Reinhold Stibi Date 2018-02-04 11:30 Upvotes 1
Teil II

Herzlichen Dank an die Stockfish Entwickler dass sie eine solch wunderbare Engine wie Stockfish 8
doch noch erheblich weiterentwickeln konnten mit Stockfish 9. Es ist doch erstaunlich wie das
noch gelingt. Dahinter steckt sehr hoher Zeitaufwand, Geduld und Können. Man kann diesen Leuten
nicht genug Danken für ihren hohen Einsatz  für das Computerschach.

Besonderen Dank gilt auch den Buchentwicklern wie Stefan Pohl mit seinem hervorragenden Buch SALC V5.

Auch Frank Quisinsky herzlichen Dank für seinen ungeheuren Einsatz für das Computerschach besonders
für sein neuen Buchprojekt. Es schon bewunderswert wie er schon wissenschaftlich, akribisch und mit
viel Leidenschaft seine Projekte angeht. (Sein neues Buch werde ich noch testen, bin bisher nicht dazugekommen).

Toll finde ich auch was TCEC auf die Beine stellt. Auch nach dorthin vielen herzlichen Dank.

Dies gilt auch den Testern der Schachengines, die viel Zeit und Einsatz für das Computerschach zeigen.

Gruß
Reinhold
Parent - - By Reinhold Stibi Date 2018-02-04 11:50
Teil III

Hochinteressant wäre die Frage, ob sich eine Engine, die ca. 200 Elo schlechter ist  bei einem Matsch mit
ca. 20 Partien mit einem auf sie zugeschnittene Eröffnungsbibliothek mithalten könnte, also 20 Remispartien.

Mein Wunsch wäre noch eine ausgiebige Gambit-Eröffnungsbibliothek. ChessBase bietet dazu einige
Gambitbücher. Diese müsste man aber zusammenfügen und ergänzen. Es müsste wahrscheinlich überheblich
überarbeitet werden mit sehr viel Zeitaufwand und Können. Ich habe diesbezüglich keine Erfahrung.

Dies wäre auch sehr interessant für Engine-Matches. In der Regel geht bei einem Gambit bei korrektem
Gegenspiel ca. 1 Bauernwert verloren. Aber eine Super-Engine wie Stockfish 9 könnte dabei vielleicht ein
Remis oder sogar Sieg herausholen. Die etwas schlechtere Engine wird höchstwahrscheinlich verlieren.
So ein Buch wäre also bestens für die Messung der Spielstäre einer Engine geeignet.

Gruß
Reinhold
Parent - By Stefan Pohl Date 2018-02-04 13:09 Edited 2018-02-04 13:59
Reinhold Stibi schrieb:


Mein Wunsch wäre noch eine ausgiebige Gambit-Eröffnungsbibliothek.
Dies wäre auch sehr interessant für Engine-Matches.


Das generelle Problem bei Gambit-Bibliotheken oder Stellungssets ist, daß es einfach nur sehr wenige für Top-Engines halbwegs spielbare Gambits gibt.
J.Noomen hat mal einiges zusammengekratzt. Hier der Link zum Download seines Testset-Pakets: http://www.mediafire.com/file/wjh09alha76f7s4/Test+sets.rar

Darin gibt es ein File "Noomen Gambit Lines 2015", welches 247 Gambit Eröffnungslinien enthält. Da ist schon viel! Und trotzdem nicht mal genung für ein 500 Partien Engine-Match. Ich habe diese Linien mal in EPD-Stellungen umgewandelt. Dabei festgestellt, daß eine Endstellung doppelt ist. Und die so verbleibenden 246 Stellungen mal durchgetestet (alle Stellungen doppelt abgespielt (mit vertauschten Farben wiederholt)) unter den gleichen Bedingungen, unter denen ich auch die Praxistests für meine SALC-Stellungen, FEOBOS und das Stockfish Standard 8-Züge Stlelungsset aus dem Framework getestet hab (siehe meine Website http://www.sp-cc.de/salc-openings.htm (runterscrollen!)).
Hier das gar nicht sooo prickelnde Ergebnis (Download der Partien auf meiner Website):

Games Completed = 492 of 492 (Avg game length = 984.853 sec)
Settings = Gauntlet/256MB/300000ms+3000ms/M 450cp for 4 moves, D 120 moves/EPD:C:\LittleBlitzer\NoomenGambit246.epd(246)
1.  asmFish 170426 x64         291.0/492  145-55-292    (L: m=0 t=0 i=0 a=55)  (D: r=70 i=97 f=22 s=0 a=103)
2.  Komodo 10.4 x64            201.0/492  55-145-292    (L: m=0 t=0 i=0 a=145)  (D: r=70 i=97 f=22 s=0 a=103)

Da die Partienzahl so "krumm" ist, hier die prozentualen Ergebnisse nochmal komplett (alle Einzelergebnisse im Detail auf meiner Website):

Framework standard openings: Score 60.3% – 39.7%, draws: 63.4%
FEOBOS v20 contempt 5: Score 58.7% - 41.3%, draws: 64.1%
Noomen Gambit-Lines: Score 59.1% - 40.9%, draws: 59.3%
Old SALC V2: Score: 62.1% - 37.9%, draws: 53.9%
SALC V5 half-closed: Score 61.6% - 38.4%, draws: 49.2%
SALC V5 full-closed 500 positions: Score 66.5% - 33.5%, draws: 47.7%

Die Remisqoute der Gambitstellungen ist zwar meßbar niedriger, als die der Stockfish Standarderöffnungen und die von FEOBOS, das war auch klar. Aber leider doch viel höher als bei SALC V5 und zwar in einem Maße, das mich doch negativ überrascht hat. Auch muß man eine leicht schlechtere Ergebnisspreizung feststellen, was bei Gambitvorgaben aber nicht so überraschend ist.
Was die Ergebnisqualität angeht, sind also auch Gambitstellungen nicht unbedingt eine Offenbarung. Und zudem gibt es eben nur sehr wenige dieser Stellungen/Linien. Hier waren es 246. Zum Vergleich: Mein SALC V5 Buch enthält 25000 verschiedene Endstellungen, die man natürlich auch als PGN und EPD im Downloadpaket findet. Das ist mehr als das einhundertfache an Stellungen...
Parent - By Stefan Pohl Date 2018-02-04 13:11
Reinhold Stibi schrieb:


Besonderen Dank gilt auch den Buchentwicklern wie Stefan Pohl mit seinem hervorragenden Buch SALC V5.
Gruß
Reinhold


Gern geschehen. Freue mich immer über positives Feedback!
Parent - By Frank Quisinsky Date 2018-02-04 16:43 Edited 2018-02-04 16:49
Hallo Reinhold,

kein Problem, habe Spaß damit.
Kannst sehr sicher sein, dass bei einem Engine-Engine Match die Engines ausgeglichen starten und schnelles Remis vermieden wird.

Gambits:
Chessbase hatte in der Tat mal so um 1999 - 2000 eine Gambit-CD herausgebraucht. Diese wurde glaube ich später auch mal ergänzt durch eine zweite Version (bin mir nicht sicher). Die CD die ich habe ist 1a und wirklich richtig gut. Ich habe das Exemplar noch und probierte vor der FEOBOS Datenerstellung damit rum. Nur leider starten weit über 80% der Gambit-Varianten nicht ausgeglichen genug. So habe ich nur Varianten bei FEOBOS drin, wo denn 10 Engines der Meinung sind, dass 3 Züge nach ECO Code Bildung auch Gambits noch ausgeglichen sind.

Wie dem auch ist, Gambit Eröffnungen sind nicht uninteressant.

Wenn FEOBOS fertig ist, könnte ich Dir ein FEOBOS Buch erstellen bei dem alle Gambit Eröffnungen drin sind, diese aber nur mit einer deutlich niedrigeren Ausspielwahrscheinlichkeit angespielt werden als die von FEOBOS. Damit experimentiere ich schon länger ... aber eignet sich nicht wirklich um Engine-Engine professionell zu testen. Aber so, Just for Fun ... nicht so schlecht.

Manfred Mädler (der Schachversand war früher in Düsseldorf, heute in Leipzig oder Dresden ... weiß jetzt nicht aus dem Kopf) hatte mal eine Buchserie zu Gambit-Eröffnungen gestartet. Glaube insgesamt waren es 9 super interessante Bücher. Habe davon 7 und gesehen, dass z. B. das Buch zum Englund Gambit bei eBay regelmäßig für sage und schreibe 40-50 EUR weggeht. Das Buch ist auch gut, wie alle anderen der Serie auch. Die Buchserie kam zu Zeiten der WDR 3 Turniere "Schach dem Großmeister". Im ChessShop in London hatte ich letztes Jahr ein neueres Werk gesehen ... habe es nicht mitgenommen, ärgere mich heute darüber. Musst mal im ChessShop London stöbern, glaube Niggemann hat es nicht im Bestand.

Überhaupt habe ich in London richtig geiles Material gefunden und einiges davon in FEOBOS eingearbeitet, weiß nur nicht was nach den 10 Engine Analysen überlebt hat.

Viele Grüße
Frank

FEOBOS wäre ohne Klaus nicht möglich geworden.
Die meiste Arbeit an dem Projekt hatte Klaus Wlotzka und viele Ideen die entwickelt wurden sind von Klaus. Eigentlich von uns gemeinsam, bekommen das heute nicht mehr so richtig auseinander. Aber Dein Lob gebe ich gern an Klaus weiter. Der wird sich freuen, sitzt heute schon wieder an der Excel und versucht Formelreduzierung bei den Tabellen. Während ich so langsam absolut platt bin.
Up Topic Hauptforen / CSS-Forum / Test Stockfish 9 - Vielen Dank an Engine-Entwickler und Buchautoren !

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill