Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / warmefco
- - By Stefan Pohl Date 2019-03-24 07:25 Edited 2019-03-24 07:45
Der 1000er Testrun (5'+3'') mit G.Stertenbrinks 500 Eröffnungsset ist durch. Es handelt sich um 500 Linien, die jeweils 20 Zufallsplies enthalten (!). Dementsprechend chaotisch sehen die Endstellungen aus. In allen hat Weiß einen meßbaren Vorteil, was hier ja die Grundidee ist. Dementsprechend ist auch der whitescore in meinem Testrun logischerweise exorbitant hoch (65.4% (normal sind Werte um 54%)).

Stellungen, Partien und Auswertung stelle ich eine Zeit lang in meinem Google-Drive zur Verfügung:

https://drive.google.com/file/d/1tWvAJFSZUZS5GhTgUcS7f7UdXFYfwmic/view?usp=sharing

Ergebnis war: Score: 61.3% - 38.7%, draws 44.2%
Die Remisqoute ist sehr gut (besser als in meinen alten SALC-Sets), aber dennoch immer noch weit schlechter als bei Drawkiller. Die Ergebnisspreizung ist nur minimal besser als bei Standard-Eröffnungssets und auch meßbar schlechter als bei Drawkiller (vom ganz großen Drawkiller-Big File mal abgesehen, welches aber auch nicht so gute Werte hat und nur für Engineentwickler, die zehntausende von Partien spielen müssen, gedacht ist). Hier noch mal die ganzen Testruns, die ich mit diesen Testbedingungen sonst so gemacht habe:

i7-2630 Quadcore mobile-CPU 2.0 GHz
Engines: asmFish 170426 vs. Komodo 10.4
All games played with 5'+3'' (average game-duration: 15-16 minutes)
Singlecore, 256MB Hash, no endgame-bases, no ponder
both engines with Contempt=+15, LittleBlitzerGUI
Each testrun: 1000 games
except Noomen Gambit-lines (only 246 positions, so 492 games were played)
except Noomen TCEC Superfinal (only 100 positions, so 200 games were played)

Score is the result of asmFish - Komodo 10.4. Example: Score 60.3% – 39.7%
means, that asmFish scored 60.3% and Komodo scored 39.7%

SF-Framework standard 8 move openings: Score 60.3% – 39.7%, draws: 63.4%
FEOBOS v20 contempt 5: Score 58.7% - 41.3%, draws: 64.1%
HERT 500: Score: 60.6% - 39.4%, draws: 60.4%
Noomen Gambit-Lines: Score 59.1% - 40.9%, draws: 59.3%
4 GM-moves short book: Score 60.5% - 39.5%, draws: 57.1%
Noomen TCEC Superfinal (Season 9+10): Score: 62.5% - 37.5%, draws: 50.0%
SALC V5 half-closed: Score 61.6% - 38.4%, draws: 49.2%
SALC V5 full-closed 500 positions: Score 66.5% - 33.5%, draws: 47.7%
Drawkiller (big set): Score 63.8% - 36.2%, draws: 39.5%
Drawkiller (normal set): Score: 65.3% - 34.7%, draws: 33.5%
Drawkiller (tournament set): Score: 65.3% - 34.7%, draws: 33.5%

Drawkiller (small 500 positions set): Score: 66.4% - 33.6%, draws 30.5%
Drawkiller balanced (small 500 positions set): Score: 69.3% - 30.7%, draws 35.2%

Stertenbrink 20 random plies (500 positions set): Score: 61.3% - 38.7%, draws 44.2%
(Whitescore: 65.4%)


Interessant für einen Vergleich sind besonders die hervorgehobenen 500er-Sets von Drawkiller, da das warmefco-File von G.Stertenbrink ja auch nur 500 Linien enthält. Und da ist das Ergebnis nun wirklich ganz eindeutig.

Letzlich ist das Ganze ein nettes Experiment (20 Zufalls-Plies zu machen und einen meßbaren Vorteil für Weiß in den Endstellungen einzuräumen), allerdings sind die Ergebnisse zum einen deutlich schwächer als bei Drawkiller, zum anderen sind die Endstellungen nicht nur chaotisch, sondern eben auch schon sehr entwickelt (wenn auch wirr entwickelt). Während bei Drawkiller die Stellungen eben noch total unentwickelt sind (alle Figuren stehen noch auf den Grundreihen, nur einige Bauern wurden vorgezogen, keinerlei Schlagzüge sind erfolgt).
Und gerade für die Zukunft des Computerschachs, also NeuralNetz-Engines, sind unentwickelte Stellungen zum Testen und für Turniere natürlich viel besser. Und wie die Akzeptanz der Community für zufällige Eröffnungsstellungen ist, die aussehen, als hätte man die Figuren aus einem Meter Höhe aufs Brett fallen lassen, das ist außerdem noch die Frage.
Insofern halte ich das Ganze eher für eine Sackgasse, aber das ist nur meine persönliche Meinung. Auf jeden Fall ist es mal was Neues. Und das ist prinzipiell mal positiv zu sehen, denn soooo viele neue Ideen im Bereich der Eröffnungsvorgaben hat es ja bisher nicht gegeben. Und wirklich schlecht ist das Testergebnis ja auch nicht, ganz im Gegenteil. Man darf eben das Ergebnis nicht ausschließlich nur mit Drawkiller vergleichen - Drawkiller spielt nun mal in seiner eigenen Liga. Und verglichen mit allen anderen Eröffnungssets, die ich getestet habe (s.o.), ist das Ergebnis dieses ungewöhnlichen Eröffnungssets mit Zufallszugfolgen wirklich sehr gut.

Hier mal zwei der Stellungen, damit man einen Eindruck bekommt. Komisch sieht es schon aus.



Parent - - By Guenter Stertenbrink Date 2019-03-24 08:05 Edited 2019-03-24 08:47
Vielen Dank !

Es gab 41% 1-1-Paare (nicht so einfach bei Littleblitzer, da unsortiert)
StockFish verlor keine der 500 Eroeffnungen ! Weder 0-2 noch 0.5-1.5.

------------------------------------------
die Frage war ja, of drawkiller auch noch bei sehr hohen Bedenkzeiten und guter Hardware funktioniert.
http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=119600
Waehrend Eroeffnungen, in denen Weiss mit 50% Wahrscheinlichkeit gewinnt und die mit 50%
Wahrscheinichkeit Remis ausgehen ja rein rechnerisch immer eine Remisquote
von 50% bei 50% 1-1-Paaren und 75% Whitescore ergeben.
Ich denke, solche Eroeffnungen kann man immer finden, abhaengig von den Turnierbedingungen.
Eine zweite Frage ist, inwieweit die "normalen" Elos auch fuer solche Zufallsstellungen gelten.

Bei mir ergaben diese 500 Eroeffnungen bei asmFish gegen asmFish und 120+1 auf dem Tablet
fuer Weiss  2,35,161,197,105 mal 0,0.5,1,1.5,2 Punkte aus 2 Partien mit vertauschten Farben ,
bei 68.4% Weissscore , 52.4% Remisquote , 50.6% 1-1-Paaren .
Zum Verleich : drawkiller hatte bei diesen Bedingungen bei mir
54.7% Weissscore , 51.5% Remisquote , 44.8%  1-1-Paare
Parent - By Peter Martan Date 2019-03-24 09:03 Edited 2019-03-24 09:08
Guenter Stertenbrink schrieb:

Eine zweite Frage ist, inwieweit die "normalen" Elos auch fuer solche Zufallsstellungen gelten.

Und welche die "normalen" Elos sind.
Ich plädiere für die aus dem buchlosen Match, jetzt allein, was die Eröffnungen angeht. Mag allerdings sein, dass es gerade bei denen dann wieder umso mehr darauf ankommen wird, wer aller mitspielt, ob's mehr A-B-Engines oder NN-Engines sind, und wie weit gesteckt die Elo- Range sein soll innerhalb des Teilnehmerfeldes.
Parent - By Guenter Stertenbrink Date 2019-03-24 09:19 Edited 2019-03-24 09:59
sorry, mir ist beim Sortieren der pgn ein Fehler unterlaufen. Es wurde zuerst nach
Ergebnis sortiert, dann nach engine. Ich weiss also (noch) nicht, wieviele der 500 Eroeffnungen
StockFish verloren hat

> Die Zeit zum Editieren dieses Beitrages ist leider abgelaufen!

--------edit-------------------

so, jetzt weiss ich's. Die Ergebnismatrix ist :
(Ergebis asmFish mit Weiss in {0,0.5,1} * Ergebnis asmFish mit Schwarz in {0,0.5,1} )


---|-0-,0.5,-1-
---|------------
-0-|005,019,006|030
0.5|037,105,031|173
-1-|094,145,058|297
---------------------
----136,269,095



also asmFish holte mit Weiss 76.7% , und mit Schwarz 45.9%
Up Topic Hauptforen / CSS-Forum / warmefco

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill