Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Test der aktuellen Stockfish Version vom 29.07
1 2 Previous Next  
Parent - - By Thomas Zipproth Date 2013-08-02 12:47
Wobei ich bzgl. des Verhältnisses Knotenzahl zu relativer Spielstärke noch ein Ergebnis habe, das ich nicht so ganz verstehe.

Als ich zufällig sah, das Stockfish im Gegensatz zu Houdini und Komodo bei extrem kurzen Rechenzeiten in der Grundstellung immer a3 statt z.B. e4 ausspielt, kam mir die Idee, ein kleines Ultrablitz Turnier mit fixer Suchtiefe zu machen. Das ergibt selbstverständlich nur dann Sinn, wenn die Rechenzeiten danach ungefähr im gleichen Bereich liegen, da ja bei verschiedenen Engines die Rechenzeit bei gleicher Suchtiefe durchaus ganz anders sein kann. Das war aber nicht der Fall, die Gesamtzeiten waren durchaus vergleichbar.

Was dann aber rauskam, war ganz unerwartet. Während Houdini und Komodo im Ultrablitz quasi identisch waren, fiel Stockfish extrem ab. Ob und was man daraus ableiten kann, ist mir momentan aber auch noch nicht so ganz klar.

Feste Suchtiefe 4, 2x500 Spiele mit fq500n.pgn, Zeit = Gesamtzeit (aus Taskmanager) für alle 1000 Spiele zusammen.

Code:
           Zeit   Punkte

Houdini3   1:27   510     +323 -303 =374
KomodoCCT  1:36   490     +303 -323 =377

Houdini3   1:23   614.5   +430 -201 =369
StockFish  1:55   385.5   +201 -430 =369 

KomodoCCT  1:48   619.5   +513 -273 =213
StockFish  2:23   379.5   +273 -513 =213


Feste Suchtiefe 8, 2x500 Spiele mit fq500n.pgn, Zeit = Gesamtzeit (aus Taskmanager) für alle 1000 Spiele zusammen.

Code:
           Zeit   Punkte

KomodoCCT  16:11  699.5   +587 -178 =243  
StockFish  13:43  299.5   +178 -578 =243 


Thomas
Parent - - By Tom Paul Date 2013-08-02 13:27 Edited 2013-08-02 13:31
Vielleicht bringt es was sich den Code der 3 Engines anzuschauen.
Vielleicht entdeckst du irgendetwas das bei Stockfish und den anderen beiden Engines besonders unterschiedlich ist.
Das fehlt dann entweder bei Stockfish.
Oder diese Bewertung ist noch nicht genau genug eingestellt.
Oder es fehlt eine Ergänzung die diese Bewertung erst sinnvoll macht.
Oder es muss etwas entfernt werden.

Bei mittellangen Partien sieht man besonders gut die Fehler von Stockfish gegen Houdini oder Komodo, wobei besonders gegen Houdini.
Ich frage mich auch warum diese bei langen Bedenkzeiten nicht vorkommen oder extrem selten vorkommen, bei kurzen Bedenkzeiten aber noch öfters zu sehen sind.
Ich würde daraus schließen, dass eine Engine ihre Prioritäten richtig sortieren muss, was Stockfish nicht besonders gut macht.
Bei langer Bedenkzeit ist dies egal da die Engine es schafft alles durchzurechnen, aber bei kurzer Bedenkzeit wenn da Stockfish zuerst auf die weniger wichtigen Dinge achtet und zum Rest nicht kommt dann gute Nacht.

Man könnte sich auch andere Engines anschauen die irgendetwas besser können als Stockfish und das dann bei Stockfish implementieren.
M.M.n schneidet Stockfish die Varianten zu für ab, nur um etwas tiefer Rechnen zu können. Mein Vorschlag wäre daher 1,2,3 oder 4 Züge weniger tief rechnen und dafür sich die Varianten besser anschauen, dürfte eine Performance Steigerung geben.

Houdini hat ja eine Auflösung von 1/200 was ein besseres Fein-Tuning erlaubt. 1 ELO Fein-Tuning x jedes einzelne Teil eines Codes = großer Spielstärke Zuwachs.
Und nicht das alte 1/100.
Wie wäre es bei Stockfish mit 1/300?
Parent - By Wolfgang Battig Date 2013-08-02 15:02
[quote="Tom Paul"]
Vielleicht bringt es was sich den Code der 3 Engines anzuschauen.
Vielleicht entdeckst du irgendetwas das bei Stockfish und den anderen beiden Engines besonders unterschiedlich ist.
...[/quote]

Vielleicht habe ich ja was nicht mitbekommen, aber ich meine mich dunkel erinnern zu können, dass der Code von Houdini 3 und Komodo 5.x oder CCT nicht offenliegt 
"Anschauen" - auf legalem Weg wohlgemerkt - könnte da etwas schwierig werden...
Parent - By Stefan Pohl Date 2013-08-02 14:18
[quote="Thomas Zipproth"]
Wobei ich bzgl. des Verhältnisses Knotenzahl zu relativer Spielstärke noch ein Ergebnis habe, das ich nicht so ganz verstehe.

Als ich zufällig sah, das Stockfish im Gegensatz zu Houdini und Komodo bei extrem kurzen Rechenzeiten in der Grundstellung immer a3 statt z.B. e4 ausspielt, kam mir die Idee, ein kleines Ultrablitz Turnier mit fixer Suchtiefe zu machen. Das ergibt selbstverständlich nur dann Sinn, wenn die Rechenzeiten danach ungefähr im gleichen Bereich liegen, da ja bei verschiedenen Engines die Rechenzeit bei gleicher Suchtiefe durchaus ganz anders sein kann. Das war aber nicht der Fall, die Gesamtzeiten waren durchaus vergleichbar.

Was dann aber rauskam, war ganz unerwartet. Während Houdini und Komodo im Ultrablitz quasi identisch waren, fiel Stockfish extrem ab. Ob und was man daraus ableiten kann, ist mir momentan aber auch noch nicht so ganz klar.

Feste Suchtiefe 4, 2x500 Spiele mit fq500n.pgn, Zeit = Gesamtzeit (aus Taskmanager) für alle 1000 Spiele zusammen.

Code:
           Zeit   Punkte

Houdini3   1:27   510     +323 -303 =374
KomodoCCT  1:36   490     +303 -323 =377

Houdini3   1:23   614.5   +430 -201 =369
StockFish  1:55   385.5   +201 -430 =369 

KomodoCCT  1:48   619.5   +513 -273 =213
StockFish  2:23   379.5   +273 -513 =213


Feste Suchtiefe 8, 2x500 Spiele mit fq500n.pgn, Zeit = Gesamtzeit (aus Taskmanager) für alle 1000 Spiele zusammen.

Code:
           Zeit   Punkte

KomodoCCT  16:11  699.5   +587 -178 =243  
StockFish  13:43  299.5   +178 -578 =243 


Thomas
[/quote]

Naja, logisch finde ich folgendes: Stockfish erreicht bei halbwegs normalen Bedenkzeiten im Schnitt erheblich höhere Suchtiefen als Houdini etc. Wenn nun bei geringen Suchtiefen Stockfish plötzlich genausolange braucht, um diese durchzuarbeiten wie Houdini, so ist Stockfish wohl eine Engine, die vor Beginn der Suche viele Initialisierungen macht oder am Anfang der Suche einfach nicht so effizient abschneidet. Nichtsdestotrotz braucht Stockfish mehr angezeigte Rechentiefe als Houdini und Komodo, um die gleiche Spielstärke wie diese zu erreichen, denn bei gleichen, normalen Bedenkzeiten sind Stockis Rechentiefen ja wie gesagt immer deutlich höher und die Spielstärke ist halbwegs auf einem Level von Komodo oder Houdini  Ergo ist es logisch anzunehmen, daß Stockfish bei gleicher angezeigter Rechentiefe immer deutlich schwächer spielt als Houdini und Komodo, ganz egal wie lange er im konkreten Fall braucht, um diese Tiefe zu erreichen bzw. durchzurechnen.
Probiere das Ganze doch mal mit Tiefe 15. Da würde ich dann annehmen, daß Stocki wieder wesentlich schlechter scort aber dafür wesentlich weniger Zeit verrechnen wird als Houdini und Komodo.

Stefan
Parent - By Tom Paul Date 2013-08-05 10:15
Wenn man die ~100 Maschinen von Playchess für die Stockfishentwicklung benutzen würde, dann hätten wir an einem Tag ~500 weitere Kerne, alles in allem 600-650 Kerne an einem Tag.
Dann könnten die Spieler viel stärkere Versionen benutzen.
Parent - - By Tom Paul Date 2013-08-06 07:44
Active - 13 machines 38 cores
davon gehören 7 machinen zu rap
Ist heute Ebbe und nicht Flut?
Parent - By Patrick Götz (Mod.) Date 2013-08-06 07:56
Gary's 23 Kerne sind im Moment nicht online.
Dafür hast Du aber noch einmal eine Schippe drauf gelegt wie ich sehe
Parent - By Andreas Strangmüller Date 2013-08-02 14:54 Edited 2013-08-02 14:57
Hier meine Ergebnisse mit der gleichen Stockfish Version vom 29.07, stockfish_13072901_x64_modern_sse42.exe

Bedingungen:
Intel i5-750 @ 3,5 GHz, Fritzmark: 21.15 / 10150
1 Core, 128 MB Hash, 1500 Eröffnungsstellungen
Cutechess-Client 2 * 1500 Partien mit wechselnden Farben.

Bedenkzeit: 60.00 Sek. + 0.60 Sek. pro Partie, durchschnittliche Länge: 88 Züge, durchschnittliche Partiedauer: 226 Sekunden

Elostat, Startwert = 3000 

    Program               Elo   +  -  Games   Score   Av.Op.  Draws
--------------------------------------------------------------------
  1 Komodo CCT          : 3013  9  9  3000    53.8 %   2987   49.4 %
  2 Stockfish_13072901  : 2987  9  9  3000    46.2 %   3013   49.4 %

Individual statistics:

1 Komodo CCT          : 3013  3000 (+874,=1483,-643), 53.9 %
  Stockfish_13072901  :       3000 (+874,=1483,-643), 53.8 %

2 Stockfish_13072901  : 2987  3000 (+643,=1483,-874), 46.1 %
  Komodo CCT          :       3000 (+643,=1483,-874), 46.2 %


Bei kürzerer Bedenkzeit und langsamerer Hardware hat Komodo CCT noch die Nase vorn.
Up Topic Hauptforen / CSS-Forum / Test der aktuellen Stockfish Version vom 29.07
1 2 Previous Next  

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill