Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Stockfish 14.01.2014 - Houdini 4
- - By Thomas Zipproth Date 2014-01-15 21:55 Edited 2014-01-15 21:59
Nach längerer Zeit mal wieder ein kleines Match um zu sehen, wo Stockfish im Vergleich zu Houdini4 so ungefähr steht.

Dazu ausnahmsweise nicht die aktuelle Development Version sondern den Rockwood Compile vom 14.01.2014,
der um ca. 10% schneller ist und zusätzlich Large Pages beherscht, die aber nicht aktiviert wurden.

Bedingungen:

1 Core, 256 MB Hash, Buch: fq500n.pgn mit 500 Stellungen, danke an Stefan Pohl.
Client: LittleBlitzer mit Gauntlet Mode, 2 * 500 Partien mit wechselnden Farben.

Bedenkzeit: 90.00 Sek. + 1.00 Sek. pro Partie, durchschnittliche Partie Dauer: 338 Sekunden

Hardware: Core I7 3700k @ 3.9 GHz, Fritzmark: 30.75 14759

LittleBlitzer Output:

1.  StockfishRockwood         503.5/1000  272-265-463    (L: m=265 t=0 i=0 a=0)  (D: r=142 i=143 f=176 s=2 a=0)  (tpm=1768.5 d=28.08 nps=2460059)
2.  Houdini_4_Pro_x64B      496.5/1000  265-272-463    (L: m=272 t=0 i=0 a=0)  (D: r=142 i=143 f=176 s=2 a=0)  (tpm=1617.6 d=22.34 nps=2831310)

BayesElo:

  Program                      Elo    +    -  games score oppo. draws

1 StockfishRockwood        1    9    9  1000   50%    -1   46%
2 Houdini_4_Pro_x64B    -1    9    9  1000   50%     1   46%

Interessant ist noch die absolute Anzahl von Gewinnpartien bei einer bestimmten Zahl von Zügen:

             SF     H4

   < 41    12      1
41-49     18      2
50-59     25    16
>119      22    29
Parent - - By Alexander S. Date 2014-01-16 00:50
Verstehe nicht, wieso die Summe der "absoluten Anzahl der Gewinnpartien bei einer bestimmten Anzahl von Zügen" so weit von den tatsächlich gewonnen Partien abweicht.

Da steht es doch 272:265. Warum sind die Summen dort nur 77:48?
Parent - - By Thomas Zipproth Date 2014-01-16 01:20
Ich habe nicht alle Teilergebnisse aufgeführt, weil ich das manuell machen mußte, die Tabelle ist so zu lesen:

Von allen Gewinnpartien, die unter 41 Zügen beendet waren, hat Stockfisch 12 gewonnen, Houdini nur eine.
Entsprechend anders herum dann im Mittel- und Endspiel, z.b. bei Gewinnpartien mit mehr als 119 Zügen hat Houdini 29 gewonnnen, Stockfish nur 22.

Was wohl so zu interpretieren ist, das Stockfish sehr aggressiv spielt, dadurch viele Partien bereits während oder kurz nach der Eröffnung gewinnt,
während Houdini mehr im Übergang Mittelspiel/Endspiel dominiert.
Parent - - By Michael Scheidl Date 2014-01-16 02:06
Also entfallen die restlichen je ca. 200 Siege offenbar auf den Bereich 60...119 Züge.

War irgendeine Form von Aufgeben oder Abschätzung an? (Ich kenne Little Blitzer nicht.) Wie dem auch sei; nur drei halbwegs schnelle Siege in 1.000 Partien spricht Bände...
Parent - By Stefan Pohl Date 2014-01-16 09:52
Michael Scheidl schrieb:


War irgendeine Form von Aufgeben oder Abschätzung an? (Ich kenne Little Blitzer nicht.)


Nein, es ging in allen Partien bis zum bitteren Ende.

1.  StockfishRockwood         503.5/1000  272-265-463    (L: m=265 t=0 i=0 a=0)  (D: r=142 i=143 f=176 s=2 a=0)  (tpm=1768.5 d=28.08 nps=2460059)
2.  Houdini_4_Pro_x64B      496.5/1000  265-272-463    (L: m=272 t=0 i=0 a=0)  (D: r=142 i=143 f=176 s=2 a=0)  (tpm=1617.6 d=22.34 nps=2831310)

Ich erläutere mal die Anzeige der LBG:

In der ersten Klammer (L:) stehen alle verlorenen Partien, und zwar m=mate (Mattgesetzt), t=timeloss (also Zeitüberschreitung (was auch Enginecrash heißen kann)), i=illegal move (Partieverlust durch illegalen Zug), a=adjusted (durch die GUI abgeschätzt)
In der zweiten Klammer (D:) stehen alle Remispartien, und zwar r=repeated (Remis durch 3 fach), i=insufficient material (Remis durch zuwenig Material), f=fifty move rule (Remis durch 50 Züge Regel), s=stalemate (Remis durch Patt), a=adjusted (durch die GUI Remis gegeben).
Da in beiden Klammer a=0 ist, wurden alle Partien bis zum bitteren Ende gespielt. Und da in der L-Klammer t=0 und i=0 sind, gab es auch keine Probleme mit den Engines durch timeloss, crash, illegal move, also wurden auch alle Partien korrekt und gemäß der Schachregeln beendet.

Stefan
Parent - - By Patrick Götz Date 2014-01-16 01:02
Danke Thomas!

Reichen diesem Stockfish tatsächlich schon 90 Sekunden/Partie um an Houdini 4 vorbei zu ziehen?

Auch auf Talkchess gibt es Resultate die in die gleiche Richtung gehen:

Noomen Test Suite 1"/move results :
1: Stockfish Rockwood 255.0/510
1: Houdini 4          255.0/510

Noomen Test Suite 16"/move results :
1: Stockfish Rockwood 271.5/510
2: Houdini 4          238.5/510

Falls noch jemand weitere Resultate beitragen möchte sind die Willkommen, hier gibt es die neueste StockfishRockwood Version vom 14.01.14:
https://www.dropbox.com/s/upghqh4ay1x3zbu/Stockfish_Rockwood.7z
Parent - - By Stefan Pohl Date 2014-01-16 07:42
Patrick Götz schrieb:

Danke Thomas!

Reichen diesem Stockfish tatsächlich schon 90 Sekunden/Partie um an Houdini 4 vorbei zu ziehen?



(Hüstel). Zunächst mal ist die durchschnittliche Partiedauer hier 338s, d.h. die Engines hatten durchschnittlich 169 Sekunden pro Partie Bedenkzeit, nicht 90 (unter LS-Bedingungen sind es gute 80-85 Sekunden pro Partie und Engine). Und ein Sieg im Direktvergleich heißt noch lange nicht, daß eine Engine an einer anderen vorbeizieht (in einer Rangliste).

Stefan
Parent - By Benno Hartwig Date 2014-01-16 08:09

> Und ein Sieg im Direktvergleich heißt noch lange nicht, daß eine Engine an einer anderen vorbeizieht (in einer Rangliste).


Stimmt wohl. Die Spielstärke im Vergleich zu den ganz wenigen wenigstens ungefähr gleich starken Konkurrenten kann aber auch ganz besonders interessieren.

Die Frage, ob 'meine Engine' gegen eine viel schwächere nun 90:10 gewinnt oder 95 zu 5, muss sich nicht jedem in den Vordergrund drängen.
Und die Frage "Welche Eigenschaft macht eine Engine zu stärksten?" beantworten sich die Leute wohl auch unterschiedlich.

Wenn H4 gegen das diffuse Feld am besten punktet, wenn SF aber im direkten Vergleich vorn liegt, und wenn (hypothetischerweise) Komodo in einer ausgiebigen Runde der Top-Fünf die Nase vorn hat, was ist dann?
Und bei anderen Zeiten mag das dann noch wieder ganz anders sein.

Benno
Parent - By Thomas Zipproth Date 2014-01-16 11:55
Natürlich kann ein Einzelergebnis keine Rangliste ersetzen, das ist klar.

Ich hatte dann aber doch beschlossen, dieses Ergebnis mal zu posten, weil Stockfisch bei mir noch nie gegen Houdini 3 im Direktvergleich gewonnen hat, und jetzt gleich gegen Houdini 4, das war überrraschend.
Interressant fand ich auch die Unterschiede in den Ergebnissen wenn man die Anzahl der Züge berücksichtigt, hier überlege ich noch an einer besseren Auswertung.
Auch die überdurchschnittliche Verbesserung von Stockfish bei längerer Bedenkzeit hat sich ja wieder bestätigt.

Thomas
Parent - - By Chess Player Date 2014-01-16 11:53
Ist diese Rockwood nur für 64 Bit? Wo sind die Sourcen zu finden. Ich fine keine...
Parent - - By ich versuchte das mal Date 2014-01-16 14:15
Code:

     1>Projekt "D:\Stockfish Rockwood\src\1.vcxproj" auf Knoten "2", build Ziel(e).
     1>InitializeBuildStatus:
         "Debug\1.unsuccessfulbuild" wird erstellt, da "AlwaysCreate" angegeben wurde.
       ClCompile:
         e:\Visual Studio Express 2010 Windows\VC\bin\CL.exe /c /Zi /nologo /W3 /WX- /Od /Oy- /D WIN32 /D _DEBUG /D _CONSOLE /D _AFXDLL /Gm /EHsc /RTC1 /MDd /GS /fp:precise /Zc:wchar_t /Zc:forScope /Fo"Debug\\" /Fd"Debug\vc100.pdb" /Gd /TP /analyze- /errorReport:prompt benchmark.cpp bitbase.cpp bitboard.cpp book.cpp endgame.cpp evaluate.cpp main.cpp material.cpp MEM_HANDLER.cpp misc.cpp movegen.cpp movepick.cpp notation.cpp pawns.cpp position.cpp search.cpp tbcore.cpp tbprobe.cpp thread.cpp timeman.cpp tt.cpp uci.cpp ucioption.cpp
         ucioption.cpp
         uci.cpp
         tt.cpp
     1>tt.cpp(45): warning C4244: '=': Konvertierung von 'uint64_t' in 'uint32_t', möglicher Datenverlust
     1>tt.cpp(58): warning C4244: 'Argument': Konvertierung von 'uint64_t' in 'size_t', möglicher Datenverlust
         timeman.cpp
         thread.cpp
         tbprobe.cpp
     1>d:\stockfish rockwood\src\tbcore.h(9): fatal error C1083: Datei (Include) kann nicht geöffnet werden: "pthread.h": No such file or directory
         tbcore.cpp
     1>tbcore.cpp(11): fatal error C1083: Datei (Include) kann nicht geöffnet werden: "unistd.h": No such file or directory
         search.cpp
         position.cpp
         pawns.cpp
         notation.cpp
         movepick.cpp
         movegen.cpp
         misc.cpp
         MEM_HANDLER.cpp
     1>MEM_HANDLER.cpp(70): warning C4244: 'Argument': Konvertierung von 'uint64_t' in 'SIZE_T', möglicher Datenverlust
     1>MEM_HANDLER.cpp(79): warning C4244: 'Argument': Konvertierung von 'uint64_t' in 'size_t', möglicher Datenverlust
     1>MEM_HANDLER.cpp(85): warning C4244: 'Argument': Konvertierung von 'uint64_t' in 'size_t', möglicher Datenverlust
     1>MEM_HANDLER.cpp(65): warning C4101: 'hDll': Unreferenzierte lokale Variable
     1>MEM_HANDLER.cpp(64): warning C4101: 'pGetLargePageMinimum': Unreferenzierte lokale Variable
         material.cpp
         main.cpp
         evaluate.cpp
         endgame.cpp
         book.cpp
         Code wird generiert...
         Kompilieren...
         bitboard.cpp
         bitbase.cpp
         benchmark.cpp
         Code wird generiert...
     1>Die Erstellung des Projekts "D:\Stockfish Rockwood\src\1.vcxproj" ist abgeschlossen, build Ziel(e) -- FEHLER.

Fehler beim Erstellen


ohne Erfolg...
Parent - By Frank Rahde (Mod.) Date 2014-01-16 18:37
Bitte den Stammposter-Account auch nutzen, den Du besitzt oder zumindest deinen Namen eintragen. Wir löschen in Zukunft Beiträge, bei denen weder unterschrieben wird noch das "Von"-Feld ordentlich ausgefüllt wird. Wie soll dein Kommunikations-Partner wissen, dass Du derselbe bist, der ihm zuvor geantwortet hat?  :->
Parent - - By Roland Riener Date 2014-01-16 19:41
Danke Patrick, aufgrund deines Links habe ich mir den Rockwood heruntergeladen.

Aber leider beschert mit die Fritz13 GUI eine Enttäuschung: Sie verweigert dem Rockwood die Teilnahme an Engineturnieren mit der lächerlichen Begründung: "The engine name is too long". Spielen und analysieren damit jedoch kann ich gleichwohl.

Ähnlich war es vor geraumer Zeit mit Robbolito - bei Engineturnieren "unkown engine", spielen und analysieren ging. Ist inzwischen abgehakt.

Fast unnötig zu sagen, daß unter Aquarium alles klaglos läuft, aber dort habe ich u.a. nur H2 und nicht H3.
Parent - - By docdwo Date 2014-01-16 21:15
Soweit ich weiss hat der Autor auf immortal chess im forum stockfish einen Fritz patch gepostet.
Parent - By Roland Riener Date 2014-01-17 10:35
Und wie wäre dieser Patch zu nutzen? Wohl nur, indem eine geänderte Download-Version (wo zu finden?) neu geladen wird.

Stockfish Rockwood scheint wirklich eine sehr brauchbare Entwicklung zu sein, deshalb hätte ich sie gerne in der Fritz13-GUI. Die Bewertungen sind stockfish-atypisch nicht mehr übertrieben, sondern im Houdini-Maßstab.

Roland
Parent - - By Guest Date 2014-01-17 09:44
Hi,
Warum änderst du nicht deinfach den Namen? Dann sollte es gehen.
Parent - By Roland Riener Date 2014-01-17 10:40
Hi, sehe erst jetzt deinen Tipp. Erste ungeschickte Versuche dazu habe ich bereits unternommen, war mir nicht klar, ob das überhaupt technisch möglich ist. Thx, probiere nochmals.
Parent - - By Roland Riener Date 2014-01-17 15:51
Also, für mich scheint es nicht "einfach", den Namen zu ändern. Es kommt der Hinweis:

"Der Name muß enthalten:
Stockfish Rockwood140114 SSE4.2"

und das ist für Turniere eben zu lang. Hilfreiche Ratschläge?

Roland
Parent - By Chess Player Date 2014-01-17 16:06
so wie ich es mitbekommen habe und auch erfolgreich ausgetaetst habe ist es erforderlich:

1. den Dateinamen zu ändern und!
2. in der engine selber(*.exe file) auch den namen zu ändern mit einem hex-editor

wenn du die suchfunktion im forum benutzt müsstest du auch anderweits fündig werden

P.S. nimm einen kurzen namen!!!!
Parent - - By Karl Müller Date 2014-01-17 16:42
here a go - der Rockwood140114, den Du in der fritz GUI zum Enginewettkampf nutzen kannst, heißt dann Stockwood:

https://mega.co.nz/#!eB5hnBJI!ZpRID3X5h7t5FlBOEGKQQjsk4TdbCo-8BqLASSte2v0
Parent - - By Roland Riener Date 2014-01-17 17:13
Danke Karl, wäre schön gewesen, aber der Link ist "... no longer available".

Danke auch an Chessplayer, lege die Anweisung zurück, bis mein IT-affinerer Sohn helfen kann.

Roland
Parent - By Karl Müller Date 2014-01-17 17:27 Edited 2014-01-17 17:34
muss mal schauen, ob ich noch einen anderen Link finde -

leider nichts zu machen, er hat alles wieder raus genommen, warum auch immer . . .
Parent - - By Karl Müller Date 2014-01-17 17:51
nimm die, die funktioniert noch und ist die stärkst Version "noavx" von Higgs, dem Macher von rockwood

http://limelinx.com/elx52
Parent - By Roland Riener Date 2014-01-17 20:49
Ja, mit der Version kann ich auch in der Fritz13-GUI Turniere spielen. Besten Dank für deine Hilfe.

Roland
Parent - By Karl Müller Date 2014-01-17 16:37
hallo - ja der Rockwood ist sehr stark - mein derzeitiger absoluter Favorit.

Ich nutze die AVX-Version auf einem i7 4770, halte aber die Vorgängerversion vom 03.01.14 für noch einen Tick stärker. Die 030114 ist auch gemessen schneller und erreicht bei mir zwei bis vier Züge mehr. Habe die Version gegen die SSE4.2 Version getestet und die AVX läuft bei mir schneller . . .

Bei mir bisher am stärksten in meinen Vergleichen, die aber statistisch nicht relevant sind, da ich immer nur ca. 60 Spiele Blitz 5 Minuten mit einem neuen Stocky gegen den Vorgänger (oder dem bisher für mich stärksten Stocky) ist der Rockwood030114avx. Hat auch eine postive Bilanz gegen Houdini 4.

Danke für den Vergleich.
Grüße
Up Topic Hauptforen / CSS-Forum / Stockfish 14.01.2014 - Houdini 4

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill