Komodo CCT - Stockfish 3 64 Ja

By Ingo Bauer Date 2013-05-11 12:00 Edited 2013-05-11 12:02

Hallo

Spannend. Wenn du die zwei Intelmatche noch mit dem AMD spielen könntest wäre es noch spannender. So weiß man immer nicht ob einer der Compiles evtl. empfindlich auf Intel (oder auch anders herrum) reagiert. Auch ist der AMD nicht konsistent in seiner Geschwindigkeit. Wenn du EINE Single Engine laufen läßt und die Knoten betrachtest ist das mehr als wenn du diese Engine 8 mal laufen läßt und dir dann die Knoten einer Engine ansiehst - und ich spreche nicht vom Turbo in der Engine, den muß man selbstverständlich abschalten (Habe selber so eine CPU, im ganzen aber nett!).

Noch besser wäre es gewesen 5000 Stellungen zu nehmen anstatt ein Buch um wirklich sicherzustellen das immer das gleiche gespielt wurde, aber das verwischt sich mit Sicherheit ein wenig.

Ansonsten ist es schwierig das zu beurteilen. Die +0.05 sind bei 80 Zügen 4 Sekunden. Die sind an sich zu vernachlässigen, machen bei dem 7.5s Spiel aber schon einen guten Teil der Gesammtspielzeit aus. bei dem 5 Minuten Spiel sind die 4s irrelevant. Auch das 7,5, verdoppelt, verdoppelt, verdoppelt, verfünffacht ist seltsam, aber aktzeptabel. Im Ganzen gibt eine schöne abflachende Kurve. Wenn man das mit anderen Engines wiederholt (H3/CCT, S3/H3, Cr/H3, Cr/CCT, Cr/S3 ...) und davon ausgeht das diese Kurve nicht immer gleich verläuft, kann man ungefähr herrausfinden wo das unterre sinnvolle Limit für eine Zeitkontrolle ist - allerdings nur bis eine neue Engine erscheint die sich nicht an das alte Limit hält

Schöne Arbeit, an diesem Punkt bitte weitermachen, bin gespannt.

Gruß
Ingo

By Ingo Bauer Date 2013-05-11 12:21

[quote="Ingo Bauer"]
... und ich spreche nicht vom Turbo in der Engine,...
[/quote]

Erratum:
"Turbo in der CPU" muß das heißen.

Gruß
Ingo

By Michael Scheidl Date 2013-05-11 12:30

Warum muß man den abschalten (ich glaube ich hab im Mobile-i5 auch einen)?

By Ingo Bauer Date 2013-05-11 13:01

[quote="Michael Scheidl"]
Warum muß man den abschalten (ich glaube ich hab im Mobile-i5 auch einen)?
[/quote]

Den muß man nur abschalten wenn man 1 Kern solo mit 1 Kern mehrfach vergleichen will. Bei 1 Kern solo springt der Turbo an und man bekommt wegen dem Turbo etwas anderes als 8 mal 1 Kern solo laufen läßt (Beim AMD 81XX/83XX sind aber, unabhänig vom Turbo, 8 mal ein single Kern nicht gleich schnell wie 1 Single Kern. Bei allen Intels hingegen schon (die haben dafür das HT Problemchen. Jeder nur ein Kreuz

)

Es geht nur darum wie man ordentlich "Benchmarkt". Für echtes Spiel ist das eher irrelevant.

Gruß
Ingo

By Michael Scheidl Date 2013-05-11 13:31

Danke; wie mir inzwischen eingefallen ist war die Frage eh nur theoretisch, denn mein UEFI (formerly known as "BIOS") gibt mir ohnehin keinerlei Einfluß auf solche Sachen...

P.S. Die hier unlängst erwähnte c't-Antivirus-DVD funktioniert zwar wenn man von DVD bootet ("Secure Boot" im UEFI abschalten usw.usf.), aber einen bootfähigen USB-Stick bringe ich unter Windows 8 zumindest auf meinem Gerät nicht zustande. Nach dem ganzen Prozedere hab ich den Stick neu formatiert und der hatte dann nur noch 7,2 GB statt 8...

grummel...

Immerhin zeigte mir Ubuntu, daß ich zwei zusätzliche Festplattenpartitionen habe, welche unter Windows vollkommen versteckt werden: "Restore" und "Recover". Doch was nützt mir das falls die Festplatte technisch komplett ausfällt?

By Stefan Pohl Date 2013-05-11 14:31

[quote="Michael Scheidl"]
Warum muß man den abschalten (ich glaube ich hab im Mobile-i5 auch einen)?
[/quote]

In Notebook kannst du den Turbo nicht abschalten, aber wenn du mehr als einen Kern mit Schach voll auslastest, ist der Turbo sowieso nicht an, denn dann würde die CPU überhitzen. Der Turbo ist nur dafür da, Programme, die nur einen Kern nutzen können (und das sind ja die meisten, Computerschach ist ja dahingehend keine typische Anwendung), zu beschleunigen.

Stefan

By Andreas Strangmüller Date 2013-05-11 15:59

Hallo Ingo,

der Turbo-Boost bei Intel bzw. Turbo Core bei AMD ist auf beiden PCs ausgeschaltet, da beide übertaktet sind. Hyper-Threading ist beim Intel-i5 ebenfalls aus.
Da die Benchmarks bei beiden Rechner mit einem Kern etwa gleich sind, habe ich entschieden beide PCs für diesen Testlauf zu verwenden, ist ja auch ein Zeitfaktor.
Die Stockfish-Version ist jeweils die Offizielle, die von der Homepage heruntergeladen kann: stockfish-3-64-ja.exe.

Hier zusätzlich zum bereits geposteten Stockfish Bench die Fritz Schach Benchmark Werte beider PCs:

Fritzmark mit einem Kern i5-750:  5.38 / 2584
Fritzmark mit einem Kern FX-8350: 5.46 / 2622

Den Bonus von 0.05 Sekunden habe ich deswegen genommen, da das Stockfish-Team diesen bei ihren Tests bei 15 sowie 60 Sekunden Partien ebenfalls so wählt.

Wie sollte den optimaler Weise die Bedenkzeit bei einer Verdoppelung aussehen?
7.50+0.05 / 15.00+0.10 / 30.00+0.20 / 60.00+0.40 ?

Viele Grüße,
Andreas

By Ingo Bauer Date 2013-05-11 16:46

[quote="Andreas Strangmüller"]
der Turbo-Boost bei Intel bzw. Turbo Core bei AMD ist auf beiden PCs ausgeschaltet, da beide übertaktet sind. Hyper-Threading ist beim Intel-i5 ebenfalls aus.
[/quote]

Super!

[quote="Andreas Strangmüller"]
Da die Benchmarks bei beiden Rechner mit einem Kern etwa gleich sind, habe ich entschieden beide PCs für diesen Testlauf zu verwenden, ist ja auch ein Zeitfaktor.
[/quote]

Alles richtig, ändert aber nichts daran das eine Engine auf einem der beiden PC evtl. besser läuft als auf dem anderen, das Ergebniss also etwas verfälscht wird ... (vielleicht auch nicht, wir wissen es nicht, es besteht nur die Möglichkeit)

[quote="Andreas Strangmüller"]
Hier zusätzlich zum bereits geposteten Stockfish Bench die Fritz Schach Benchmark Werte beider PCs:

Fritzmark mit einem Kern i5-750:  5.38 / 2584
Fritzmark mit einem Kern FX-8350: 5.46 / 2622

[/quote]

Der Fritzbench ist der schlechteste den man finden kann. Er ist mit Maschinencode auf Intel optimiert und selbst da sogar für die Fritzengine zu optimistisch.

[quote="Andreas Strangmüller"]
Den Bonus von 0.05 Sekunden habe ich deswegen genommen, da das Stockfish-Team diesen bei ihren Tests bei 15 sowie 60 Sekunden Partien ebenfalls so wählt.
[/quote]

Ich habe mit dem Bonus kein Problem, nur das er für deine niedrigste Zeitkontrolle rund 1/3 der Gesammtbedenkzeit ausmacht. Das ist halt schon ein guter Teil einer ganzen Partie.

[quote="Andreas Strangmüller"]
Wie sollte den optimaler Weise die Bedenkzeit bei einer Verdoppelung aussehen?
7.50+0.05 / 15.00+0.10 / 30.00+0.20 / 60.00+0.40 ?
[/quote]

Ich würde da jetzt nichts mehr machen. Lass die Zeiten so wie sie sind, spiele nur die Intelspiele mit dem AMD nach und hoffe das in Zukunft weitere Engines mit diesem kurzen Increment klarkommen. Selbst wenn nichts dabei herraus kommt, kannst du das für Zukünftige Engines nicht wissen.

Wenn ich so etwas machen würde würde ich vielleicht so etwas spielen:

Eigentlich würde ich die IPON-RRRL wiederholen aber mit kürzeren Zeiten. 10s, 30s, 90s, 180s pro Spiel, und das Increment so klein wie möglich, aber so das möglichst alle Enignes damit klarkommen (habe da keine Erfahrung). Das sind 4 Messpunkte und der höchste mindestens 3 min (6 mit P-ON) Rechenzeit. 28500 Spiele pro Liste mit einer ca. Elobreite von 10 Elo. Alles was sich in diesen +/-10 Elo bewegt ist egal, das kann der Mensch sowieso nicht unterscheiden und der ist der einzige der sich das ansieht

und danach die 4 Listen vergleichen ob Sie sich substantiel unterscheiden.
Wenn das mal steht geht es weil danach nur noch Einzelengines eingespielt werden müssen.

Das ganze Thema ist unerquicklich. Mann kann fast nichts vernünftiges machen ohne einfach mit dem Faktor Zeit zu kollidieren. Es dauert einfach alles zu lange.

Aber nochmal, schöne Idee von dir - jetzt nur nicht aufhören!

Gruß
Ingo

By Stefan Pohl Date 2013-05-11 14:08

Im Prinzip ein schönes Experiment. Ich würde allerdings dringend dazu raten, die Relation zwischen Bedenkzeit für die Partie und Fischerbonus immer gleich zu belassen, da sonst der Zeiteinteilungsalgorithmus der Engines als zusätzliches Verzerrungs- bzw. Schwankungselement hinzukommt. Das gilt insbesondere für Partien mit Stockfish, der sich seine Zeit doch recht ungewöhnlich einteilt (im Vergleich zu anderen Engines mehr Zeitverbrauch im Mittelspiel und dann wenig bis keine Reserven in Endspielen).

Stefan

By Michael Scheidl Date 2013-05-11 14:15

Fünf Hundertstel (?!) Sekunden Zugbonus sind mir ohnehin unverständlich. Fünf Zehntel würden m.E. Sinn machen.

By Stefan Pohl Date 2013-05-11 14:26

[quote="Michael Scheidl"]
Fünf Hundertstel (?!) Sekunden Zugbonus sind mir ohnehin unverständlich. Fünf Zehntel würden m.E. Sinn machen.
[/quote]

Naja, mit dem cutechess-client geht das gerade noch (für die LittleBlitzerGUI wäre das schon zu knapp), mit den 50ms Fischerbonus vermeidet auch das Stockfishteam bei ihren Tests Zeitüberschreitungen. Ich halte das auch für grenzwertig. 150ms sollten es schon mindestens sein. Stockfish ist allerdings in dieser Hinsicht ziemlich robust. Houdini reicht das aber z.B. nicht.
Die von dir geforderten fünf Zehntel (also 500ms) benutze ich für meine LS-Rangliste, aber für wirklich schnelle Tests ist das zu langsam, da kommt man nicht schnell genug auf große Partienzahlen. Ich schaffe mit meinem LS-Tempo (45''+500ms) pro Kern gut 500 Partien in 24 Stunden, also gute 2000 pro Tag auf meinem Quadcore. Für Ranglisten-Test ist das ein schönes Tempo, aber für Experimente, die man öfter wiederholen will, ist das Tempo schon zu bummelig (hätte man vor einigen Jahren auch nicht gedacht, das man so was mal über 45''+500ms schreiben würde...).

Stefan

By Andreas Strangmüller Date 2013-05-12 20:12

Interessehalber habe ich die auf dem Intel-PC gespielten Partien nun auch mit dem AMD durchgeführt.
Bei beiden Bedenkzeiten, 7.50+0.05 Sek. sowie 60.00+0.05 Sek. gab es nur geringfügige Abweichungen.

Ein neues Match unter den selben Bedingungen, Stockfish 3 gegen Houdini 3, läuft bereits.

-----------------------------------------------------------

128 MB Hash, 7.50+0.05 Sek.
Intel i5-750 @ 3,5 GHz

1   Komodo CCT         +2059/-749/=2192 63.10%  3155.0/5000
2   Stockfish 3 64 Ja  +749/-2059/=2192 36.90%  1845.0/5000

AMD FX-8350 @ 4,6 GHz

1   Komodo CCT         +2104/-783/=2113 63.21%  3160.5/5000
2   Stockfish 3 64 JA  +783/-2104/=2113 36.79%  1839.5/5000

-----------------------------------------------------------

128 MB Hash,  15.00+0.05 Sek.
AMD FX-8350 @ 4,6 GHz

1   Komodo CCT         +1929/-837/=2234 60.92%  3046.0/5000
2   Stockfish 3 64 Ja  +837/-1929/=2234 39.08%  1954.0/5000

-----------------------------------------------------------

128 MB Hash,  30.00+0.05 Sek.
AMD FX-8350 @ 4,6 GHz

1   Komodo CCT         +1763/-867/=2370 58.96%  2948.0/5000
2   Stockfish 3 64 Ja  +867/-1763/=2370 41.04%  2052.0/5000

-----------------------------------------------------------

128 MB Hash,  60.00+0.05 Sek.
Intel i5-750 @ 3,5 GHz

1   Komodo CCT         +1679/-825/=2496 58.54%  2927.0/5000
2   Stockfish 3 64 Ja  +825/-1679/=2496 41.46%  2073.0/5000

AMD FX-8350 @ 4,6 GHz

1   Komodo CCT         +1720/-851/=2429 58.69%  2934.5/5000
2   Stockfish 3 64 Ja  +851/-1720/=2429 41.31%  2065.5/5000

-----------------------------------------------------------

256 MB Hash, 300.00+0.05 Sek.
AMD FX-8350 @ 4,6 GHz

1   Komodo CCT         +1508/-803/=2689 57.05%  2852.5/5000
2   Stockfish 3 64 Ja  +803/-1508/=2689 42.95%  2147.5/5000

-----------------------------------------------------------

By Ingo Bauer Date 2013-05-13 06:18

[quote="Andreas Strangmüller"]
Interessehalber habe ich die auf dem Intel-PC gespielten Partien nun auch mit dem AMD durchgeführt.
Bei beiden Bedenkzeiten, 7.50+0.05 Sek. sowie 60.00+0.05 Sek. gab es nur geringfügige Abweichungen.

Ein neues Match unter den selben Bedingungen, Stockfish 3 gegen Houdini 3, läuft bereits.

[/quote]

Geringfügig? Das ist gar nichts! Schön zu wissen das sowohl der offizielle Stockfish als auch Komodo CCT unempfindlich auf die HW reagieren. Ich hoffe das auch das H3 Match komplett auf einer CPU durchgeführt wird.

Wenn dann noch H3 mit Komodo CCT gepaart wird kann man schon schön sehen ob alle drei Engines gleich auf unterschiedliche Bedenkzeiten reagieren ... bin gespannt

Gruß
Ingo

By Andreas Strangmüller Date 2013-05-15 10:21

Bayeselo und ELOstat-Auswertung des Zweikampfes

                       Bayeselo                        7.50+0.05 Sek.                        Elo                                

     Programm      Elo    +    - Games Score Oppo. Draws   |     Programm          Elo     +   -  Games   Score   Av.Op.  Draws
   1 Komodo-CCT     42    5    5  5000   63%   -42   42%   |   1 Komodo-CCT      : 3047    7   7  5000    63.2 %   2953   42.3 %
   2 Stockfish 3   -42    5    5  5000   37%    42   42%   |   2 Stockfish 3     : 2953    7   7  5000    36.8 %   3047   42.3 %
                                                           |
-----------------------------------------------------------+---------------------------------------------------------------------

                       Bayeselo                        15.00+0.05 Sek.                       Elo                                 

     Programm      Elo    +    - Games Score Oppo. Draws   |     Programm          Elo     +   -  Games   Score   Av.Op.  Draws
   1 Komodo-CCT     34    5    5  5000   61%   -34   45%   |   1 Komodo-CCT      : 3039    7   7  5000    60.9 %   2961   44.7 %
   2 stockfish 3   -34    5    5  5000   39%    34   45%   |   2 Stockfish 3     : 2961    7   7  5000    39.1 %   3039   44.7 %
                                                           |
-----------------------------------------------------------+--------------------------------------------------------------------

                       Bayeselo                        30.00+0.05 Sek.                       Elo                                 

     Programm      Elo    +    - Games Score Oppo. Draws   |     Programm          Elo     +   -  Games   Score   Av.Op.  Draws
   1 Komodo-CCT     27    5    5  5000   59%   -27   47%   |   1 Komodo-CCT      : 3031    7   7  5000    59.0 %   2969   47.4 %
   2 Stockfish 3   -27    5    5  5000   41%    27   47%   |   2 Stockfish 3     : 2969    7   7  5000    41.0 %   3031   47.4 %
                                                           |
-----------------------------------------------------------+---------------------------------------------------------------------

                       Bayeselo                        60.00+0.05 Sek.                       Elo                                 

     Programm      Elo    +    - Games Score Oppo. Draws   |     Programm          Elo     +   -  Games   Score   Av.Op.  Draws
   1 Komodo-CCT     26    4    5  5000   59%   -26   49%   |   1 Komodo-CCT      : 3031    7   7  5000    58.7 %   2969   48.6 %
   2 Stockfish 3   -26    5    4  5000   41%    26   49%   |   2 Stockfish 3     : 2969    7   7  5000    41.3 %   3031   48.6 %
                                                           |
-----------------------------------------------------------+---------------------------------------------------------------------

                       Bayeselo                       300.00+0.05 Sek.                       Elo                    

     Programm      Elo    +    - Games Score Oppo. Draws   |     Programm          Elo     +   -  Games   Score   Av.Op.  Draws
   1 Komodo-CCT     21    4    5  5000   57%   -21   54%   |   1 Komodo-CCT      : 3025    7   7  5000    57.0 %   2975   53.8 %
   2 Stockfish 3   -21    5    4  5000   43%    21   54%   |   2 Stockfish 3     : 2975    7   7  5000    43.0 %   3025   53.8 %
                                                           |
-----------------------------------------------------------+---------------------------------------------------------------------

                                                         Gesamt:                                                        

     Programm      Elo    +    - Games Score Oppo. Draws   |     Programm          Elo     +   -  Games   Score   Av.Op.  Draws
   1 Komodo-CCT     30    3    4 25000   60%   -30   47%   |   1 Komodo-CCT      : 3034    3   3  25000   59.8 %   2966   47.3 %
   2 Stockfish 3   -30    4    3 25000   40%    30   47%   |   2 Stockfish 3     : 2966    3   3  25000   40.2 %   3034   47.3 %

-----------------------------------------------------------+---------------------------------------------------------------------

                                                                 Games      :  25000 (finished)

                                                                 White Wins :   7896 (31.6 %)
                                                                 Black Wins :   5269 (21.1 %) 
                                                                 Draws      :  11835 (47.3 %)

                                                                 White Perf.  : 55.3 %
                                                                 Black Perf.  : 44.7 %

                                                                 ECO A =  10285 Games (41.1 %)
                                                                 ECO B =   5851 Games (23.4 %)
                                                                 ECO C =   3247 Games (13.0 %)
                                                                 ECO D =   2585 Games (10.3 %)
                                                                 ECO E =   3032 Games (12.1 %)

By Michael Scheidl Date 2013-05-15 11:24

Sehr schöne Auswertung! Man erkennt, wie mit mehr Bedenkzeit die Remisquote steigt und somit die Elodifferenz sinkt.

In Head-to-head scheint SF.3 ein unangenehmer Gegner für Komodo CCT zu sein: Der allgemeine Vergleich, also mit jeweils zahlreichen Gegnern, ergab bei IPON und LS einen größeren Vorsprung für letzteren (bei Vergleich jeweils ähnlicher Zeitkontrollen).