Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Shredder Classic 4
- - By Ingo Bauer Date 2009-10-17 10:56
Hallo

Auch wenn ich vermute das es hier nicht so viele interessieren wird habe ich mal Shredder Classic 4 laufen lassen:

Engine:
    Program                          Elo    +   -   Games   Score   Av.Op.  Draws

1 Rybka 3 1T                     : 2826   10  10  3600    75.9 %   2627   32.2 %
2 Rybka 3 1T 32-bit              : 2768   14  14  1700    67.7 %   2639   35.7 %
3 Deep Shredder 12               : 2723   14  14  1600    64.1 %   2622   36.5 %
4 Rybka 2.3.2a                   : 2717    6   6  8900    62.5 %   2629   39.3 %
5 Deep Shredder 12 UCI 32-bit    : 2715   14  14  1600    63.1 %   2622   37.5 %
6 Naum 4                         : 2695    7   7  6100    54.8 %   2662   40.5 %
7 Rybka 1.2f                     : 2669    6   6  8000    64.1 %   2568   33.8 %
8 Fritz 12 32-bit                : 2647   16  16  1100    51.4 %   2638   41.3 %
9 Deep Fritz 11 32-bit           : 2636   14  14  1500    55.9 %   2595   38.6 %
10 Stockfish 1.4 JA               : 2624   13  13  1800    49.1 %   2630   37.9 %
11 Shredder Bonn 1T 32-bit        : 2622   10  10  3000    50.8 %   2616   40.0 %
12 Zappa Mexico II                : 2620    6   6  8900    46.4 %   2645   40.2 %
13 Deep Shredder 11               : 2600    9   9  3700    52.1 %   2586   39.4 %
14 Onno-1-1-1                     : 2598   12  12  1800    47.1 %   2618   40.3 %
15 Rybka 1.0 Beta                 : 2595   11  11  2500    53.2 %   2573   36.3 %
16 Naum 3.1                       : 2589    7   7  5600    47.8 %   2605   38.9 %
17 Onno-1-0-0                     : 2585   13  13  1600    44.9 %   2620   39.9 %
18 Deep Sjeng WC2008              : 2577    7   7  6000    38.6 %   2658   35.5 %
19 Toga II 1.4 beta5c BB          : 2571    6   6  8400    39.1 %   2648   37.8 %
20 Hiarcs 12.1 MP 32-bit          : 2567    6   6  9500    38.4 %   2649   37.0 %
21 Deep Sjeng 3.0                 : 2563   10  10  3200    41.0 %   2626   33.8 %
22 Shredder Classic 4             : 2550   17  17  1000    49.5 %   2553   37.8 %
23 Glaurung 2.2 JA                : 2548    8   8  5600    34.3 %   2661   33.6 %
24 Naum 2.2                       : 2542   10  10  2700    43.5 %   2588   42.9 %
25 Rybka 1.0 Beta 32-bit          : 2541    8   8  4500    50.0 %   2541   33.4 %
26 HIARCS 11.2 32-bit             : 2535    7   7  6600    45.5 %   2566   36.3 %
27 Fruit 05/11/03 32-bit          : 2532    5   5 10400    36.0 %   2632   36.9 %
28 DS 10 Balmung                  : 2529   10  10  2600    49.9 %   2530   42.5 %
29 LoopMP 12.32 32-bit            : 2524    7   7  5600    44.7 %   2561   34.7 %
30 Loop 13.5 32-bit               : 2523    8   8  4700    43.4 %   2569   37.0 %
31 Toga II 1.2.1a                 : 2519    7   7  6600    46.6 %   2542   35.2 %
32 ListMP 11.64b                  : 2516   12  12  2200    44.0 %   2558   35.9 %
33 Glaurung 2.1                   : 2509   19  19   900    42.7 %   2560   33.9 %
34 Deep Shredder 10               : 2506    5   5 12300    35.3 %   2611   33.9 %
35 HIARCS 11 MP 32-bit            : 2505   19  19   800    44.9 %   2540   36.4 %
36 Naum 2.1                       : 2504    9   9  3700    44.6 %   2542   36.4 %
37 Toga II 1.3x4                  : 2497   19  19   800    44.6 %   2535   38.9 %
38 Spike 1.2 Turin 32-bit         : 2480    5   5 13800    32.1 %   2610   33.0 %
39 Deep Shredder 9.02             : 2465   16  16  1400    37.9 %   2551   29.1 %
40 Deep Sjeng 2.7                 : 2453   13  13  2000    31.2 %   2591   33.1 %
41 Glaurung 2-epsilon/5           : 2445   16  16  1300    34.8 %   2554   30.9 %
42 Deep Sjeng 2.5                 : 2385   20  20   900    29.9 %   2533   30.6 %


165 Elo hinter Shredder 12 32bit.

Engine:
92 SC 4                      : 2550  1000 (+306,=378,-316), 49.5 %

Zappa Mexico II x64 1T        : 100 (+ 18,= 38,- 44), 37.0 %
Deep Shredder 10 x64 1T       : 100 (+ 34,= 37,- 29), 52.5 %
Spike 1.2 Turin               : 100 (+ 41,= 33,- 26), 57.5 %
Fruit 05/11/03                : 100 (+ 37,= 44,- 19), 59.0 %
H12.1 MP 1T                   : 100 (+ 24,= 43,- 33), 45.5 %
Toga II 1.4 beta5c BB         : 100 (+ 31,= 36,- 33), 49.0 %
Rybka 1.0 Beta 32-bit         : 100 (+ 34,= 39,- 27), 53.5 %
DSjeng WC2008 x64 1T          : 100 (+ 25,= 40,- 35), 45.0 %
Glaurung 2.2 JA 1T            : 100 (+ 36,= 37,- 27), 54.5 %
Onno-1-1-1 x64                : 100 (+ 26,= 31,- 43), 41.5 %


Nicht sooo schlecht - gut genug für 99.99% aller Schachspieler

Gruß
Ingo
Parent - - By Peter Struwel Date 2009-10-17 11:09
Oh je, oh je,

das ist ja äußerst miserabel. Mit welchem Kaufargument will SMK die denn vermarkten? Oder ist das Freeware?

Peter
Parent - - By Ingo Bauer Date 2009-10-17 14:56 Edited 2009-10-17 15:03
Ich hatte erst einen bösen Kommentar hier, möchte aber doch nur neidisch auf meinen untenstehenden Satz verweisen!

Ingo
Parent - - By Ingo Bauer Date 2009-10-17 15:08
Aber selbst damit tue ich dir womöglich unrecht, also die Erklärung auch wenn ich vermute es war doch nur eine Provokation:

Die Engine ist praktisch die kostenlose Dreingabe für die wenigen "nur GUI Käufer"!

Ingo
Parent - By Peter Struwel Date 2009-10-17 18:07
Hallo Ingo,

nicht immer gleich Provokation, Hinterhältigkeit und Trolle vermuten, wenn einfache Sachfragen gestellt werden.

Ein Blick auf deine Liste und die Bemerkung Shredder Classic 4 wird getestet wirft doch Fragen auf.

Ich stelle fest, eine Engine programmieren ist das Eine, sie erfolgreich zu Promoten das Andere!

Reine Softies scheinen die zweite Anforderung nicht erfüllen zu können.

Peter
Parent - - By Frank Quisinsky Date 2009-10-17 11:27
Hi Ingo,

bist ein Witzbold.
Gut genug für 99,9% der Schachspieler ist auch Phalanx 22 mit einem geilen Spielstil (auch wenn ca. 300-400 ELO schlechter, reicht das auch für 99,9% aller Schachspieler) )

Damit hast Du echt den Hammer-Mega-Kommentar im Jahr 2009 gebracht
"Shredder Classic 4 gut genug für 99,9% ..."

Gruß
Frank
Parent - - By Ingo Bauer Date 2009-10-17 11:34
Hi

Deswegen ja der Smiley!

Gruß
Ingo
Parent - - By Frank Quisinsky Date 2009-10-17 11:43
Hi,

übringes:
40 in 20, ponder = On, 32bit, 4-Steiner, 512Mb Hash

nach 060 Partien war Shredder 12 5 ELO hinter Rybka 3
nach 075 Partien war Shredder 12 3 ELO vor Rybka 3
nach 100 Partien war Shredder 12 23 ELO hinter Rybka 3
nach 130 Partien liegt Shredder 12 65 ELO hinter Rybka 3

Im Vergleich von 14 Engines in einem größerem UCI Turnier unter der Shredder 12 GUI.

In CCRL sind es nach aktueller Liste derzeit 45 ELO.

GROSSARTIG !!
Ach wenn sich das immer noch drastisch mit mehr Partien korrigiert.
Denke es gibt jetzt so langsam keine größeren Abweichungen mehr.
Mal schauen wie es nach 250, 500 Partien ausschaut.

Viele Grüße
Frank
Parent - - By Ingo Bauer Date 2009-10-17 12:35
Hallo

[quote="Frank Quisinsky"]
...
nach 075 Partien war Shredder 12 3 ELO vor Rybka 3
...
[/quote]

... und da gibt es doch Leute die spielen 20 Partien und Urteilen dann! 

Gruß
Ingo
Parent - - By Roland Rösler Date 2009-10-18 20:16
Mir reicht eine!
Parent - By Ingo Bauer Date 2009-10-18 20:40
[quote="Roland Rösler"]
Mir reicht eine!
[/quote]

Stimmt, ich kann mich erinnern!



Ingo
Parent - By Benno Hartwig Date 2009-10-17 20:47
Warum hattest du den diese diversen Ergebnisse hier gezeigt?
Letztlich hat ja  das letzte eine Ausagekraft, und es kommen durch die anderen keine Erkenntnisse dazu.
Ob die Engine zunächst stärker oder schwächer war, bringt doch keinerlei Information, keine Ahnung "eigentlich stärker" oder "eigentlich schwächer".
Auch ob die Ergebnisse bislang so verteilt waren, dass zunächst die Gewinne, oder die Verluste waren, oder ob es hübsch gemischt war, liefert keine Information über die Stärke, und es liefert doch eigentlich auch keine Information darüber, wie genau das Ergebnis schon ist.
Da hilft letztlich nur eine Bewertung der Partienzahl.

Benno
Parent - - By Michael Scheidl Date 2009-10-17 21:14
Das Resultat ist gut! Denn es ist ja besser als beispielsweise das von Rybka 1.0 beta oder von Hiarcs 11.2.

Außerdem ist interessant, daß laut Shredder-Website "...die Shredder Classic-Schachengine. Diese enthält das komplette Schachwissen von Shredder 12 UCI bzw. Deep Shredder 12 UCI, rechnet jedoch nicht ganz so schnell und effizient wie diese." Demzufolge bringen also bei Shredder 12 allein Rechengeschwindigkeit und -Effizienz +165 Elo, verglichen mit einer ansonsten identischen Classic-Engine. Wobei eine Engine die 57,5/100 gegen den guten Kombinator Spike 1.2 holt, eigentlich auch nicht gerade langsam sein kann.
Parent - - By Roland Rösler Date 2009-10-18 20:09
Wenn es wirklich nur ein slow-down ist, wäre es interessant, den Verlangsamungs-Faktor herauszufinden. Bei welcher Zeiteinteilung spielen Shredder Classic und S12 etwa gleich stark? Bei 165 Elo-Unterschied bei 6'+3" würde ich auf Faktor 5 tippen; auf jeden Fall sollte er zwischen 4 und 6 liegen.

Mein Tipp für SMK: S12 um Faktor 5 beschleunigen und er wird Rybka 4 zumindest unter Druck setzen können!
Parent - - By Ingo Bauer Date 2009-10-18 20:18
Hallo

Ich glaube "slow-down" sollte man eher bildhaft verstehen.

Gruß
Ingo
Parent - By Peter Struwel Date 2009-10-18 20:22
Dann mal mir doch bitte mal das dazugehörige Bild. 
Parent - - By Roland Rösler Date 2009-10-18 19:39
[quote="Ingo Bauer"]3 Deep Shredder 12               : 2723   14  14  1600    64.1 %   2622   36.5 %
4 Rybka 2.3.2a                   : 2717    6   6  8900    62.5 %   2629   39.3 %
5 Deep Shredder 12 UCI 32-bit    : 2715   14  14  1600    63.1 %   2622   37.5 %[/quote]

Geschickt versteckt! S12 x64 ist +8 Elo besser als die w32 Version!
Parent - - By Ingo Bauer Date 2009-10-18 19:59 Edited 2009-10-18 20:06
Hallo

[quote="Roland Rösler"]
[quote="Ingo Bauer"]3 Deep Shredder 12               : 2723   14  14  1600    64.1 %   2622   36.5 %
4 Rybka 2.3.2a                   : 2717    6   6  8900    62.5 %   2629   39.3 %
5 Deep Shredder 12 UCI 32-bit    : 2715   14  14  1600    63.1 %   2622   37.5 %[/quote]

Geschickt versteckt! S12 x64 ist +8 Elo besser als die w32 Version!
[/quote]

Mittig in der 95% Breite - das ist statistisches Rauschen; bei gleichen Bedinungen sind die Engines identisch!

Gruß
Ingo
Parent - - By Roland Rösler Date 2009-10-18 20:14
Ingo, keine Panik! Das hab sogar ich gesehen!
Was mich wirklich irritiert: Warum schneidet nie w32 besser ab als x64? Statistisches Rauschen müsste das für die zwei gleichstarken Versionen schon längst gezeigt haben!
Parent - - By Ingo Bauer Date 2009-10-18 20:33
Hallo

[quote="Roland Rösler"]
Ingo, keine Panik! Das hab sogar ich gesehen!
Was mich wirklich irritiert: Warum schneidet nie w32 besser ab als x64? Statistisches Rauschen müsste das für die zwei gleichstarken Versionen schon längst gezeigt haben!
[/quote]

Hmm, keinen Beweis, aber eine Mutmaßung habe ich; diejenigen die testen, testen die 32bit Version auf ihren "alten Möhren", die neuen, schnellen Rechnern werden aber mit 64 bit OS ausgestattet. Da testet man dann natürlich auch gerne das vermeintlich bessere. Wenn dann noch ungleiche Zeitanpassungen stattfinden, verschiedenen Leute verschiedene Eröffnungen spielen und auch ab und zu ein Buch mit reinrutscht ... passt am Ende das Ergebniss zur Annahme.

Und zu "... längst gezeigt haben ...": Der einzige Test mit Shredder (und das ist die einzige Engine von der ich weiß das sie identisch ist) den ich kenne der wirklich unter identischen Bedinungen gelaufen ist steht oben. Wie sollte sich da etwas zeigen.

"Panik" habe ich bestimmt nicht, ich habe nur erklärt warum ich die 8 Elo Unterschied für nicht so wichtig halte. Eigentlich gefällt mir meine Liste auch nicht. Irgendwie habe ich das Gefühl eine Rangliste sollte eher so aussehen:

Engine:
   Program                          Elo    +   -   Games   Score   Av.Op.  Draws

1  Rybka 3 1T                     : 2826   10  10  3600    75.9 %   2627   32.2 %
2  Rybka 3 1T 32-bit              : 2768   14  14  1700    67.7 %   2639   35.7 %
3a Deep Shredder 12               : 2723   14  14  1600    64.1 %   2622   36.5 %
3a Rybka 2.3.2a                   : 2717    6   6  8900    62.5 %   2629   39.3 %
3a Deep Shredder 12 UCI 32-bit    : 2715   14  14  1600    63.1 %   2622   37.5 %
3b Naum 4                         : 2695    7   7  6100    54.8 %   2662   40.5 %
4  Rybka 1.2f                     : 2669    6   6  8000    64.1 %   2568   33.8 %
5  Fritz 12 32-bit                : 2647   16  16  1100    51.4 %   2638   41.3 %
5  Deep Fritz 11 32-bit           : 2636   14  14  1500    55.9 %   2595   38.6 %
6  Stockfish 1.4 JA               : 2624   13  13  1800    49.1 %   2630   37.9 %
6  Shredder Bonn 1T 32-bit        : 2622   10  10  3000    50.8 %   2616   40.0 %
6  Zappa Mexico II                : 2620    6   6  8900    46.4 %   2645   40.2 %
7a Deep Shredder 11               : 2600    9   9  3700    52.1 %   2586   39.4 %
7a Onno-1-1-1                     : 2598   12  12  1800    47.1 %   2618   40.3 %
7a Rybka 1.0 Beta                 : 2595   11  11  2500    53.2 %   2573   36.3 %
7b Naum 3.1                       : 2589    7   7  5600    47.8 %   2605   38.9 %
7b Onno-1-0-0                     : 2585   13  13  1600    44.9 %   2620   39.9 %
8  Deep Sjeng WC2008              : 2577    7   7  6000    38.6 %   2658   35.5 %
8  Toga II 1.4 beta5c BB          : 2571    6   6  8400    39.1 %   2648   37.8 %
8  Hiarcs 12.1 MP 32-bit          : 2567    6   6  9500    38.4 %   2649   37.0 %
8b Deep Sjeng 3.0                 : 2563   10  10  3200    41.0 %   2626   33.8 %
9a Shredder Classic 4             : 2550   17  17  1000    49.5 %   2553   37.8 %
9a Glaurung 2.2 JA                : 2548    8   8  5600    34.3 %   2661   33.6 %
9b Naum 2.2                       : 2542   10  10  2700    43.5 %   2588   42.9 %
9b Rybka 1.0 Beta 32-bit          : 2541    8   8  4500    50.0 %   2541   33.4 %
10a HIARCS 11.2 32-bit             : 2535    7   7  6600    45.5 %   2566   36.3 %
10a Fruit 05/11/03 32-bit          : 2532    5   5 10400    36.0 %   2632   36.9 %
10a DS 10 Balmung                  : 2529   10  10  2600    49.9 %   2530   42.5 %
10b LoopMP 12.32 32-bit            : 2524    7   7  5600    44.7 %   2561   34.7 %
10b Loop 13.5 32-bit               : 2523    8   8  4700    43.4 %   2569   37.0 %
11  Toga II 1.2.1a                 : 2519    7   7  6600    46.6 %   2542   35.2 %
11  ListMP 11.64b                  : 2516   12  12  2200    44.0 %   2558   35.9 %
11b Glaurung 2.1                   : 2509   19  19   900    42.7 %   2560   33.9 %
11b Deep Shredder 10               : 2506    5   5 12300    35.3 %   2611   33.9 %
11b HIARCS 11 MP 32-bit            : 2505   19  19   800    44.9 %   2540   36.4 %
11b Naum 2.1                       : 2504    9   9  3700    44.6 %   2542   36.4 %
12a Toga II 1.3x4                  : 2497   19  19   800    44.6 %   2535   38.9 %
12b Spike 1.2 Turin 32-bit         : 2480    5   5 13800    32.1 %   2610   33.0 %
13  Deep Shredder 9.02             : 2465   16  16  1400    37.9 %   2551   29.1 %
14  Deep Sjeng 2.7                 : 2453   13  13  2000    31.2 %   2591   33.1 %
15  Glaurung 2-epsilon/5           : 2445   16  16  1300    34.8 %   2554   30.9 %
16  Deep Sjeng 2.5                 : 2385   20  20   900    29.9 %   2533   30.6 %


Diese Liste ist eher in Spielstärkeklassen eingeteilt. Die habe ich jetzt mal so aus dem Bauch gemacht, geht bestimmt auch "wissenschaftlicher". Manchne Ranglisten machen das ja löblicherweise schon so ...

Gruß
Ingo
Parent - - By Thomas Cutter Date 2009-10-19 09:48
Tatsächlich gibt es einen Unterschied zwischen x86 (wie unter Win32) und x64 in der Anzahl der verfügbaren CPU-Register, abgesehen vom Unterschied der internen Verarbeitung von 32 vs 64 bit). Das könnte sich u.U. in einer größeren Performance niederschlagen, die aber möglicherweise ziemlich gering sein mag (<5%).

Testen könnte man das vielleicht unter Win64 mit der 32 vs 64 bit Version von S12.

Viele Grüße Thomas
Parent - - By Ingo Bauer Date 2009-10-19 10:34
Moin Thomas

[quote="Thomas Cutter"]
Tatsächlich gibt es einen Unterschied zwischen x86 (wie unter Win32) und x64 in der Anzahl der verfügbaren CPU-Register, abgesehen vom Unterschied der internen Verarbeitung von 32 vs 64 bit). Das könnte sich u.U. in einer größeren Performance niederschlagen, die aber möglicherweise ziemlich gering sein mag (<5%).

Testen könnte man das vielleicht unter Win64 mit der 32 vs 64 bit Version von S12.

Viele Grüße Thomas
[/quote]

Für S12 liegt der Unterschied bei <1% (So klein das schon fast nicht mehr messbar) und einen Test habe ich unter XP64 gefahren, siehe obige Liste. Performanceunterschied lt. Elostat 1%. Elostat rundet allerdings; bei 1600 Spielen gegen gleiche Gegner waren es 17 Punkte Unterschied am Schluß was genau 1.0625% sind.
Wir bewegen uns mit S12 "um" einen so kleinen Unterschied, dass womöglich schon die Unterschiede zw. WOW auf einem "64bit Windows XP" und "Windows XP32bit nativ" da mit Einfließen können.

Dein direkter Vergleich wäre aber extrem langweilig für die Tester. Die Remisquote wäre gigantisch und wie viele Spiele willst du spielen um 1% (meinetwegen auch 2 oder 3) mit 95% Wahrscheinlichkeit nachzuweisen.

Gruß
Ingo

PS: Perfekt wäre der Test dann, wenn man eine XP32 native mit Autoplayer mit einem XP64 verbindet. 1% sind rund 8 Elo. 95% für beide Engines heist "spielen bis die 95% <= 4 Elo" sind. Spike ist bei mir nach 13800 Spielen runter auf 5 Elo, ich will (und kann) gar nicht ausrechnen wie viele Spiele ich bräuchte um unter 4 zu kommen
Parent - By Thomas Cutter Date 2009-10-19 16:26
Hallo Ingo,

danke für die ausführliche Antwort. Mir ging es aber eigentlich nur darum, daß es diesen positiven Effekt für x64 gibt (hatte ihn ja selbst mit <5% angegeben, was in Elo schon schwer nachzuweisen wäre).

Ich würde mich schon damit begnügen, daß die x64-Version zu einer vorgegebenen Zeit eben diese <5% mehr Knoten schafft.

Viele Grüße Thomas
Up Topic Hauptforen / CSS-Forum / Shredder Classic 4

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill