Critter with SSE and without

By Ingo Bauer Date 2011-07-09 20:28

Hello

I run a little test with Critter 1.2 x64 with and without SSE42.

The speed difference on my AMD Test Hardware is about 2.8% which means somewhere between 2 and 3 Elo:

Engine: Critter 1.2 NOSSE42 (256 MB)
by Richard Vida

16/30  0:01   +0.22    1.e4 e5 2.Nf3 Nc6 3.Nc3 Nf6 4.Bc4 Bd6
                       5.O-O O-O 6.d3 Na5 7.Bb3 Nxb3 8.axb3 b6
                       9.Be3 Bb7 10.Qe2 (2.407.717) 1453

...

23/48  4:31   +0.16    1.e4 e5 2.Nf3 Nc6 3.Bc4 Nf6 4.d3 Bc5
                       5.Nc3 O-O 6.O-O d6 7.Be3 Bxe3 8.fxe3 Be6
                       9.Nd5 Bxd5 10.Bxd5 Nxd5 11.exd5 Ne7
                       12.c4 f6 13.Qd2 Qd7 14.e4 (437.361.968) 1609

best move: e2-e4 time: 5:01.594 min  n/s: 1.609.816  nodes: 485.359.616

Engine: Critter 1.2 SSE42 (256 MB)
by Richard Vida

16/30  0:01   +0.22    1.e4 e5 2.Nf3 Nc6 3.Nc3 Nf6 4.Bc4 Bd6
                       5.O-O O-O 6.d3 Na5 7.Bb3 Nxb3 8.axb3 b6
                       9.Be3 Bb7 10.Qe2 (2.407.717) 1510

...

23/48  4:23   +0.16    1.e4 e5 2.Nf3 Nc6 3.Bc4 Nf6 4.d3 Bc5
                       5.Nc3 O-O 6.O-O d6 7.Be3 Bxe3 8.fxe3 Be6
                       9.Nd5 Bxd5 10.Bxd5 Nxd5 11.exd5 Ne7
                       12.c4 f6 13.Qd2 Qd7 14.e4 (437.361.968) 1657

best move: e2-e4 time: 5:01.515 min  n/s: 1.657.942  nodes: 498.860.032

Running 2500 identical games for both versions it turns out that the result is nearly identical:

Critter 1.2 NOSSE42       :   2500 (+1433,=874,-193), 74.8 %

Deep Fritz 12 32b             : 100 (+ 61,= 38,-  1), 80.0 %
Zappa Mexico II               : 100 (+ 75,= 21,-  4), 85.5 %
Toga II 1.4 beta5c BB         : 100 (+ 70,= 25,-  5), 82.5 %
Naum 4.2                      : 100 (+ 43,= 48,-  9), 67.0 %
Loop 13.6/2007                : 100 (+ 80,= 20,-  0), 90.0 %
Deep Rybka 4                  : 100 (+ 21,= 62,- 17), 52.0 %
Deep Onno 1-2-70              : 100 (+ 75,= 23,-  2), 86.5 %
Deep Shredder 12              : 100 (+ 47,= 46,-  7), 70.0 %
Crafty 23.3 JA                : 100 (+ 85,= 15,-  0), 92.5 %
Jonny 4.00 32b                : 100 (+ 85,= 14,-  1), 92.0 %
Deep Sjeng c't 2010 32b       : 100 (+ 55,= 38,-  7), 74.0 %
Umko 1.1 SSE42                : 100 (+ 70,= 27,-  3), 83.5 %
spark-1.0 SSE42               : 100 (+ 56,= 38,-  6), 75.0 %
Houdini 1.5a                  : 100 (+ 22,= 47,- 31), 45.5 %
HIARCS 13.2 MP 32b            : 100 (+ 65,= 33,-  2), 81.5 %
Protector 1.4.0 x64           : 100 (+ 67,= 29,-  4), 81.5 %
Strelka 2.0 B                 : 100 (+ 71,= 27,-  2), 84.5 %
Spike 1.4 32b                 : 100 (+ 53,= 37,- 10), 71.5 %
Gull 1.2                      : 100 (+ 60,= 36,-  4), 78.0 %
Deep Rybka 4.1 SSE42          : 100 (+ 20,= 51,- 29), 45.5 %
Deep Junior 12.5              : 100 (+ 67,= 27,-  6), 80.5 %
Stockfish 2.1.1 JA            : 100 (+ 22,= 59,- 19), 51.5 %
Komodo 2.03 DC SSE42          : 100 (+ 29,= 52,- 19), 55.0 %
Hannibal 1.1                  : 100 (+ 58,= 38,-  4), 77.0 %
Umko 1.2 SSE42                : 100 (+ 76,= 23,-  1), 87.5 %

Critter 1.2 SSE42         : 2500 (+1441,=844,-215), 74.5 %

Deep Fritz 12 32b             : 100 (+ 71,= 25,-  4), 83.5 %
Zappa Mexico II               : 100 (+ 70,= 27,-  3), 83.5 %
Toga II 1.4 beta5c BB         : 100 (+ 78,= 22,-  0), 89.0 %
Naum 4.2                      : 100 (+ 48,= 48,-  4), 72.0 %
Loop 13.6/2007                : 100 (+ 79,= 17,-  4), 87.5 %
Deep Rybka 4                  : 100 (+ 21,= 54,- 25), 48.0 %
Deep Onno 1-2-70              : 100 (+ 77,= 21,-  2), 87.5 %
Deep Shredder 12              : 100 (+ 47,= 47,-  6), 70.5 %
Crafty 23.3 JA                : 100 (+ 87,= 13,-  0), 93.5 %
Jonny 4.00 32b                : 100 (+ 84,= 11,-  5), 89.5 %
Deep Sjeng c't 2010 32b       : 100 (+ 54,= 39,-  7), 73.5 %
Umko 1.1 SSE42                : 100 (+ 78,= 21,-  1), 88.5 %
spark-1.0 SSE42               : 100 (+ 63,= 34,-  3), 80.0 %
Houdini 1.5a                  : 100 (+ 15,= 45,- 40), 37.5 %
HIARCS 13.2 MP 32b            : 100 (+ 53,= 40,-  7), 73.0 %
Protector 1.4.0 x64           : 100 (+ 53,= 43,-  4), 74.5 %
Strelka 2.0 B                 : 100 (+ 73,= 25,-  2), 85.5 %
Spike 1.4 32b                 : 100 (+ 59,= 34,-  7), 76.0 %
Gull 1.2                      : 100 (+ 57,= 35,-  8), 74.5 %
Deep Rybka 4.1 SSE42          : 100 (+ 23,= 56,- 21), 51.0 %
Deep Junior 12.5              : 100 (+ 63,= 33,-  4), 79.5 %
Stockfish 2.1.1 JA            : 100 (+ 26,= 57,- 17), 54.5 %
Komodo 2.03 DC SSE42          : 100 (+ 26,= 42,- 32), 47.0 %
Hannibal 1.1                  : 100 (+ 59,= 34,-  7), 76.0 %
Umko 1.2 SSE42                : 100 (+ 77,= 21,-  2), 87.5 %

Critter 1.2 NOSSE got 1870 points, Critter 1.2 SSE42 1863 points. It is hard to see more than statistical noise in 7 points difference after 2500 games.

Bayeselo has 1 Point difference in favor for the NON SSE version, Elostat made 2 Elo out of this.

I personaly would argue that, with such a small difference, it is better to release just one version to avoid confusion about what to run where!

For better comparision I will remove the SSE42 Version from the IPON.

Bye
Ingo

By Thomas Müller Date 2011-07-09 20:54

Hi Ingo,

danke für den test!
Ist das bei den anderen SSE42 versionen in deiner liste ähnlich?
Wirst du die dann auch entfernen und durch die no-sse42 ersetzen?

gruß thomas

By Clemens Keck Date 2011-07-09 20:56

Sehr gute Frage Thomas!

Gruß, Clemens

By Frank Quisinsky Date 2011-07-09 21:12

Hallo zusammen,

bei Critter ist auch zwischen w32 und x64 kaum ein Unterschied feststellbar. Wird dann bei meinem kommenden SWR-32 Update Turnier schön zu sehen sein. Wahrscheinlich wird Critter 1.2 bei 32bit sehr Nahe an Houdini heran kommen. Freue mich schon auf die nächsten 32-Bit Turniere.

Viele Grüße
Frank

By Clemens Keck Date 2011-07-09 23:50

Hi FRank

Dieser SSE42 Geschichte werde ich mich noch annehmen, wenn nix dazwischen kommt. Erstmal versuche ich ein eigenes ECO Buch zu bauen, das sehr ausgewogen viele ECO codes bedient. Mit den Vorgabestellungen habe ich das eigentlich ja schon erreicht, aber das ist zu eintönig. Ein breites Buch und dann 150 Runden oder so, das scheint mir besser.
2-3 engines will ich auch noch einspielen....

Hoffentlich bring Dein FireTest einen Fortschritt der engine ans Licht.

Gute N8

Clemens

By Ingo Bauer Date 2011-07-09 21:25

Hallo Thomas,

[quote="Thomas Müller"]
Hi Ingo,

danke für den test!
Ist das bei den anderen SSE42 versionen in deiner liste ähnlich?
Wirst du die dann auch entfernen und durch die no-sse42 ersetzen?

gruß thomas
[/quote]

Nein, ich werfe nur deswegen raus weil man ja vernünftigerweise nicht die selbe Enigne zwei mal in einer Liste haben sollte, da dadurch einige Gegner benachteiligt werden (die die besonders schlecht abschneiden) und andere einen Vorteil bekommen (die die gut abschneiden). Genau das selbe habe ich logischerweise auch mit Shredder 12 in 32 und 64 bit gemacht. Welche ich bei diesen beiden (Critter) jetzt rauswerfe wäre egal, wennn nicht manche gerne mit anderen Listen vergleichen würden - und da die meisten Listen die "normale" Version führen ...

Was meine anderen SSE Engine betrifft, mache ich mir im Moment nicht die Mühe 2400 Spiele mit Umko 1.2 (interessiert niemand) oder 2900 mit Rybka 4.1 (interessiert mich nicht) nachzuspielen und Komodo ist definitiv mit der DC Version, also der SSE Variante, besser als der JA non SSE compile - da macht es auch keinen Sinn weil ich am Ende die bessere drin lassen würde (aber interessant zu sehen wie viel Unterschied besteht wäre es schon). Spark 1.0 wäre noch am interessantesten, aber da müßte ich soger 3800 Spiele machen, zum Teil gegen Gegner die ich nicht mal mehr in meinem Testsetup habe und die *.eng Datei neu entwerfen müßte. Nein, der Aufwand lohnt nicht.

Kurz, in der Regel teste ich die SSE Variante wenn sie da ist. Wenn ich, wie in diesem Fall, aus anderen Gründen beide Verisonen einspiele werde ich pragmatisch entscheiden welche drin bleibt.

Gruß
Ingo

By Thomas Müller Date 2011-07-09 21:42

Also wenns was bringt dann bleibt SSE42 (wenn besser) drin, ansonsten raus.
Mein oller quad hat kein sse42 wo ich die ganzen 40/3' laufen lasse, und beim neuen habe ich noch keine tests gemacht.
Kämpfe grad mit shredder-gui bzw welche engine mir dauernd den routenlauf abschiesst.
GUI crashed komplett. Evtl. ist es Komodo 2.03 JA, bleibt als task hängen...allerdings auch die gegnerengine ?!?
ok, danke!

By Ingo Bauer Date 2011-07-09 21:47

Hallo

[quote="Thomas Müller"]
Also wenns was bringt dann bleibt SSE42 (wenn besser) drin, ansonsten raus.
[/quote]

Nein, so nicht. Ich spiele immer die SSE Variante ein wenn es eine gibt. Wenn ich durch Zufall für die selbe engine AUCH die nicht SSE Spiele entscheide ich pragmatisch. In diesem Fall waren beide Engines gleich. Ansonsten habe ich noch keinen Fall!

[quote="Thomas Müller"]
..
Kämpfe grad mit shredder-gui bzw welche engine mir dauernd den routenlauf abschiesst.
GUI crashed komplett. Evtl. ist es Komodo 2.03 JA, bleibt als task hängen...allerdings auch die gegnerengine ?!?
...[/quote]

Komodo vor der 2er Variante hatte einen Memory-Bug, der ist gerne mal hängen geblieben. Die 2er läuft hier eigentlich einwandfrei ...

Gruß
Ingo

By Dieter Eberle Date 2011-07-10 00:19

Hallo Ingo,
auf meinem i5-Rechner mit 4 cores ist der speed Gewinn des SSE4 compiles 4,2%. Das ist auch nicht die Welt.
Ich vermute, auf einem schnelleren Rechner mit noch mehr cores wird der speed Gewinn noch einmal größer und schlägt sich dann auch in Elo nieder.
Die Empfehlung, auf einen SSE4 oder SSE42 compile zu verzichten, würde ich jedenfalls nicht geben.
Aber zugegeben, es gibt engines, bei denen der speed Gewinn größer ausfällt als bei Critter.
Gruß, Dieter

By Benno Hartwig Date 2011-07-10 07:31

[quote="Dieter Eberle"]Ich vermute, auf einem schnelleren Rechner mit noch mehr cores wird der speed Gewinn noch einmal größer und schlägt sich dann auch in Elo nieder.[/quote]Hätte ich nicht erwartet.
Wieso sollte bei mehr Kernen der prozentuale Gewinn größer sein?

[quote="Dieter Eberle"]Aber zugegeben, es gibt engines, bei denen der speed Gewinn größer ausfällt als bei Critter.[/quote]Welche konkreten Speed-Gewinne sind denn bei anderen so belegt?
Ich ging bislang immer nur von kleineren einstelligen Pprozentzahlen aus.
Schaffen da einige Engines wirklich deutlich mehr? Welche?

Benno

By Dieter Eberle Date 2011-07-10 09:42

Hallo Benno,
Du hast Recht, die Zahl der Kerne bringt keinen höheren Speed-Gewinn.
Laut Ingo ist Kommodo mit 10% speed Zuwachs durch SSE42 der Spitzenreiter.
Deep Rybka 4.1 kommt bei mir auf 9%. Bei diversen Ivanhoes waren es auch schon 7 oder 8%.
Gruß, Dieter

By Ingo Bauer Date 2011-07-10 07:43

Hallo

Siehe hier: http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=40298;hl=Critter

Da bin ich sogar auf 4.7%, Der Unterschied liegt aber nicht am GHz Takt oder der Anzahl der Cores sondern an CPU-Architektur. Aber wir reden hier von unterschieden von Maximal 4 Elo ... Wenn ich sehe was in den Foren wegen dieser SSE Geschichte rumgefragt wird sehe ich schlicht den Nutzen nicht. Einem Komerziellen kann ich von solchen Spielereien wirklich nur abraten, es sei denn er verschickt gerne Massenemailsauf Anfragen.
Ausser Komodo JA/DC sieht es übrigens bei keiner Engine besser aus. Und bei Komodo ist es ein Sonderfall weil verschiedene Leute mit verschiedenen Compilern, compiliert haben. Wenn die selbe Person mit demselben Compiler das machen würde wäre der Unterschied auch kleiner!

Man kann sagen was man will, aber die beste Lösung hat Houdart mit Houdini im Moment! Die Engine prüft sowohl POPCNT als auch LARGE PAGES. Wenn die CPU / das OS die Funktion unterstützt benutzt die Engine sie automatisch. Das ist für mich die Perfekt!

Gruß
Ingo

By Dieter Eberle Date 2011-07-10 09:56

Hallo Ingo,
was POPCNT angeht, finde ich Houdarts Lösung auch perfekt. Bei large pages wäre mir eine UCI-Option zum Ein- und Ausschalten lieber. Unter Windows 7 Home Premium mit ntrights im System large pages zu aktivieren und deaktivieren ist nicht sehr komfortabel.
Gruß, Dieter

By Ingo Bauer Date 2011-07-10 10:06

Hallo

Hmm, stimmt! Allerdings ist LP für Testzecke sowieso ungeeignet. Nach ein paar mal laden und entladen der Engine geht das LP nicht mehr und man hat Abstürze, oder mischt Ergebnisse. Deswegen ist bei mir LP, auch wenn das OS es kann, eigentlich immer aus.

Gruß
Ingo

By Ernest Bonnem Date 2011-07-10 20:55

[quote="Dieter Eberle"] Bei large pages wäre mir eine UCI-Option zum Ein- und Ausschalten lieber.[/quote]
...und Robert Houdart hat geschrieben, daß er sowas betrachtet, für die nächste Version!

By Dieter Eberle Date 2011-07-10 22:52

Danke für die Info, Ernest