Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Neue Hardware - neue (alte) Liste
- - By Stefan Pohl Date 2012-03-03 08:33
Hallo zusammen,

Ich habe mich entschlossen meine Rangliste neu aufzubauen, da ich mir ein schnelles Notebook mit modernem i7-2930QM Prozessor (4 Kerne, 2GHz Takt, Windows 7 64bit Home Premium) zugelegt habe. Auf dieser Hardware laufen die Engines zwar nur einen Tick schneller, als auf meinem alten Quad (Houdini auf einem Core etwa 2.1 Mio Kn/s, auf 4 Cores etwa 7.5 Mio Kn/s, bei vollem Brett, FritzMark=20.2), aber der neuere Prozessor ist SSE42 kompatibel, sodaß die speziell für diese Hardware optimierten Engineversionen darauf laufen. Das scheint mir bei ernsthaften Tests heutzutage doch zeitgemäßer zu sein. Darüberhinaus spare ich so eine Menge Strom, da das Notebook unter Vollast beim Enginetesten nur gut 60 Watt braucht, wohingegen mein alter Quad satte 180 Watt verbraten hat.
Wegen der neuen Hardware war es nun natürlich notwendig beim Testen von Null zu beginnen. Diesen Zeitpunkt habe ich daher gewählt, um zu meinem ursprünglichen Testformat der TEB-Rangliste (TopEngineBullet-Liste) zurückzukehren. Denn bei meinen NEBB-Ranglisten war festzustellen, daß eigentlich nur Komodo 4 mit mehr Bedenkzeit wirklich zulegte, während sich das Ergebnis der anderen Engines kaum bzw. gar nicht geändert hat. Daher habe ich mich entschlossen, nun wieder ausschließlich im Bullet-Tempo zu testen, und die so eingesparte Rechenzeit lieber in mehr Partien pro Engine zu investieren, um statistisch stabilere Ergebnisse zu erhalten.
Daher ist das Testformat wieder wie früher: Bedenkzeit: 30''+400ms Fischerbonus, keine Tablebases, 1 Core und 128 MB Hash pro Engine, kein Pondern, 150 Vorgabestellungen aus der Frank Q. Datenbank (von mir handverlesen, nur Hauptsysteme (kein Aljechin, Holländisch etc.)). Gespielt wird bis zum Matt oder bis zum Remis, die GUI gibt keine Partie auf und auch Remis erst bei 500 Zügen - also gar nicht). Benutzt wird wie gehabt die ausgezeichnete LittleBlitzerGUI. Dazu merke ich hier nochmal an: Alle Partien wurden/werden im Gauntlet-Modus gespielt, weil nur so die Vorgabestellungen auch alle sequentiell und mit vertauschten Farben korrekt abgespielt werden. Das machte es beim jetzt erfolgten Neuaufbau der Rangliste nötig, das eigentliche Round-Robin Turnier in insgesamt 8 Gauntlet-Wettbewerbe aufzusplitten. Umständlich, aber leider nicht zu ändern, da die LittleBlitzerGUI im Round-Robin-Modus die Vorgabestellungen leider zufällig auswählt - das einzige echte Manko dieser sonst tollen GUI. Nun ja, nichts ist perfekt.
Die Bedenkzeit wurde so gewählt, wie sie ist, weil die Engines mit dieser Bedenkzeit im Durchschnitt ca. 1 Minute pro Partie an Gesamtrechenzeit verbrauchen - also wie beim "echten" Bullet, aber eben ohne Zeitnotdramen am Ende der Partien.
Die Engines in der Rangliste haben nach ihrem Namen entweder x64 stehen (=normale 64bit Version) oder ein x64s (=64bit SSE42 Version). Letzteres wird natürlich immer benutzt, wenn eine solche spezielle Version zur Verfügung steht.
Hier nun die neue TEB-Rangliste (TopEngineBullet), erstellt mit bayeselo, gefixt mit 3000 Elo an Stockfish 2.2.2. Obwohl Rangliste eigentlich übertrieben ist, de facto ist es eher so eine Art ChampionsLeague...

Rank Name                   Elo    +    - games score oppo. draws
   1 Houdini 2.0c x64      3106   12   12  1800   63%  3025   41%
   2 Houdini 1.5a x64      3086   12   12  1800   60%  3025   41% (best freeware)
   3 Critter 1.4 x64s      3061   11   11  2100   53%  3040   47%
   4 Ivanhoe B46fA x64     3035   11   11  2100   49%  3043   49%
   5 Rybka 4.1 x64s        3027   11   11  2100   47%  3045   44%
   6 Robbolito 0.10 x64    3017   11   11  2100   45%  3046   50%
   7 Komodo 4 x64s         3007   11   11  2100   44%  3048   38% (singlecore)
   8 Stockfish 2.2.2 x64s  3000   11   11  2100   42%  3048   40%

Sehr enttäuschend war das schwache Abschneiden von Stockfish, erstaunlich das starke Abschneiden von Rybka 4.1 SSE42. Daß Komodo beim Bullet überfordert ist, war nicht überraschend. Gespielt hat jeder gegen jeden (je 300 Partien), außer daß die beiden Houdinis nicht gegeneinander gespielt haben.

Wer die Partien der TEB-Rangliste haben will, kann mir seine eMail-Adresse per PM hier oder auf talkchess mitteilen, ich schicke dann in Kürze die Partien als PGN-File. Dieses Angebot erfolgt, damit Transparenz und Glaubwürdigkeit der Rangliste gewährleistet ist.

Grüße an alle - Stefan
Parent - - By Harry Schnapp Date 2012-03-03 16:10
Hallo Stefan,
Ich glaube Du hast Dich vertippt,den Prozrssor 2930QM gibt es nicht.Vermutlich ist es der 2630QM.
Wenn ja dann könnte ich Dir ein Paar Einzelheiten darüber schildern.
Beste Grüße,
Harry
Parent - By Bram Mourik Date 2012-03-03 16:33
Denke wahrscheinlicher ein 2960XM, Alienware
Parent - By Stefan Pohl Date 2012-03-04 12:12
[quote="Harry Schnapp"]
Hallo Stefan,
Ich glaube Du hast Dich vertippt,den Prozrssor 2930QM gibt es nicht.Vermutlich ist es der 2630QM.
Wenn ja dann könnte ich Dir ein Paar Einzelheiten darüber schildern.
Beste Grüße,
Harry
[/quote]

Hallo Harry,

du hast vollkommen Recht, es ist der 2630QM, sorry für diese Falschinformation. Was lernen wir daraus? Nach einer 12h-Nachtschicht sollte man nix mehr posten...

Gruß - Stefan
Parent - By Stefan Pohl Date 2012-03-07 08:44
Hallo zusammen,

Ich habe in der TEB-Liste nunmehr die aktuellste Version von Ivanhoe (46h, statt der älteren 46fa) und Critter (1.4a stattt 1.4) integriert und die beiden älteren Versionen aus der Liste entfernt, da das Ergebnis der neuen Versionen praktisch dasselbe war. Das war auch zu erwarten, da in beiden Fällen nur minimale Änderungen in den Engines vorgenommen wurden. Beide neuen Versionen haben selbstverständlich dennoch den kompletten Testlauf absolviert. Ein Zusammenlegen der Ergebnisse verschiedener Versionen einer Engine, auch wenn sie sich noch so ähnlich sind, gibt es bei mir - im Gegensatz zur IPON - nicht.

Hier nun die neue TEB-Rangliste (TopEngineBullet), erstellt mit bayeselo, gefixt mit 3000 Elo an Stockfish 2.2.2. Obwohl Rangliste eigentlich übertrieben ist, de facto ist es eher so eine Art ChampionsLeague...

Rank Name                   Elo    +    - games score oppo. draws
   1 Houdini 2.0c x64      3110   12   12  1800   63%  3029   41%
   2 Houdini 1.5a x64      3088   12   12  1800   59%  3029   42% (best freeware)
   3 Critter 1.4a x64s     3067   11   11  2100   54%  3044   48%
   4 Ivanhoe 46h x64       3041   11   11  2100   49%  3047   50%
   5 Robbolito 0.10 x64    3026   11   11  2100   46%  3049   50%
   6 Rybka 4.1 x64s        3026   11   11  2100   46%  3049   44%
   7 Komodo 4 x64s         3014   11   11  2100   44%  3051   38% (singlecore)
   8 Stockfish 2.2.2 x64s  3000   11   11  2100   42%  3053   42%

Die Engines in der Rangliste haben nach ihrem Namen entweder x64 stehen (=normale 64bit Version) oder ein x64s (=64bit SSE42 Version). Letzteres wird natürlich immer benutzt, wenn eine solche spezielle Version zur Verfügung steht.

Testbedingungen: Notebook mit Intel i7-2630QM Prozessor (4 Kerne, 2GHz Takt, Windows 7 64bit Home Premium). Geschwindigkeit der Hardware: Houdini 2.0c auf einem Core etwa 2.1 Mio Kn/s, auf 4 Cores etwa 7.5 Mio Kn/s (bei vollem Brett), FritzMark=20.2.
Bedenkzeit: 30''+400ms Fischerbonus, keine Tablebases, 1 Core und 128 MB Hash pro Engine, kein Pondern, 150 Vorgabestellungen aus der Frank Q. Datenbank (von mir handverlesen, nur Hauptsysteme (kein Aljechin, Holländisch etc.)). Gespielt wird bis zum Matt oder bis zum Remis, die GUI gibt keine Partie auf und auch Remis erst bei 500 Zügen - also gar nicht). Benutzt wird die LittleBlitzerGUI. Dazu merke ich hier nochmal an: Alle Partien wurden/werden im Gauntlet-Modus gespielt, weil nur so die Vorgabestellungen auch alle sequentiell und mit vertauschten Farben korrekt abgespielt werden. Die Bedenkzeit wurde so gewählt, wie sie ist, weil die Engines mit dieser Bedenkzeit im Durchschnitt ca. 1 Minute pro Partie an Gesamtrechenzeit verbrauchen - also wie beim "echten" Bullet, aber eben ohne Zeitnotdramen am Ende der Partien.

Wer die Partien der TEB-Rangliste haben will, kann mir seine eMail-Adresse per PM hier oder auf talkchess mitteilen, ich schicke dann in Kürze die Partien als PGN-File. Dieses Angebot erfolgt, damit Transparenz und Glaubwürdigkeit der Rangliste gewährleistet ist.

Grüße an alle - Stefan
Up Topic Hauptforen / CSS-Forum / Neue Hardware - neue (alte) Liste

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill