SWCR Blitz, Part 2/2 ... 4.600 neue Partien!

By Frank Quisinsky Date 2010-04-14 09:28 Edited 2010-04-14 09:31

Hallo zusammen,

insgesamt wurden an knapp über 4 Tagen 4.500 neue Partien gespielt.
Damit schließe ich den Part SWCR Blitz vorab.

Es wird jetzt wieder ein Rechner an der Liste weiterspielen, der dann zunächst mit Critter 0.60 beschäftigt wird.

NEUE Erkenntnis:
Habe viele Analysen von meinen beiden Ratinglisten in Verbindung mit anderen Ratinglisten gemacht.
Komme zu dem Ergebnis das Shredder 12 ziemlich genau 15 ELO im Blitz schlechter ist, also mit längeren Bedenkzeiten minimal zulegt.

Daher ist es eigentlich nicht gut auf Shredder 12 mit 2.800 ELO zu eichen.
Egal ...

1. 6 Engines sind neu.

2. Alle Engines haben jetzt mindestens 540 Partien gespielt. Damit sollte die Liste erstmalig auch ansehnlich sein. Die SWCR hat nun also zwei Listen (Partie in 5 und 40 Züge in 10 Minuten). Wird benötigt um zu sehen, welche Engines mit mehr Zeit zulegen oder an Spielstärke abnehmen.

3. Shredder als Vergleichsenengine hat jetzt auch die kompletten 940 Partien gespielt. Bei Jeder gegen Jeden und 48 Versionen von Engines bzw. 20 Partien wären das = 47 x 20 = 940. Wichtig für eine Ratingliste, dass mindestens 10% der Engines alle Partien gespielt haben (Vergleichsengines). In der SWCR-Blitzratingliste sind es 6, diese Maßgabe ist nun auch erfüllt.

Hier die Liste:

Code:

Stand: 14.04.2010, 09:30 Uhr
Nach 15.740 Partien

Blitz: Partie in 5 Minuten

- 32-Bit, 1 Core, Permanent Brain = On
- max. 20 Partien pro Engine-Engine Match
- 48 Engine Versionen getestet!
- max. möglich = 47 x 20 = 940 Partien pro Engine!

Rank Name                      Elo    +    - games score oppo. draws 
   1 Stockfish 1.7.1 JA       2892   27   26   600   81%  2657   26% NEU
   2 Rybka 3                  2871   22   21   860   77%  2671   29% 
   3 Naum 4.2                 2834   21   21   820   73%  2672   32% NEU
   - Stockfish 1.6.3 JA       2834   26   25   580   74%  2661   31% 
   - Stockfish 1.6.0 JA       2813   26   25   540   71%  2669   33% 
   4 Shredder 12              2800   19   19   940   68%  2671   33% 
   - Naum 4.1                 2783   23   23   640   68%  2659   33% 
   - Naum 4.0                 2771   23   23   620   63%  2684   38% 
   - Rybka 2.3.2a             2769   24   24   580   62%  2685   35% 
   - Stockfish 1.5.1 JA       2746   25   25   540   61%  2672   32% 
   5 Thinker 5.4d Inert       2717   19   19   940   56%  2673   35% 
   6 Komodo 1.0 JA            2708   23   23   640   55%  2675   31% 
   7 Hiarcs 12.1              2702   19   19   940   54%  2673   32% 
   - Rybka 1.2n               2702   24   24   580   53%  2677   35% 
   8 Spark 0.4                2692   21   21   740   52%  2678   35% NEU
   - TogaII 1.4.2 JD          2691   24   24   560   52%  2677   35% 
   - Cyclone xTreme-Wrath     2683   23   23   580   51%  2675   36% 
   - Cyclone xTreme-Fury      2681   24   24   540   49%  2689   36% 
   9 Protector 1.3.4 JA       2673   21   21   760   50%  2675   34% NEU
   - Grapefruit 1.0 Beta      2668   23   23   600   49%  2678   36% 
   - Doch 1.3.4 JA            2667   24   24   560   49%  2673   34% 
   - Shredder Classic 4       2663   23   23   600   48%  2676   33% 
   - Protector 1.3.2          2660   24   24   540   48%  2672   34% 
   - Protector 1.3.1b         2655   24   24   560   50%  2657   38% 
  10 Junior 2010              2654   24   24   560   47%  2673   30% 
  11 Onno 1.2.2 Beta          2652   24   24   580   47%  2675   34% 
  11 Sjeng WC-2008            2652   19   19   940   47%  2674   33% 
   - Doch 09.980 JA           2651   24   24   560   47%  2675   35% 
   - Onno 1.1.1               2649   21   21   720   45%  2682   36% 
  13 Fruit 05/11/03           2646   24   24   580   42%  2703   34% 
   - TogaII 2.0 SE            2643   24   24   560   47%  2664   31% 
  14 Critter 0.52b            2643   23   23   620   46%  2675   32% 
   - Fruit 2.3.1              2642   23   24   560   42%  2693   40% 
  15 Loop 13.6                2640   19   19   940   45%  2675   36% 
   - Doch 1.2 JA              2640   24   24   560   44%  2681   34% 
  16 Zappa Mexico II          2631   19   19   940   44%  2675   33% 
   - Spark 0.3a               2627   23   24   600   44%  2667   32% 
   - Spark 0.3                2623   23   24   580   41%  2688   34% 
   - Junior 11.1a             2619   21   21   780   42%  2676   31% NEU
   - Glaurung 2.2 JA          2613   23   23   620   40%  2686   31% 
   - Bright 0.5c              2598   24   24   580   36%  2699   31% 
  17 SmarThink 1.20           2589   22   23   700   39%  2673   28% 
  18 Twisted Logic 20100131x  2579   24   24   600   37%  2675   31% 
  19 Spike 1.2 Turin          2574   23   23   640   34%  2688   31% 
  20 Chess Tiger 2007-12      2568   23   23   680   33%  2694   28% NEU
  21 Crafty 23.2 JA           2525   25   26   580   28%  2691   27% 
  22 TheKing 3.50 Nazgûl      2510   26   27   560   26%  2696   24% 
  23 Scorpio 2.5 JA           2507   26   26   580   25%  2692   26% 
  

Die nächsten Engines, ToDo:
01. Critter 0.60
02. Fritz 12
03. Deep Fritz 12

Hardware:
AMD Athlon 64 X2 4600, 2400 MHz (Sockel 939, nicht übertacktet),
Asus A8V Deluxe Mainboard, 2GB DDR 1 400 MHz RAM Buffalo
Fritz Bench v 4.2 v. 18.01.2010: 2T = 5,62, 1T = 2,86
Zeitweise werden die SWCR Intel Maschinen eingesetzt.
Diese Maschinen laufen dann mit Partie in 3 Minuten.

Betriebssystem:
Windows XP Professional w32

Testbedingungen:
- Shredder Classic 4.0 GUI
- 128Mb Hash-Tables,
- 4 Steiner-Nalimov / egbbs / Shredder-Bases

Gruß
Frank

PS:
Sofern ein Interesse besteht kann ich die Datenbank online legen. Wer möchte kann dann selbst unter den Bedingungen noch seine favorisierten Engines einpicken.

- keine Partien mit Zeitüberschreitungen vorhanden.
- alle Remispartien unter 15 Zügen wurden wiederholt.
- alle sonstige zweifelhaften Partien, die ich durch Statistiken herausgefiltert habe, wurde wiederholt.

By Benno Hartwig Date 2010-04-14 09:43 Edited 2010-04-14 09:52

Thanx, sehr interessante Ergebnisse.

[quote="Frank Quisinsky"]- alle Remispartien unter 15 Zügen wurden wiederholt.[/quote]Oh, kann man machen. Aber warum? auch ein schnelles Remis ist doch ein remis.

[quote="Frank Quisinsky"]- alle sonstige zweifelhaften Partien, die ich durch Statistiken herausgefiltert habe, wurde wiederholt.[/quote]*Sorgenfalten aufsetz* -

- Was für Partien wurden herausgefiltert? Woran erkanntest du die? Welche Zweifel wurden angemeldet?
Wer war betroffen, und hatten die gestrichenen Partien ggf. eine Tendenz? (sowas wie: "Besonders viele Gewinn-Partien von Engine X wurden entfernt.")

Das mit den Zweifeln ist halt so eine Sache.
Angenommen ich teste eine Engine X gegen Y. Und ich halte nur Spielstärkeverhältnisse zwischen 40:60 und 60:40 für realistisch.
Und dann beginnt mein Test mit 9:1 für X

Sollte ich dann nicht lieber noch mal von vorn beginnen?
Ich lasse durchspielen, oft dann mit besonders vielen Partien durchspielen. Aber ich bin nicht sicher, ob das wirklich vernünftig ist.

Aber ich müsste ja sonst auch bereits bei einem 2:0-Beginn Bedenken bekommen
(abgesehen von der Frage, ob eine derartige Beschäftigung überhaupt vernünftig sein kann)

Benno

By Frank Quisinsky Date 2010-04-14 09:51 Edited 2010-04-14 10:00

Hi Benno,

ich hatte die Situation, dass bei Junior 11.1a die Engine hängen geblieben ist. Dann lag diese im Speicher bei kommenden Matches. Die ganzen Partien landeten im Mülleimer. Bei den Zeitüberschreitungen (gab ca. 25) bin ich ohne zu prüfen vorgegangen. Habe diese einfach wiederholen lassen. Partien unter 15 Züge Remis gab es 12. Habe viele Fehler den Programmierern gemeldet. Glaube Spark 0.4 konnte in einer Partien mit KT-K gegen Loop nicht mattsetzen, kann generell mit KSL-K nicht matt setzen. Diese Partien habe ich natürlich in der Datenbank gelassen.

Bei Junior scheiden sich die Geister.
Vergleichbar wie bei 40 in 10 ist Junior 11.1a bei 32-Bit und einem Core deutlich schwächer. Vielleicht hängt es mit dem Kopilieren zusammen. Muss da Mark noch anschreiben. Die Ergebnisse der beiden SWCR Listen sind hier eindeutig.

Ach, dass jetzt alles aufzuzählen dauert zu lange, muss gleich weg.
Jedenfalls habe ich mir sehr viiel Mühe gemacht. Möchte ja auch, dass diese Aktion etwas bringt.

Gruß
Frank

Die Remispartien ... dass waren schnelle Remispartien nach den Buchzügen (passierte bei dem Buch von Sedat, nie bei dem Buch Shredder 12). Setze beide Bücher ein. Mag diese Partien nicht, ist ja nichts berechnet wurden (seitens der Engines).

Komme später auf Deine Anmerkung zurück, bin im Zeitdruck ... will nicht auf Zeit verlieren

Muss weg.

By Frank Quisinsky Date 2010-04-14 09:45

Hi,

da die Liste in den letzten 5 Monaten erstellt wurde, sind natürlich alle neuen Engines enthalten (bis auf die beiden Fritz 12 Versionen, kommen noch).

Wenn eine Engine 540 Partien gespielt hat bedeutet das (540 : 20 = 27 Gegner).

Interessant ist:
Wenn Critter 0.60 wirklich um 45 ELO zugelegt hat, haben wir nicht nur die Situation, dass eine Freeware Engine mit freien Sourcen auf Platz 1 ist, sondern das 6 Freeware Engines unter den TOP 10 sind. Auch das gab es noch nie! Die Kommerziellen geraten nun ein wenig in Zugzwang. Hoffe das wird nicht mit knappen und dummen Ankündigungen neuer Engines versucht zu korrigieren, denn dass würde derzeit richtig in die Hose gehen (Thema: Kunden verlieren).

Langfristig ist klar wo es hingeht, Statistiken lassen sich schön lesen ...
Immer mehr Freeware Engine werden nach vorne stürmen.

Insofern komme ich auch zu dem Ergebnis das Computerschach wieder spannender wird. Ein gewisser Druck auf kommerzielle Engines kann nicht schaden. Das fördert den Wettkampf, die Motivation und dieses Hobby als Solches ungemein.

Gruß
Frank