SWCR-32: Nach 25.363 Partien ...

By Frank Quisinsky Date 2010-06-16 08:00 Edited 2010-06-16 08:06

Hallo zusammen,

nach wie vor laufen in der SWCR-32 die 9 neuen Engines kontinuierlich durch. Mittlerweile hat auch Deep Fritz 12 die 9x40 = 360 extra Partien gespielt. Der ELO-Durschnitt der nicht spielenden Engines verschlechtert sich bislang um 3 ELO. Deep Fritz 12 hatte 1.040 Partien, jetzt 1.400 Partien und sich um 2 ELO verschlechtert (kleine Statistik am Rande).

Ktulu 9.03 und Deep Fritz muss ich aus bekannten Gründen extra starten bzw. kann die Engines nicht automatisch an dem Turnier spielen lassen.

Turniertabelle, Frank's Chess Page:
http://www.amateurschach.de (in der Mitte der Eingangsseite auf den Link klicken).

Die Deep Fritz 12 Ergebnisse habe ich aber jetzt auch in die Turniertaballe integriert. Die Turniertabelle wirkt unübersichtlich wegen der nicht gleichen Anzahl an Partien. Alle 21 Engines haben 20x40 = 800 Partien zu spielen. Daher ist unter der Turniertabelle auf den Webseiten auch die aktuelle ELO-Liste (ist übersichtlicher hinsichtlich Einstufung der 9 neuen).

Das Turnier wird voraussichtlich nächste Woche Donnerstag zu Ende gehen. Es ist etwas aufwendiger die HTML Files zu erstellen, daher werde ich dann bis zum Endergebnis die Webseiten nicht mehr updaten. Zu spielen sind jetzt noch ca. 2.236 Partien = 2.236 : 288 Partien die pro Tag ca. gespielt werden (was 4 Quad Cores bei der gewählten Bedenkzeit schaffen) = 7,8 Tage Laufzeit, vorausgesetzt es kommt zu keinen Abstürzen.

Hier die aktuelle Ratingliste nach 25.363 Partien:

40 Züge in 10 Minuten, Ponder = on, 256Mb für Hash-Tables, gespielt wird bis zum Matt / Remis ohne Aufgabefaktoren = ca. 40 Minuten pro Partie bei einem Partiedurchschnitt von ca. 85 Zügen nach 25.363 Partien.

Code:

01. Rybka 4                   2.880 29 28  480 77% 2.687 33% +28
02. Stockfish 1.7.1 JA        2.867 20 19 1040 76% 2.678 30%
--. Rybka 3                   2.852 16 16 1520 74% 2.681 31%
03. Naum 4.2                  2.820 18 17 1160 70% 2.683 35%
--. Stockfish 1.6.3 JA        2.819 18 18 1080 71% 2.672 36%
--. Naum 4.1                  2.803 19 19  920 68% 2.678 35%
--. Stockfish 1.6.0 JA        2.794 19 18  960 68% 2.679 39%
04. Shredder 12               2.792 14 14 1722 65% 2.687 36%
--. Naum 4.0                  2.776 19 18  960 65% 2.674 38%
05. Deep Fritz 12             2.773 15 15 1400 62% 2.690 42%
06. Critter 0.70              2.767 26 26  480 61% 2.691 40% +87
07. Komodo 1.2 JA             2.755 26 25  478 59% 2.693 40% +47
--. Fritz 12                  2.737 16 16 1160 59% 2.680 44%
08. Hiarcs 13.1               2.730 25 25  481 55% 2.693 41% +71
--. Stockfish 1.5.1 JA        2.723 19 19  840 59% 2.664 43%
--. Komodo 1.0 JA             2.708 16 16 1200 53% 2.687 40%
09. Thinker 5.4d Inert        2.706 14 14 1720 53% 2.689 42%
10. Spark 0.5                 2.704 25 25  482 52% 2.695 40% +26
11. Junior 11.2               2.688 26 26  481 49% 2.695 32% +50
--. Doch 1.3.4 JA             2.682 19 19  840 51% 2.678 44%
--. Critter 0.60              2.680 18 19  920 50% 2.680 39%
--. Spark 0.4                 2.678 19 19  880 49% 2.684 43%
12. Protector 1.3.4 JA        2.671 19 18  920 48% 2.683 39%
--. Cyclone xTreme Wrath      2.667 17 17 1080 47% 2.689 41%
--. Protector 1.3.2           2.666 16 16 1160 47% 2.687 41%
--. Protector 1.3.5 JA        2.664 25 25  477 45% 2.697 43% - 7
--. Junior 2010               2.661 16 16 1240 47% 2.683 36%
--. Hiarcs 12.1               2.659 19 19  880 47% 2.681 41%
--. Protector 1.3.1b          2.659 19 19  840 47% 2.682 42%
--. Doch 1.2 JA               2.657 19 19  840 48% 2.671 40%
--. Hiarcs 12.1 Sharpen PV    2.657 16 16 1280 45% 2.691 40%
13. Sjeng WC-2008             2.655 14 14 1723 45% 2.690 37%
14. Zappa Mexico II           2.651 14 13 1718 44% 2.690 43%
--. Spark 0.3a                2.648 17 17 1120 44% 2.690 41%
--. Doch 09.980 JA            2.644 19 19  840 46% 2.667 42%
--. Junior 11.1a              2.638 18 18  960 44% 2.684 36%
--. Spark 0.3                 2.635 19 19  880 43% 2.682 42%
15. Onno 1.2.70               2.625 26 26  481 40% 2.699 38% + 2
--. Onno 1.1.1                2.623 15 14 1520 40% 2.687 41%
16. Loop 2007                 2.608 26 26  481 37% 2.699 37% + 1
17. Fruit 05/11/03            2.608 14 14 1719 38% 2.691 41%
--. Loop 13.6                 2.607 15 15 1520 38% 2.688 39%
--. Critter 0.52b             2.606 18 18 1040 38% 2.691 37%
--. Glaurung 2.2 JA           2.601 17 18 1080 37% 2.692 36%
18. Ktulu 9.03                2.601 16 16 1400 37% 2.695 30%
19. SmarThink 1.20            2.589 14 14 1723 35% 2.691 38%
20. Spike 1.2 Turin           2.568 17 17 1202 32% 2.692 35%
21. Twisted Logic 20100131x   2.564 16 16 1398 32% 2.694 30%

Partiedownload folgt dann nächste Woche Donnerstag.

Es scheint das meine SWCR-32 schon sehr genau ist wie die beiden Stichproben (Onno 1.1.1 auf 1.2.70 und Loop 13.6 auf 2007) zeigen. Die beiden lasse ich einfach mal mitspielen obwohl ja bekannt ist, dass es nicht zu Verbesserungen gekommen ist.

Viele Grüße
Frank Quisinsky

By Frank Quisinsky Date 2010-06-16 08:49 Edited 2010-06-16 08:56

Hi,

noch ein paar Statistiken zu den laufenden 21 32-Bit Engines.

Probleme machen eigentlich nur 4 bzw. 5 Engines:

1. Ktulu 9.03
Diverese, schon zu geschrieben. Eigentlich nicht testbar für eine Ratingliste ... mache mir dennoch die größte Mühe mit Ktulu.

1. Weil ich die Engine mag, mal selbst vermarktet ... Ratingliste ohne Ktulu für mich nicht vorstellbar.
2. Die Engine sich stark unterscheidet von allen anderen!
3. Die TOP 20 ohne Ktulu nicht komplett wäre.

2. Komodo 1.2
Mittlerweile 17 Partien durch Zeitüberschreitung verloren. Alle 17 Partien in 100%igen Remisstellungen, oftmals wahrscheinlich immer wenn die Remisstellung erreicht ist. Interessant, die x64 produziert eine Absturzmeldung die w32 überzieht die Zeit ohne Absturzmeldung. Komodo 1.2 bleibt unter der Shredder Classic 4 GUI dabei auch nicht im Speicher hängen, was dann wieder erfreulich ist.

Die 17 Partien wurden editiert und natürlich mit Remis gewertet.

3. Twisted Logic 20100131x
Überzieht selten die Zeit, meist einen Zug vor der dreifachen Stellungswiederholung, also auch immer in eindeutigen Remisstellungen.
Bei den über 1.000 Partien bislang 12x vorgekommen. Habe eine Statistik verloren, können auch ein paar mehr gewesen sein.

Die Partien wurden editiert und natürlich mit Remis gewertet.

4. Junior 11.2
4x bei jetzt fast 500 Partien eingeforen. Shredder GUI macht nichts, Match bleibt hängen. Nicht so erfreulich aber egal, passiert nicht so häufig. Den Fehler konnte ich bislang nicht untersuchen, passiert dummerweise immer wenn ich nicht zusehe bzw. nicht zu Hause bin.

5. Loop 13.6
Sehr selten bleibt auch mal Loop 13.6 hängen. Offenbar nicht die 2007er Version bzw. hatte ich hier noch keinen Hänger.

Partien unter 16 Zügen lasse ich grundsätzlich neu spielen. Das waren bei den nun 25.363 gespielten Partien insgesamt 42 Exponate

Sehr erfreutliche Statistiken, die Engines laufen durch. Die Shredder Classic GUI arbeitet ultra stabil ...

Gruß
Frank

By Frank Quisinsky Date 2010-06-16 09:01

Hi,

Zeit zum editieren vom Beitrag ist leider abgelaufen.

Vergessen ...

6. Critter 0.70
Unter der Fritz GUI im Match gegen Deep Fritz 12 gab es 4 Zeitüberschreitungen (Engine reagiert nicht mehr).
Alle vier in Remis-Endstellungen.

Partien wurden natürlich mit Remis gewertet.

Also, auch bei Critter ist noch ein Problem vorhanden. Unter Shredder Classic 4.0 GUI gab es nach dem 10fachen an Partien keine solche Zeitüberschreitung. Critter 0.70 mag also die Fritz GUI nicht.

Gruß
Frank

By Frank Quisinsky Date 2010-06-16 11:31

Hi,

die Rybka 4 Werte sehen noch nicht so überzeugend aus.
Das könnte am Auswertungsprogramm liegen da bei Bayesian die oberen niedriger und die unteren höher eingestuft werden.

Daher hier mal die ELOstat Auswertung, beide Listen auf Sjeng WC-2008 mit 2.655 ELO geeicht.

Also bei Rybka 4 anstatt 28 ELO besser als Rybka 3 sind es bei ELOstat immerhin 33 ELO besser.
Interessant ist die untere Hälfte. Je mehr Engines in die Liste kommen desto geringer die Abweichungen von ELOstat und Bayesian am Ende der Tabelle.
Das schaut fast gleich aus, wäre dann für mich neu ... denn bei den bisherigen Auswertungen mit weniger Engines hätte Twisted Logic bei Bayesian dann auch ca. 5 ELO mehr als bei ELOstat.

Gruß
Frank

Code:

 01 Rybka 4                        : 2895   27  27   480    76.7 %   2688   32.5 %
 02 Stockfish 1.7.1 JA             : 2878   19  19  1040    76.0 %   2678   30.2 %
 03 Rybka 3                        : 2862   15  15  1520    73.8 %   2682   30.9 %
 04 Stockfish 1.6.3 JA             : 2830   17  17  1080    71.3 %   2672   36.1 %
 05 Naum 4.2                       : 2827   17  17  1160    69.6 %   2684   35.0 %
 06 Naum 4.1                       : 2810   19  19   920    68.1 %   2678   35.3 %
 07 Stockfish 1.6.0 JA             : 2806   18  17   960    67.5 %   2679   39.2 %
 08 Shredder 12                    : 2798   13  13  1722    65.3 %   2688   36.5 %
 09 Naum 4.0                       : 2784   18  18   960    65.3 %   2674   38.1 %
 10 Deep Fritz 12                  : 2779   14  14  1399    62.3 %   2692   42.0 %
 11 Critter 0.70                   : 2773   24  24   480    61.4 %   2693   39.8 %
 12 Komodo 1.2 JA                  : 2758   24  24   478    59.0 %   2695   40.2 %
 13 Fritz 12                       : 2743   15  15  1160    58.9 %   2680   44.2 %
 14 Hiarcs 13.1                    : 2732   24  24   481    55.2 %   2695   41.0 %
 15 Stockfish 1.5.1 JA             : 2729   18  18   840    59.3 %   2663   42.5 %
 16 Komodo 1.0 JA                  : 2711   15  15  1200    53.3 %   2688   39.8 %
 17 Spark 0.5                      : 2709   24  24   482    51.8 %   2697   39.6 %
 18 Thinker 5.4d Inert             : 2708   12  12  1720    52.6 %   2690   42.4 %
 19 Junior 11.2                    : 2693   26  26   481    49.4 %   2697   32.2 %
 20 Critter 0.60                   : 2683   18  18   920    50.3 %   2681   38.8 %
 21 Doch 1.3.4 JA                  : 2683   18  18   840    50.6 %   2678   44.0 %
 22 Spark 0.4                      : 2679   17  17   880    49.0 %   2685   42.8 %
 23 Protector 1.3.4 JA             : 2671   18  18   920    48.2 %   2684   39.0 %
 24 Cyclone xTreme Wrath           : 2668   16  16  1080    46.8 %   2690   41.1 %
 25 Protector 1.3.5 JA             : 2667   24  24   477    45.4 %   2699   42.6 %
 26 Protector 1.3.2                : 2667   15  15  1160    46.9 %   2688   41.2 %
 27 Junior 2010                    : 2662   15  15  1240    46.9 %   2683   36.3 %
 28 Protector 1.3.1b               : 2659   18  18   840    46.7 %   2682   42.4 %
 29 Hiarcs 12.1                    : 2659   18  18   880    46.8 %   2682   40.8 %
 30 Doch 1.2 JA                    : 2658   18  18   840    48.2 %   2671   40.1 %
 31 Hiarcs 12.1 Sharpen PV         : 2656   15  15  1280    44.8 %   2692   39.5 %
 32 Sjeng WC-2008                  : 2655   13  13  1723    44.9 %   2691   37.1 %
 33 Zappa Mexico II                : 2651   12  12  1718    44.3 %   2691   43.4 %
 34 Spark 0.3a                     : 2647   16  16  1120    43.6 %   2692   40.8 %
 35 Doch 09.980 JA                 : 2643   18  18   840    46.5 %   2667   41.5 %
 36 Junior 11.1a                   : 2639   18  18   960    43.5 %   2684   36.5 %
 37 Spark 0.3                      : 2633   18  18   880    42.9 %   2683   41.9 %
 38 Onno 1.2.70                    : 2627   25  25   480    39.6 %   2700   38.3 %
 39 Onno 1.1.1                     : 2621   13  13  1520    40.4 %   2688   41.1 %
 40 Loop 2007                      : 2606   25  25   481    36.7 %   2701   37.2 %
 41 Critter 0.52b                  : 2606   17  17  1040    37.8 %   2692   36.8 %
 42 Fruit 05/11/03                 : 2605   13  13  1719    37.8 %   2692   40.7 %
 43 Loop 13.6                      : 2604   14  14  1520    38.1 %   2689   39.3 %
 44 Ktulu 9.03                     : 2603   16  16  1400    36.8 %   2697   29.8 %
 45 Glaurung 2.2 JA                : 2598   17  17  1080    36.7 %   2693   36.4 %
 46 SmarThink 1.20                 : 2584   13  13  1723    34.9 %   2693   38.0 %
 47 Spike 1.2 Turin                : 2564   16  16  1202    32.2 %   2693   35.2 %
 48 Twisted Logic 20100131x        : 2564   16  16  1398    32.0 %   2695   30.5 %