SWCR after 79.120 Partien ...

By Frank Quisinsky Date 2011-01-10 13:15 Edited 2011-01-10 13:23

Hallo zusammen,

heute endete das SWCR-64 Turnier. 11 neue Engines / Updates wurden eingepickt. Fast 9.000 neue Partien wurden gespielt. Unterbrochen wurde das Turnier aufgrund der vielen weiteren Engine Updates bzw. für 8 Spießroutenläufe. Insgesamt wurden also in den letzten 2 Monate 19 Updates aufgenommen.

Interessant nach wie vor die Rybka 4 Exp. Settings.
Wie vermutet ist das Rybka 4 Exp. 42 Setting etwas besser als das Rybka 4 Exp. 61 Setting. Wir sprechen von ca. 30 ELO zu den Rybka 4 Grundeinstellungen und von daher habe ich mich dann doch dazu entschlossen die Rybka 4 bei der SWCR Champions-League 2011 (startet morgen) mit dem sehr starken Setting Exp. 42 spielen zu lassen. Über die beiden Settings hatte ausgiebig hier im Forum berichtet. Schon beim Start von diesem Setting Test beschrieb ich, dass Exp. 42 auch bei meiner Sammlung von Studien deutlich bessere Ergebnisse als das Exp. 61 Setting hatte. Daher entschloss ich mich zunächst das Setting 42 zu testen. Diese Eindrücke haben sich bei den von mir gewählten SWCR Rahmenbedingungen bestätigt. Da Sedat Canbaz allerdings das Setting 61 vorgezogen hat (persönlich halte ich sehr viel von den Arbeiten von Sedat) wollte ich das kontrollieren und lies auch Exp. 61 in der Weihnachtszeit spielen. Beim Setting 61 erreicht Rybka 4 ca. 15 ELO weniger als bei Sedat.

Fest steht:
Rybka 4 Exp. 42 als auch Rybka 4 Exp. 61 sind deutlich besser als die Grundeinstellungen. Das Setting 42 spielt wesentlich ausgewogener, siehe Ergebnisse gegen die Taktiker Stockfish 1.9.1 JA x64, Hannibal 1.0a x64 und Spark 1.0 x64. Da Rybka 4 mit mehr Bedenkzeit etwas zulegt (anders die IPP Familie Programme, weniger Endspielwissen) sind die Ergebnisse in Kombination bisher bekannter Ergebnisse von Sedat und mir auch logisch.

30 ELO zu Houdini 1.5 x64 habe ich vermutet, 36 ELO sind es geworden. Bin mal gespannt wie sich später das evtl. Rybka 4.1 Update schlagen wird.

Im Lauf des Tages werden die SWCR Seiten gründlich upgedatet.

Hier aber zunächst die aktuelle SWCR aller Partien:

Code:

79.120 SWCR games
Last update: January 10th, 2010 (13:00)

*19* updates added!

118. x64 Rybka 4 Exp. 61           Update   Started: 27.12.2010  * ended
117. x64 Houdini 1.5               Update   Started: 23.12.2010  * ended
116. x32 Booot 5.1.0               NEW      Started: 15.12.2010  * ended
115. x64 Spark 1.0                 Update   Started: 15.12.2010  * ended
114. x64 IvanHoe B49jA             Update   Started: 10.12.2010  * ended
113. x64 GullChess 1.1             Update   Started: 06.12.2010  * ended
112. x64 Critter 0.90              Update   Started: 03.12.2010  * ended
111. x64 Umko 1.1 x64              Update   Started: 29.11.2010  * ended
110. x64 Rybka 4 Exp. 42           Update   Started: 11.11.2010  * ended
109. w32 Zarkov 6.44               NEW      Started: 11.11.2010  * ended
108. x64 Tornado 4.25              Update   Started: 11.11.2010  * ended
107. x64 Crafty 23.4 JA            Update   Started: 10.11.2010  * ended
106. w32 Sjeng c't 2010            Update   Started: 10.11.2010  * ended
105. x64 Stockfish 1.9.1 JA        Update   Started: 08.11.2010  * ended
104. x64 Equinox 0.87t             Update   Started: 07.11.2010  * ended
103. x64 Junior 12.0 31.10.10      Update   Started: 07.11.2010  * ended
102. x64 Gaviota 0.80              NEW      Started: 07.11.2010  * ended
101. x64 Protector 1.3.6 Rev. 370  Update   Started: 07.11.2010  * ended
100. w32 Jonny 4.00                Again    Started: 07.22.3020  * ended

Rank Name                          Elo    +    - games score oppo. draws 
   1 Houdini 1.5 x64              3005   22   21  1040   82%  2750   26% NEW +  57
   2 Rybka 4 x64 Exp. 42          2969   20   19  1240   80%  2719   25% NEW +  31 to Rybka 4 default
   - Rybka 4 x64 Exp. 61          2961   21   21  1000   78%  2743   27% NEW +  22 to Rybka 4 default
   - Houdini 1.03a x64            2948   22   21   920   79%  2718   29% 
   - Rybka 4 x64                  2938   17   17  1520   80%  2699   29% 
   3 IvanHoe B49jA x64            2933   19   18  1160   76%  2739   34% NEW +  11
   - IvanHoe B52aC x64            2922   21   21   880   77%  2727   34% 
   4 Stockfish 1.9.1 JA x64       2906   18   17  1280   73%  2728   33% NEW +   1
   - Stockfish 1.8.0 JA x64       2905   18   18  1200   75%  2714   33% 
   - Rybka 3 x64                  2905   23   22   840   78%  2687   28% 
   - Fire 1.31 x64                2900   21   20   920   75%  2720   36% 
   - Stockfish 1.7.1 JA x64       2896   19   18  1120   76%  2706   34% 
   - Stockfish 1.9.1 JA           2893   21   20   960   78%  2689   31% 
   - Rybka 4                      2891   18   18  1200   76%  2695   32% 
   - Stockfish 1.7.1 JA           2873   18   18  1200   75%  2688   31% 
   5 Critter 0.90 x64             2872   18   17  1200   68%  2741   37% NEW +  41
   - Stockfish 1.8.0 JA           2862   20   20   920   74%  2695   37% 
   - Rybka 3                      2859   16   16  1520   74%  2688   31% 
   6 Naum 4.2 x64                 2834   12   12  2520   66%  2715   35% 
   - Critter 0.80 x64             2831   15   15  1680   67%  2701   33% 
   - Stockfish 1.6.3 JA           2826   18   18  1080   71%  2679   36% 
   - Naum 4.2                     2822   15   14  1680   68%  2695   35% 
   - Critter 0.80                 2814   18   18  1040   67%  2694   37% 
   - Naum 4.1                     2810   20   19   920   68%  2684   35% 
   - Critter 0.70 x64             2806   20   20   880   65%  2701   38% 
   7 Komodo 1.2 JA x64            2805   13   13  2280   62%  2713   39% 
   - Stockfish 1.6.0 JA           2801   19   19   960   68%  2686   39% 
   8 Shredder 12                  2800    9    9  4720   63%  2706   36% 
   - Komodo 1.0 JA x64            2790   20   20   840   64%  2692   40% 
   9 Sjeng c't 2010               2787   17   16  1280   57%  2732   37% NEW + 101 
   - Shredder 12 x64              2787   15   15  1600   63%  2690   34% 
  10 GullChess 1.1 x64            2786   17   17  1160   56%  2743   37% NEW +  14
   - Naum 4.0                     2783   19   19   960   65%  2681   38% 
  11 Deep Fritz 12                2779   14   14  1760   62%  2698   41% 
   - Critter 0.70                 2776   19   19   920   61%  2702   39% 
   - GullChess 1.0a x64           2772   15   15  1480   58%  2711   37% 
   - Komodo 1.2 JA                2758   16   16  1200   58%  2700   41% 
  12 Spark 1.0 x64                2756   17   17  1120   52%  2745   41% NEW +  17
   - GullChess 1.0a               2746   19   18   960   58%  2695   39% 
   - Fritz 12                     2744   16   16  1160   59%  2687   44% 
   - Spark 0.5 x64                2739   13   13  2120   55%  2704   36% 
  13 Thinker 5.4d Inert x64       2738   12   12  2520   53%  2717   38% 
  14 Hiarcs 13.1                  2737   11   11  2920   52%  2719   38% 
   - Stockfish 1.5.1 JA           2730   19   19   840   59%  2670   43% 
  15 Zappa Mexico II x64          2723   12   12  2520   51%  2717   39% 
  16 Junior 12.0 x64              2717   17   17  1280   47%  2734   33% NEW +  36
   - Spark 0.4 x64                2717   20   20   840   53%  2696   40% 
   - Komodo 1.0 JA                2715   16   16  1200   53%  2693   40% 
  17 Protector 1.3.4 JA x64       2711   14   14  1720   50%  2710   37% 
   - Thinker 5.4d Inert           2710   12   12  2240   52%  2698   42% 
  18 Fruit 09_07_05 x64           2709   12   12  2520   49%  2717   33% 
   - Spark 0.5                    2707   17   16  1200   51%  2702   41% 
   - Protector 1.3.6-370 JA x64   2705   17   17  1280   46%  2735   33% NEW -   6
   - Critter 0.60 x64             2700   20   20   840   50%  2696   38% 
  19 Booot 5.1.0                  2694   18   18  1080   42%  2754   37% NEW
   - Doch 1.3.4 JA                2689   19   19   840   51%  2685   44% 
   - Critter 0.60                 2687   19   19   920   50%  2687   39% 
   - Sjeng WC-2008 x64            2686   14   14  1760   47%  2710   36% 
   - Junior 11.2                  2685   17   17  1200   48%  2702   33% 
   - Spark 0.4                    2685   19   19   880   49%  2691   42% 
   - Protector 1.3.5 x64          2684   20   20   840   47%  2706   39% 
  20 Hannibal 1.0a x64            2681   14   14  1960   44%  2726   35% 
   - Junior 11.2 x64              2681   15   16  1520   47%  2706   30% 
   - Protector 1.3.4 JA           2678   14   14  1600   47%  2700   39% 
  21 Onno 1.2.70 x64              2678   13   13  2280   45%  2715   36% 
   - Cyclone xTreme Wrath         2674   17   17  1080   47%  2696   41% 
   - Protector 1.3.2              2673   17   17  1160   47%  2694   41% 
   - Onno 1.1.1 x64               2670   20   20   840   46%  2698   40% 
   - Protector 1.3.5 JA           2668   19   20   840   44%  2711   42% 
   - Junior 2010                  2668   16   16  1240   47%  2690   36% 
   - Hiarcs 12.1                  2666   19   19   880   47%  2688   41% 
   - Protector 1.3.1b             2666   19   19   840   47%  2689   42% 
   - Sjeng WC-2008                2664   12   12  2240   45%  2699   37% 
   - Doch 1.2 JA                  2664   19   19   840   48%  2678   40% 
   - Hiarcs 12.1 Sharpen PV       2664   16   16  1280   45%  2698   39% 
   - Zappa Mexico II              2660   12   12  2240   44%  2699   42% 
   - Spark 0.3a                   2654   17   17  1120   44%  2697   41% 
   - Doch 09.980 JA               2651   19   19   840   46%  2674   42% 
   - Junior 11.1a x64             2647   20   20   840   43%  2699   32% 
   - Junior 11.1a                 2644   19   19   960   44%  2690   36% 
   - Spark 0.3                    2642   19   19   880   43%  2689   42% 
   - Hannibal 1.0a                2636   18   18  1080   40%  2704   36% 
   - Bright 0.5c                  2634   19   19   960   41%  2700   35% 
   - Onno 1.2.70                  2634   17   17  1200   40%  2704   40% 
  22 Umko 1.1 x64                 2633   17   17  1240   34%  2752   34% NEW +  24
   - Onno 1.1.1                   2629   15   15  1520   40%  2694   41% 
  23 Loop M1-T x64                2628   19   19   960   36%  2734   36% 
   - Loop 2007 x64                2621   13   13  2320   37%  2718   34% 
  24 Crafty 23.4 JA x64           2620   17   17  1280   34%  2737   31% NEW +  23
   - Fruit 05/11/03               2615   12   12  2240   38%  2700   41% 
  25 Jonny 4.00                   2614   13   13  2240   36%  2722   30% NEW
   - Loop 13.6                    2613   15   15  1520   38%  2695   39% 
  26 Equinox 0.87t x64            2613   17   17  1280   33%  2737   31% NEW +  13
   - Critter 0.52b                2612   18   18  1040   38%  2697   37% 
   - Twisted Logic 20100131x x64  2611   18   18  1120   35%  2716   32% 
   - Umko 1.0 x64                 2609   17   17  1200   34%  2724   37% (ponder not possible)
   - Glaurung 2.2 JA              2608   18   18  1080   37%  2699   36% 
   - Loop 2007                    2608   17   17  1200   36%  2705   35% 
  27 Ktulu 9.03                   2608   14   14  1760   37%  2702   31% 
   - Equinox 0.83 x64             2600   18   18  1160   32%  2733   32% 
  28 SmarThink 1.20 x64           2599   12   13  2520   34%  2719   32% 
   - Crafty 23.3 JA x64           2597   17   18  1200   33%  2725   34% 
   - SmarThink 1.20               2594   13   13  2240   35%  2700   37% 
   - Equinox 0.83                 2579   19   19   960   33%  2702   34% 
   - Twisted Logic 20100131x      2573   15   15  1600   32%  2706   30% 
  29 Spike 1.2 Turin              2572   16   16  1480   31%  2706   34% 
   - Cipollino 3.25 x64           2567   20   20   960   28%  2737   30% 
   - Crafty 23.3 JA               2564   19   20   960   31%  2703   32% 
  30 BugChess2 1.7 x64            2559   18   18  1200   27%  2731   30% 
   - Crafty 23.2 JA x64           2554   18   19  1120   28%  2718   30% 
  31 Scorpio 2.6 JA x64           2554   18   18  1200   27%  2726   31% 
  32 Chronos 1.99 x64             2551   18   19  1120   27%  2718   33% (ponder not possible)
   - Crafty 23.3 JA x64 NP        2547   20   21   960   25%  2737   30% (test without ponder)
  33 Tornado 4.25 x64             2540   20   20  1080   27%  2716   25% NEW +  61
  34 Daydreamer 1.75 JA x64       2521   19   19  1120   24%  2719   30% 
   - Tornado 3.6.7 x64            2479   23   24   840   19%  2725   24% 
  35 Zarkov 6.44                  2474   22   22   960   21%  2712   24% NEW
  36 Gaviota 0.80 x64             2358   26   27   960   11%  2717   15% NEW

Viele Grüße
Frank

By Frank Quisinsky Date 2011-01-10 16:41

Hallo zusammen,

zwischenzeitlich wurden die Datenbanken auf den SWCR Seiten upgedatet.

Hier die SWCR-64 TOP-26 (Jeder gegen Jeden, 40 Partien):

Code:

After 13.000 games, 26 engines included
ELO are fixed to 2.800 for Shredder 12 32bit. All other engines are derived from that fixed number.
Calculated with:  Bayesian 0056

The separate columns give the (mean) Elo performance, the + and - margins of error given with 95 % confidence,
the number of finished games, the relative score given in percentages, the average opponent ELO and finally the
relative number of draws for each program.

01. Houdini 1.5 x64              3.004 22 21 1000 83% 2.740 25%
02. Rybka 4 x64 Exp. 42          2.965 21 20 1000 79% 2.741 26%
03. IvanHoe B49jA x64            2.928 19 19 1000 75% 2.743 35%
04. Stockfish 1.9.1 JA x64       2.901 19 19 1000 72% 2.744 35%
05. Critter 0.90 x64             2.871 18 18 1000 68% 2.745 38%
06. Naum 4.2 x64                 2.834 18 18 1000 63% 2.747 39%
07. Komodo 1.2 JA x64            2.806 18 17 1000 59% 2.748 42%
08. Shredder 12 w32              2.800 18 18 1000 58% 2.748 39%
09. Sjeng c't 2010 w32           2.787 18 17 1000 55% 2.749 40%
10. GullChess 1.1 x64            2.781 18 18 1000 55% 2.749 38%
11. Spark 1.0 x64                2.753 17 17 1000 51% 2.750 42%
12. Thinker 5.4d Inert x64       2.737 17 17 1000 48% 2.751 42%
12. Hiarcs 13.1                  2.737 18 18 1000 48% 2.751 37%
14. Zappa Mexico II x64          2.722 18 18 1000 46% 2.751 39%
15. Fruit 09_07_05 x64           2.719 18 18 1000 46% 2.751 36%
16. Junior 12.0 x64              2.715 18 18 1000 45% 2.751 34%
17. Protector 1.3.6-370 JA x64   2.707 18 18 1000 44% 2.752 35%
18. Booot 5.1.0 w32              2.694 18 18 1000 42% 2.752 38%
19. Onno 1.2.70 x64              2.678 18 18 1000 40% 2.753 36%
20. Hannibal 1.0a x64            2.673 18 18 1000 39% 2.753 37%
21. Umko 1.1 x64                 2.636 18 18 1000 34% 2.755 35%
22. Crafty 23.4 JA x64           2.620 18 19 1000 31% 2.755 33%
23. Loop 2007 x64                2.617 18 19 1000 31% 2.755 34%
24. Equinox 0.87t x64            2.616 19 19 1000 31% 2.755 33%
25. Jonny 4.00 w32               2.609 19 19 1000 31% 2.756 26%
26. SmarThink 1.20 x64           2.591 19 19 1000 28% 2.756 31%

Date range            = 2010.05.12 - 2011.01.10
Average White ELO     = 2.750,04
Average Black ELO     = 2.750,04 = Category 21
Maximum ELO distance  = 413
Average ELO distance  = 130.409
Number of White wins  =  4705 (36.2%)
Number of draws       =  4625 (35.6%)
Number of Black wins  =  3670 (28.2%)
White score           = 54.0%
Black score           = 46.0%
ECO A games           =  5400 (41.5%)
ECO B games           =  2197 (16.9%)
ECO C games           =  1767 (13.6%)
ECO D games           =  2764 (21.3%)
ECO E games           =   872 ( 6.7%)

Gruß
Frank

By Frank Quisinsky Date 2011-01-10 16:43

Hallo,

setze ja bekanntlich die Ratinglisten direkt in die Foren.
So muss niemand der sich nicht für meine Aktuell Seite oder den Partien interessiert zu meiner Webseite sprinten.
Was für eine Arbeit, egal ...

Hier dann die SWCR-64 (alle gespielte Partien):

Code:

After 43.600 games, 33 different engines, 64 versions included
ELO are fixed to 2.800 for Shredder 12 32bit. All other engines are derived from that fixed number.
Calculated with:  Bayesian 0056

The separate columns give the (mean) Elo performance, the + and - margins of error given with 95 % confidence,
the number of finished games, the relative score given in percentages, the average opponent ELO and finally the
relative number of draws for each program.

01. Houdini 1.5 x64              3.004 21 21 1040 82% 2.749 26%
02. Rybka 4 x64 Exp. 42          2.968 19 19 1240 80% 2.718 25%
--. Rybka 4 x64 Exp. 61          2.960 21 20 1000 78% 2.742 27%
--. Houdini 1.03a x64            2.947 22 21  920 79% 2.717 29%
--. Rybka 4 x64                  2.938 17 17 1520 80% 2.699 29%
03. IvanHoe B49jA x64            2.932 19 18 1160 76% 2.738 34%
--. IvanHoe B52aC x64            2.921 21 21  880 77% 2.726 34%
04. Stockfish 1.9.1 JA x64       2.905 18 17 1280 73% 2.727 33%
--. Stockfish 1.8.0 JA x64       2.905 18 18 1200 75% 2.714 33%
--. Rybka 3 x64                  2.904 23 22  840 78% 2.686 28%
--. Fire 1.31 x64                2.900 20 20  920 75% 2.719 36%
--. Stockfish 1.7.1 JA x64       2.895 19 18 1120 76% 2.705 34%
05. Critter 0.90 x64             2.871 17 17 1200 68% 2.740 37%
06. Naum 4.2 x64                 2.834 12 12 2520 66% 2.714 35%
--. Critter 0.80 x64             2.830 15 15 1680 67% 2.700 33%
--. Critter 0.70 x64             2.806 20 20  880 65% 2.700 38%
07. Komodo 1.2 JA x64            2.804 12 12 2280 62% 2.712 39%
08. Shredder 12 w32              2.800 12 12 2480 61% 2.714 35%
--. Komodo 1.0 JA x64            2.789 20 20  840 64% 2.691 40%
09. Sjeng c't 2010 w32           2.786 16 16 1280 57% 2.731 37%
--. Shredder 12 x64              2.786 15 15 1600 63% 2.689 34%
10. GullChess 1.1 x64            2.786 17 17 1160 56% 2.742 37%
--. GullChess 1.0a x64           2.771 15 15 1480 58% 2.710 37%
11. Spark 1.0 x64                2.755 17 17 1120 52% 2.744 41%
--. Spark 0.5 x64                2.738 13 13 2120 55% 2.703 36%
12. Hiarcs 13.1 w32              2.737 14 14 1720 51% 2.731 36%
12. Thinker 5.4d Inert x64       2.737 12 12 2520 53% 2.716 38%
14. Zappa Mexico II x64          2.722 12 12 2520 51% 2.716 39%
15. Junior 12.0 x64              2.716 16 17 1280 47% 2.733 33%
--. Spark 0.4 x64                2.716 19 19  840 53% 2.695 40%
16. Protector 1.3.4 JA x64       2.710 14 14 1720 50% 2.710 37%
17. Fruit 09_07_05 x64           2.708 12 12 2520 49% 2.716 33%
--. Protector 1.3.6-370 JA x64   2.704 17 17 1280 46% 2.734 33%
--. Critter 0.60 x64             2.699 20 20  840 50% 2.696 38%
18. Booot 5.1.0 w32              2.693 18 18 1080 42% 2.753 37%
--. Sjeng WC-2008 x64            2.686 14 14 1760 47% 2.710 36%
--. Protector 1.3.5 x64          2.683 20 20  840 47% 2.705 39%
19. Hannibal 1.0a x64            2.681 13 14 1960 44% 2.726 35%
--. Junior 11.2 x64              2.680 15 15 1520 47% 2.705 30%
20. Onno 1.2.70 x64              2.677 13 13 2280 45% 2.714 36%
--. Onno 1.1.1 x64               2.669 19 19  840 46% 2.697 40%
--. Junior 11.1a x64             2.646 20 20  840 43% 2.698 32%
21. Umko 1.1 x64                 2.632 17 17 1240 34% 2.751 34%
22. Loop M1-T x64                2.627 19 19  960 36% 2.733 36%
--. Loop 2007 x64                2.620 12 12 2320 37% 2.718 34%
23. Crafty 23.4 JA x64           2.619 17 17 1280 34% 2.736 31%
24. Equinox 0.87t x64            2.612 17 17 1280 33% 2.736 31%
--. Twisted Logic 20100131x x64  2.610 18 18 1120 35% 2.715 32%
25. Jonny 4.00 w32               2.609 17 17 1280 33% 2.737 27%
--. Umko 1.0 x64                 2.609 17 17 1200 34% 2.723 37% (ponder not possible)
--. Equinox 0.83 x64             2.599 18 18 1160 32% 2.732 32%
26. SmarThink 1.20 x64           2.598 12 12 2520 34% 2.718 32%
--. Crafty 23.3 JA x64           2.597 17 18 1200 33% 2.724 34%
--. Cipollino 3.25 x64           2.566 20 20  960 28% 2.736 30%
27. BugChess2 1.7 x64            2.558 18 18 1200 27% 2.730 30%
--. Crafty 23.2 JA x64           2.553 18 19 1120 28% 2.717 30%
28. Scorpio 2.6 JA x64           2.553 18 18 1200 27% 2.726 31%
29. Chronos 1.99 x64             2.550 18 18 1120 27% 2.717 33% (ponder not possible)
--. Crafty 23.3 JA x64 NP        2.547 20 20  960 25% 2.737 30% (test without ponder)
30. Tornado 4.25 x64             2.539 19 20 1080 27% 2.715 25%
31. Daydreamer 1.75 JA x64       2.520 19 19 1120 24% 2.718 30%
--. Tornado 3.6.7 x64            2.478 23 24  840 19% 2.725 24%
32. Zarkov 6.44 w32              2.472 22 22  960 21% 2.711 24%
33. Gaviota 0.80 x64             2.357 26 27  960 11% 2.716 15%

Date range            = 2010.05.12 - 2011.01.10
Average White ELO     = 2.719,00
Average Black ELO     = 2.719,00
Maximum ELO distance  = 611
Average ELO distance  = 151.245
Number of White wins  = 16195 (37.2%)
Number of draws       = 14620 (33.5%)
Number of Black wins  = 12785 (29.3%)
White score           = 53.9%
Black score           = 46.1%
ECO A games           = 17100 (39.2%)
ECO B games           =  7923 (18.2%)
ECO C games           =  5636 (12.9%)
ECO D games           =  9273 (21.3%)
ECO E games           =  3668 ( 8.4%)

Gruß
Frank

By Frank Quisinsky Date 2011-01-10 16:46 Edited 2011-01-10 16:51

Hallo zusammen,

und wer sich für die Rybka 4 Exp. Settings interessiert.
Hier dann der Vergleich zwischen Exp. 42 und Exp. 61:

Es fällt auf das die Remis-Quote bei dem Exp. 42 niedriger ist. Demnach bewertet Bayesian das Setting 42 höher als das Setting 61. In den Downloads findet sich auch die ELOstat Berechnung. Nach der ELOstat Berechnung liegt das Setting 61 sehr knapp vorne. Soweit mal wieder zum Problem mit der Vergleichbarkeit zwischen den Berechnungsprogrammen ELOstat und Bayesian.

Code:

2 Rybka 4 x64 Exp. 61       : 2968  1000 (+647,=267,- 86), 78.0 %

Zappa Mexico II x64           :  40 (+ 25,= 13,-  2), 78.8 %
Naum 4.2 x64                  :  40 (+ 20,= 13,-  7), 66.2 %
Loop 2007 x64                 :  40 (+ 35,=  5,-  0), 93.8 %
SmarThink 1.20 x64            :  40 (+ 32,=  8,-  0), 90.0 %
Thinker 5.4d Inert x64        :  40 (+ 29,= 11,-  0), 86.2 %
Komodo 1.2 JA x64             :  40 (+ 15,= 21,-  4), 63.7 %
Fruit 09_07_05 x64            :  40 (+ 30,=  8,-  2), 85.0 %
Onno 1.2.70 x64               :  40 (+ 32,=  8,-  0), 90.0 %
Shredder 12                   :  40 (+ 22,= 14,-  4), 72.5 %
Hannibal 1.0a x64             :  40 (+ 28,=  7,-  5), 78.8 %
Hiarcs 13.1                   :  40 (+ 28,= 10,-  2), 82.5 %
Jonny 4.00                    :  40 (+ 34,=  6,-  0), 92.5 %
Protector 1.3.6-370 JA x64    :  40 (+ 31,=  5,-  4), 83.8 %
Junior 12.0 x64               :  40 (+ 29,= 10,-  1), 85.0 %
Equinox 0.87t x64             :  40 (+ 35,=  5,-  0), 93.8 %
Stockfish 1.9.1 JA x64        :  40 (+  9,= 18,- 13), 45.0 %
Sjeng c't 2010                :  40 (+ 26,= 10,-  4), 77.5 %
Crafty 23.4 JA x64            :  40 (+ 34,=  6,-  0), 92.5 %
Umko 1.1 x64                  :  40 (+ 32,=  7,-  1), 88.8 %
Critter 0.90 x64              :  40 (+ 20,= 13,-  7), 66.2 %
GullChess 1.1 x64             :  40 (+ 25,= 12,-  3), 77.5 %
IvanHoe B49jA x64             :  40 (+ 11,= 20,-  9), 52.5 %
Spark 1.0 x64                 :  40 (+ 23,= 13,-  4), 73.8 %
Booot 5.1.0                   :  40 (+ 32,=  8,-  0), 90.0 %
Houdini 1.5 x64               :  40 (+ 10,= 16,- 14), 45.0 %

Code:

3 Rybka 4 x64 Exp. 42       : 2967  1240 (+841,=308,- 91), 80.2 %

Zappa Mexico II x64           :  40 (+ 25,= 15,-  0), 81.2 %
Naum 4.2 x64                  :  40 (+ 22,= 14,-  4), 72.5 %
Loop 2007 x64                 :  40 (+ 34,=  3,-  3), 88.8 %
SmarThink 1.20 x64            :  40 (+ 36,=  2,-  2), 92.5 %
Thinker 5.4d Inert x64        :  40 (+ 25,= 11,-  4), 76.2 %
Komodo 1.2 JA x64             :  40 (+ 22,= 11,-  7), 68.8 %
Fruit 09_07_05 x64            :  40 (+ 25,= 13,-  2), 78.8 %
Onno 1.2.70 x64               :  40 (+ 34,=  5,-  1), 91.2 %
Spark 0.5 x64                 :  40 (+ 27,= 11,-  2), 81.2 %
Shredder 12                   :  40 (+ 23,= 14,-  3), 75.0 %
Hannibal 1.0a x64             :  40 (+ 28,= 12,-  0), 85.0 %
Critter 0.80 x64              :  40 (+ 23,= 15,-  2), 76.2 %
GullChess 1.0a x64            :  40 (+ 23,= 15,-  2), 76.2 %
Hiarcs 13.1                   :  40 (+ 30,=  8,-  2), 85.0 %
Jonny 4.00                    :  40 (+ 36,=  4,-  0), 95.0 %
Protector 1.3.6-370 JA x64    :  40 (+ 32,=  7,-  1), 88.8 %
Junior 12.0 x64               :  40 (+ 27,=  8,-  5), 77.5 %
Gaviota 0.80 x64              :  40 (+ 39,=  0,-  1), 97.5 %
Equinox 0.87t x64             :  40 (+ 34,=  5,-  1), 91.2 %
Stockfish 1.9.1 JA x64        :  40 (+ 18,= 15,-  7), 63.7 %
Sjeng c't 2010                :  40 (+ 27,= 12,-  1), 82.5 %
Crafty 23.4 JA x64            :  40 (+ 27,= 12,-  1), 82.5 %
Zarkov 6.44                   :  40 (+ 39,=  1,-  0), 98.8 %
Tornado 4.25 x64              :  40 (+ 36,=  4,-  0), 95.0 %
Umko 1.1 x64                  :  40 (+ 35,=  5,-  0), 93.8 %
Critter 0.90 x64              :  40 (+ 16,= 16,-  8), 60.0 %
GullChess 1.1 x64             :  40 (+ 28,=  9,-  3), 81.2 %
IvanHoe B49jA x64             :  40 (+ 12,= 19,-  9), 53.8 %
Spark 1.0 x64                 :  40 (+ 24,= 14,-  2), 77.5 %
Booot 5.1.0                   :  40 (+ 30,=  8,-  2), 85.0 %
Houdini 1.5 x64               :  40 (+  4,= 20,- 16), 35.0 %

Gruß
Frank

By Frank Quisinsky Date 2011-01-10 18:34

Hallo,

abschließend noch der 32bit / 64bit Vergleich:
Zumindest was ich bislang vergleichen kann ...

Code:

Abgeleitet aus der SWCR aller 32bit und 64bit Partien entsteht die folgende Liste:
Eine neue 64bit Zuwachsberechnung geht mit Stockfish 1.9.1 JA in diese Liste ein.

Dieser Wert ist ganz interessant. Stockfish 1.9.1 JA w32 verbesserte sich aufgrund einer deutlich besseren 32bit Umsetzung zur Vorgängerversion Stockfish 1.8.0 JA x32 um 31 ELO. Hingegen Stockfish 1.9.1 JA x64 sich zu der Vorgängerversion Stockfish 1.8.0 JA x64 nur um 1 ELO verbesserte.

01. Komodo 1.0 JA x64 zu Komodo 1.0 JA w32                      75 ELO Unterschied
02. Zappa Mexico II x64 zu Zappa Mexico II w32                  63 ELO Unterschied
03. Komodo 1.2 JA x64 zu Komodo 1.2 JA w32                      47 ELO Unterschied
03. Rybka 4 x64 zu Rybka 4 w32                                  47 ELO Unterschied
05. Rybka 3 x64 zu Rybka 3 w32                                  46 ELO Unterschied
06. Hannibal 1.0a x64 zu Hannibal 1.0a w32                      45 ELO Unterschied
07. Onno 1.2.70 x64 zu Onno 1.2.70 w32                          44 ELO Unterschied
08. Stockfish 1.8.0 JA x64 zu Stockfish 1.8.0 JA w32            43 ELO Unterschied
09. Onno 1.1.1 x64 zu Onno 1.1.1 w32                            41 ELO Unterschied
10. Twisted Logic 20100131x x64 zu Twisted Logic 20100131x w32  38 ELO Unterschied
11. Crafty 23.3 JA x64 zu Crafty 23.3 JA w32                    33 ELO Unterschied
11. Protector 1.3.4 JA x64 zu Protector 1.3.4 JA w32            33 ELO Unterschied
13. Spark 0.4 x64 zu Spark 0.4 w32                              32 ELO Unterschied
13. Spark 0.5 x64 zu Spark 0.5 w32                              32 ELO Unterschied
15. Critter 0.70 x64 zu Critter 0.70 w32                        30 ELO Unterschied
16. Thinker 5.4d Inert x64 zu Thinker 5.4d Inert w32            28 ELO Unterschied
17. GullChess 1.0a x64 zu GullChess 1.0a w32                    26 ELO Unterschied
18. Stockfish 1.7.1 JA x64 zu Stockfish 1.7.1 JA w32            23 ELO Unterschied
19. Sjeng WC-2008 x64 zu Sjeng WC-2008 w32                      22 ELO Unterschied
20. Equinox 0.83 x64 zu Equinox 0.83 w32                        21 ELO Unterschied
21. Critter 0.80 x64 zu Critter 0.80 w32                        17 ELO Unterschied
22. Stockfish 1.9.1 JA x64 zu Stockfish 1.9.1 JA w32            13 ELO Unterschied NEU
22. Loop 2007 x64 zu Loop 2007 w32                              13 ELO Unterschied
22. Critter 0.60 x64 zu Critter 0.60 w32                        13 ELO Unterschied
25. Naum 4.2 x64 zu Naum 4.2 w32                                12 ELO Unterschied
26. SmarThink 1.20 x64 zu SmarThink 1.20 w32                     5 ELO Unterschied
27. Junior 11.1a x64 zu Junior 11.1a w32                         3 ELO Unterschied
28. Junior 11.2 x64 zu Junior 11.2 w32                         - 4 ELO Unterschied
29. Shredder 12 x64 zu Shredder 12 w32                         -13 ELO Unterschied

Die SWCR Webseiten sind nun komplett upgedatet.
Weiterhin viel Spaß mit meiner Ratingliste!

Gruß
Frank

By Ernest Bonnem Date 2011-01-11 01:18

[quote="Frank Quisinsky"]abschließend noch der 32bit / 64bit Vergleich[/quote]
Hallo Frank,

Man kann eine gute Messung für den Vergleich haben, wenn man infinite analysis (start_position*) mit den 32bit und 64bit Versionen vergleicht, single-core für Reproduzierbarkeit (mit selben Hash sind dann, für die meisten Engines, die PV die selben, nur die Zeit ist nicht die selbe)
z.B. finde ich:
Naum 4.2 +14% +12 Elo
Shredder -1% -1 Elo
Rybka +70% +50 Elo

... ganz in der Nähe von SWCR, CEGT, CCRL

*start_position und vielleicht auch ein Paar andere Stellungen (mit End-Stellungen kann der Ratio anders sein...)

By Frank Quisinsky Date 2011-01-12 10:18

Hallo Ernest,

genau!
Die Frage ist überhaupt ob die SWCR-32 weiter geführt werden sollte oder die ganze Kraft auf die SWCR-64 gelegt werden sollte. Ich denke weiterführen, vielleicht noch ein Jahr. Immerhin wurde ja erst aufgrund dieser beiden Listen ein direkter Vergleich möglich. Auch die CEGT hat sehr viele Vergleichswerte in der Liste. Und so langsam erst haben mehr und mehr Schachspieler auch ein x64 System. Sicherlich durch Neukäufe und Windows 7 bedingt.

z. B.:
Es wäre sonst gar nicht richtig aufgefallen, dass sich Stockfish 1.9.1 JA w32 deutlich zu der Vorgängerversion verbesserte, denn bei x64 sind die Versionen gleich stark. Auch eine Aufgabe einer Ratingliste solche Dinge festzustellen und insofern werde ich die SWCR-32 noch weiterspielen lassen. Persönlich ist mir die SWCR-32 auch wichtiger als die SWCR-64. Auch gibt es die SWCR-64 noch nicht so lange und so spielte ich mit Hochdruck bevorzugt an der SWCR-64. Mittlerweile hat die SWCR-64 mehr Partien als die SWCR-32

Dennoch, es ist lt. meinen Statistiken der Webseite immer noch absolut klar.
Mehr Personen interessieren sich für die SWCR-32. In den reinen Computerschachforen mag das anders ausschauen.

Viele Grüße
Frank

By Sabine Freund Date 2011-01-12 22:15

Schachfreund Frank,
an Windows 7 kann dies nicht liegen, dies gibt es nach wie vor 32-, als auch 64-Bit.
Mit Gruß Sabine

By Frank Quisinsky Date 2011-01-12 23:04

Hallo Sabine,

doch, doch !
Erst durch Windows 7 wurden die 64bit Varianten auch mit dem Neukauf einen PCs / Notebook zur Verfügung gestellt.
Das war bei Vista nicht bzw. nur sehr selten der Fall (hatte nur 1x ein Spiele-Notebook mit einem Vista Ultimate x64 eingekauft, war lange in dem Bereich selbst aktiv). Überwiegend wird heute W7 x64 verkauft und liegt auch beim Neukauf dabei.
Windows XP Professional x64 Edition oder Windows 2003 waren eher die Sonderversionen die weniger bei der "gemeinen" Bevölkerung im Einsatz waren.

Gruß
Frank

By Benno Hartwig Date 2011-01-12 21:58

Sicher eine sehr schöne, umfangreiche Liste.
Und ganz schön viele Partien, die echte Abschätzungen erlauben.
Und sehr gut präsentiert.

Und die Erfolge von R4-Exp42 und R4-Exp61 sind erstaunlich.
Gibt es eigentlich auch Test von anderen mit diesen Settings?
Werden diese Erfolge dort bestätigt, oder gibt es auch gegenteilige Beobachtungen?
(Diese Liste hat jeweils gut 1000 Partien mit diesen Engines. Das ist viel. Trotzdem interessieren mich andere Erfahrungen!)
Bei meinen kleinen Tests (148 Partien) schnitt R4-Exp42 halt etwas schlechter ab als die Original R4 (1core, 1m+1s, Vorgabestellungen mit Wiederholungen). Zugegeben: nur ein kleines Mosaiksteinchen.

Benno

By Klaus S. Date 2011-01-12 22:16

Hallo Benno,

Ingo Bauer hat hier einen Test mit Exp61V2 gemacht:
http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=35286#pid35286

Gruß
Wilfried

By Frank Quisinsky Date 2011-01-12 23:00

Hallo Benno, Wilfried,

also wenn ich jetzt mal sammle.

CEGT Blitz: +-0 (wenn ich den Beitrag von Wolfgang richtig verstehe, habe noch nicht nachgeschaut ... mich interessiert eher CEGT 40/20)
Ingo Ipon Blitz: +10 (ca. doppelte Bedenkzeit zu CEGT Blitz aber immer noch Blitz)
CEGT 40/20: +21 (deutlich mehr Zeit als IPON, ca. 30% mehr Zeit)
SWCR: +21 beim Setting 61 (bessere Ergebnisse beim Setting 42 was aber niemand testet) ... CEGT 40/20 wäre ca. 40/8 bei SWCR
Und die Liste von Sedat der mit höheren Bedenkzeiten (Einstiegsrating war +40)

Schreibe das mit den Zeiten der Listen bewusst hinzu denn was fällt nun sofort auf?
Aha, mit mehr Zeit geht es immer deutlicher nach oben!

So schön kann das sein in die anderen Listen zu schauen!

Von daher auch klar, dass ich das Exp. 42 bei 40 Züge in 150 Minuten nehmen MUSS!

Gruß
Frank

By Ingo Bauer Date 2011-01-12 23:30 Edited 2011-01-12 23:35

Hallo Frank, nur weil du mich hier erwähnst:

[quote="Frank Quisinsky"]

CEGT Blitz: +-0 (wenn ich den Beitrag von Wolfgang richtig verstehe, habe noch nicht nachgeschaut ... mich interessiert eher CEGT 40/20)
Ingo Ipon Blitz: +10 (ca. doppelte Bedenkzeit zu CEGT Blitz aber immer noch Blitz)
CEGT 40/20: +21 (deutlich mehr Zeit als IPON, ca. 30% mehr Zeit)
SWCR: +21 beim Setting 61 (bessere Ergebnisse beim Setting 42 was aber niemand testet) ... CEGT 40/20 wäre ca. 40/8 bei SWCR
Und die Liste von Sedat der mit höheren Bedenkzeiten (Einstiegsrating war +40)
...
Schreibe das mit den Zeiten der Listen bewusst hinzu denn was fällt nun sofort auf?
Aha, mit mehr Zeit geht es immer deutlicher nach oben!

So schön kann das sein in die anderen Listen zu schauen!

Von daher auch klar, dass ich das Exp. 42 bei 40 Züge in 150 Minuten nehmen MUSS!
...
[/quote]

Ja, so schön kann es sein. Ich vervollständige mal:

Mindbreaker, der Erfinder spielt: [TimeControl "70/60:70/60:0+1"] (Also 70 züge in 1 Minute gefolgt von 70 Zügen in einer Minute + 1Sekunde pro Zug + Buch. Das ist definitiv die kürzestte Zeitkontrolle. Alle folgenden Listen haben kleinere Sprünge!
Weiterhin habe ich zwar + 10 Nach Bayes, aber auch deutlich erklärt, das ich 0 ELo im direkten Vergleich bei gleiche Gegnern und Eröffnungen habe. Also genau das was du dir immer wünscht. Dann hast du deine und CEGT 40/20 in der falschen Reihenfolge was die ungefähre Bedenkzeit betrifft, wobei ihr euch da nicht viel gebt, sagen wir es ist rund gleich.

Wenn man schon so eine Liste der "Ranglistennachspiellänge" macht, auch wenn ich sie unsinig finde, dann so:

Mindbreaker +64 (ungleiche Gegner(?) und Eröffnungen(!) / 4 Cores)
CEGT 40/4 +0 (die Zahl habe ich von dir, ich schaue da praktisch nur wenn ich eine Engine zum testen suche, ansonsten ungleiche Gegner, 1Core)
IPON +0 (1Core)
SWCR +21 (Wie viele gleiche Gegner zw. 42/61 und R4 default hast du? 1 Core)
CEGT 40/20 +21 (Auch hier keine gleichen Gegner, 1 Core)
Änderung: Sedat +40 (fast vergessen, kenne ich aber fast gar nicht ...)

Wenn man es neutral betrachtet und glaubt was wir so zusammentesten ist es also eher ein riesen Sprung, fällt auf 0 und dann auf sehr moderate +21. (die bei beiden +21 Listen mit mehr Spielen fallen)

Ich bestehe sonst nicht so auf gleichen Gegnern aber in diesem Fall ist es auffällig, das ich nach 1900 Spielen +10 nach Bayes habe, in Wirklichkeit aber NICHTS davon übrig bleibt. Eigentlch finde ich das entäuschend von Bayeselo ...

Bye
Ingo

By Frank Quisinsky Date 2011-01-13 00:41

Hallo Ingo,

wie gesagt, da ist etwas dran ...
Exp. 42 / Exp. 61 hatten nicht die gleichen Gegner in der SWCR wie Rybka 4 Default.
Dazu hatte ich schon auf Benno hinreichend geantwortet.

Vergleichen wir unsere Listen so liegt bei Dir Rybka 4 default auch ca. 12 ELO besser als bei mir.

Ich denke wir können aber nach den vorliegenden Ergebnissen schon sagen, dass die Setting mit mehr Zeit an Power gewinnen. Nun ja, vielleicht doch nicht denn meines Erachtens verliert Rybka 4 default mit mehr Zeit minimal an Power (ist ersichtlich wenn wir Rybka 4 default in den Listen vergleichen). Das macht die ganze Sache unnötig kompliziert hinsichtlich genauer Aussage.

Nun habe ich ja zwei Rybka Exp. Settings getestet. Also meine Ergebnisse sind absolut klar und eindeutig. Einzig der bessere Vergleich zu Rybka 4 fehlt. Kann ich derzeit auch nicht spielen lassen weil die SWCR Champions-League 2011 läuft.

Und zu dem Tester im Rybka Forum.
Also was der dort ermittelt ist mir schleierhaft. Auch viele seiner Aussagen zu den Settings sind mir nicht geheuer. Auch Aussagen zu ELO-Entwicklungen sind weit weg von eigenen Erfahrungen. Das kommt heit auch dabei heraus wenn gleiche Engines gegeneinander spielen. Aussagekraft = 0 ... egal wie viele Partien gespielt werden.

Was aber durchaus gut bei seinem Testverfahren ist, ist die Ermittlung ob die Settings etwas bringen. Nur fallen dann letztendlich die Ergebnisse im harten Ratinglistenkampf entsprechend anders aus.

Uns fällt das natürlich sehr schnell auf.

Viele Grüße
Frank