Neue CEGT 40/20 und Ranglistenvergleich

By Ingo Bauer Date 2013-09-01 17:58

Hallo
Hier mal ein Bsp warum Ranglistenvergleich so schwierig ist und man peinlichst darauf achten muß was man vergleicht, oder warum jede Rangliste wahr ist und die jeweils anderen lügen:

Heute (1.9.2013) hat die CEGT ihre neuen Ranglisten veröffentlicht: http://www.talkchess.com/forum/viewtopic.php?topic_view=threads&p=532641&t=49198

Ein Auszug aus dem Posting: 18 Stockfish 4.0 x64 1CPU: 3032 - 1700 games (+66 to v. 3.0)

Nun habe ich mich gefragt warum zum T.. kommen die auf 66 ELo und ich nur auf 38. Das wäre ja ein Unterschied der größer ist als die jeweilige Errorbar. Also habe ich mir die neue CEGT Datenbank herruntergeladen und selber losgelegt.

Zuerst nahm ich mir die Freiheit alle Engines mit weniger als 700 Spielen zu löschen. Ich bin der Meinung das diese einfach nicht genug mit dem Rest der Liste verbunden sind (Wer will darf untenstehendes Experiment gerne mit allen Spielen wiederholen). (Falls jemand an einer derart bereinigten CEGT Datenbank interessiert ist: https://mega.co.nz/#!E9UHTZxL!fxHOr0AXf1tkR9IACFfApXtKJNojvADKTkgrog_JC40)

Diese habe ich auf die selbe Art und Weise wie die IPON durch Bayeselo gejagt:
Am Ende die komplette Liste, aber hier nur der Stockfish 3/4 Auszug:


  21 Stockfish 4.0 x64 1CPU         3004   19   19   722   55%  2971   50% 
... 
  35 Stockfish 3.0 x64 1CPU         2974   15   15  1096   51%  2965   55%

Von den 66 Elo sind nur noch 30 Elo übrig. Tatsächlich ist der Anstieg in der CEGT sogar kleiner als in der IPON.

Wer will darf unten auch mal Junior 13.3 mit der IPON vergleichen.

Was mir noch auffällt ist, das H3 1CPU deutlich schlechter abschneidet als in der IPON. Warum? Ich nehme an weil der gute H3 gegen Mehrkern Engines häufiger verliert weil ihn sein Contempt da in die Irre führt. Also 1 Kern H3 CEGT mit 1 Kern H3 IPON vergleichen geht nicht oder man muß die Sache jenseits der Errorbars sehr relaxt sehen. Ich werde aus Jux und Dollerei mal die CEGT Datenbank um die 2,4 und 6 Kern Spiele erleichtern (alles unter 700 drin lassen, sonst habe ich nicht mehr viel zum analysieren) und nochmal durch Bayes jagen. Mal sehen was dabei rauskommt.

Hier die Komplettliste:

Rank Name                            Elo    +    - games score oppo. draws 
   1 Houdini 3 x64 4CPU             3153   10   10  3146   78%  2933   33% 
   2 Houdini 2.0c x64 4CPU          3097   12   12  2475   77%  2872   31% 
   3 Houdini 1.5a x64 4CPU          3086   11   11  2839   72%  2920   37% 
   4 Stockfish 3.0 x64 4CPU         3070   13   12  1842   67%  2945   43% 
   5 Critter 1.6 x64 4CPU           3058   16   16   973   57%  3009   58% 
   6 Equinox 1.90 x64 4CPU          3057   14   14  1475   66%  2943   47% 
   7 Deep Rybka 4.1 x64 4CPU        3054   14   14  1349   59%  2988   47% 
   8 Equinox 1.70 x64 4CPU          3053   12   12  2063   70%  2906   44% 
   9 Houdini 3 x64 1CPU             3052   12   12  1800   65%  2943   43% 
  10 Houdini 1.5a x64 2CPU          3050   16   16  1013   65%  2941   45% 
  11 Stockfish 2.3 x64 4CPU         3049   17   16   898   56%  3011   55% 
  12 Critter 1.2 x64 4CPU           3046    9    9  3784   73%  2868   38% 
  13 Critter 1.4 x64 4CPU           3045   16   16   947   57%  2998   51% 
  14 Stockfish 2.2.2 x64 4CPU       3035   19   19   700   59%  2974   52% 
  15 Deep Rybka 4 x64 4CPU          3030    9    9  4049   74%  2843   35% 
  16 Komodo 5.1r2 x64 1CPU          3022   19   19   700   56%  2983   52% 
  17 Stockfish 2.1.1 x64 4CPU       3021   16   16   993   59%  2957   46% 
  18 Komodo CCT x64                 3017   15   15  1100   61%  2942   47% 
  19 Critter 1.2 x64 2CPU           3017   16   16  1039   64%  2916   48% 
  20 Houdini 1.5a x64 1CPU          3007   11   11  2240   66%  2891   39% 
  21 Stockfish 4.0 x64 1CPU         3004   19   19   722   55%  2971   50% 
  22 Houdini 2.0c x64 1CPU          3004   14   13  1511   62%  2916   43% 
  23 Deep Rybka 4 x64 2CPU          3002   11   11  2209   59%  2935   48% 
  24 Komodo 5.0 x64 1CPU            2998   12   12  1844   59%  2938   47% 
  25 Stockfish 2.0.1 x64 4CPU       2997    9    9  4667   73%  2814   36% 
  26 Deep Rybka 4.1 x64 2CPU        2996   18   18   758   54%  2969   54% 
  27 Stockfish 2.2.1 x64 2CPU       2989   18   18   860   60%  2916   39% 
  28 Stockfish 1.9.1 x64 4CPU       2986   10   10  3425   71%  2820   36% 
  29 Critter 1.6 x64 1CPU           2985   12   12  1951   56%  2944   51% 
  30 Equinox 1.65 x64 4CPU          2985   11   11  2147   58%  2925   50% 
  31 Equinox 1.50 x64 4CPU          2984   12   12  2020   57%  2936   46% 
  32 Stockfish 1.8 x64 4CPU         2983   11   11  2610   67%  2850   39% 
  33 Rybka 3 x64 4CPU               2982    8    8  5009   63%  2884   41% 
  34 Komodo 4.0 x64 1CPU            2975   12   12  1870   55%  2941   46% 
  35 Stockfish 3.0 x64 1CPU         2974   15   15  1096   51%  2965   55% 
  36 Stockfish 2.1.1 x64 2CPU       2972   18   18   830   57%  2925   48% 
  37 Houdini 1.5a w32 1CPU          2972   12   12  1781   59%  2908   42% 
  38 Critter 1.4 x64 1CPU           2971   14   14  1327   59%  2909   49% 
  39 Critter 1.2 x64 1CPU           2970   15   15  1226   59%  2907   47% 
  40 Equinox 1.90 x64 1CPU          2970   14   14  1199   50%  2968   56% 
  41 Critter 1.0 x64 4CPU           2969   14   14  1302   55%  2932   49% 
  42 Stockfish 2.0.1 x64 2CPU       2966   16   16  1016   59%  2904   43% 
  43 Stockfish 2.2.2 x64 1CPU       2965   16   16   971   59%  2899   49% 
  44 Stockfish 1.7.1 x64 4CPU       2965   11   11  2482   66%  2845   41% 
  45 Stockfish 1.9.1 x64 2CPU       2965   18   18   758   57%  2921   49% 
  46 Critter 0.90 x64 4CPU          2962   12   12  1972   60%  2887   44% 
  47 Stockfish 3.0 w32 1CPU         2954   19   19   750   61%  2876   49% 
  48 Critter 1.4 w32 1CPU           2954   16   15  1063   59%  2894   51% 
  49 Deep Rybka 4 Exp.61 x64 1CPU   2953   13   13  1590   55%  2912   40% 
  50 Komodo 3.0 x64                 2953   12   12  1811   53%  2929   46% 
  51 Equinox 1.70 x64 1CPU          2953   15   15  1139   54%  2928   55% 
  52 Deep Rybka 4.1 x64 1CPU        2951   11   10  2436   54%  2921   47% 
  53 Equinox 1.40 x64 4CPU          2950   17   17   874   48%  2964   44% 
  54 Stockfish 2.3.1 x64 1CPU       2950   15   14  1215   53%  2931   51% 
  55 Rybka 3 x64 2CPU               2949    9    9  3847   69%  2809   38% 
  56 Critter 1.2 w32 1CPU           2945   17   17   901   65%  2838   42% 
  57 Critter 1.0 x64 2CPU           2944   17   17   912   53%  2923   48% 
  58 Gull II x64 1CPU               2941   14   14  1242   53%  2922   52% 
  59 Stockfish 2.2.2 w32 1CPU       2939   16   16  1050   60%  2871   46% 
  60 Stockfish 2.3 x64 1CPU         2938   17   17   896   53%  2921   50% 
  61 Critter 0.90 x64 2CPU          2938   16   16   994   57%  2885   46% 
  62 Equinox 1.65 x64 1CPU          2937   15   14  1239   59%  2873   50% 
  63 Naum 4.2 x64 4CPU              2936    8    8  4351   47%  2955   47% 
  64 Stockfish 1.8 x64 2CPU         2933   17   17   862   57%  2887   46% 
  65 Deep Rybka 4 x64 1CPU          2933   15   15  1174   60%  2862   48% 
  66 Deep Hiarcs 14 4CPU            2928   16   16  1001   48%  2943   48% 
  67 Stockfish 2.1.1 x64 1CPU       2928   13   14  1426   55%  2894   47% 
  68 Komodo 2.03 x64                2925   13   13  1609   53%  2904   44% 
  69 Equinox 1.35 x64 4CPU          2925   11   11  2404   55%  2892   44% 
  70 Gull II beta2 x64 1CPU         2924   16   16   968   48%  2935   56% 
  71 Stockfish 2.0.1 x64 1CPU       2923   15   15  1116   56%  2884   49% 
  72 Stockfish 1.7.1 x64 2CPU       2923   16   16   990   62%  2842   47% 
  73 Chiron 1.1 x64 4CPU            2923   17   17   953   48%  2934   46% 
  74 Stockfish 1.6 x64 4CPU         2919   10   10  2725   66%  2806   41% 
  75 Stockfish 2.0.1 w32 1CPU       2918   17   17   906   59%  2854   43% 
  76 Komodo 2.01 x64                2916   16   16  1089   50%  2913   45% 
  77 Deep Rybka 4 w32 1CPU          2908   11   11  2308   50%  2911   47% 
  78 Deep Fritz 13 4CPU             2907   18   18   748   47%  2925   51% 
  79 Rybka 3 x64 1CPU               2905   11   11  2519   61%  2827   43% 
  80 Stockfish 1.9.1 x64 1CPU       2902   14   14  1351   56%  2864   46% 
  81 Critter 1.0 x64 1CPU           2899   13   13  1439   54%  2875   50% 
  82 Equinox 1.60 x64 1CPU          2898   16   16  1034   51%  2890   50% 
  83 Critter 0.80 x64 4CPU          2898   15   15  1089   48%  2909   51% 
  84 Equinox 1.50 x64 1CPU          2897   18   18   750   50%  2894   49% 
  85 Critter 1.0 w32 1CPU           2897   19   19   751   60%  2822   43% 
  86 Stockfish 1.8 x64 1CPU         2896   16   15  1098   62%  2812   45% 
  87 Komodo 3.0 w32                 2896   17   17   950   53%  2875   42% 
  88 Naum 4.2 x64 2CPU              2895    9    9  3167   45%  2931   46% 
  89 Naum 4 x64 4CPU                2895   11   11  2180   51%  2886   47% 
  90 Stockfish 1.7.1 x64 1CPU       2881   16   16  1073   58%  2825   46% 
  91 Critter 0.90 x64 1CPU          2881   15   15  1100   52%  2864   46% 
  92 Deep Junior 13 x64 4CPU        2879   12   12  1858   51%  2873   41% 
  93 Hannibal 1.3 x64 4CPU          2877   12   12  2057   46%  2906   42% 
  94 Komodo 2.03 w32                2877   18   19   810   58%  2820   36% 
  95 Stockfish 1.8 w32 1CPU         2876   19   19   712   57%  2827   45% 
  96 Rybka 2.3.2a x64 4CPU          2875    8    8  4210   53%  2850   44% 
  97 Deep Shredder 12 x64 4CPU      2869    8    8  4785   50%  2867   43% 
  98 Naum 4 x64 2CPU                2868   18   18   858   59%  2801   45% 
  99 Stockfish 1.6 x64 2CPU         2865   16   15  1105   55%  2829   45% 
 100 Protector 1.4.0 x64 4CPU       2863   17   17   908   46%  2887   42% 
 101 Critter 0.70 x64 4CPU          2860   19   19   706   47%  2881   49% 
 102 Deep Fritz 12 4CPU             2859   10   11  2494   45%  2896   45% 
 103 Spike 1.4 4CPU                 2857   12   12  1962   37%  2955   40% 
 104 Rybka 2.3.2a x64 2CPU          2856    7    7  6307   52%  2841   42% 
 105 Critter 0.80 x64 2CPU          2855   16   16  1054   49%  2864   49% 
 106 Deep Junior 12.5 x64 4CPU      2854   19   19   750   43%  2900   42% 
 107 Rybka 3 w32 1CPU               2853   11   11  2436   59%  2787   44% 
 108 Hiarcs 13.2 MP 4CPU            2851   13   13  1491   41%  2913   45% 
 109 Protector 1.5.0 x64 1CPU       2848   15   15  1138   47%  2865   47% 
 110 Chiron 1.5 x64 1CPU            2847   13   13  1559   44%  2887   46% 
 111 Stockfish 1.6 x64 1CPU         2840   13   13  1564   57%  2792   44% 
 112 Equinox 1.35 x64 1CPU          2840   16   16  1100   53%  2820   43% 
 113 Deep Shredder 12 x64 2CPU      2836   12   12  1879   46%  2864   45% 
 114 Naum 4.2 x64 1CPU              2836    9    9  3213   43%  2889   44% 
 115 Naum 4 w32 2CPU                2835   19   19   704   58%  2779   46% 
 116 Deep Shredder 12 w32 2CPU      2834   19   19   763   52%  2818   43% 
 117 Spark 1.0 x64 4CPU             2833   13   13  1572   43%  2884   44% 
 118 Spike 1.4 2CPU                 2831   17   17   953   45%  2868   44% 
 119 Komodo 1.3 x64                 2829   11   11  2176   46%  2857   43% 
 120 Deep Fritz 11 4CPU             2826   11   11  2272   51%  2818   44% 
 121 Hiarcs 13.1 MP 4CPU            2825   16   16  1069   44%  2872   43% 
 122 Deep Fritz 13 1CPU             2822   14   15  1246   41%  2886   47% 
 123 Deep Fritz 12 2CPU             2820   15   15  1099   45%  2855   48% 
 124 Zappa Mexico II x64 4CPU       2820    7    8  5300   42%  2881   42% 
 125 Spark 0.4MP x64 4CPU           2820   15   15  1132   45%  2854   47% 
 126 Hiarcs 13.2 MP 2CPU            2819   15   15  1257   41%  2882   43% 
 127 Hannibal 1.3 x64 1CPU          2818   16   16  1000   46%  2843   49% 
 128 Chiron 1.1 x64 1CPU            2818   13   13  1699   45%  2853   42% 
 129 Hiarcs 14 1CPU                 2815   17   17   896   40%  2883   44% 
 130 Deep Junior 12 x64 4CPU        2814   14   14  1410   45%  2849   40% 
 131 Protector 1.3.6 x64 4CPU       2813   19   20   700   47%  2834   41% 
 132 Naum 4.2 w32 1CPU              2812   12   12  1966   48%  2828   45% 
 133 Deep Junior 13 x64 2CPU        2811   20   20   700   47%  2831   40% 
 134 Rybka 2.2 x64 2CPU             2811   13   13  1834   65%  2700   38% 
 135 Critter 0.80 x64 1CPU          2810   15   15  1243   50%  2811   46% 
 136 Protector 1.4.0 x64 2CPU       2810   18   18   863   47%  2835   41% 
 137 Komodo 1.2 x64                 2809   13   13  1558   47%  2829   47% 
 138 Shredder WM Edition Bonn 4CPU  2808   12   12  1899   48%  2817   39% 
 139 Rybka 2.3.1 x64 2CPU           2807   19   19   796   73%  2644   38% 
 140 Hiarcs 13.1 MP 2CPU            2806   17   17   982   47%  2829   41% 
 141 Spark 1.0 x64 2CPU             2806   17   17   957   45%  2838   45% 
 142 Naum 4.1 x64 1CPU              2805   17   17   958   51%  2796   46% 
 143 Zappa Mexico x64 4CPU          2802   10   10  2928   44%  2843   42% 
 144 Naum 3.0 x64 4CPU              2802   13   13  1549   56%  2758   45% 
 145 Rybka 2.1 x64 2CPU             2801   13   13  1784   71%  2644   35% 
 146 Fritz 13                       2800   12   12  1898   44%  2848   43% 
 147 Rybka 2.3.2a x64 1CPU          2800   12   12  1748   55%  2767   49% 
 148 Deep Shredder 12 x64 1CPU      2800    8    8  4320   40%  2871   41% 
 149 Stockfish 1.4 x64 4CPU         2800   11   11  2120   56%  2757   42% 
 150 Deep Junior 12.5 x64 2CPU      2799   19   19   750   49%  2804   39% 
 151 Naum 3.1 x64 4CPU              2798    9    9  3741   38%  2887   38% 
 152 Hannibal 1.2 x64               2796   15   15  1225   39%  2871   42% 
 153 Naum 4.1 w32 1CPU              2796   16   16  1018   50%  2792   46% 
 154 Deep Shredder 12 w32 1CPU      2794   11   11  2285   41%  2860   42% 
 155 Chiron 1.1 w32 1CPU            2792   18   19   800   44%  2837   39% 
 156 Rybka 2.2n2 x64 2CPU           2791   18   18   827   54%  2760   47% 
 157 Critter 0.70 x64 1CPU          2786   15   16  1106   49%  2792   42% 
 158 Stockfish 1.5.1 x64 2CPU       2786   18   18   858   52%  2773   43% 
 159 Fruit 090705 x64 4CPU          2785   18   18   866   41%  2846   41% 
 160 Gull 1.1 x64                   2784   14   14  1262   47%  2805   44% 
 161 Komodo 1.0 x64                 2784   13   13  1559   47%  2807   47% 
 162 Zap!Chess Zanzibar x64 4CPU    2783   16   16  1007   51%  2776   46% 
 163 Deep Sjeng ct 2010             2783   10   10  3129   40%  2855   40% 
 164 Spark 0.3MP x64 4CPU           2783   18   18   769   48%  2798   45% 
 165 Naum 4 w32 1CPU                2782   19   19   701   49%  2786   51% 
 166 Spike 1.4 1CPU                 2779   11   11  2382   43%  2830   42% 
 167 Deep Onno 1.2.70 x64 4CPU      2777   19   19   707   45%  2810   46% 
 168 Komodo 1.3 w32                 2777   17   17   900   46%  2806   43% 
 169 Thinker 5.4Di x64 4CPU         2777   12   11  2090   51%  2769   42% 
 170 Naum 4 x64 1CPU                2776   15   15  1213   51%  2771   48% 
 171 Deep Fritz 11 2CPU             2776   15   15  1192   48%  2790   47% 
 172 Gull 1.2 x64                   2774   13   13  1536   40%  2843   42% 
 173 Deep Junior 11.1a x64 4CPU     2772   18   18   842   48%  2784   41% 
 174 Hiarcs 12.1 MP 4CPU            2771   10   10  2709   40%  2849   39% 
 175 Spark 0.4MP x64 2CPU           2769   20   20   701   45%  2802   41% 
 176 Deep Junior 11.2 x64 4CPU      2769   16   16  1049   43%  2821   37% 
 177 Hiarcs 13.2 1CPU               2768   14   14  1468   43%  2823   38% 
 178 Deep Junior 12 x64 2CPU        2767   19   19   784   46%  2796   41% 
 179 Rybka 2.3.2a w32 1CPU          2766    8    8  4841   57%  2720   43% 
 180 Deep Shredder 11 x64 4CPU      2765    9    9  4002   41%  2832   39% 
 181 Hiarcs 12 MP 4CPU              2765   15   15  1222   49%  2769   44% 
 182 Naum 3.0 x64 2CPU              2764   10   10  2776   46%  2792   40% 
 183 Spark 1.0 x64 1CPU             2762   13   13  1652   43%  2814   43% 
 184 Deep Fritz 12 1CPU             2760   15   15  1187   48%  2771   47% 
 185 Naum 3.1 x64 2CPU              2760    9   10  3448   38%  2855   36% 
 186 Zappa Mexico II x64 2CPU       2760    9    9  3550   47%  2777   45% 
 187 Shredder 12 SE                 2758   17   17   950   45%  2793   39% 
 188 Shredder WM Edition Bonn 2CPU  2757   18   18   798   50%  2756   40% 
 189 Rybka 1.2f x64                 2756   12   12  2163   69%  2611   34% 
 190 Quazar 0.4 x64                 2755   18   18   800   43%  2803   40% 
 191 Gull 1.0a x64                  2754   17   17   874   47%  2773   43% 
 192 Zappa Mexico x64 2CPU          2754   11   11  2486   55%  2716   41% 
 193 Deep Sjeng WC 2008 x64 4CPU    2753   11   11  2607   40%  2823   41% 
 194 Thinker 5.4Di x64 2CPU         2752   12   12  1929   45%  2788   45% 
 195 Rybka 1.1 x64                  2751   16   15  1605   82%  2484   21% 
 196 Stockfish 1.5.1 x64 1CPU       2751   17   17   875   51%  2745   46% 
 197 Deep Junior 13 x64 1CPU        2751   16   16  1047   46%  2783   40% 
 198 Deep Junior 12.5 x64 1CPU      2750   16   16  1111   46%  2779   41% 
 199 Deep Junior 13.3 x64 1CPU      2750   17   17   945   43%  2804   38% 
 200 Protector 1.4.0 x64 1CPU       2750   16   16  1018   46%  2778   41% 
 201 Deep Sjeng 3.0 x64 4CPU        2750   14   14  1303   48%  2766   43% 
 202 Fruit 2.4 Beta A x64 4CPU      2748   12   12  2090   35%  2862   36% 
 203 Fruit 090705 x64 2CPU          2748   15   15  1137   44%  2788   42% 
 204 Deep Fritz 10.1 4CPU           2746   13   13  1642   47%  2767   37% 
 205 Spark 0.5 x64 1CPU             2746   18   18   843   51%  2739   41% 
 206 Deep Shredder 11 x64 2CPU      2744    9    9  3489   45%  2782   38% 
 207 Gull 1.2 w32                   2743   19   20   710   40%  2818   39% 
 208 Spark 0.3MP x64 2CPU           2743   18   18   791   47%  2763   46% 
 209 Doch 1.3.4 x64                 2742   17   17   956   49%  2750   44% 
 210 Fruit 2.3.5m x64 2CPU p15      2741   16   16  1112   50%  2742   39% 
 211 Glaurung 2.2 x64 4CPU          2739   13   13  1607   44%  2790   39% 
 212 Rybka 2.2 w32 1CPU             2739   16   16  1092   68%  2602   34% 
 213 Zap!Chess Zanzibar x64 2CPU    2735   11   11  2219   55%  2696   43% 
 214 Deep Junior 2010 x64 4CPU      2735   18   18   848   45%  2771   38% 
 215 Naum 2.2 x64 4CPU              2734   13   13  1586   44%  2781   42% 
 216 Deep Junior 12.5 w32 1CPU      2733   19   19   810   41%  2800   36% 
 217 Rybka 2.2n2 w32 1CPU           2733   18   18   774   48%  2748   49% 
 218 Deep Sjeng WC 2008 x64 2CPU    2731   14   14  1532   45%  2769   39% 
 219 Deep Fritz 11 1CPU             2730   14   14  1347   51%  2725   46% 
 220 Hannibal 1.1 x64               2730   16   16  1053   45%  2769   42% 
 221 Fritz 12                       2727   11   12  2068   40%  2793   44% 
 222 Hiarcs 11.1 4CPU               2723   12   12  2237   37%  2826   34% 
 223 Hiarcs 12 MP 2CPU              2722   10   10  2899   45%  2759   39% 
 224 Fruit 2.4 Beta A x64 2CPU      2721   11   11  2526   40%  2797   36% 
 225 Toga II 1.4 Beta5c 4CPU        2719   16   16   969   48%  2736   47% 
 226 Fritz 11                       2719    8    8  5018   54%  2686   42% 
 227 Hiarcs 13.1 1CPU               2719   19   19   758   38%  2806   39% 
 228 Hiarcs 11.2 4CPU               2718   13   13  1753   48%  2733   41% 
 229 Doch 1.2 x64                   2718   19   19   759   49%  2728   43% 
 230 Toga II 1.4.2 JD 4CPU          2714   14   14  1368   40%  2788   37% 
 231 Zappa Mexico II x64 1CPU       2713   16   16  1089   49%  2719   44% 
 232 Thinker 5.4Di x64 1CPU         2711   15   15  1235   41%  2777   42% 
 233 Fruit 090705 x64 1CPU          2708   13   13  1583   40%  2778   40% 
 234 Deep Sjeng 3.0 x64 2CPU        2708   12   12  1976   50%  2707   39% 
 235 Rybka 2.1 w32 1CPU             2707   18   18   934   52%  2703   31% 
 236 Fruit 2.3.5m x64 4CPU p15      2707   13   13  1920   35%  2824   35% 
 237 Bright 0.3d 4CPU               2707   19   20   717   43%  2758   40% 
 238 Glaurung 2.1 x64 4CPU          2707   19   19   760   46%  2733   42% 
 239 Naum 3.1 x64 1CPU              2703   18   18   832   50%  2703   44% 
 240 Naum 3.0 w32 1CPU              2700   15   15  1239   50%  2701   40% 
 241 Hiarcs 12 MP ShPV 2CPU         2699   19   19   704   48%  2716   43% 
 242 Shredder WM Edition Bonn 1CPU  2698   14   14  1376   45%  2734   41% 
 243 Deep Shredder 11 x64 1CPU      2697   19   19   756   49%  2705   39% 
 244 Rybka 1.1 w32                  2693   15   14  1618   75%  2493   27% 
 245 Deep Shredder 11 w32 1CPU      2692   11   11  2571   53%  2672   35% 
 246 Toga II 1.4 Beta5c 2CPU        2691   13   13  1543   48%  2705   40% 
 247 Naum 2.2 x64 2CPU              2690   11   11  2265   47%  2718   41% 
 248 Naum 3.1 w32 1CPU              2690   16   16  1114   45%  2732   44% 
 249 Zap!Chess Paderborn x64 4CPU   2688   19   19   754   44%  2731   43% 
 250 Onno 1.1.1 x64                 2686   19   19   751   47%  2705   43% 
 251 Deep Fritz 10 2CPU             2685    9    9  3539   52%  2670   36% 
 252 Naum 2.1 x64 4CPU              2685   18   18   921   32%  2829   33% 
 253 Loop M1-P 4CPU                 2678   13   13  1941   33%  2808   33% 
 254 Loop 13.6 x64 4CPU             2678   17   17   987   38%  2769   36% 
 255 Hiarcs 11.2 2CPU               2676   14   14  1545   40%  2755   35% 
 256 Hiarcs 11.1 2CPU               2675   12   12  1947   46%  2704   40% 
 257 Deep Shredder 10 x64 4CPU      2675    9    9  3902   40%  2752   35% 
 258 Loop M1-T 4CPU                 2673   12   13  1967   30%  2826   33% 
 259 Rybka 1.0 Beta x64             2672   11   11  2301   57%  2623   40% 
 260 Hiarcs 12 SP 1CPU              2671   13   12  1805   55%  2638   38% 
 261 Toga II 1.4 Beta5c 1CPU        2664   14   14  1531   53%  2637   38% 
 262 Toga II 1.4.2 JD 1CPU          2660   15   15  1240   44%  2709   37% 
 263 Onno 1.0.0 x64                 2659   18   18   824   46%  2684   43% 
 264 Deep Fritz 10 4CPU             2658   18   18   875   39%  2737   35% 
 265 LoopMP 11A/12.32 2CPU          2658   12   12  2054   45%  2704   39% 
 266 Loop M1-T 2CPU                 2657   13   13  1596   49%  2664   42% 
 267 Loop M1-P 2CPU                 2656   14   14  1319   44%  2698   41% 
 268 Hiarcs 11 2CPU                 2656   15   15  1298   54%  2630   37% 
 269 Loop 13.5 x64 2CPU             2655   14   14  1355   51%  2644   42% 
 270 Deep Shredder 10 x64 2CPU      2653    9    9  3544   47%  2674   36% 
...

Sorry, mußte die Lsite doch kürzen weil ich sonst die maximale Nachrichtenlänge hier überschreite.
Ansonsten: Interessante Spielerei!
Gruß
Ingo

By Talk Chess Date 2013-09-01 18:08

Guten Tag Herr Bauer!

Äußerst interessant.
Nur, weshalb vergleichen sie plötzlich ihre IPON mit der Blitz-CEGT-Liste? Bisher hatte ich immer den Eindruck, daß sie diese CEGT-Kategorie eher meiden und ihre Liste (wenn schon) dann eher mit der CEGT-Aktivschachliste (40/20) vergleichen.
Möglicherweise verhalten sich verschiedene Programme unter Nutzung verschiedener Bedenkzeiten doch mal etwas unterschiedlich ...
Talk Chess

By Ingo Bauer Date 2013-09-01 18:29

[quote="Talk Chess"]
Guten Tag Herr Bauer!

Äußerst interessant.
Nur, weshalb vergleichen sie plötzlich ihre IPON mit der Blitz-CEGT-Liste? Bisher hatte ich immer den Eindruck, daß sie diese CEGT-Kategorie eher meiden und ihre Liste (wenn schon) dann eher mit der CEGT-Aktivschachliste (40/20) vergleichen.
Möglicherweise verhalten sich verschiedene Programme unter Nutzung verschiedener Bedenkzeiten doch mal etwas unterschiedlich ...
Talk Chess
[/quote]

Ups, richtig. Sämtliche Auswertungen oben sind mit der 40/20 Datenbank geschehen. Ich habe leider nur den kurzen Einschub 40/4 überlesen und dachte die 66 Elo wären für die 40/20. In der 40/20 sind es aber nur 37 Elo Gewinn, also praktisch identisch zur IPON ...

Dann war es leider nur eine nette und vielleicht interessante, aber unnütze, Fingerübung die mich allerdings bestätigt das meine IPON viel eher der 40/20 als der 40/4 gleicht

Das mit dem unterschiedlichen Verhalten* kann man aber auch aus obiger Liste nicht herauslesen, es ist ja die 40/20 und die gleicht doch sehr der 5+3 IPON

Gruß und Danke für den Hinweis
Ingo

* ab einer gewissen Grundbedenkzeit

By Talk Chess Date 2013-09-01 18:38

[quote="Ingo Bauer"]
[quote="Talk Chess"]
Guten Tag Herr Bauer!

Äußerst interessant.
Nur, weshalb vergleichen sie plötzlich ihre IPON mit der Blitz-CEGT-Liste? Bisher hatte ich immer den Eindruck, daß sie diese CEGT-Kategorie eher meiden und ihre Liste (wenn schon) dann eher mit der CEGT-Aktivschachliste (40/20) vergleichen.
Möglicherweise verhalten sich verschiedene Programme unter Nutzung verschiedener Bedenkzeiten doch mal etwas unterschiedlich ...
Talk Chess
[/quote]

Ups, richtig. Sämtliche Auswertungen oben sind mit der 40/20 Datenbank geschehen. Ich habe leider nur den kurzen Einschub 40/4 überlesen und dachte die 66 Elo wären für die 40/20. In der 40/20 sind es aber nur 37 Elo Gewinn, also praktisch identisch zur IPON ...

Dann war es leider nur eine nette und vielleicht interessante, aber unnütze, Fingerübung die mich allerdings bestätigt das meine IPON viel eher der 40/20 als der 40/4 gleicht

Das mit dem unterschiedlichen Verhalten* kann man aber auch aus obiger Liste nicht herauslesen, es ist ja die 40/20 und die gleicht doch sehr der 5+3 IPON

Gruß und Danke für den Hinweis
Ingo

* ab einer gewissen Grundbedenkzeit
[/quote]
Guten Tag Herr Bauer!

Nun, wenn ich von ihnen lese 66 Elo und "nur" 37 Elo Unterschied, dann kann man (nur ich?) wohl schon auf "unterschiedliches Verhalten" schließen, oder?
Falls nicht, so bitte ich um Aufklärung woher diese Unterschiede sonst kommen könnten.
Talk Chess

By Ingo Bauer Date 2013-09-01 19:26 Edited 2013-09-01 19:28

[quote="Talk Chess"]

Guten Tag Herr Bauer!

Nun, wenn ich von ihnen lese 66 Elo und "nur" 37 Elo Unterschied, dann kann man (nur ich?) wohl schon auf "unterschiedliches Verhalten" schließen, oder?
Falls nicht, so bitte ich um Aufklärung woher diese Unterschiede sonst kommen könnten.
Talk Chess
[/quote]

Herr Chess, eigentlich kommuniziere ich ungern mit Anons, wenns aber so höflich ist...

Das Problem ist nicht der Elogewinnunterschied. Auf den darf man nicht schauen, für den gibt es viele Erklärungen (Niedrigere Remisquote, zu wenig Spiele, unterschiedliche Eröffnungen (da mit Buch gespielt wird), zu wenig Spiele, unterschiedliche Hardware, zu wenig Spiele, unterschiedliche Gegner, zu wenig Spiele, .... kurz: keine Liste* mit unterschiedlicher Zeitkontrolle testet wirklich das selbe.
Viel interessanter ist, ob eine Engine mit mehr Zeit sich plötzlich in anderer Nachbarschaft befindet, also ob sie wirklich 'überproportional' (im Verhältniss zu den anderen) zugelegt hat. DAS ist bis jetzt aber noch nicht passiert, zumindest nicht so, dass es deutlich geworden wäre.

Und nochmal: Immer vorrausgesetzt eine gewisse Mindestbedenkzeit.

Der Mensch neigt dazu seine individuelle Erfahrung "Ich spiele besser mit mehr Zeit" auf Engines zu übertragen (normal). Beim Menschen könnte das aufgrund psychologischer Faktoren oder einfacher, Abneigungen oder Vorlieben, vielleicht noch vorhanden sein, ist aber etwas das Engines nicht kennen. Weil es aber so schön plausibel für Menschen gilt muß es doch auch für Engines gelten - und ganz besonders für die Lieblingsengine die dann doch nicht so gut ist wie man sie gerne hätte. Das Argument: "Jaaa, mit mehr Zeit wäre das aber ganz anders, schau dir doch mal diesen einen tollen Zug an den die viel bessere Engine X nicht gesehen hat ...", ist halt eins das man ad hoc schwer wiederlegen kann weil es für diesen einen Zug stimmt. Leider hat das nichts mit einer halbwegs sicheren Bestimmung der Spielstärke zu tun.

Gruß
Ingo

* Eine gibt es doch: http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?tid=5920 und da ist die kürzeste BEdenkzeit definitiv zu kurz, die nächste wahrscheinlich noch für ein paar Engines und ausser die Superkurzliste tut sich wenig im Ranking, die Engines wandern zusammen (Remisquote) das wars. Ich habe dort auch noch ein bisschen was geschrieben.

By Ingo Bauer Date 2013-09-01 18:22

Hier mal die CEGT 40/20 nur mit 1Kern CPUs und Bayes:

H3 doch noch recht tief, K5.1 VOR K-CCT.

   1 Houdini 3 x64 1CPU             3059   14   14  1450   67%  2940   42% 
   2 Komodo 5.1r2 x64 1CPU          3027   19   19   700   56%  2988   52% 
   3 Komodo CCT x64                 3021   16   16  1100   61%  2947   47% 
   4 Houdini 1.5a x64 1CPU          3015   12   12  2140   67%  2890   38% 
   5 Stockfish 4.0 x64 1CPU         3012   20   20   671   56%  2974   51% 
   6 Houdini 2.0c x64 1CPU          3008   16   16  1126   62%  2924   44% 
   7 Critter 1.6 x64 1CPU           2991   13   13  1662   55%  2955   50% 
   8 Komodo 4.0 x64 1CPU            2983   14   14  1470   59%  2923   46% 
   9 Houdini 1.5a w32 1CPU          2980   14   14  1417   62%  2895   42% 
  10 Stockfish 3.0 x64 1CPU         2978   16   16  1046   51%  2969   55% 
  11 Critter 1.4 x64 1CPU           2976   15   15  1177   59%  2915   49% 
  12 Equinox 1.90 x64 1CPU          2974   15   15  1099   51%  2970   56% 
  13 Critter 1.2 x64 1CPU           2972   17   17   976   57%  2922   48% 
  14 Stockfish 2.2.2 x64 1CPU       2969   17   17   871   60%  2904   50% 
  15 Deep Rybka 4 Exp.61 x64 1CPU   2964   16   16  1190   59%  2897   38% 
  16 Komodo 3.0 x64                 2959   15   14  1300   56%  2917   46% 
  17 Stockfish 3.0 w32 1CPU         2958   19   19   750   61%  2881   49% 
  18 Equinox 1.70 x64 1CPU          2958   15   15  1089   54%  2930   55% 
  19 Stockfish 2.3.1 x64 1CPU       2955   15   15  1165   53%  2933   51% 
  20 Deep Rybka 4.1 x64 1CPU        2955   12   12  1762   52%  2940   48% 
  21 Critter 1.4 w32 1CPU           2952   17   17   963   58%  2893   51% 
  22 Critter 1.2 w32 1CPU           2950   18   18   901   65%  2844   42% 
  23 Gull II x64 1CPU               2948   15   15  1140   53%  2925   52% 
  24 Equinox 1.65 x64 1CPU          2944   15   15  1141   60%  2878   49% 
  25 Stockfish 2.3 x64 1CPU         2941   18   18   847   53%  2922   50% 
  26 Deep Rybka 4 x64 1CPU          2939   18   17   869   61%  2864   48% 
  27 Stockfish 2.2.2 w32 1CPU       2938   17   17   950   60%  2867   44% 
  28 Stockfish 2.1.1 x64 1CPU       2935   14   14  1376   55%  2899   47% 
  29 Komodo 2.03 x64                2933   17   17   993   54%  2902   44% 
  30 Stockfish 2.0.1 x64 1CPU       2932   20   20   666   54%  2901   46% 
  31 Komodo 2.01 x64                2929   18   18   843   53%  2908   44% 
  32 Gull II beta2 x64 1CPU         2923   18   18   819   49%  2931   56% 
  33 Critter 1.0 x64 1CPU           2914   16   16  1039   52%  2898   51% 
  34 Rybka 3 x64 1CPU               2910   14   14  1441   58%  2849   45% 
  35 Deep Rybka 4 w32 1CPU          2908   15   15  1190   58%  2853   48% 
  36 Komodo 3.0 w32                 2907   19   19   750   54%  2876   43% 
  37 Stockfish 1.9.1 x64 1CPU       2903   19   19   768   53%  2881   46% 
  38 Equinox 1.60 x64 1CPU          2903   16   16  1034   51%  2894   50% 
  39 Critter 1.0 w32 1CPU           2902   19   19   731   61%  2824   43% 
  40 Equinox 1.50 x64 1CPU          2901   19   19   750   50%  2898   49% 
  41 Stockfish 1.8 x64 1CPU         2898   19   19   749   62%  2817   47% 
  42 Stockfish 1.7.1 x64 1CPU       2885   18   18   843   58%  2827   46% 
  43 Critter 0.90 x64 1CPU          2884   18   18   850   52%  2868   45% 
  44 Komodo 2.03 w32                2881   19   19   810   58%  2824   36% 
  45 Stockfish 1.8 w32 1CPU         2877   26   26   414   59%  2817   43% 
  46 Rybka 3 w32 1CPU               2853   15   15  1216   58%  2797   45% 
  47 Chiron 1.5 x64 1CPU            2853   14   14  1509   44%  2893   46% 
  48 Protector 1.5.0 x64 1CPU       2852   15   15  1138   47%  2869   47% 
  49 Equinox 1.35 x64 1CPU          2848   17   17  1000   53%  2824   41% 
  50 Stockfish 1.6 x64 1CPU         2844   14   14  1464   57%  2794   44% 
  51 Naum 4.2 x64 1CPU              2841   10   10  2763   42%  2898   44% 
  52 Komodo 1.3 x64                 2833   14   14  1324   49%  2842   44% 
  53 Chiron 1.1 x64 1CPU            2827   14   14  1449   46%  2852   42% 
  54 Deep Fritz 13 1CPU             2826   16   16  1097   41%  2884   47% 
  55 Hannibal 1.3 x64 1CPU          2822   16   16  1000   46%  2847   49% 
  56 Hiarcs 14 1CPU                 2819   18   18   846   41%  2880   44% 
  57 Naum 4.1 w32 1CPU              2817   27   26   377   51%  2813   45% 
  58 Naum 4.2 w32 1CPU              2816   14   13  1517   48%  2832   45% 
  59 Critter 0.80 x64 1CPU          2812   18   18   843   49%  2820   47% 
  60 Komodo 1.2 x64                 2809   17   17   869   50%  2807   51% 
  61 Fritz 13                       2804   13   13  1798   43%  2855   43% 
  62 Hannibal 1.2 x64               2800   16   16  1125   41%  2865   42% 
  63 Deep Shredder 12 x64 1CPU      2800   11   11  2312   43%  2848   43% 
  64 Deep Shredder 12 w32 1CPU      2800   12   12  1886   40%  2873   42% 
  65 Rybka 2.3.2a x64 1CPU          2798   15   15  1158   57%  2750   49% 
  66 Chiron 1.1 w32 1CPU            2797   19   19   750   44%  2836   38% 
  67 Critter 0.70 x64 1CPU          2790   17   17   936   48%  2803   43% 
  68 Komodo 1.0 x64                 2790   17   17   927   48%  2804   48% 
  69 Deep Sjeng ct 2010             2788   10   10  2929   40%  2860   40% 
  70 Gull 1.1 x64                   2786   15   15  1169   47%  2809   45% 
  71 Spike 1.4 1CPU                 2785   12   12  2140   43%  2838   41% 
  72 Komodo 1.3 w32                 2784   19   19   780   46%  2809   43% 
  73 Naum 4 w32 1CPU                2780   27   27   351   48%  2796   49% 
  74 Naum 4 x64 1CPU                2780   19   19   734   51%  2769   47% 
  75 Gull 1.2 x64                   2776   14   14  1363   40%  2850   42% 
  76 Shredder 12 SE                 2773   19   19   800   49%  2783   40% 
  77 Hiarcs 13.2 1CPU               2772   14   14  1419   43%  2825   38% 
  78 Rybka 2.3.2a w32 1CPU          2768   13   13  1825   65%  2658   42% 
  79 Spark 1.0 x64 1CPU             2767   13   13  1652   43%  2819   43% 
  80 Quazar 0.4 x64                 2758   19   19   800   43%  2805   40% 
  81 Deep Fritz 12 1CPU             2758   17   17   955   48%  2773   46% 
  82 Stockfish 1.5.1 x64 1CPU       2758   19   19   725   52%  2743   47% 
  83 Deep Junior 13 x64 1CPU        2757   16   16  1047   46%  2788   40% 
  84 Gull 1.0a x64                  2756   19   19   771   47%  2776   43% 
  85 Protector 1.4.0 x64 1CPU       2756   17   17   950   47%  2779   41% 
  86 Deep Junior 13.3 x64 1CPU      2756   17   17   945   43%  2809   38% 
  87 Deep Junior 12.5 x64 1CPU      2755   17   17   961   47%  2778   41% 
  88 Rybka 1.2f x64                 2752   14   13  1789   71%  2588   32% 
  89 Gull 1.2 w32                   2748   20   20   690   40%  2820   39% 
  90 Spark 0.5 x64 1CPU             2747   18   18   843   51%  2740   41% 
  91 Fruit 2.3.5m x64 2CPU p15      2741   40   40   176   53%  2719   41% 
  92 Rybka 1.1 x64                  2739   18   17  1344   83%  2468   20% 
  93 Doch 1.3.4 x64                 2739   20   20   683   48%  2755   42% 
  94 Deep Junior 12.5 w32 1CPU      2737   19   19   790   41%  2802   36% 
  95 Rybka 2.2n2 w32 1CPU           2736   19   20   684   48%  2749   49% 
  96 Rybka 2.2 w32 1CPU             2736   21   20   723   71%  2581   32% 
  97 Hannibal 1.1 x64               2733   16   16  1053   45%  2771   42% 
  98 Fritz 12                       2731   14   14  1393   40%  2798   42% 
  99 Deep Fritz 11 1CPU             2730   18   18   778   47%  2747   50% 
 100 Hiarcs 13.1 1CPU               2723   19   19   758   38%  2809   39% 
 101 Thinker 5.4Di x64 1CPU         2719   16   17  1017   41%  2779   43% 
 102 Fritz 11                       2716   12   12  2070   58%  2655   43% 
 103 Fruit 090705 x64 1CPU          2712   14   14  1533   40%  2780   40% 
 104 Zappa Mexico II x64 1CPU       2712   16   16  1089   49%  2718   44% 
 105 Doch 1.2 x64                   2710   21   21   614   49%  2717   43% 
 106 Rybka 2.1 w32 1CPU             2706   25   25   479   70%  2559   33% 
 107 Naum 3.1 x64 1CPU              2695   18   18   792   50%  2698   44% 
 108 Deep Shredder 11 w32 1CPU      2694   13   13  1750   56%  2648   36% 
 109 Deep Shredder 11 x64 1CPU      2694   19   19   756   49%  2701   39% 
 110 Naum 3.0 w32 1CPU              2691   20   20   696   56%  2649   43% 
 111 Shredder WM Edition Bonn 1CPU  2691   17   17   928   42%  2744   40% 
 112 Rybka 1.1 w32                  2688   15   15  1617   75%  2488   27% 
 113 Naum 3.1 w32 1CPU              2686   19   19   757   50%  2687   48% 
 114 Onno 1.1.1 x64                 2673   23   23   493   45%  2708   44% 
 115 Hiarcs 12 SP 1CPU              2667   14   14  1522   55%  2634   39% 
 116 Rybka 1.0 Beta x64             2666   14   14  1457   59%  2598   40% 
 117 Toga II 1.4 Beta5c 1CPU        2662   15   15  1212   55%  2623   39% 
 118 Toga II 1.4.2 JD 1CPU          2655   17   17  1040   42%  2715   37% 
 119 Fruit 2.3.3f Beta              2650   17   17  1006   52%  2638   38% 
 ...

Ich muß aber sagen, dass ich es eigentlich nicht für sinnvoll halte Mehrkernspiele zu entfernen wenn man sie hat. Das ist nur des Vergleichs wegen!

Gruß
INgo

By Frank Quisinsky Date 2013-09-01 21:02

Hi Ingo,

ja die Frage stellte ich mir beim Vergleich auch.
Sehr schön !!

Denn eigentlich können diese Abweichungen nicht sein.

Was nun aber auch auffällt ist, das mit deutlich weniger Partien fast gleiche Ergebnisse als bei Dir herauskommen.
Aber ich will Dich nicht ärgern (ist so mein Thema, mit den geringsten Mitteln den größtmöglichen Erfolg) ...

Was mich immer interessiert hat wie stark Rybka 4.0 Exp. 42 bei Dir wäre.
CEGT hat bei der Exp. 61 (war seinerzeit das zweitbeste Setting) auch deutlich mehr aus Rybka herausgeholt wie ich einst in der SWCR.

Glaube Du testest aber keine Settings.
Rybka 4.0 Exp. 42 spielt auch deutlich aggressiver.

Egal ...

Letztendlich bekommen wir nur dann in etwas vergleichbare Werte wenn wir uns bei den Auswertungen und Programmen die benutzt werden nähern.

- Shredder mit 2.800
- Bayes Berechnungen (halte ich für besser als ELOstat).
- auch denke ich das für die Spielstärkeermittlung immer nur 1 Kern verwendet werden sollte bzw. die Liste mit 1-Kern Engines immer gesondert dargestellt werden sollte (ist die Entscheidende). Ist ja OK wenn mit mehreren Kernen gestestet wird aber diese Engines sollten dann in einer gesonderten Liste auftauchen.

Gruß
Frank

By Ingo Bauer Date 2013-09-02 06:14 Edited 2013-09-02 06:16

[quote="Frank Quisinsky"]
Was nun aber auch auffällt ist, das mit deutlich weniger Partien fast gleiche Ergebnisse als bei Dir herauskommen.
Aber ich will Dich nicht ärgern (ist so mein Thema, mit den geringsten Mitteln den größtmöglichen Erfolg) ...
[/quote]

Kein bisschen Ärger hier, was dich aber offensichtlich nicht ärgert ist die erhöhe Fehlerquote sowie die Tatsache das 1 Engine von 20 eben doch abweicht. Vielleicht klappt das aber irgendwann nochmal.

[quote="Frank Quisinsky"]
Was mich immer interessiert hat wie stark Rybka 4.0 Exp. 42 bei Dir wäre.
CEGT hat bei der Exp. 61 (war seinerzeit das zweitbeste Setting) auch deutlich mehr aus Rybka herausgeholt wie ich einst in der SWCR.

Glaube Du testest aber keine Settings.
Rybka 4.0 Exp. 42 spielt auch deutlich aggressiver.
[/quote]

Du vergisst zu schnell!

Hier: http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=35286;hl=setting

Habe auch ich das 61 Setting getestet (sollte lt. Rybkaforum ja 80 Elo besser sein

) heraus kamen 10 Elo+ lt. Bayes, lt. Elostat nur 5, und wenn man mal wirklich nur verglichen hat was Rybka normal und Rybka 61 wirklich gleich gespielt haben (gleiche Gegner und gleiche Eröffnungen), kam heraus das die 61 0.1% schlechter war als default. Das Problem ist, dass niemand bei solchen Setting wirklich das selbe testet. Die CEGT hat Rybka und Rybka Setting auf verschiedenen Rechnern, mit verschiedenen Büchern getestet und das dann in die normale Rangliste eingespielt, wo sich normal Rybka schon viel länger dem Druck der neuen Engines unteriehen mußte, während Rybka Setting eben nur einen begrenzten (und anderen) Satz an Gegnern hatte. Auch ich komme auf 10 ELo wenn ich einfach einspiele. Wenn ich zusätzliche mögliche Fehler zuläßt (wei verschiedene Hardware, verschiedene Bücher und damit Eröffnungen und verschiedene Gegner, kann das Ergebniss womöglich noch besser sein. Bei ordentlichem Vergleich blieb, und bleibt, aber nichts übrig.

Ließ dir obigen Link nochmal durch: Es gab und gibt kein Rybka Setting das wirklich zweifelsfrei besser war als Rybka default!

Gruß
Ingo

PS: Ich teste durchaus immer wieder mal ein Setting (und bin immer wieder enäuscht), da aber noch nie etwas Sinnvolles dabei herausgekommen ist sind die nicht in meiner Liste.
PPS: Obige Listen kannst du natürlich immer noch nicht einfach neben die IPON stellen, ist ja klar. Die Listen müssen noch mit einer Fehlerkorrektur zurechtgeschoben werden, aber das habe ich ja schon mehrmals erklärt.

By Frank Quisinsky Date 2013-09-02 07:24 Edited 2013-09-02 07:30

Code:

   3     5 Rybka 4 x64 Exp. 42            2968   18   18  1360   76%  2757   29% 
   -    10 Rybka 4 x64 Exp. 61            2959   21   21  1000   78%  2741   27% 
   -    13 Rybka 4.1 x64                  2952   14   14  1960   71%  2791   37% 
   -    18 Rybka 4 x64                    2940   18   17  1480   80%  2696   28%

Kurz,
Die Settings betrafen die Version 4.0 (nicht 4.1).
Das Settings war nach dem letzten offiziellen Stand der SWCR 28 ELO besser.

Derzeit sind es ganz genau 32 ELO nach einigen Hundert Partien mehr bzw. nach allen Partien die ich habe.

Aber ganz unabhängig von der Verbesserung ...
Das Setting produziert wesentlich angriffslustigeres Schach, erzeugt 11% mehr Gewinnpartien (Matt unter 50 Züge).

Also, ich habe es getestet und Partien habe ich reichlich.

Die Frage die ich noch klären will ...
Ist Rybka 4.1 SSE42 x64 gleichauf mit dem Setting (also mit SSE 42) oder eher nicht.

Der Auszug ist der von meiner Webseite, letzter offizieller SWCR Stand.

Die ELO vom Setting der Exp.61 ist identisch zu meinem Ergebnisse wenn ich mich CEGT vergleiche. Schau mal in Deine CEGT Bayes Auswertung im über meinen Beitrag.
Allerdings war das nicht das beste Setting aber auch ein gutes !!

Nun ja ...
Im Grunde halte ich nichts von Setting testen.
Stockfish PHQ war reizvoll und zwei der drei Einstellungen von PHQ gingen in Nachfolger Versionen von Stockfish über.
Aber das EXP Setting 42 ist meines Erachtens aus doppelter Sicht eine Verbesserung.

- mehr Spaß beim Zusehen der Rybka Partien
- deutlich höhere Spielstärke

Spielte auch kurz vor Ende der SWCR noch ein Turnier mit 40 in 40 und auch hier erreicht das EXP 42 Setting deutlich bessere Zahlen.

Viele Grüße
Frank

By Frank Quisinsky Date 2013-09-02 07:50

Hi,

also fünf Anzeichen sprechen dafür ...

- SWCR Test der Exp. 61 +19 zu 4.0
- CEGT Test der Exp. 61 +25 zu 4.0
- SWCR Test der Exp. 42 +28 zu 4.0, derzeit +32 nach 1.920 Partien (48 Gegner)
- SWCR Test der Exp. 42 bei 40 in 40 waren es bei mir nach je 400 Partien beider Version (also 4.0 Original im Vergleich), +38
- Test des Erstellers allerdings mit extrem kurzen Zeiten bei ca. +58 (kann durchaus sein, weil klar das taktisch stärker, siehe mehr schnelle Gewinnpartien Kommentar bei mir).

Dagegen spricht ...
Dein begonnener Test den Du seinerzeit abgebrochen hast.

Aber wie gesagt ...
Viel wichtiger ist der interessantere Spielstil.

Viele Grüße
Frank