Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Bug in Elostat?!
- - By Stefan Pohl Date 2014-02-11 08:46
Hallo,

da ich ja für die Einzelergebnisse meine LS-Datenbank durch Elostat (Version 1.3) laufen lassen muss, fällt gewissermaßen nebenher auch eine Ranglistentabelle an. Da gibts Interessantes zu sehen...
Man beachte die Errorbars von Critter 1.6a, Strelka 5.5 und Robbolito 0.085g3...Anscheinend kommt Elolstat mit mehr als 60000 (oder 65000?) Partien pro Engine wohl nicht klar. Naja, nicht so schlimm für mich, von Elostat halte ich sowieso nichts, ich nutze ja bayeselo, da gibts das Problem nicht.
Dennoch ziemlich übler Bug...gibts evt. eine neuere Version als 1.3?

Stefan


  1 Houdini 4 x64                  : 3180    4   4 19000    64.8 %   3074   41.5 %
  2 Houdini 4 Contempt=0           : 3173    5   5 10000    65.8 %   3060   50.3 %
  3 Stockfish 140129 x64s          : 3158    5   5 11000    62.4 %   3070   46.0 %
  4 Stockfish 140118 x64s          : 3155    5   5 12000    62.7 %   3064   44.3 %
  5 Houdini 3 x64                  : 3151    4   4 51000    67.6 %   3023   40.8 %
  6 Stockfish 140112 x64s          : 3150    5   5 10000    61.8 %   3066   44.5 %
  7 Robodini 1.1 x64               : 3142    5   5 11000    64.3 %   3040   43.2 %
  8 Komodo TCECr x64               : 3118    4   4 18000    55.6 %   3079   45.7 %
  9 Stockfish DD x64s              : 3118    5   5 12000    56.9 %   3070   45.1 %
10 Houdini 3 tactical             : 3114    5   5 10000    62.8 %   3023   44.3 %
11 Komodo 6 x64                   : 3102    4   4 14000    55.0 %   3067   44.7 %
12 DON 1.0b x64s                  : 3101    5   5 11000    53.7 %   3075   47.3 %
13 Houdini 2.0c x64               : 3098    5   5 11000    62.2 %   3011   42.3 %
14 Komodo CCT x64                 : 3090    3   3 22000    57.6 %   3037   44.1 %
15 Gull 2.8 x64                   : 3082    4   4 13000    50.5 %   3079   44.2 %
16 Komodo 5.1r2 x64               : 3078    5   5 10000    54.9 %   3044   45.9 %
17 Houdini 1.5a x64               : 3078    5   5 10000    59.2 %   3013   43.8 %
18 Gull R600 x64                  : 3076    4   4 18000    49.2 %   3082   50.6 %
19 Stockfish 4 x64s               : 3067    4   4 13000    51.3 %   3058   46.7 %
20 Critter 1.6a x64               : 3066   42  42 67000    53.5 %   3042   52.8 %
21 Strelka 5.5 x64                : 3066   43  42 67000    53.4 %   3042   51.8 %
22 Gull 2.3 x64                   : 3065    5   5 10000    49.6 %   3068   49.7 %
23 Strelka 5.7 beta x64           : 3064    5   5 10000    50.4 %   3061   53.0 %
24 Critter 1.4a x64s              : 3058    5   5 10000    53.1 %   3036   53.1 %
25 Komodo 5 x64                   : 3054    3   3 36000    55.0 %   3019   43.5 %
26 Fire 3 x64s                    : 3046    3   3 18000    44.6 %   3083   53.6 %
27 Gull 2.2 Trap avx              : 3045    5   5 11000    47.5 %   3062   49.4 %
28 Mars 1 avx                     : 3044    3   3 32000    45.7 %   3074   54.7 %
29 Gull 2.2 x64                   : 3043    5   5 10000    47.9 %   3058   49.7 %
30 Ivanhoe 50kQ x64s              : 3037    3   3 19000    52.5 %   3020   57.0 %
31 PanChess 00.537 x64            : 3035    3   3 32000    44.5 %   3074   54.5 %
32 Bouquet 1.8 x64                : 3035    3   3 28000    43.6 %   3080   51.0 %
33 Ivanhoe 46eQi x64s             : 3035    2   2 32000    50.4 %   3032   57.1 %
34 Firenzina 2.3.1 x64s           : 3029    3   3 18000    48.1 %   3042   56.9 %
35 Gull 2.1 Trap avx              : 3029    5   5 10000    46.4 %   3054   53.8 %
36 PanChess 00.400 x64            : 3029    4   4 14000    47.9 %   3043   58.5 %
37 Robbolito 0.21Q x64s           : 3028    2   2 41000    50.7 %   3024   58.2 %
38 Firenzina 2.4.1 x64s           : 3028    4   4 11000    43.3 %   3075   54.0 %
39 Fire trap120925 x64s           : 3028    4   4 11000    48.3 %   3040   58.7 %
40 Firenzina 2.4 x64s             : 3025    4   5 10000    44.0 %   3066   56.2 %
41 Firenzina 2.2.2 x64s           : 3022    4   4 15000    48.7 %   3031   54.1 %
42 Bouquet 1.6 x64s               : 3021    2   2 34000    49.9 %   3022   57.1 %
43 Stockfish 3 x64s               : 3020    5   5 12000    45.5 %   3051   45.3 %
44 Ivanhoe 46h x64                : 3017    4   4 17000    47.5 %   3035   53.9 %
45 Gull 2.1 x64                   : 3016    5   5 10000    45.0 %   3051   55.1 %
46 Bouquet 1.5 x64s               : 3016    4   4 14000    46.8 %   3038   56.4 %
47 Robbolito 0.10 x64s            : 3015    4   4 14000    47.5 %   3032   54.5 %
48 LEOpard 0.7c x64s              : 3013    4   4 10000    44.5 %   3051   59.2 %
49 Saros 4.1.6 x64                : 3012    4   4 10000    42.3 %   3066   56.5 %
50 Rybka 4.1 x64s                 : 3009    3   3 39000    48.1 %   3023   46.4 %
51 Vitruvius 1.11C x64s           : 3006    3   3 17000    45.8 %   3036   56.2 %
52 JukeBox DEV1 x64s              : 3006    5   5 10000    43.5 %   3051   55.2 %
53 PanChess 00.250 x64            : 3004    3   3 19000    46.3 %   3030   54.0 %
54 Akkad 0.52b x64s               : 3002    3   3 19000    46.8 %   3024   55.0 %
55 Robbolito 0.085g3 x64          : 3000   25  25 68000    43.7 %   3043   53.5 %
56 PanChess 00.240 x64            : 2997    4   4 11000    44.0 %   3039   52.5 %
57 Stockfish 2.3.1 x64s           : 2996    3   3 24000    45.7 %   3026   45.7 %
58 Saros 4.1.1 x64s               : 2996    5   5 10000    39.6 %   3069   49.9 %
59 Gull 2 x64                     : 2995    4   4 11000    43.8 %   3039   54.0 %
60 Saros 3.3b x64s                : 2994    4   4 11000    43.6 %   3039   53.6 %
61 Stockfish 2.2.2 x64s           : 2992    5   5 11000    44.9 %   3028   44.0 %
62 Saros 3.0 x64                  : 2984    4   4 17000    42.4 %   3037   47.7 %
63 Strong Chess 1v10 x64          : 2981    4   4 11000    41.6 %   3040   56.3 %
64 Saros 3.5a Distro x64s         : 2970    5   5 11000    40.0 %   3040   50.2 %
65 Sting SF 3 x64s                : 2961    5   5 10000    38.1 %   3045   41.1 %
66 Black Mamba 1.2b x64           : 2960    5   5 11000    38.9 %   3039   48.9 %
67 Black Mamba 1.4 x64            : 2958    5   5 10000    37.8 %   3045   45.2 %
68 Vitruvius 1.11H x64s           : 2952    5   5 10000    37.2 %   3043   45.1 %
69 Bouquet 1.4 x64s               : 2926    5   5 13000    34.1 %   3040   41.6 %
Parent - - By Thomas Müller Date 2014-02-11 09:32
vermutlich 65532 !?
Mir ist keine andere version bekannt
Parent - - By Benno Hartwig Date 2014-02-11 10:38

> vermutlich 65532 !?


Ich denke eher an 2^16-1 = 65535
Und da befürchte ich jetzt Auswirkungen an anderen Stellen, die vielleicht noch gar nicht gesehen wurde.
Stefan, wenn da eventuell mit 16bit-unsigned-int gerechnet wurde und nicht auf Überläufe geachtet wurde
"Sooo viele Teilnehmer ein ein Turnier doch niemals!"
dann kann sowas wohl passieren.

Benno
Parent - - By Stefan Pohl Date 2014-02-11 12:09
Benno Hartwig schrieb:

Ich denke eher an 2^16-1 = 65535
Und da befürchte ich jetzt Auswirkungen an anderen Stellen, die vielleicht noch gar nicht gesehen wurde.
Stefan, wenn da eventuell mit 16bit-unsigned-int gerechnet wurde und nicht auf Überläufe geachtet wurde
"Sooo viele Teilnehmer ein ein Turnier doch niemals!"
dann kann sowas wohl passieren.

Benno


Es geht ja nicht um viele Teilnehmer, das sind bei mir ja z.zt. nur 69. Es geht um die Zahl der Partien, die einzelne Engines gespielt haben. Da wird wohl 65535 der Knackpunkt sein, weil der Autor wahrscheinlich glaubte, niemand wäre so verrückt mit einer Engine so viele Partien zu spielen.

Stefan
Parent - By Benno Hartwig Date 2014-02-11 14:16

> Es geht um die Zahl der Partien


Stimmt!
Bin mal gespannt, ob es eine Dauerbrenner-Engine irgendwann mal schafft, die 100.000 zu erreichen. 
Benno
Parent - - By Chess Player Date 2014-02-11 10:42
Stefan Pohl schrieb:

Hallo,

da ich ja für die Einzelergebnisse meine LS-Datenbank durch Elostat (Version 1.3) laufen lassen muss, fällt gewissermaßen nebenher auch eine Ranglistentabelle an. Da gibts Interessantes zu sehen...
Man beachte die Errorbars von Critter 1.6a, Strelka 5.5 und Robbolito 0.085g3...Anscheinend kommt Elolstat mit mehr als 60000 (oder 65000?) Partien pro Engine wohl nicht klar. Naja, nicht so schlimm für mich, von Elostat halte ich sowieso nichts, ich nutze ja bayeselo, da gibts das Problem nicht.
Dennoch ziemlich übler Bug...gibts evt. eine neuere Version als 1.3?

Stefan

.-.


schon mal die readme gelesen?

A)
EloStat 1.3 verwendet zur Berechnung der Konfidenzintervalle ein Resampling-Verfahren, die sog. nichtparametrische ABC-Methode (Approximated Bootstrap Confidence) nach Efron und Tibshirani (An introduction to the Bootstrap, Chapman Hall, New York, 1993). Dabei wird keine a-priori-Annahme über die Verteilungsfunktion gemacht, sondern die tatsächlich vorliegende Verteilungsfunktion der Stichprobe zugrunde gelegt. Das meist sehr aufwendige Resampling wird bei der ABC-Methode durch eine analytische Näherung ersetzt, die ausreichend genaue Ergebnisse liefert.

B)
ELOStat berücksichtigt keine Elounterschiede, die größer als ± 600 Punkte sind (die 95%-Fehlergrenzen können daher maximal ± 1200 Elopunkte betragen).

C)
EloStat ist derzeit auf die Bearbeitung von maximal 1500 verschiedenen Programmen je Datenbank beschränkt. Dagegen bestehen keinerlei prinzipielle Beschränkungen in der Partienanzahl.

D)
Die vorliegende ELOStat-Version 1.3 wurde ausführlich getestet. Trotzdem können Programmfehler niemals ausgeschlossen werden. Falls solche Bugs auftreten bzw. Vorschläge zur besseren Bedienbarkeit oder zur möglichen Erweiterung des Programms vorliegen, bitte ich freundlichst um Rückmeldung an

Frank_Schubert@t-online.de

Bitte senden Sie bei Fehlermeldungen nach Möglichkeit die zugrundeliegende PGN-Datenbank mit, bei der das Problem auftrat. Sie wird selbstverständlich vertraulich behandelt.
Parent - - By Benno Hartwig Date 2014-02-11 11:19

> Dagegen bestehen keinerlei prinzipielle Beschränkungen in der Partienanzahl.


Ggf. hat der Entwickler die Wertebereiche der verwendeten Variablen für so groß gehalten, dass er dies nicht zu den 'prinzipiellen Beschränkungen' zählte.
Und ggf. hat er hier doch was übersehen.
Benno
Parent - By Chess Player Date 2014-02-11 13:51
Deshalb auch meine Anmerkungen...
Speziell unter D)

Das hätte Stefan auch genauer darstellen können, einfach mal ein paar Partien herausnehmen und sehen was passiert...
Einfach Behauptungen in die Welt setzen... finde ich nicht so toll... (!) war die Behauptung.
Parent - - By Benno Hartwig Date 2014-02-11 11:22
Stefan, lief das eigentlich wirklich so?
Hatten bei dir Critter, Strelka und Robbolito dermaßen viele Partien gespielt? (mehr als 60.000!!)
Warum hatten dich ggf. gerade diese Engines so besonders interessiert?

Benno
Parent - By Stefan Pohl Date 2014-02-11 12:04 Edited 2014-02-11 12:10
Benno Hartwig schrieb:

Stefan, lief das eigentlich wirklich so?
Hatten bei dir Critter, Strelka und Robbolito dermaßen viele Partien gespielt? (mehr als 60.000!!)
Warum hatten dich ggf. gerade diese Engines so besonders interessiert?

Benno


Weil Robbo der Elofixpunkt im LS top10 tournament ist (damit unabsteigbar) und Critter und  Strelka bisher nicht abgestiegen sind und auch nicht durch neue Versionen ersetzt wurden. Ergo sind sie seit Beginn der LS-Liste im LS top10 tournament vertreten und somit in allen Testruns Gegner der zu testenden Engine. Da sammelt sich im Laufe der Zeit eben viel an...

Stefan
Parent - - By Frank Quisinsky Date 2014-02-11 11:33
Hallo Stefan,

welche Bayesian Version nimmst Du?
Es gibt neben der 0056 auch noch eine 0057.3.

Änderungen kamen vom Programmierer von Deuterium.
Findest Du noch im Jim Ablett Verzeichnis, nicht mehr auf der Deuterium Webseite.

Gruß
Frank
Parent - - By Stefan Pohl Date 2014-02-11 12:06
Frank Quisinsky schrieb:

Hallo Stefan,

welche Bayesian Version nimmst Du?
Es gibt neben der 0056 auch noch eine 0057.3.

Änderungen kamen vom Programmierer von Deuterium.
Findest Du noch im Jim Ablett Verzeichnis, nicht mehr auf der Deuterium Webseite.

Gruß
Frank


Ich nehm die 0056. Hat bisher gut funktioniert.

Stefan
Parent - - By Frank Quisinsky Date 2014-02-11 12:15 Edited 2014-02-11 12:17
Hallo Stefan,

schaue Dir die mal an.
Die gibt mehr aus, gerade Dich als ErrorBar Fan sollte das doch reizen (nicht böse gemeint).
Aber die ErrorBar Ausgaben sind auch hier nicht korrekt, wie auch in Ordo und ELOstat als auch in der Original Version von Bayesian.
Vier verschiedene Ansätze der Berechnung (zumindest wurde erkannt das die Ausgaben nicht korrekt sind, denn wer sich damit beschäftigt wird es merken und lässt dann so seine Ideen einfließen).

Gruß
Frank

Beispiel: Das SWCR2 Turnier nach 10.500 Partien nach GullChess 2.8 Beta x64 BMI2:

Bayesian 0056:
Code:
Rank Name                           Elo    +    - games score oppo. draws
   1 Houdini 4 STD x64 A           3094   21   20  1000   81%  2851   26%
   2 Stockfish 05.12.13 SSE42 x64  3053   19   19  1000   78%  2853   37%
   3 Komodo TCECr x64              3038   19   19  1000   75%  2854   32%
   4 GullChess 2.8 Beta x64 BMI2   3008   18   18  1000   71%  2856   38%
   5 Equinox 2.02 x64              2967   18   18  1000   66%  2858   40%
   6 Rybka 4.1 SSE42 x64           2950   18   18  1000   63%  2859   39%
   7 Chiron 2.0 x64                2894   17   17  1000   55%  2861   41%
   8 Hannibal 1.4b x64             2862   17   17  1000   50%  2863   42%
   9 Protector 1.5.0 JA x64        2841   17   17  1000   47%  2864   41%
  10 Naum 4.2 x64                  2836   17   17  1000   46%  2864   42%
  11 Hiarcs 14 WCSC w32            2825   17   17  1000   45%  2865   40%
  12 Jonny 6.00 Yokohama x64       2822   18   18  1000   44%  2865   36%
  13 Sjeng c't 2010 w32            2798   17   18  1000   41%  2866   41%
  14 Texel 1.03 x64                2796   17   18  1000   40%  2866   40%
  15 Shredder 12 x64               2791   18   18  1000   39%  2867   39%
  16 Junior 13.8.04 Yokohama x64   2785   18   18  1000   39%  2867   33%
  17 Spike 1.4 Leiden w32          2784   18   18  1000   38%  2867   38%
  18 Quazar 0.4 x64                2761   18   18  1000   35%  2868   38%
  19 Spark 1.0 x64                 2760   18   18  1000   35%  2868   40%
  20 Booot 5.2.0 x64               2758   18   18  1000   35%  2868   36%
  21 SmarThink 1.50 SSE3 x64       2700   19   19  1000   27%  2871   32%


Bayesian 0057.3:
Code:
Rank Name                             Elo      Diff     +       -      Games  Score     Oppo.  Draws    Win           W-L-D
   1 Houdini 4 STD x64 A           3094.49     0.00   23.13   22.11     1000  80.85%  2851.43  25.50%  68.10%       681-64-255
   2 Stockfish 05.12.13 SSE42 x64  3053.33   -41.16   21.54   21.26     1000  77.55%  2853.48  36.50%  59.30%       593-42-365
   3 Komodo TCECr x64              3038.07   -15.27   21.65   21.30     1000  74.75%  2854.25  32.30%  58.60%       586-91-323
   4 GullChess 2.8 Beta x64 BMI2   3008.26   -29.81   20.18   19.72     1000  71.45%  2855.74  38.30%  52.30%       523-94-383
   5 Equinox 2.02 x64              2967.10   -41.16   19.72   19.69     1000  66.35%  2857.80  40.10%  46.30%       463-136-401
   6 Rybka 4.1 SSE42 x64           2949.70   -17.40   19.96   19.33     1000  63.15%  2858.66  38.90%  43.70%       437-174-389
   7 Chiron 2.0 x64                2893.56   -56.14   18.84   19.88     1000  55.10%  2861.47  41.20%  34.50%       345-243-412
   8 Hannibal 1.4b x64             2861.83   -31.73   18.61   19.92     1000  50.15%  2863.06  41.70%  29.30%       293-290-417
   9 Protector 1.5.0 JA x64        2840.75   -21.08   19.87   18.81     1000  47.25%  2864.11  41.10%  26.70%       267-322-411
  10 Naum 4.2 x64                  2835.68    -5.07   18.62   19.95     1000  46.15%  2864.37  41.50%  25.40%       254-331-415
  11 Hiarcs 14 WCSC w32            2825.04   -10.64   19.69   19.32     1000  44.55%  2864.90  39.70%  24.70%       247-356-397
  12 Jonny 6.00 Yokohama x64       2822.46    -2.58   20.23   19.43     1000  44.20%  2865.03  36.40%  26.00%       260-376-364
  13 Sjeng c't 2010 w32            2798.22   -24.24   20.05   18.40     1000  40.65%  2866.24  41.10%  20.10%       201-388-411
  14 Texel 1.03 x64                2795.76    -2.46   19.45   20.17     1000  40.05%  2866.36  39.90%  20.10%       201-400-399
  15 Shredder 12 x64               2791.00    -4.76   19.99   19.06     1000  39.30%  2866.60  39.20%  19.70%       197-411-392
  16 Junior 13.8.04 Yokohama x64   2784.74    -6.26   19.44   20.19     1000  38.85%  2866.91  32.50%  22.60%       226-449-325
  17 Spike 1.4 Leiden w32          2783.89    -0.85   19.64   19.66     1000  38.45%  2866.96  38.30%  19.30%       193-424-383
  18 Quazar 0.4 x64                2760.59   -23.30   18.92   20.32     1000  34.85%  2868.12  38.30%  15.70%       157-460-383
  19 Spark 1.0 x64                 2760.36    -0.22   19.00   20.21     1000  34.75%  2868.13  39.70%  14.90%       149-454-397
  20 Booot 5.2.0 x64               2758.46    -1.90   19.98   19.62     1000  34.80%  2868.23  35.80%  16.90%       169-473-358
  21 SmarThink 1.50 SSE3 x64       2699.71   -58.75   20.59   19.83     1000  26.80%  2871.16  32.20%  10.70%       107-571-322
Parent - - By Stefan Pohl Date 2014-02-11 12:18
Interssant! Aber für meine Website sind das zu viele Daten nebeneinander, das würde nur mit einem sehr kleinen Schriftsatz in der Breite noch passen. Wers so genau wissen will, kann sich ja ab sofort die Einzelstatistiken auf meiner Website herunterladen.
Trotzdem danke für den Tip. Für daheim schau ich mir die Version mal an.

Stefan
Parent - - By Frank Quisinsky Date 2014-02-11 12:35 Edited 2014-02-11 12:38
Hi Stefan,

ja, denke für Deine Liste mit den vielen Partien macht die Auswertung mehr Sinn weil genauer in der Darstellung und ja viele Engine Versionen sehr eng beieinander liegen.
Kannst ja ausblenden was Du nicht haben möchtest.

Einzelstatistiken:
Hier ist ELOstat wirklich Klasse. Gibt mehr an Daten aus.
Habe auch lange Bayesian genutzt (SWCR1) schon alleine wegen den beschriebenen Änderungen zu ELOstat (bzw. beschriebenen Fehlern in ELOstat). Finde auch die Berücksichtigung von Remis Ergebnissen ist in Bayesian besser gelöst. Noch besser finde ich die Ideen die der Gaviota Programmierer hier hat und in Ordo umgesetzt hat.

z. B. erster und letzter Platz in der Liste:
Rückt bei Bayesian enger zusammen und das ist leider eher realitätsfremder, realitätsnäher ist hier Ordo!

Besipiel:

Code:
                                      Elo   Bay   Ordo   Games  Score  Draws  MoveØ
01. Houdini 4 STD x64 A               3099  3094  3115   1.000  80.8%  25.5%   90
02. Stockfish 05.12.13 SSE42 x64      3066  3053  3080   1.000  77.5%  36.5%   85
03. Komodo TCECr x64                  3041  3038  3052   1.000  74.8%  32.3%   89
04. GullChess 2.8 Beta x64 BMI2       3013  3008  3021   1.000  71.5%  38.3%   88
05. Equinox 2.02 x64                  2973  2967  2976   1.000  66.3%  40.1%   87
06. Rybka 4.1 SSE42 x64               2950  2950  2950   1.000  63.1%  38.9%   90
07. Chiron 2.0 x64                    2895  2894  2886   1.000  55.1%  41.2%   87
08. Hannibal 1.4b x64                 2862  2862  2849   1.000  50.1%  41.7%   89
09. Protector 1.5.0 JA x64            2843  2841  2827   1.000  47.2%  41.1%   89
10. Naum 4.2 x64                      2836  2836  2818   1.000  46.2%  41.5%   89
11. Hiarcs 14 WCSC w32                2825  2825  2806   1.000  44.5%  39.7%   89
12. Jonny 6.00 Yokohama x64           2823  2822  2804   1.000  44.2%  36.4%   91
13. Sjeng c't 2010 w32                2799  2798  2776   1.000  40.6%  41.1%   86
14. Texel 1.03 x64                    2794  2796  2772   1.000  40.1%  39.9%   90
15. Shredder 12 x64                   2789  2791  2766   1.000  39.3%  39.2%   85
16. Junior 13.8.04 Yokohama x64       2786  2785  2762   1.000  38.9%  32.5%   81
17. Spike 1.4 Leiden w32              2783  2784  2759   1.000  38.5%  38.3%   88
18. Quazar 0.4 x64                    2758  2761  2731   1.000  34.8%  38.3%   99
19. Booot 5.2.0 x64                   2757  2758  2730   1.000  34.8%  35.8%   89
19. Spark 1.0 x64                     2757  2760  2730   1.000  34.8%  39.7%   91
21. SmarThink 1.50 SSE3 x64           2695  2700  2662   1.000  26.8%  32.2%   82


Blende in der Historie die Zahlen von den drei Programmen ein. Realistischer finde ich die Ausgaben von Ordo da beim Vergleich der Einzelergebnisse (deutlich stärker gegen deutlich schwächer, die Unterschiede bei Ordo mehr stimmig sind). Auch Ordo bewertet die Remispartien etwas anders als Bayesian nur nicht ganz so krass. Da finde ich wieder Bayesian etwas besser als Ordo. Nehme noch die Zügedurchschnitt dazu der aber auch nur in Fällen von Junior oder Quazar mir sagt ... Frank, gehe mal auf die Suche warum das so ist.

Gruß
Frank

Die ErrorBar Ausgabe blende ich aus, da mich keine der vier Ideen bislang überzeugt bzw. mit meinen Resultaten im Einklang steht. Aber zumindest interessant zu sehen, dass sich alle vier Programmierer damit beschäftigen und andere Lösungswege versuchten.
Parent - - By Stefan Pohl Date 2014-02-11 12:54
Korrekte Remisbewertung ist für mich wichtiger als die Berechnung von Ergebnissen von ganz starken gegen ganz schwache, weil das bei mir in der LS-Rangliste wegen meiner 30%-Regel nicht vorkommt. Bei mir sind nur relativ starke Engines in der Liste. Daher habe ich mich aus dem von dir genannten Grund auch ganz bewußt für bayeselo und gegen Ordo entschieden. Elostat benutze ich nur, um die Einzelstatistiken schön formatiert in ein Textfile geliefert zu bekommen, welches man sich seit heute auf meiner Website dann downloaden kann.

Stefan
Parent - - By Frank Quisinsky Date 2014-02-11 12:58
Hi Stefan,

ja, das stimmt.
In Deinem Fall ist dann Bayesian bestimmt besser geeignet als Ordo.

Viele Grüße
Frank
Parent - - By Dirk Triebel Date 2014-02-12 01:03
Hallo Frank,

ist vielleicht ne blöde Frage: Was muss man denn bei Bayesian eingeben damit was rauskommt? Irgendwie bekomme ich da nix raus. Hab das auch noch nie verwendet. Bei Elostat war es ja einfach, da ich ja nur den Dateinamen eingeben musste. Muss man hier noch eine Pfad eingeben?

Danke!

Gruß,
Dirk
Parent - By Frank Quisinsky Date 2014-02-12 02:05
Hallo Dirk,

lade doch einfach die Version 1.08 der SWCR2 runter.
Da sind nicht nur die Partien sondern auch die Dateien der Berechnungsprogramme drin und für Bayesian auch die Datei um das zu starten.

Ansonsten steht es z. B. auch in der readme der PGN Tools von Norm Pollock.

Gruß
Frank
Parent - By Stefan Pohl Date 2014-02-12 04:59
Dirk Triebel schrieb:

Hallo Frank,

ist vielleicht ne blöde Frage: Was muss man denn bei Bayesian eingeben damit was rauskommt? Irgendwie bekomme ich da nix raus. Hab das auch noch nie verwendet. Bei Elostat war es ja einfach, da ich ja nur den Dateinamen eingeben musste. Muss man hier noch eine Pfad eingeben?

Danke!

Gruß,
Dirk


Ich tippe bei bayeselo folgendes ein, nachdem ich bayeselo per Doppelklick gestartet habe (PGN-Datei muß im gleichen Verzeichnis sein wie die bayelo.exe):

readpgn ls_all.pgn
elo
mm 0 1
exactdist
offset 3000 Robbolito 0.085g3 x64
ratings >ls_all_list.txt

Das erstellt die Rangliste aus meiner ls_all.pgn Datenbank (mit dem Elofixpunkt Robbolito 0.085g3 auf 3000 Elo) und schreibt die Rangliste in ein Textfile mit dem Namen ls_all_list.txt.
Eigentlich einfach.

Stefan
Parent - - By Frank Quisinsky Date 2014-02-11 14:29
Hi Stefan,

schaue Dir mal das an ...

Code:
                                        W H I T E                ::          B L A C K

          Name                   Win  : Draw  : Lose  :    %     ::   Win  : Draw  : Lose  :    %

Booot 5.2.0 x64                  99+  : 197=  : 204-  :  39.5%   ::   69+  : 161=  : 269-  :  30.0%   =  9,5
Chiron 2.0 x64                  190+  : 202=  : 108-  :  58.2%   ::  155+  : 210=  : 135-  :  52.0%   =  6,2
Equinox 2.02 x64                265+  : 180=  :  55-  :  71.0%   ::  198+  : 221=  :  81-  :  61.7%   =  9,3
GullChess 2.8 Beta x64 BMI2     305+  : 164=  :  31-  :  77.4%   ::  218+  : 219=  :  63-  :  65.5%   = 11,9
Hannibal 1.4b x64               184+  : 196=  : 120-  :  56.4%   ::  109+  : 221=  : 169-  :  44.0%   = 12,4
Hiarcs 14 WCSC w32              148+  : 197=  : 155-  :  49.3%   ::   99+  : 200=  : 201-  :  39.8%   =  9,5
Houdini 4 STD x64 A             368+  : 111=  :  21-  :  84.7%   ::  313+  : 144=  :  43-  :  77.0%   =  7,7
Jonny 6.00 Yokohama x64         163+  : 179=  : 158-  :  50.5%   ::   97+  : 185=  : 218-  :  37.9%   = 12,6
Junior 13.8.04 Yokohama x64     134+  : 169=  : 197-  :  43.7%   ::   92+  : 156=  : 252-  :  34.0%   =  9,7
Komodo TCECr x64                329+  : 135=  :  36-  :  79.3%   ::  257+  : 188=  :  55-  :  70.2%   =  9,1
Naum 4.2 x64                    139+  : 221=  : 140-  :  49.9%   ::  115+  : 194=  : 191-  :  42.4%   =  7,5
Protector 1.5.0 JA x64          161+  : 186=  : 153-  :  50.8%   ::  106+  : 225=  : 169-  :  43.7%   =  7,1
Quazar 0.4 x64                   95+  : 215=  : 190-  :  40.5%   ::   62+  : 168=  : 270-  :  29.2%   = 11,3
Rybka 4.1 SSE42 x64             245+  : 197=  :  58-  :  68.7%   ::  192+  : 192=  : 116-  :  57.6%   = 11,1
Shredder 12 x64                 118+  : 219=  : 162-  :  45.6%   ::   79+  : 173=  : 249-  :  33.0%   = 12,6
Sjeng c't 2010 w32              120+  : 231=  : 149-  :  47.1%   ::   81+  : 180=  : 239-  :  34.2%   = 12,9
SmarThink 1.50 SSE3 x64          62+  : 179=  : 259-  :  30.3%   ::   45+  : 143=  : 312-  :  23.3%   =  7,0
Spark 1.0 x64                    83+  : 212=  : 205-  :  37.8%   ::   66+  : 185=  : 249-  :  31.7%   =  6,1
Spike 1.4 Leiden w32            117+  : 209=  : 174-  :  44.3%   ::   76+  : 174=  : 250-  :  32.6%   = 11,7
Stockfish 05.12.13 SSE42 x64    344+  : 144=  :  12-  :  83.2%   ::  249+  : 221=  :  30-  :  71.9%   = 11,3
Texel 1.03 x64                  117+  : 208=  : 175-  :  44.2%   ::   84+  : 191=  : 225-  :  35.9%   =  8,3


Ein Grund warum Chiron so ausgeglichen ist, denn auch hier zeigt die Engine sehr realitätsnahe Ergebnisse hinsichtlich weiß / schwarz Statistik.
Wäre mal interessant diese Statistik bei den vielen gleichen Engines und Deinen vielen Partien zu sehen.

Vielleicht kannst Du mir den Gefallen tun ...
Pollock PGN Utilities ...
Eingabe im Textmode dann: resultColor 10500.pgn (Name vom PGN file).
Der Unterschied am Ende der Ausgabe kam von mir ...

Gruß
Frank
Parent - - By Frank Quisinsky Date 2014-02-11 14:48
Hi Stefan,

arbeitest ja mit Stellungen aus meiner PGN Random Datei ...
Kannst ja auch mal auswerten ob die Stellungen die Du benutzt wirklich gut sind oder ob Stellungen dabei sind die zu anderen Resultaten führen als ca. 55% - 65% für weiß im Durchschnitt:

Hier z. B. bei der SWCR2 mit den ca. 5000 Testpositionen die zufällig mittels Shredder Random Buch bei der SWCR2 gespielt werden.

So kannst Du dann Positionen raus nehmen bei denen deutlich mehr oder weniger als 55-65% erreicht werden. Bei mir sehr ungenau wegen der Random Auswahl aber ein paar Eröffnungen sind bei ausreichender Partiezahl schon auffällig.  Allerdings, muss ich nochmal ansetzen denn einige Eröffnungen werden viel zu oft gespielt.

Norm Pollock Tools
ecoList 10.500.pgn (Name vom PGN File).

[code]                  White       White                   White
ECO      Games    Score        Win    :    Draw   :    Loss

A00        20     65.0%   :     10+   :      6=   :      4-
A01        27     51.9%   :     11+   :      6=   :     10-
A02        16     43.8%   :      4+   :      6=   :      6-
A03        73     54.1%   :     26+   :     27=   :     20-
A04         8     43.8%   :      2+   :      3=   :      3-
A05        24     54.2%   :      8+   :     10=   :      6-
A06         4     25.0%   :      0+   :      2=   :      2-
A07        12     62.5%   :      5+   :      5=   :      2-
A08        19     42.1%   :      4+   :      8=   :      7-
A09         8     43.8%   :      1+   :      5=   :      2-
A10        14     57.1%   :      5+   :      6=   :      3-
A11        11     50.0%   :      3+   :      5=   :      3-
A12         3     50.0%   :      1+   :      1=   :      1-
A13        26     51.9%   :      8+   :     11=   :      7-
A14         4     62.5%   :      1+   :      3=   :      0-
A15         1     50.0%   :      0+   :      1=   :      0-
A16        21     57.1%   :      8+   :      8=   :      5-
A17        15     53.3%   :      4+   :      8=   :      3-
A18         2     50.0%   :      1+   :      0=   :      1-
A20        77     49.4%   :     22+   :     32=   :     23-
A21        50     47.0%   :     15+   :     17=   :     18-
A22        31     51.6%   :      8+   :     16=   :      7-
A24         3     50.0%   :      0+   :      3=   :      0-
A25        26     34.6%   :      4+   :     10=   :     12-
A26        12     37.5%   :      4+   :      1=   :      7-
A27         6     33.3%   :      1+   :      2=   :      3-
A28         3     16.7%   :      0+   :      1=   :      2-
A29         7     42.9%   :      1+   :      4=   :      2-
A30        57     51.8%   :     19+   :     21=   :     17-
A31        69     58.0%   :     28+   :     24=   :     17-
A32        66     53.8%   :     21+   :     29=   :     16-
A33        18     58.3%   :      7+   :      7=   :      4-
A34        34     51.5%   :      8+   :     19=   :      7-
A35        13     34.6%   :      4+   :      1=   :      8-
A36        52     46.2%   :     16+   :     16=   :     20-
A37        28     53.6%   :     12+   :      6=   :     10-
A38         2     75.0%   :      1+   :      1=   :      0-
A39         2     25.0%   :      0+   :      1=   :      1-
A40        28     69.6%   :     14+   :     11=   :      3-
A41        96     55.2%   :     40+   :     26=   :     30-
A42        16     43.8%   :      4+   :      6=   :      6-
A43        30     63.3%   :     12+   :     14=   :      4-
A44        13     46.2%   :      5+   :      2=   :      6-
A45       224     51.8%   :     82+   :     68=   :     74-
A46        95     47.4%   :     29+   :     32=   :     34-
A47        36     45.8%   :     11+   :     11=   :     14-
A48        50     50.0%   :     13+   :     24=   :     13-
A49         4     50.0%   :      1+   :      2=   :      1-
A50         5     40.0%   :      2+   :      0=   :      3-
A52        21     61.9%   :      8+   :     10=   :      3-
A53        67     58.2%   :     30+   :     18=   :     19-
A54        38     60.5%   :     17+   :     12=   :      9-
A55        32     60.9%   :     14+   :     11=   :      7-
A56         6     25.0%   :      0+   :      3=   :      3-
A57        10     60.0%   :      4+   :      4=   :      2-
A59         1     50.0%   :      0+   :      1=   :      0-
A60        22     56.8%   :      8+   :      9=   :      5-
A62        13     76.9%   :      8+   :      4=   :      1-
A63         5     50.0%   :      1+   :      3=   :      1-
A64         3     50.0%   :      1+   :      1=   :      1-
A65        12     41.7%   :      4+   :      2=   :      6-
A67        10     65.0%   :      5+   :      3=   :      2-
A68         7     78.6%   :      4+   :      3=   :      0-
A70        17     64.7%   :      8+   :      6=   :      3-
A72         1    100.0%   :      1+   :      0=   :      0-
A73         1    100.0%   :      1+   :      0=   :      0-
A77         3     83.3%   :      2+   :      1=   :      0-
A80        18     58.3%   :      8+   :      5=   :      5-
A81        26     59.6%   :     12+   :      7=   :      7-
A84        92     56.5%   :     36+   :     32=   :     24-
A85        48     58.3%   :     23+   :     10=   :     15-
A86        44     56.8%   :     17+   :     16=   :     11-
A87        28     67.9%   :     15+   :      8=   :      5-
A88        14     42.9%   :      4+   :      4=   :      6-
A89         4     37.5%   :      1+   :      1=   :      2-
A90        25     64.0%   :     10+   :     12=   :      3-
A91         4     75.0%   :      3+   :      0=   :      1-
A92        29     53.4%   :      8+   :     15=   :      6-
A93        20     60.0%   :      9+   :      6=   :      5-
A97        14     75.0%   :      8+   :      5=   :      1-
A98        16     50.0%   :      5+   :      6=   :      5-
B01        35     57.1%   :     14+   :     12=   :      9-
B02       106     55.2%   :     35+   :     47=   :     24-
B03        75     65.3%   :     37+   :     24=   :     14-
B04        24     70.8%   :     13+   :      8=   :      3-
B05         8     68.8%   :      4+   :      3=   :      1-
B06        56     54.5%   :     20+   :     21=   :     15-
B07        91     57.1%   :     37+   :     30=   :     24-
B08         9     55.6%   :      2+   :      6=   :      1-
B09        12     54.2%   :      5+   :      3=   :      4-
B10        23     47.8%   :      7+   :      8=   :      8-
B11        14     60.7%   :      6+   :      5=   :      3-
B12        16     65.6%   :      9+   :      3=   :      4-
B13         8     56.3%   :      3+   :      3=   :      2-
B14        15     63.3%   :      6+   :      7=   :      2-
B17         2    100.0%   :      2+   :      0=   :      0-
B18         1    100.0%   :      1+   :      0=   :      0-
B20       207     56.3%   :     79+   :     75=   :     53-
B21       116     56.5%   :     48+   :     35=   :     33-
B22       204     61.0%   :     88+   :     73=   :     43-
B23       152     51.6%   :     57+   :     43=   :     52-
B24        29     58.6%   :     11+   :     12=   :      6-
B25        33     39.4%   :      7+   :     12=   :     14-
B26        14     35.7%   :      2+   :      6=   :      6-
B27        97     53.1%   :     33+   :     37=   :     27-
B29        42     58.3%   :     16+   :     17=   :      9-
B30       201     52.0%   :     67+   :     75=   :     59-
B31        56     51.8%   :     17+   :     24=   :     15-
B32        88     52.3%   :     30+   :     32=   :     26-
B33        22     56.8%   :      9+   :      7=   :      6-
B34        15     46.7%   :      4+   :      6=   :      5-
B36        12     58.3%   :      5+   :      4=   :      3-
B37         4     12.5%   :      0+   :      1=   :      3-
B38        28     57.1%   :     10+   :     12=   :      6-
B39         5     60.0%   :      2+   :      2=   :      1-
B40       184     50.5%   :     69+   :     48=   :     67-
B41        34     60.3%   :     15+   :     11=   :      8-
B42        24     62.5%   :     11+   :      8=   :      5-
B43         8     31.3%   :      0+   :      5=   :      3-
B44        63     55.6%   :     28+   :     14=   :     21-
B45        51     56.9%   :     18+   :     22=   :     11-
B46        23     58.7%   :     11+   :      5=   :      7-
B47         4     75.0%   :      2+   :      2=   :      0-
B48        13     69.2%   :      9+   :      0=   :      4-
B49         2      0.0%   :      0+   :      0=   :      2-
B50       106     51.4%   :     38+   :     33=   :     35-
B51        82     60.4%   :     32+   :     35=   :     15-
B52        43     60.5%   :     18+   :     16=   :      9-
B53       254     58.1%   :     97+   :    101=   :     56-
B54        64     54.7%   :     24+   :     22=   :     18-
B55         8     62.5%   :      2+   :      6=   :      0-
B56        29     53.4%   :      9+   :     13=   :      7-
B58         2     75.0%   :      1+   :      1=   :      0-
B60         3     33.3%   :      1+   :      0=   :      2-
B67         1    100.0%   :      1+   :      0=   :      0-
B70        22     27.3%   :      1+   :     10=   :     11-
B71         2    100.0%   :      2+   :      0=   :      0-
B72         2     75.0%   :      1+   :      1=   :      0-
B73         8     62.5%   :      3+   :      4=   :      1-
B74         7     35.7%   :      2+   :      1=   :      4-
B75         1      0.0%   :      0+   :      0=   :      1-
B76         5     80.0%   :      3+   :      2=   :      0-
B78         1      0.0%   :      0+   :      0=   :      1-
B80        43     52.3%   :     14+   :     17=   :     12-
B81        22     65.9%   :     10+   :      9=   :      3-
B82        20     72.5%   :     12+   :      5=   :      3-
B83        27     40.7%   :      3+   :     16=   :      8-
B84        14     60.7%   :      4+   :      9=   :      1-
B85         1     50.0%   :      0+   :      1=   :      0-
B86        15     43.3%   :      3+   :      7=   :      5-
B87         3     33.3%   :      0+   :      2=   :      1-
B88         5     40.0%   :      1+   :      2=   :      2-
B90        16     65.6%   :      8+   :      5=   :      3-
B91         4     75.0%   :      3+   :      0=   :      1-
B92        15     56.7%   :      6+   :      5=   :      4-
B93         5     40.0%   :      1+   :      2=   :      2-
B95         1    100.0%   :      1+   :      0=   :      0-
B96         4     37.5%   :      1+   :      1=   :      2-
B99         1      0.0%   :      0+   :      0=   :      1-
C00        82     53.0%   :     32+   :     23=   :     27-
C01        55     52.7%   :     18+   :     22=   :     15-
C02        62     59.7%   :     26+   :     22=   :     14-
C03        42     57.1%   :     17+   :     14=   :     11-
C04        15     63.3%   :      6+   :      7=   :      2-
C05         9     72.2%   :      4+   :      5=   :      0-
C06         7     64.3%   :      3+   :      3=   :      1-
C07         8     56.3%   :      2+   :      5=   :      1-
C08         7     50.0%   :      1+   :      5=   :      1-
C09         3     50.0%   :      1+   :      1=   :      1-
C10        83     53.0%   :     26+   :     36=   :     21-
C11         7     85.7%   :      6+   :      0=   :      1-
C12         7     35.7%   :      2+   :      1=   :      4-
C13         3     50.0%   :      0+   :      3=   :      0-
C14         4     62.5%   :      2+   :      1=   :      1-
C15        14     60.7%   :      5+   :      7=   :      2-
C16         3     66.7%   :      2+   :      0=   :      1-
C17         2     50.0%   :      0+   :      2=   :      0-
C21         7     57.1%   :      2+   :      4=   :      1-
C22         7     50.0%   :      1+   :      5=   :      1-
C24        16     59.4%   :      7+   :      5=   :      4-
C25         2     50.0%   :      1+   :      0=   :      1-
C26        37     71.6%   :     20+   :     13=   :      4-
C27        34     57.4%   :     13+   :     13=   :      8-
C28        44     64.8%   :     21+   :     15=   :      8-
C29        20     32.5%   :      3+   :      7=   :     10-
C30        13     73.1%   :      7+   :      5=   :      1-
C32        23     52.2%   :      7+   :     10=   :      6-
C33        20     47.5%   :      7+   :      5=   :      8-
C34        24     43.8%   :      5+   :     11=   :      8-
C35         2     75.0%   :      1+   :      1=   :      0-
C36        17     52.9%   :      5+   :      8=   :      4-
C37         2    100.0%   :      2+   :      0=   :      0-
C38         2     50.0%   :      0+   :      2=   :      0-
C39         1    100.0%   :      1+   :      0=   :      0-
C41         8     31.3%   :      1+   :      3=   :      4-
C42        53     52.8%   :     18+   :     20=   :     15-
C43        15     63.3%   :      5+   :      9=   :      1-
C44        34     44.1%   :     11+   :      8=   :     15-
C45        30     68.3%   :     17+   :      7=   :      6-
C47        36     61.1%   :     16+   :     12=   :      8-
C48        40     53.8%   :     12+   :     19=   :      9-
C49        10     60.0%   :      4+   :      4=   :      2-
C50        52     48.1%   :     15+   :     20=   :     17-
C51         9     33.3%   :      3+   :      0=   :      6-
C52         1     50.0%   :      0+   :      1=   :      0-
C53         3     83.3%   :      2+   :      1=   :      0-
C54        28     50.0%   :      9+   :     10=   :      9-
C55        46     58.7%   :     20+   :     14=   :     12-
C56        40     58.8%   :     12+   :     23=   :      5-
C60        38     48.7%   :      8+   :     21=   :      9-
C62        29     50.0%   :      7+   :     15=   :      7-
C63        42     67.9%   :     23+   :     11=   :      8-
C64        26     50.0%   :      9+   :      8=   :      9-
C65        74     50.0%   :     21+   :     32=   :     21-
C66        54     61.1%   :     22+   :     22=   :     10-
C67         4     37.5%   :      0+   :      3=   :      1-
C68         6     41.7%   :      1+   :      3=   :      2-
C71        11     40.9%   :      2+   :      5=   :      4-
C72         5     70.0%   :      3+   :      1=   :      1-
C73         5     30.0%   :      0+   :      3=   :      2-
C75         8     50.0%   :      4+   :      0=   :      4-
C76        12     62.5%   :      5+   :      5=   :      2-
C77        51     51.0%   :     15+   :     22=   :     14-
C78        69     46.4%   :     18+   :     28=   :     23-
C79        64     61.7%   :     29+   :     21=   :     14-
C84        56     44.6%   :     14+   :     22=   :     20-
C85        24     45.8%   :      6+   :     10=   :      8-
C86        16     59.4%   :      6+   :      7=   :      3-
C87        10     50.0%   :      2+   :      6=   :      2-
C88        21     35.7%   :      2+   :     11=   :      8-
C90         4     25.0%   :      0+   :      2=   :      2-
C92         1     50.0%   :      0+   :      1=   :      0-
C96         1     50.0%   :      0+   :      1=   :      0-
D00       138     58.0%   :     55+   :     50=   :     33-
D02       305     51.0%   :     89+   :    133=   :     83-
D03        36     54.2%   :     13+   :     13=   :     10-
D05        27     57.4%   :      9+   :     13=   :      5-
D06         1     50.0%   :      0+   :      1=   :      0-
D07        42     72.6%   :     25+   :     11=   :      6-
D08        52     52.9%   :     13+   :     29=   :     10-
D09        18     52.8%   :      5+   :      9=   :      4-
D10         8     43.8%   :      1+   :      5=   :      2-
D11        32     51.6%   :     11+   :     11=   :     10-
D12        10     60.0%   :      4+   :      4=   :      2-
D13        16     56.3%   :      4+   :     10=   :      2-
D15        61     54.9%   :     22+   :     23=   :     16-
D16         2     75.0%   :      1+   :      1=   :      0-
D20        10     45.0%   :      2+   :      5=   :      3-
D21        21     57.1%   :      8+   :      8=   :      5-
D23        20     50.0%   :      7+   :      6=   :      7-
D24        25     42.0%   :      3+   :     15=   :      7-
D25         1      0.0%   :      0+   :      0=   :      1-
D26        10     50.0%   :      4+   :      2=   :      4-
D27        28     48.2%   :      6+   :     15=   :      7-
D28         2    100.0%   :      2+   :      0=   :      0-
D30        47     57.4%   :     16+   :     22=   :      9-
D31        59     59.3%   :     23+   :     24=   :     12-
D32         7     42.9%   :      1+   :      4=   :      2-
D33         1     50.0%   :      0+   :      1=   :      0-
D34         3     66.7%   :      2+   :      0=   :      1-
D35       116     53.4%   :     40+   :     44=   :     32-
D36        35     51.4%   :     14+   :      8=   :     13-
D37        57     54.4%   :     19+   :     24=   :     14-
D38        74     60.1%   :     29+   :     31=   :     14-
D39         6     58.3%   :      3+   :      1=   :      2-
D40         6     41.7%   :      1+   :      3=   :      2-
D41         8     56.3%   :      2+   :      5=   :      1-
D42        10     30.0%   :      1+   :      4=   :      5-
D43        22     50.0%   :      6+   :     10=   :      6-
D44         2     75.0%   :      1+   :      1=   :      0-
D45        16     62.5%   :      5+   :     10=   :      1-
D46         5     50.0%   :      0+   :      5=   :      0-
D47         3     66.7%   :      2+   :      0=   :      1-
D48        10     25.0%   :      0+   :      5=   :      5-
D51        26     65.4%   :     12+   :     10=   :      4-
D52         4     75.0%   :      2+   :      2=   :      0-
D53        70     44.3%   :     14+   :     34=   :     22-
D54         5     70.0%   :      2+   :      3=   :      0-
D55        23     52.2%   :      8+   :      8=   :      7-
D56        10     55.0%   :      2+   :      7=   :      1-
D58         2     25.0%   :      0+   :      1=   :      1-
D59         1     50.0%   :      0+   :      1=   :      0-
D60        37     64.9%   :     14+   :     20=   :      3-
D61         5     70.0%   :      2+   :      3=   :      0-
D62        11     40.9%   :      2+   :      5=   :      4-
D63         6     66.7%   :      4+   :      0=   :      2-
D65         1    100.0%   :      1+   :      0=   :      0-
D66         3     66.7%   :      1+   :      2=   :      0-
D67         1     50.0%   :      0+   :      1=   :      0-
D70        12     79.2%   :      8+   :      3=   :      1-
D71        11     86.4%   :      8+   :      3=   :      0-
D72         1    100.0%   :      1+   :      0=   :      0-
D73        23     52.2%   :      7+   :     10=   :      6-
D74         5     70.0%   :      2+   :      3=   :      0-
D75         6     50.0%   :      2+   :      2=   :      2-
D76         4     62.5%   :      2+   :      1=   :      1-
D77         6     50.0%   :      1+   :      4=   :      1-
D78         9     50.0%   :      3+   :      3=   :      3-
D79         1     50.0%   :      0+   :      1=   :      0-
D80        14     50.0%   :      4+   :      6=   :      4-
D81         5     10.0%   :      0+   :      1=   :      4-
D83         1     50.0%   :      0+   :      1=   :      0-
D85        33     51.5%   :      9+   :     16=   :      8-
D90        67     50.7%   :     21+   :     26=   :     20-
D91        38     63.2%   :     18+   :     12=   :      8-
D92        20     57.5%   :      6+   :     11=   :      3-
D93        20     70.0%   :      9+   :     10=   :      1-
D94        48     61.5%   :     18+   :     23=   :      7-
D95         9     55.6%   :      1+   :      8=   :      0-
D96        28     57.1%   :     11+   :     10=   :      7-
D97        14     64.3%   :      7+   :      4=   :      3-
E00        19     60.5%   :      7+   :      9=   :      3-
E01        21     64.3%   :      8+   :     11=   :      2-
E02         2     75.0%   :      1+   :      1=   :      0-
E03         1      0.0%   :      0+   :      0=   :      1-
E04        18     55.6%   :      6+   :      8=   :      4-
E05         2    100.0%   :      2+   :      0=   :      0-
E06        24     58.3%   :      8+   :     12=   :      4-
E07        19     44.7%   :      5+   :      7=   :      7-
E08         1     50.0%   :      0+   :      1=   :      0-
E09         4     75.0%   :      3+   :      0=   :      1-
E10        28     62.5%   :     12+   :     11=   :      5-
E11        25     62.0%   :      9+   :     13=   :      3-
E12        13     50.0%   :      4+   :      5=   :      4-
E13         6     25.0%   :      0+   :      3=   :      3-
E14        16     59.4%   :      6+   :      7=   :      3-
E15         3     50.0%   :      1+   :      1=   :      1-
E16         8     50.0%   :      3+   :      2=   :      3-
E20       100     51.5%   :     32+   :     39=   :     29-
E21        59     62.7%   :     25+   :     24=   :     10-
E22         7     35.7%   :      1+   :      3=   :      3-
E24        28     46.4%   :      8+   :     10=   :     10-
E25         6     83.3%   :      4+   :      2=   :      0-
E26         8     62.5%   :      4+   :      2=   :      2-
E27        32     56.3%   :     14+   :      8=   :     10-
E29         9     50.0%   :      3+   :      3=   :      3-
E30        15     33.3%   :      3+   :      4=   :      8-
E32        95     61.6%   :     41+   :     35=   :     19-
E33        26     63.5%   :     12+   :      9=   :      5-
E34         4     37.5%   :      0+   :      3=   :      1-
E35         5     60.0%   :      2+   :      2=   :      1-
E36         6     50.0%   :      2+   :      2=   :      2-
E37         4     75.0%   :      2+   :      2=   :      0-
E38        15     50.0%   :      3+   :      9=   :      3-
E39         2     50.0%   :      0+   :      2=   :      0-
E40         2     50.0%   :      1+   :      0=   :      1-
E41        22     72.7%   :     13+   :      6=   :      3-
E42        27     64.8%   :     11+   :     13=   :      3-
E43        50     56.0%   :     21+   :     14=   :     15-
E44        18     77.8%   :     12+   :      4=   :      2-
E45         3     66.7%   :      2+   :      0=   :      1-
E46        42     41.7%   :      6+   :     23=   :     13-
E47         6     66.7%   :      3+   :      2=   :      1-
E48        26     53.8%   :      9+   :     10=   :      7-
E49         7     57.1%   :      3+   :      2=   :      2-
E50         3     50.0%   :      1+   :      1=   :      1-
E51        11     40.9%   :      2+   :      5=   :      4-
E52        22     50.0%   :      6+   :     10=   :      6-
E53         4     62.5%   :      2+   :      1=   :      1-
E54        14     71.4%   :      8+   :      4=   :      2-
E55         3     83.3%   :      2+   :      1=   :      0-
E57        11     50.0%   :      2+   :      7=   :      2-
E58         8     68.8%   :      5+   :      1=   :      2-
E60        74     62.8%   :     31+   :     31=   :     12-
E61       101     48.5%   :     34+   :     30=   :     37-
E62        18     72.2%   :     11+   :      4=   :      3-
E63         5 
Parent - - By Tom Paul Date 2014-02-11 15:22
Alle Stellungen, die größer sind als 55% für weiß und kleiner als 45% für schwarz würde ich entfernen.
Also die +5% und die -5% bzw. die 10% Spanne.
Man kann immer Stellungen selbst erfinden.
Oder vielleicht Chess 960?
Wenn dir das zu drastisch erscheint, dann entferne größer als 60% und kleiner als 40%.
Alle Eröffnungen müssen immer gleich oft gespielt werden.
Parent - By Frank Quisinsky Date 2014-02-11 17:15
Hi Tom,

da werden einige Eröffnungen deutlich zu oft gespielt. Auch ein paar Gewichtungen müssen geändert werden, bzw. ich habe das gerade korrigiert und lade gleich die neue Buchversion hoch. Hatte schon an der Auswahl der Stellungen ca. 1 Jahr gearbeitet und alles rausselektiert was nicht gut ist. Aber verschiedene Gewichtungen gehen gar nicht.

Gruß
Frank
Parent - - By Horst Sikorsky Date 2014-02-11 17:17
Hallo Frank,
so wenig B90 und so viel B53 und ab E64 nichts 
ich habe bei meinen 24 Eröffnungen  mit unterschiedlicher Züge -Zahl, A22; A45; A65; A90; B33; B48; B51; B78; B80; B90; B90; B99
C10; C18; C34; C56; C67; D02; D43; D58; E05; E24; E81; und E97. mit EXTREM viel Aussagekraft!!
Horst
Parent - By Frank Quisinsky Date 2014-02-11 17:33
Hallo Horst,

ja, das ist nicht gut ...
A45, B20-B23, B40, B53, D00, D02, E61 / E81 / E91 ...

D00-D99 wird zu wenig ausgespielt.
Viele unregelmäßigen Fortsetzungen in Standard-Eröffnungen haben falsche Gewichtungen.

Ich habe das gerade alles geändert.
Dachte eigentlich das Buch steht aber so genau habe ich mir die Aufteilung noch nicht angeschaut.
Dachte per Random so wie gewollt wird alles gleich gut ausgespielt.

Also, nochmal Hand angelegt.
Das Buch ist recht geil aber das Update ist notwendig.

Werde ich heute noch hochladen und dazu etwas in meine News schreiben.
Diese verfluchten Tools von Norm Pollock, finde immer wieder etwas

Ja, kannst auch Eröffnungen gezielt auswählen und die Aussagekraft ist in allen Fällen gut. Selbst versuche ich ja alles was GMs aktuell spielen bis Zugnummer 8 zufällig über die Shredder GUI ausspielen zu lassen. Da Shredder die PGN Random Funktion der Arena GUI nicht hat behelfe ich mir damit das ich das in Form von einem Shredder Buch erzeugt habe. Kannst ja die Version 5.20 mal ausprobieren wenn ich das hochgeladen habe.

Gruß
Frank
Parent - By Stefan Pohl Date 2014-02-12 04:17
Nein, danke. Da ich die Stellungen jetzt nicht mehr ändern kann, lasse ich sowieso alles so, wie es ist. Eine Änderung wäre frühestens bei einem Hardwarewechsel möglich, der im Moment bei mir noch nicht ansteht.

Stefan
Parent - - By Stefan Pohl Date 2014-02-12 04:52
Da die LittleBlitzerGUI bei allen Partien die Vorgabezüge als Stellung abspeichert und dann mit Zug 1 beginnt (und somit die 8 vorgegebenen Züge "verschwinden"), werden Eröffnungscodes von keinem Tool erkannt. Auch nicht von Elostat.

Stefan
Parent - - By Frank Quisinsky Date 2014-02-12 06:18
Hi Stefan,

OK, alles klar.
Überlege auch die Hardware auszubauen.
Aber dann stellt sich die Frage nach neuen Bedingungen, nur so alt ist die aktuelle Liste ja noch gar nicht.
Mal schauen ... erst mal 2 Monate so weiter.

Gruß
Frank

PS: Siehste, probierste etwas aus (ECO Auswertung von Norm) und schon musste wieder was ändern. Habe mein Buch wirklich noch mal geändert, dachte es wäre fertig.
Parent - - By Tom Paul Date 2014-02-12 09:44
Hast du dein Buch nach der Änderung jetzt getestet?
Parent - By Frank Quisinsky Date 2014-02-12 11:19
Hi,

ja klar.
Änderte nochmal was.
Musst dann nochmal runterladen.

Läuft perfekt, bin mir nur nicht sicher ob A00-A99 nun wieder bei ca. 20-25% liegt.
Verteilung nach Prozent sollte in etwas der, der aktuellen GM Datenbank sein (eigene Vorgabe).

Gruß
Frank
Parent - - By Stefan Pohl Date 2014-02-12 04:47
Frank Quisinsky schrieb:


Ein Grund warum Chiron so ausgeglichen ist, denn auch hier zeigt die Engine sehr realitätsnahe Ergebnisse hinsichtlich weiß / schwarz Statistik.
Wäre mal interessant diese Statistik bei den vielen gleichen Engines und Deinen vielen Partien zu sehen.

Vielleicht kannst Du mir den Gefallen tun ...
Pollock PGN Utilities ...
Eingabe im Textmode dann: resultColor 10500.pgn (Name vom PGN file).
Der Unterschied am Ende der Ausgabe kam von mir ...

Gruß
Frank


Hier bitte (etwas unübersichtlich, da auch dieses Tool auf so viele gespielte Partien wohl nicht ausgelegt ist). So auf den ersten Blick relativ gleichförmig, insofern, daß die Engines so um die 7% mehr Punkte mit Weiß holen (Anzugsvorteil). Das entspricht auch der Auswertung von Elostat für alle gespielten Partien (631000): White Perf.  : 53.4 % Black Perf.  : 46.6 % (also auf alle Engines gemittelt sind es 6.8% mehr mit Weiß).

Code:

                                      W H I T E                ::          B L A C K

          Name                   Win  : Draw  : Lose  :    %     ::   Win  : Draw  : Lose  :    %

Akkad 0.52b x64s                2149+  : 5302=  : 2049-  :  50.5%   ::  1525+  : 5149=  : 2826-  :  43.2%
Black Mamba 1.2b x64            908+  : 2842=  : 1750-  :  42.3%   ::  678+  : 2536=  : 2286-  :  35.4%
Black Mamba 1.4 x64             942+  : 2284=  : 1774-  :  41.7%   ::  577+  : 2234=  : 2189-  :  33.9%
Bouquet 1.4 x64s                981+  : 2827=  : 2692-  :  36.8%   ::  747+  : 2587=  : 3166-  :  31.4%
Bouquet 1.5 x64s                1515+  : 3984=  : 1501-  :  50.1%   ::  1088+  : 3913=  : 1999-  :  43.5%
Bouquet 1.6 x64s                4188+  : 9767=  : 3045-  :  53.4%   ::  3074+  : 9648=  : 4278-  :  46.5%
Bouquet 1.8 x64                 2952+  : 7177=  : 3871-  :  46.7%   ::  2104+  : 7106=  : 4790-  :  40.4%
Critter 1.4a x64s               1551+  : 2558=  : 891-  :  56.6%   ::  1105+  : 2755=  : 1140-  :  49.7%
Critter 1.6a x64                10564+  : 17302=  : 5634-  :  57.4%   ::  7586+  : 18060=  : 7854-  :  49.6%
DON 1.0b x64s                   1799+  : 2664=  : 1037-  :  56.9%   ::  1509+  : 2534=  : 1457-  :  50.5%
Fire 3 x64s                     1857+  : 4924=  : 2219-  :  48.0%   ::  1352+  : 4729=  : 2919-  :  41.3%
Fire trap120925 x64s            1209+  : 3221=  : 1070-  :  51.3%   ::  873+  : 3238=  : 1389-  :  45.3%
Firenzina 2.2.2 x64s            1869+  : 4132=  : 1499-  :  52.5%   ::  1372+  : 3990=  : 2138-  :  44.9%
Firenzina 2.3.1 x64s            2047+  : 5155=  : 1798-  :  51.4%   ::  1497+  : 5085=  : 2418-  :  44.9%
Firenzina 2.4 x64s              903+  : 2904=  : 1193-  :  47.1%   ::  689+  : 2714=  : 1597-  :  40.9%
Firenzina 2.4.1 x64s            1051+  : 3036=  : 1413-  :  46.7%   ::  740+  : 2907=  : 1853-  :  39.9%
Gull 2 x64                      1091+  : 3006=  : 1403-  :  47.2%   ::  758+  : 2929=  : 1813-  :  40.4%
Gull 2.1 Trap avx               1141+  : 2713=  : 1146-  :  50.0%   ::  806+  : 2668=  : 1526-  :  42.8%
Gull 2.1 x64                    1028+  : 2786=  : 1186-  :  48.4%   ::  720+  : 2722=  : 1558-  :  41.6%
Gull 2.2 Trap avx               1480+  : 2696=  : 1324-  :  51.4%   ::  1025+  : 2736=  : 1739-  :  43.5%
Gull 2.2 x64                    1313+  : 2496=  : 1191-  :  51.2%   ::  990+  : 2477=  : 1533-  :  44.6%
Gull 2.3 x64                    1414+  : 2482=  : 1104-  :  53.1%   ::  1060+  : 2486=  : 1454-  :  46.1%
Gull 2.8 x64                    2058+  : 2814=  : 1628-  :  53.3%   ::  1629+  : 2937=  : 1934-  :  47.7%
Gull R600 x64                   2446+  : 4510=  : 2044-  :  52.2%   ::  1855+  : 4597=  : 2548-  :  46.2%
Houdini 1.5a x64                2076+  : 2134=  : 790-  :  62.9%   ::  1659+  : 2246=  : 1095-  :  55.6%
Houdini 2.0c x64                2437+  : 2297=  : 766-  :  65.2%   ::  2080+  : 2358=  : 1062-  :  59.3%
Houdini 3 tactical              2272+  : 2076=  : 652-  :  66.2%   ::  1793+  : 2358=  : 849-  :  59.4%
Houdini 3 x64                   13212+  : 9763=  : 2525-  :  71.0%   ::  10869+  : 11062=  : 3569-  :  64.3%
Houdini 4 Contempt=0            2291+  : 2350=  : 359-  :  69.3%   ::  1768+  : 2682=  : 550-  :  62.2%
Houdini 4 x64                   4671+  : 3666=  : 1163-  :  68.5%   ::  3702+  : 4216=  : 1582-  :  61.2%
Ivanhoe 46eQi x64s              3952+  : 9224=  : 2824-  :  53.5%   ::  3018+  : 9061=  : 3921-  :  47.2%
Ivanhoe 46h x64                 2040+  : 4574=  : 1886-  :  50.9%   ::  1456+  : 4586=  : 2458-  :  44.1%
Ivanhoe 50kQ x64s               2591+  : 5315=  : 1594-  :  55.2%   ::  1968+  : 5507=  : 2025-  :  49.7%
JukeBox DEV1 x64s               955+  : 2828=  : 1217-  :  47.4%   ::  633+  : 2691=  : 1676-  :  39.6%
Komodo 5 x64                    6672+  : 7618=  : 3710-  :  58.2%   ::  5318+  : 8031=  : 4651-  :  51.9%
Komodo 5.1r2 x64                1759+  : 2261=  : 980-  :  57.8%   ::  1433+  : 2325=  : 1242-  :  51.9%
Komodo 6 x64                    2619+  : 2970=  : 1411-  :  58.6%   ::  1953+  : 3285=  : 1762-  :  51.4%
Komodo CCT x64                  4461+  : 4610=  : 1929-  :  61.5%   ::  3368+  : 5089=  : 2543-  :  53.8%
Komodo TCECr x64                3281+  : 3992=  : 1727-  :  58.6%   ::  2609+  : 4230=  : 2161-  :  52.5%
LEOpard 0.7c x64s               884+  : 3042=  : 1074-  :  48.1%   ::  605+  : 2877=  : 1518-  :  40.9%
Mars 1 avx                      3347+  : 8963=  : 3690-  :  48.9%   ::  2507+  : 8556=  : 4937-  :  42.4%
PanChess 00.240 x64             1148+  : 2942=  : 1410-  :  47.6%   ::  812+  : 2828=  : 1860-  :  40.5%
PanChess 00.250 x64             2111+  : 5169=  : 2220-  :  49.4%   ::  1556+  : 5088=  : 2856-  :  43.2%
PanChess 00.400 x64             1527+  : 4119=  : 1354-  :  51.2%   ::  1087+  : 4076=  : 1837-  :  44.6%
PanChess 00.537 x64             3189+  : 8894=  : 3917-  :  47.7%   ::  2326+  : 8538=  : 5136-  :  41.2%
Robbolito 0.085g3 x64           6676+  : 18683=  : 8641-  :  47.1%   ::  4884+  : 17696=  : 11420-  :  40.4%
Robbolito 0.10 x64s             1622+  : 3887=  : 1491-  :  50.9%   ::  1221+  : 3738=  : 2041-  :  44.1%
Robbolito 0.21Q x64s            4969+  : 12029=  : 3502-  :  53.6%   ::  3877+  : 11830=  : 4793-  :  47.8%
Robodini 1.1 x64                2620+  : 2249=  : 631-  :  68.1%   ::  2080+  : 2503=  : 917-  :  60.6%
Rybka 4.1 x64s                  5501+  : 9072=  : 4927-  :  51.5%   ::  4209+  : 9006=  : 6285-  :  44.7%
Saros 3.0 x64                   1832+  : 4131=  : 2537-  :  45.9%   ::  1325+  : 3974=  : 3201-  :  39.0%
Saros 3.3b x64s                 1073+  : 3038=  : 1389-  :  47.1%   ::  776+  : 2859=  : 1865-  :  40.1%
Saros 3.5a Distro x64s          928+  : 2876=  : 1696-  :  43.0%   ::  714+  : 2650=  : 2136-  :  37.1%
Saros 4.1.1 x64s                838+  : 2622=  : 1540-  :  43.0%   ::  630+  : 2364=  : 2006-  :  36.2%
Saros 4.1.6 x64                 854+  : 2916=  : 1230-  :  46.2%   ::  551+  : 2734=  : 1715-  :  38.4%
Sting SF 3 x64s                 1021+  : 2115=  : 1864-  :  41.6%   ::  738+  : 1996=  : 2266-  :  34.7%
Stockfish 140112 x64s           2213+  : 2136=  : 651-  :  65.6%   ::  1747+  : 2311=  : 942-  :  58.1%
Stockfish 140118 x64s           2650+  : 2586=  : 764-  :  65.7%   ::  2221+  : 2726=  : 1053-  :  59.7%
Stockfish 140129 x64s           2427+  : 2421=  : 652-  :  66.1%   ::  1910+  : 2639=  : 951-  :  58.7%
Stockfish 2.2.2 x64s            1428+  : 2440=  : 1632-  :  48.1%   ::  1085+  : 2404=  : 2011-  :  41.6%
Stockfish 2.3.1 x64s            3146+  : 5491=  : 3363-  :  49.1%   ::  2347+  : 5468=  : 4185-  :  42.3%
Stockfish 3 x64s                1578+  : 2745=  : 1677-  :  49.2%   ::  1163+  : 2694=  : 2143-  :  41.8%
Stockfish 4 x64s                2024+  : 3025=  : 1451-  :  54.4%   ::  1614+  : 3047=  : 1839-  :  48.3%
Stockfish DD x64s               2314+  : 2623=  : 1063-  :  60.4%   ::  1809+  : 2795=  : 1396-  :  53.4%
Strelka 5.5 x64                 10504+  : 17185=  : 5811-  :  57.0%   ::  7906+  : 17522=  : 8072-  :  49.8%
Strelka 5.7 beta x64            1364+  : 2673=  : 963-  :  54.0%   ::  1022+  : 2632=  : 1346-  :  46.8%
Strong Chess 1v10 x64           871+  : 3202=  : 1427-  :  44.9%   ::  607+  : 2994=  : 1899-  :  38.3%
Vitruvius 1.11C x64s            1702+  : 4904=  : 1894-  :  48.9%   ::  1313+  : 4646=  : 2541-  :  42.8%
Vitruvius 1.11H x64s            846+  : 2363=  : 1791-  :  40.6%   ::  619+  : 2146=  : 2235-  :  33.8%



Stefan
Parent - - By Frank Quisinsky Date 2014-02-12 06:15
Hi Stefan,

das sieht alles sehr gut aus, sehr kontinuierlich.
In dem Fall schade, keine neue Anhaltspunkte zu irgend etwas.

DANKE

Viele Grüße
Frank
Parent - - By Stefan Pohl Date 2014-02-12 10:56
Frank Quisinsky schrieb:

Hi Stefan,

das sieht alles sehr gut aus, sehr kontinuierlich.
In dem Fall schade, keine neue Anhaltspunkte zu irgend etwas.

DANKE

Viele Grüße
Frank


Die meisten statistischen Merkwürdigkeiten basieren nunmal auf zu geringen Datenmengen, die der jeweiligen Auswertung zugrunde liegen. Bei ausreichend großen Datenmengen verflüchtigen sich die meisten Auffälligkeiten bzw. Ausreißer.
Eine der wichtigsten Lektionen, die ich aus meinem LS-Ranglisten-Betrieb gelernt habe. Hätte ich vor ein paar Jahren auch nicht gedacht, wie groß der "Glattbügel-Effekt" ist, der durch das Spielen vieler, vieler Partien in eigentlich allen Statistiken entsteht.

Stefan
Parent - - By Frank Quisinsky Date 2014-02-12 11:21
Hi Stefan,

stimmt, bei vielen Stats stimme ich Dir zu, deswegen fragte ich Dich ja.

Viele Grüße
Frank
Parent - - By Stefan Pohl Date 2014-02-12 15:37
Frank Quisinsky schrieb:

Hi Stefan,

stimmt, bei vielen Stats stimme ich Dir zu, deswegen fragte ich Dich ja.

Viele Grüße
Frank


Viele sehen in der LS-Rangliste nur die eigentlichen Listeneinträge und denken, daß es völlig übertrieben ist, daß jede Engine mindestens 10000 Partien spielt. Nur geht es ja eben nicht nur um den reinen Listeneintrag. Es geht mir ja auch um die Einzelvergleiche. Oder wenn wir, wie jetzt hier, Anzugsvorteile untersuchen oder andere statistische Zusammenhänge. Dann hat man es nämlich auf einmal eben nich mehr mit 10000 Partien zu tun, sondern mit weit kleineren Teilmengen. Beim Einzelvergleich sind es dann nur noch 1000 Partien, bei der Betrachtung der Anzugsvorteile einzelner Engines sind es oft nur 2000-2500 Partien, wegen der Splittung in Weiß- und Schwarzpartien und der Konzentration auf die nicht-Remisen (also der Gewinnpartien). Und das sind dann eher kleine Zahlen, die eher die Untergrenze für brauchbare statistische Resultate markieren.
Hat man nun pro Engine nur 1000-2000 Partien als Datenmaterial, dann hat man zwar eine ganz brauchbare Rangliste, sobald man aber aus dieser kleinen Datenbasis noch kleinere Teilmengen betrachtet, dann wird es statistisch mehr als fragwürdig, weil dann die Zufallsschwankungen einfach zu groß werden.
Da du gerne solche Teilmengen betrachtest (kurze Remispartien, kurze Gewinnpartien und ähnliches) müßtest du dir deshalb dringend eine größere Datenbasis in Form von weit mehr Partien zulegen, sonst wird bei solchen Untersuchungen kein brauchbares Ergebnis herauskommen können, da in solch kleinen Teilmengen von einigen hundert oder gar weniger Partien die Zufallsschwankung jedwedes Ergebnis überlagern kann. Zwar nicht muß, nur leider kann man da eben nie auch nur halbwegs sicher sein.

Stefan
Parent - By ? Date 2014-02-12 15:56
Hi Stefan,

ja, das stimmt wohl leider alles.
Viele meiner Statistiken sind aufgrund fehlender Daten zu ungenau.
Aber da behelfe ich mir mit der Kombination aus Statistiken.

z. B. schnelle Gewinnpartien.
Die Stats waren bei allen drei SF Versionen gleich und eine Aussage wird dann wieder möglich. Hier und da kann ich dann tricksen um zu einem Ergebnis zu kommen.

Will ja auch wirklich mal wissen ob unterschiedliche Gegner wirklich Ergebnisse maßgebend beeinflussen. Das viele Gegner für ein genaues Rating notwendig sind weiß bzw. ist eindeutig. Aber müssen es unterschiedliche Gegner sein? Ich ziehe einfach mal meinen Plan durch und wechsle noch einige Engines in der SWCR2 aus.

Was mir persönlich auch mehr Spaß macht ist mich mit vielen unterschiedlichen Programmen zu beschäftigen bzw. deren Entwicklung zu verfolgen. Kann ich auch mittels CEGT aber will ich natürlich eher mit eigenem Material. Ehrlich gesagt ein Durchlauf mit 1.000 Partien dauert 8 Tage und das ist einfach zu lang. Ich werde da noch aufrüsten um vielleicht in maximal 3-4 Tagen ein Ergebnis zu haben. So kann ich dann auch mal etwas austesten an Einstellungen oder mal experimental eine Engine ab testen die vielleicht noch nicht die Spielstärke erreicht hat und neben dem fortlaufenden Turnier dann einen Spießroutenlauf absolviert.

Aber das hat Zeit.
Zunächst bin ich mal froh das die Webseite steht, dass mein Konzept aufgeht und das testen wieder Spaß macht.

Wo ich mir noch nicht sicher bin ...
Ich will Houdini nicht als IPP Vertreter. Aber Houdini ist die Nummer 1 der IPPs. Equinox ist wohl auch ein IPP und muss raus (auch private will ich nicht länger in der Liste haben). Nur welche IPP nehme ich rein wenn ich Houdini raus hole. Schwanke zwischen Robbolito 0.21q und Fire 3.0. Oder Houdini doch drin lassen ... bin mir absolut uneinig, insofern zunächst mal Naum und Sjeng ersetzen (stehen nicht mehr zur Verfügung) dann die privaten Equinox und Jonny ersetzen und dann mal schauen was ich mit Houdini mache.

Und zu Deiner Datenbasis.
Damit sind einige schöne Dinge möglich, wie jetzt z. B. diese Statistik.
Solltest Du mal online stellen, weil interessant! Auch die andere Bayesian Version ist besser geeignet für Dich, weil mit Kommazahlen und Engines mit gleicher Elo werden besser einsortiert in Deiner Liste. Die Ausgaben sind auch gleich zu Bayesian 0056 nur die ErrorBar Berechnung ist ein wenig anders. Wie gesagt, hier sind sich alle Ersteller der Programme absolut uneinig und ich bleibe dabei, dass keiner der vier Ansätze korrekt ist.

Gruß
Frank
Parent - By Chess Player Date 2014-02-13 10:48
Hi,

hast Du die Partien irgendwo zum Download hinterlegt?
Up Topic Hauptforen / CSS-Forum / Bug in Elostat?!

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill