Stand FCT Ratingliste nach diversen Wartungen ...

By Frank Qy. Date 2015-12-06 12:18

Hallo zusammen,

am Ende des Beitrages dann meine aktuelle Ratingliste.

Wollte zum Ende des Jahres ein paar Dinge wieder auf einen aktuellen Stand bringen. Umso heftiger da ich gerade meine Liga 3 aufbaue und sehr viel an meinem Eröffnungsbuch arbeite. Aber was solls, so eine Ratingliste nimmt wirklich Zeit in Anspruch wenn es denn gut und genau werden soll.

1. Zunächst habe ich die Statistiken auf einen aktuellen Stand gebracht.

Liga 1:
http://www.amateurschach.de/main/fcp-league-1/_v337-14.htm

Liga 2:
http://www.amateurschach.de/main/fcp-league-2/_v338-24.htm

Liga 3 (aber mit 8 Engines von Liga 2 weil ich hier die 21 noch nicht voll habe):
http://www.amateurschach.de/main/fcp-league-3/_v338-exp.htm

Brauchte diese Statistik um die Spielstilbeschreibungen wieder aktuell zu bringen.

2. Dann hatte meine Ratingliste ein echtes Problem. Während alle Engines in Liga 1 auch gegen die Engines in Liga 2 spielten traf dies nicht für Houdini und Rybka zu. Gerade im Fall von Houdini tragisch denn die Engine punktet deutlich besser gegen schwächere wegen dem Extrem-Contemp (hoher Zügedurchschnitt, kaum Remispartien unter 30 Zügen). Bei Rybka dann nur zwecks Verfollständigung denn hier war nie auffällig das die Engine besonders gut oder schlecht gegen schwächere ist. Also spielten beide 950 fehlende Partien gegen Liga 2 Engines.

Houdini
http://www.amateurschach.de/ftptrigger/houdini-maintenance.html
War klar ging direkt um 10 Elo nach oben, auch nicht anders zu erwarten. Denn durch die vielen Partien gegen Stockfish und Houdini verliert die Engine immer mehr an Elo im direkten Vergleich. Konnte aber wie gesagt durch diese Aktion und mehr Gegner wieder relativiert werden.

Rybka
http://www.amateurschach.de/ftptrigger/rypka-maintenance.html

Oder so, wird dann deutlicher ...

Code:


  After 950 missed games vs. FCT League 2 Engines:
  (Maintenance, News 225)
 
  12 Houdini 4 STD B x64              : 3083.4   14.4   1122.0    1600   70.1%  before maintenance
   9 Houdini 4 STD B x64              : 3094.0   12.1   1968.5    2550   77.2%  +10.6 Elo
   
  19 Rybka 4.1 SSE42 x64              : 2965.6   13.4    973.0    1700   57.2%  before maintenance
  19 Rybka 4.1 SSE42 x64              : 2962.5   10.7   1692.0    2650   63.8%  - 3.1 Elo

Es geht bei mir weiter mit neuen Engines, die ich für Liga 3 benötige.
Toga II 28.05.13 (kompiliert als x64 im Januar 2014) ist wohl die stärkste Engine der "Fruit" Gruppe. Also stärker als Cyclone, Fruit selbst, Onno und sonstige Programme die auf Fruit beruhen. Könnte gar in Liga 2 spielen, mal schauen ... läuft gerade. Auch sehr interessant das Toga ganz klar eigene Wege ging wenn ich auf die Clone Detector Ergebnisse schaue bzw. auf den Test mit dieser Version welchen ich dann selbst durchführte. Na ja, zeigen dann im Grunde auch die Statistiken später auf. Dann folgt Rhetoric welche meine Qualifizierung mit 2625 ELO für Liga 3 nun schaffen könnte. Tja, dann hätte ich schon 15 und es fehlen noch 6 für meine Liga 3.

Und natürlich warte ich auf Stockfish 7 für den dritten "Fight for Place 1". Diesen werde ich direkt starten (nach dem ein laufender Test-Run beendet wurde) wenn Stockfish 7 dann verfügbar ist. Ich hoffe das passiert in diesem Monat.

Und hier dann die aktuelle Ratingliste:
So viele Partien der aktuellen TOP-55 auf diesen Level untereinander gibt es sonst nirgends, vor allem mit je sehr vielen Gegnern. Insofern ist die Genauigkeit auch sehr hoch und so langsam zahlt sich auch die Arbeit der Erstellung der Ratingliste aus.

Code:

"FCP Rating List"
 -----------------

 Date             : December 06th, 2015 (10:15)
 Games            : 147.600
 Version          : 3.38a.L1-14.L2-24
 Hardware         : 2x Intel Core i7-4770K *4.0-4.3Ghz, 40/10 "repeatedly"
                    1x Intel Core i7-5930K *4.0-4.3Ghz, 40/10 "repeatedly"
 
 Calculation      : Ordo 1.0, "Naum 4.6 x64" with 2890 Elo / News 191
 Parameter        : Ordo_10.exe -a 2890 -A "Naum 4.6 x64" -p 1.pgn -o rating.txt -W -s1000 -D -E -V
 Conditions       : http://www.amateurschach.de/main/_conditions.htm
 

 
      Program                            Elo    +    -   Games   Score  Av.Op.  Draws
   1. Komodo 9.2 x64                     3173   14   14  2400    84.1%   2851   27.3%
   2. Stockfish 20Aug2015 BMI2 x64 C15   3162   13   13  2400    83.3%   2852   29.9%
   3. Houdini 4 STD B x64                3094   12   12  2550    77.2%   2855   31.3%
   4. Fire 4 x64                         3051   10   10  3300    72.4%   2858   36.8%
   5. GullChess 3.0 BMI2 x64             3043   10   10  3450    70.2%   2873   41.4%
   6. Equinox 3.30 x64                   2995   10   10  3250    66.2%   2863   42.7%
   7. Critter 1.6a x64                   2979   11   11  2550    64.4%   2866   46.1%
   8. Rybka 4.1 SSE42 x64                2962   11   11  2650    63.8%   2853   43.1%
   9. Protector 1.9.0 x64                2951   12   12  2100    62.8%   2852   45.6%
  10. Nirvanachess 2.2 POP x64           2947   12   12  2150    62.1%   2854   45.3%
  11. Sting SF 4.8.4 x64                 2946   10   10  3000    60.1%   2867   44.8%
  12. Andscacs 0.83 POP x64              2923   12   12  2050    59.4%   2852   44.2%
  13. Texel 1.05 x64                     2906    9    9  3300    57.3%   2851   41.7%
  14. Hannibal 1.5 x64                   2905    9    9  3300    57.3%   2849   45.1%
  15. Chiron 2.0 x64                     2902    7    7  5600    60.2%   2823   39.4%
  16. Naum 4.6 x64                       2890    9    9  3850    58.4%   2825   42.6%
  17. Hakkapeliitta 3.0 x64              2840    8    8  4200    48.7%   2854   38.9%
  18. Senpai 1.0 SSE42 x64               2837    7    7  5600    52.1%   2824   40.9%
  19. Hiarcs 14 WCSC w32                 2831    7    7  5600    51.4%   2825   42.0%
  20. Sjeng c't 2010 w32                 2809    9    9  3650    48.6%   2826   41.0%
  21. Fizbo 1.5 x64                      2808   10   10  2750    49.2%   2818   44.9%
  -----------------------------------------------------------------------------------
  22. Cheng 4.39 x64                     2802    9    9  3200    48.1%   2822   40.4%
  23. Shredder 12 x64                    2801    7    7  4800    46.1%   2838   40.6%
  24. Vajolet2 2.0 POP x64               2791    9    9  3600    47.6%   2815   40.3%
  25. Junior 13.3.00 x64                 2790    8    8  4900    46.5%   2823   39.7%
  26. Spike 1.4 Leiden w32               2786    8    8  4600    44.2%   2838   41.7%
  27. Booot 5.2.0 x64                    2780   11   11  2250    51.1%   2777   40.7%
  28. DiscoCheck 5.2.1 x64               2768    8    8  4200    43.6%   2826   37.9%
  29. iCE 2.0 v2240 POP x64              2766    7    7  5900    47.6%   2791   43.0%
  29. Quazar 0.4 x64                     2766    8    8  4750    43.1%   2828   40.8%
  31. Deuterium 14.3.34.130 POP x64      2765    9    9  4000    44.1%   2819   42.8%
  32. Spark 1.0 x64                      2761    6    6  6500    46.3%   2797   41.3%
  33. SmarThink 1.70 SSE3 x64            2757    8    8  5100    43.2%   2818   37.3%
  34. Alfil 15.04 C# Beta 24 x64         2755   11   11  2500    48.9%   2769   34.4%
  35. Zappa Mexico II x64                2749    8    8  4400    41.1%   2829   41.2%
  36. Thinker 5.4d Inert x64             2745    9    9  3650    41.4%   2821   40.0%
  37. Arasan 18.1 POP x64                2733   11   11  2150    46.4%   2762   41.9%
  38. Gaviota 1.0 AVX x64                2729    6    6  6600    42.3%   2798   37.4%
  39. Atlas 3.80 x64                     2726    9    9  3450    41.4%   2801   39.7%
  40. MinkoChess 1.3 JA POP x64          2720   10   10  3050    42.2%   2785   42.9%
  41. EXchess 7.71b x64                  2715   10   10  2500    43.7%   2770   41.5%
  42. Nemo 1.01 Beta POP x64             2701    9    9  2850    41.6%   2767   42.4%
  -----------------------------------------------------------------------------------
  43. Rodent 1.7 Build 1 POP x64         2700   11   11  2450    45.0%   2737   43.7%
  44. Pedone 1.2 BMI2 x64                2699   10   10  3050    36.4%   2817   41.4%
  45. Murka 3 x64                        2697   10   10  2450    43.2%   2748   46.6%
  46. GNU Chess5 5.60 x64                2683   11   11  2100    41.1%   2749   41.3%
  47. DisasterArea 1.54 x64              2680   10   10  2600    42.1%   2739   44.2%
  48. Tornado 7.15.05.04 x64             2675   10   10  2850    34.8%   2803   35.9%
  49. Scorpio 2.77 JA POP x64            2672   10   10  2500    37.9%   2765   38.5%
  50. Dirty 10APR2015 x64                2667   11   11  2400    38.1%   2757   39.7%
  51. Crafty 24.1 SSE42 x64              2661    9    9  3550    42.0%   2723   38.2%
  52. Glaurung 2.2 JA x64                2654    9    9  3300    40.6%   2725   41.9%
  53. Bobcat 6.4b x64                    2649   11   11  2350    36.3%   2754   40.3%
  54. The Baron 3.29 x64                 2643   11   11  2450    34.7%   2762   37.5%
  55. Octochess r5190 SSE4 x64           2640    9    9  3250    39.1%   2723   42.2%
  -----------------------------------------------------------------------------------
  --. Rhetoric 1.4.1 x64                 2610   13   13  2000    31.9%   2763   35.8%
  --. Godel 3.4.9 x64                    2598   16   16  1000    40.4%   2669   39.3%
  --. Djinn 1.021 POP x64                2529   17   17  1000    31.2%   2672   36.6%
  --. ProDeo 2.00 w32                    2525   13   13  2050    22.7%   2750   30.5%

 Move average                : 176.50 / 88.250
 White advantage             : 39.19  +/- 0.71
 Draw rate (equal opponents) : 48.04% +/- 0.16
 
 Games        :  147600 (finished)
 White Wins   :   51095 (34.6%)
 Black Wins   :   37311 (25.3%)
 Draws        :   59194 (40.1%)
 Unfinished   :       0

 White Perf.  :  54.7%
 Black Perf.  :  45.3%

 ECO A        =  27512 games (18.6%)
 ECO B        =  34838 games (23.6%)
 ECO C        =  29730 games (20.1%)
 ECO D        =  29315 games (19.9%)
 ECO E        =  26195 games (17.7%)

Das war also mein Wort zum Sonntag.

Gruß
Frank

By Frank Qy. Date 2015-12-06 13:41

Hi,

wobei TogaII 280513 x64 die Shredder GUI killt.
Gewechselt auf TogaII 280513 Intel w32.

Vergessen hatte ich zu den Statistiken.
In Liga 3 fällt Scorpio durch extreme Endspielstärke auf.
Auch fällt auf das Rodent taktische Stärken hat, aber das erwähnte ich hier schon.

CEGT testete TogaII 3.0 w32.
Davon gibt es auch ein JA compile.

Also wenn die Version auch die GUI killt habe ich noch einen ...

Das Ergänzungswort zum Sonntag als Nachtrag zum Nachtrag.
Mensch ...

Gruß
Frank

By Frank Qy. Date 2015-12-06 14:10

Ah vergessen,

bei allen Ratinglisten, die ich seit der ersten Winboard Liste erstellt habe, ist mir immer wieder folgendes aufgefallen:

Engines in der Mitte einer Liste stärken das komplette Teilnehmerfeld. Damit meine ich das diese Engines, bei weniger Partien, sehr viel früher genauere Ergebnisse erzielen. Denke das ist kein Geheimnis. Das heißt, wenn für diese Gruppe der Engines in der Mitte einer Liste besonders viele Partien gegen besonders viele Gegner vorliegen wird die Liste genauer. Allerdings auch nur bei einigen der Engines um ca. 5-10 Elo.

Wobei es offenbar auch hier noch ein interessantes Detail gibt?!

Betroffen sind im Grunde die Engines, die nicht Stärken beim Übergang zum Endspiel haben (weil die meisten Partien im Übergang zum Endspiel entschieden werden ... für mich die logische Erklärung). Dies wird deutlich, wenn ich bei unterschiedlichen Auswertungen (nur Ratingliste der Liga 1, oder Liga 2 ... vergleiche mit der Ratingliste aller Partien). Durch die Vielzahl der Gegner und wenn ich wie beschrieben die Mitte der Liste stärke, wird also letztendlich die Liste ein wenig genauer. Erklärbar wird es dann wenn ich mir anhand der eigenen Statistiken ansehe welche Engines betroffen sind. Es sind zu 90% Engines mit Stärken im Übergang zum Endspiel und zu 85% werden taktische starke Engines dann nach unten gedrückt.

Nun sagte ich ja immer ...
Möglich viele unterschiedliche Programme sollten in einer Liste sein. Das stimmt auch, denn wenn ich z. B. viele Clones in einer Liste habe steigt die Remisquote und die Ergebnisse für Nicht-Clones werden verzerrt. Das aber auch nur dann wenn wenige Engines in einer Liste. Spielen dann mal wirklich so viele pausenlos gegeneinander wie bei mir ... sind kaum noch Unterschiede zu sehen. Alles relativiert sich immer mehr durch die Anzahl der Gegner und natürlich auch durch die Anzahl der Partien (in erster Linie durch die Anzahl der Gegner).

Experimentiere hier ein wenig auf meinen vierten Testrechner. Habe zwei verschiedene IvanHoe Versionen spielen lassen und setze die Ergebnisse in die Liste aller Partien. Die TOP-21 verändern sich nur noch normal um ... geht mal ein Elo hoch oder runter, maximal 2 Elo. Auffällig hier dann eher ... auch logisch ...

Beispiel:
Ivanhoe 1 spielt nur gegen Liga 1
Ivanhoe 2 spielt nur gegen Liga 1
zwei neue Engines für Liga 1

Was passiert ... mit den anderen in Liga 1 wie beschrieben ... geht 1-2 Elo hoch oder runter aber

Interessant ist ...
Die Nicht-Betroffenen Engines der Liga 2 und Liga 3 verlieren zusammen einen bis zu zwei Punkte und hier sind dann alle betroffen obwohl nicht eine einzige Partie dieser Engines mehr gespielt wurde. Bei kleinen Listen mit wenigen Gegnern und vielen Clones kann das zu vielen Verzerrungen führen (egal wie viele Partien vorliegen).

So, jetzt aber genug!
Versuche ja immer die Erfahrungen von erstellten Listen in neue wieder einzubringen und Probleme die mal da waren mit neuen erstellten Listen weitestgehend zu bereinigen. Mit der FCT Rating Liste gelingt mir das sehr schön.

Gruß
Frank