Zu einem oftmals heiß diskutierten Thema ... Wie viele Partien sind notwendig!

By Frank Quisinsky Date 2020-10-29 16:18 Edited 2020-10-29 16:57

Hallo zusammen,

beim aktuellen FCP Tourney-2020 spielen 41 Engines, jeder gegen jeden, 50 Partien.
Es sind also 2.000 Partien pro Engine zu spielen, insgesamt also schlappe 41.000 Partien.

5.3Ghz, 1 Core, 768Mb für Hash und 20 Minuten pro Partie + 5 Sekunden Fischer.
Also, mächtig Power drin!

Die Elo-Berechnungsprogramme geben uns ja die Infos über Aussagekraft anhand der Partien aus.
Leider wird dem Thema aber immer viel zu viel Spielraum gegeben, so dass fast jeder Anwender, den ich persönlich
kennengelernt habe, Ergebnisse anderes interpretiert. Das ist echt teilweise richtig witzig.

Überprüfungen sind natürlich immer ganz interessant.

Hier mal eine Grafik nach nunmehr 1.600 / 2.000 gespielten Partien x 41 Engines (40 der 50 Runden sind absolviert).
Denke die Grafik von Klaus ist selbsterklärend!

ErrorBar kann man weiter unten anhand der Elo-Liste erkennen!
Bei so vielen Gegnern und einem fehlerfreien ausgeglichenen Buch wird natürlich ein Ergebnis recht schnell aussagekräftig.
Auf die ErrorBar schaue ich daher eigentlich auch nicht mehr.

Aber ...
Nehmen wir Wasp 4.00 und gesellen 40 andere Gegner beispielsweise hinzu, werden sich die Ergebnisse stark verändern.
Elo, selbst bei solch aussagekräftigen Turnieren, ist niemals ultimativ. So gern so viele Anwender auch daran glauben möchten.

Lösche ich z. B. die endspielstarken Engines aus der Liste raus, steigt Wasp direkt um 40 Elo an (da eine Schwäche von Wasp).
Auch das ist für alle Engines anhand der Excel Auswertungen von Klaus zu sehen (Stärken und Schwächen).

Code:

  FCP Tourney-2020
  ----------------

  Date           : October 29th, 2020 (08:15)
  Games          : 32.800
  Version        : 40.0, after R40
  Elo            : GullChess 3.0 BMI2 x64 = 3035
  Conditions     : http://www.amateurschach.de/main/_fcp-tourney-2020.htm

  Generated with : Ordo 1.2.6 x64 (Ratings for chess and other games)
  https://sites.google.com/site/gaviotachessengine/ordo
  by Miguel A. Ballicora (Argentina)

   # Player                           :      Elo  Games  Score%   won  draw  lost  Points  Draw%   Error   OppAvg   OppE  MoveAvg
  -------------------------------------------------------------------------------------------------------------------------------
  01. Stockfish 11 BMI2 x64           :  3338.72  1.600    83.7  1081   515     4  1338,5   32.2   15.33  3027.11  11.60     81.6
  02. Komodo 14.0 BMI2 x64            :  3267.07  1.600    77.5   914   653    33  1240,5   40.8   13.53  3028.90  11.64     78.6
  03. Houdini 6.03 Pro x64            :  3259.85  1.600    76.8   887   685    28  1229,5   42.8   13.11  3029.08  11.65     81.4
  04. Ethereal 12.25 PEXT x64         :  3202.52  1.600    70.9   739   792    69  1135,0   49.5   12.84  3030.51  11.66     92.6
  05. SlowChess BC 2.2 x64            :  3167.19  1.600    66.9   665   812   123  1071,0   50.8   12.36  3031.39  11.67     84.2
  06. Fire 7.1 POP x64                :  3163.72  1.600    66.5   644   841   115  1064,5   52.6   12.27  3031.48  11.67     85.8
  07. Xiphos 0.6 BMI2 x64             :  3145.86  1.600    64.4   612   837   151  1030,5   52.3   11.91  3031.93  11.68     83.6
  08. rofChade 2.3 BMI x64            :  3144.31  1.600    64.2   616   823   161  1027,5   51.4   12.05  3031.97  11.68     89.5
  09. Booot 6.4 POP x64               :  3143.79  1.600    64.2   584   885   131  1026,5   55.3   11.28  3031.98  11.70     77.5
  10. Laser 1.7 BMI2 x64              :  3119.60  1.600    61.2   546   866   188   979,0   54.1   11.98  3032.58  11.68     86.0
  -------------------------------------------------------------------------------------------------------------------------------
  11. Fritz 17 (Ginkgo) x64           :  3103.66  1.600    59.2   513   868   219   947,0   54.3   11.53  3032.98  11.69     85.7
  12. Schooner 2.2 SSE x64            :  3101.19  1.600    58.9   488   908   204   942,0   56.8   11.35  3033.04  11.70     86.2
  13. Shredder 13 x64                 :  3100.70  1.600    58.8   516   850   234   941,0   53.1   10.87  3033.06  11.71     86.0
  14. Defenchess 2.2 POP x64          :  3092.10  1.600    57.7   463   921   216   923,5   57.6   10.88  3033.27  11.71     91.2
  15. RubiChess 1.7.3 x64             :  3090.39  1.600    57.5   489   862   249   920,0   53.9   11.35  3033.31  11.70     88.4
  16. Andscacs 0.95 BMI2 x64          :  3080.40  1.600    56.2   467   865   268   899,5   54.1   11.38  3033.56  11.69     85.1
  17. Fizbo 2.0 BMI2 x64              :  3064.69  1.600    54.2   457   820   323   867,0   51.3   11.32  3033.96  11.70     88.7
  18. Arasan 22.0 BMI2 x64            :  3037.39  1.600    50.6   395   830   375   810,0   51.9   11.23  3034.64  11.70     86.8
  19. GullChess 3.0 BMI2 x64          :  3035.00  1.600    50.3   363   884   353   805,0   55.3   11.01  3034.70  11.70     89.6
  20. Fritz 16 (Rybka) x64            :  2996.53  1.600    45.3   320   809   471   724,5   50.6   11.07  3035.66  11.70     87.6
  -------------------------------------------------------------------------------------------------------------------------------
  21. Pedone 2.0 BMI2 x64             :  2989.80  1.600    44.4   288   845   467   710,5   52.8   10.66  3035.83  11.71     87.9
  22. Wasp 4.00 Modern x64            :  2987.40  1.600    44.1   282   847   471   705,5   52.9   11.00  3035.89  11.70     88.6
  23. Winter 0.8 x64                  :  2986.92  1.600    44.0   318   773   509   704,5   48.3   10.85  3035.90  11.71     85.3
  24. Vajolet2 2.8 BMI2 x64           :  2983.06  1.600    43.5   285   823   492   696,5   51.4   11.02  3036.00  11.70     88.7
  25. Chiron 4 x64                    :  2982.33  1.600    43.4   277   836   487   695,0   52.3   11.21  3036.02  11.70     89.1
  26. Critter 1.6a x64                :  2973.14  1.600    42.3   284   784   532   676,0   49.0   10.99  3036.25  11.70     89.2
  27. Igel 2.5.0 BMI2 x64             :  2971.44  1.600    42.0   256   833   511   672,5   52.1   11.18  3036.29  11.70     83.8
  28. Nirvanachess 2.4 POP x64        :  2968.03  1.600    41.6   246   839   515   665,5   52.4   11.32  3036.37  11.70     85.8
  29. Equinox 3.30 x64                :  2967.30  1.600    41.5   245   838   517   664,0   52.4   11.47  3036.39  11.69     90.5
  30. Nemorino 5.00 BMI2 x64          :  2955.30  1.600    40.0   271   737   592   639,5   46.1   11.27  3036.69  11.70     89.5
  -------------------------------------------------------------------------------------------------------------------------------
  31. Demolito 2020-05-14 PEXT x64    :  2942.44  1.600    38.3   246   735   619   613,5   45.9   11.59  3037.01  11.69     97.0
  32. iCE 4.0 v853 Modern x64         :  2941.19  1.600    38.2   225   772   603   611,0   48.3   10.87  3037.04  11.71     85.7
  33. Protector 1.9.0 x64             :  2937.94  1.600    37.8   215   779   606   604,5   48.7   11.23  3037.12  11.70     88.2
  34. Hannibal 1.7 x64                :  2930.66  1.600    36.9   199   782   619   590,0   48.9   11.51  3037.31  11.69     92.1
  35. Minic 2.33 x64                  :  2929.15  1.600    36.7   216   742   642   587,0   46.4   11.92  3037.34  11.68     84.7
  36. Texel 1.07 BMI2 x64             :  2927.38  1.600    36.5   201   765   634   583,5   47.8   11.41  3037.39  11.69     90.0
  37. Senpai 2.0 BMI2 x64             :  2906.33  1.600    33.9   174   737   689   542,5   46.1   11.59  3037.92  11.69     88.6
  38. Combusken 1.2.0 x64             :  2894.52  1.600    32.5   156   728   716   520,0   45.5   11.67  3038.21  11.69     86.7
  39. SmarThink 1.98 AVX2 x64         :  2887.32  1.600    31.7   189   635   776   506,5   39.7   11.93  3038.39  11.68     86.2
  40. Monolith 2 PEXT x64             :  2854.46  1.600    27.9    94   706   800   447,0   44.1   12.96  3039.21  11.66     83.2
  -------------------------------------------------------------------------------------------------------------------------------
  41. Rodent IV 0.22 POP x64          :  2852.17  1.600    27.7   102   682   816   443,0   42.6   12.89  3039.27  11.66     87.2
  -------------------------------------------------------------------------------------------------------------------------------

  MoveAvg (average)           : 174.82 / 87.410
  White advantage             : 48.69  +/- 1.34
  Draw rate (equal opponents) : 61.99% +/- 0.33

  Games        :  32.800 (finished)
  White Wins   :  10.168 (31.0%)
  Black Wins   :   6.360 (19.4%)
  Draws        :  16.272 (49.6%)
  Unfinished   :       0

  White Perf.  : 55.8%
  Black Perf.  : 44.2%

  ECO A00-A99  :   5.820 Games (17.7%)
  ECO B00-B99  :   8.499 Games (25.9%)
  ECO C00-C99  :   6.457 Games (19.7%)
  ECO D00-D99  :   6.402 Games (19.5%)
  ECO E00-E99  :   5.622 Games (17.1%)

Bei so vielen Engines im Turnier könnte man eigentlich nach 1.000 Partien abbrechen.
Alles andere macht das Ergebnis zwar genauer aber eigentlich lohnt es sich nicht drüber Gedanken zu machen.
Wie ich finde Energieverschwendung wenn es um Elo geht.

Geht es um andere Statistiken sind meist mehr Partien immer von Vorteil.
Nicht für eine kaum etwas aussagende dumme Elo.
Denn wir sehen nichts außer die Gesamtspieltstärke und mehr als 1.000 Partien sind hierfür bei einem solch gewaltigen Turnier nicht notwendig.

Gibt ja auch interessantere Dinge als Elo in Erfahrung zu bringen!

Viele Grüße
Frank

By Frank Quisinsky Date 2020-10-29 16:51 Edited 2020-10-29 17:05

Im Grunde könnte man schon nach 800 Partien abbrechen, reicht.
Meine Aussage in Foren vor ca. 20 Jahren, dass 800 Partien ausreichen.

Nur waren vor 20 Jahren 800 aussagekräftige Partien schwieriger zu erzielen als heute.
Heute kann das jeder auf einem modernen PC schnell selbst herausfinden, Elo-Listen sind also nur noch eine Fleißaufgabe und stellen
nichts besonderes mehr da.

Anders bei den Spieleigenschaften der Engines.
Aber das ist auch wesentlich komplizierter und aufwendiger!

Wer sich für die Elo-Entwicklung interessiert kann die Dateien von Klaus auf meinen Webseiten herunterladen.
Auch stehen alle 40 Elo-Listen als "Revolver" zur Verfügung. Über das Menue System kann die Elo Entwicklung mit Steps von 40 Partien (von Runde zu Runde)
sehr schön nachverfolgt werden.

Da jeder immer selbst sehr viel Fantasie in Statistiken hineinlegt oder anders interpretiert ...
Mittels den Daten von Klaus lassen sich ganzen Serien von Märchenbüchern zu allen 40 Engines erstellen.
Je nach Auslegung des Einzelnen ...

Nicht schlimm, wenn es um Wasp geht ist mir das auch schon passiert!

By Frank Quisinsky Date 2020-10-29 20:21 Edited 2020-10-29 20:26

Hallo zusammen,

Klaus Wlotzka werkelt beständig an den verschiedenen statistischen Auswertungen zum Turnier.
Die gerade gepostete Grafik hier nochmal in einer neuen Version.
Diese Statistik ist frisch entwickelt und von daher sind hier und da auch noch Änderungen möglich.

Übergreifend zum kommenden FCP Tourney-2021 werden sicherlich weitere spannende Excel-Erweiterungen erfolgen.
Sind ja schon 80% vom Turnier absolviert und wir freuen uns schon beide auf das kommende FCP Tourney-2021.

Hier also die verbesserte Version:

Das Turnierdaten finden sich in zwei Downloads:
Die von mir erstellten Daten / Datenbanken und die von Klaus erstellten Excel Auswertungen.

Die beiden Links finden sich auf der Detailseite zum Turnier.
http://www.amateurschach.de/main/_fcp-tourney-2020.htm

Von dort können alle Turnier relevanten Daten abgerufen werden.

Die Detailseite zum kommenden Turnier dann unter:
http://www.amateurschach.de/main/_fcp-tourney-2021.htm

Wird gestartet am 01.01.2021.
Ab 01.12.2020 wird vorher noch eine Qualifikation durchgeführt.

Viele Grüße
Frank

By Geri Schmidt Date 2020-10-30 09:20

Frank Quisinsky schrieb:

Gibt ja auch interessantere Dinge als Elo in Erfahrung zu bringen!

Hallo,

ja, da bin ich ganz bei dir. Gerade solche Dinge wie z. B. das Wasp-Beispiel sind doch sehr interessant. Deshalb verfolge ich das FCP Tourney-2020 auch mit entsprechendem Interesse.

Grüße

By Frank Quisinsky Date 2020-10-30 15:02 Edited 2020-10-30 15:06

Hallo Geri,

freut mich wenn Du das Turnier verfolgst.
Wenn nur eine Person verfolgt ist das Ziel schon erreicht.

Man sieht ja anhand der Excel Auswertungen z. B. auch gegen welche Gegner jede Engine welche Performance erreicht.
Könnte man natürlich heftigs die Zahlen manipulieren, ohne jetzt nach Stärken und Schwächen zu schauen.

Beim FCP Tourney-2021 nehme ich viele Engines aus dem Turnier und ersetze durch noch sehr neue, meist unbekanntere
Programme. Wenn die "Mixtour" stimmt wird es spannender. Manipoliert habe ich hierbei nicht aber mir waren zu viele Programme
drin, die auf irgend etwas beruhen oder wo der Verdacht besteht bzw. auch ältere deren Stärken und Schwächen etc.
bekannt sind. Oder auch Programme die einfach eine zu schwache Königssicherheit haben.

In den nächsten Tagen werde ich eine neue Rubrik erstellen?!
Hier geht es dann um die Engine Konfigurationen, bzw. werden die gegenüber gestellt und anhand einer Seite mit Grafiken der
Einstellungen besser vergleichbar gemacht.

Das fehlt mir zu dem bisherig erstellten Material noch.
Beim FCP Tourney-2020 habe ich im Download File nur ein Verzeichnis der Shredder Konfigurations-Dateien.
Gab schon von 3 Programmierern Fragen zu den Einstellungen. Mit einer solchen Seite / Übersicht wäre das Thema dann endgültig Geschichte.

Und so wird alles (aus meiner Sicht) immer ein wenig besser.

Dir dann viel Spaß mit meinen Turnieren und natürlich den Daten bzw. enormen Aufwand den Klaus hier getrieben hat.

Kann man ja auch immer mal schauen wie es so steht wenn man gerade Zeit dafür hat und mich sich selbst fachsimpeln.

Viele Grüße
Frank