TCEC LC0-CPU vs. DivP

By Benno Hartwig Date 2021-08-26 07:38

> Mehr als das hätte mich mal eine direkte Auseinandersetzung LC0- Ceres interessiert,

Mich auch!
Und ich hoffe auf das nächste große TCEC-Event, auf die Season 22.

Der Moment, den du hier abbildest zeigt, das Lc0-CPU recht häufig gegen die Superstarken spielen musste, gegen die Schwächeren hat die Engine noch Partien nachzuholen.
Ich vermute, am Ende wird Lc0 sich darum dann ähnlich stark gezeigt haben wie eben die Plätze 6 und 7 in der Premium-League.
Lc0-CPU wird gerade gegen diese Kandidaten vielleicht ungefähr ausgeglichen gespielt haben.
Lc0-CPU hätte also immerhin die Chance, den Klassenerhalt zu schaffen, würde darum fighten.
Aber: mal schauen, ob ich damit richtig liege.

By Peter Martan Date 2021-08-26 11:15 Edited 2021-08-26 11:28

Das mit der Reihenfolge der Spiele ist mir auch nicht ganz klar, aber wenn wirklich 3/4 (42) erreicht sein werden, (da hatte ich mich im Eingangsposting etwas verrechnet, hab' 32 und 42 verwechselt

) könnte es sich mit den Runden LC0-CPU 6x gegen jeweils alle anderen ausgeglichen haben, es würden nach der laufenden gegen Ethereal nur noch 2 gegen Igel fehlen.
Vorläufig belegt die CPU- Installation von Leela immer noch so wie zuvor den vorletzten Platz vor Ethereal, was die Performances angeht, nachdem Ehtereal aber jetzt gerade gegen die Testengine gewinnt, wird sich das auch ändern, weil dann hat Ethe endlich einen ersten ganzen Gewinnpunkt eingefahren und sollte mit 41 über die jetzt vorletzten 38,x% von LC0-CPU, die dann nur mehr 37,5 wären, kommen.

By Benno Hartwig Date 2021-08-26 13:58

Die Quote hilft hier nicht wirklich weiter, denn Lc0-CPU musste ja auch gegen die Superengines spielen, alle anderen hatten "nur" Lc0-CPU als relativ schwachen Gegner.

Ich betrachte jetzt einfach, wie Lc0 gegen jeden einzelnen spielte mit einer ersten Einsortierung:
"ungefähr gleichstark wenn die Begegnung ungefähr Gleichstand lieferte"
ok, was bei soooo wenig Partien seeehr ungefähr ist. Aber so eine erste Idee eben und immerhin.

By Peter Martan Date 2021-08-26 19:59 Edited 2021-08-26 20:20

Wenn du nicht nach der Quote reihst, wonach dann?
Mag sein,dass man kann wirklich keinerlei Vergleiche mehr ziehen sollte zwischen dem, was Engines A gegen B erspielt mit dem, was gegen C herauskommt, aber was die Performance gegen die einzelnen Gegner angeht, wenn du der nur bei den starken Gegnern eine andere "Bedeutung" beimisst als der bei den schwachen, (immer relativ zu LC0-CPU) hört sich jeder Match- Vergleich zwischen mehr als zwei bestimmten Gegner endgültig auf, sogar in einem geschlossenen Turnier mit konstanter Gegnerschaft.
Und wenn du nur die Quote bzw. Performance gegen die einzelnen Gegner aus LC0- Sicht betrachtest, gibt das ja eben diese Reihung, nach 43 Partien schaut's so aus:


    Program                            Score     %    Av.Op.  Elo    +   -    Draws

  1 KomodoDragon 2781.00           :   4.5/  6  75.0   3251   3442  321 156   50.0 %
  2 LCZero 0.28_69722-vf20         :   4.5/  6  75.0   3251   3442  321 156   50.0 %
  3 Stockfish 14_202108220915      :   5.0/  7  71.4   3251   3410  250 128   57.1 %
  4 Igel 3.0.5                     :   4.0/  6  66.7   3251   3371  268 112   66.7 %
  5 ScorpioNN 3.0.14b              :   3.5/  6  58.3   3251   3309  230 215   50.0 %
  6 Stoofvlees II a18              :   3.0/  6  50.0   3251   3251  271 271   33.3 %
  7 Ethereal 13.07_NNUE-15EE       :   2.5/  6  41.7   3251   3192  215 230   50.0 %
  8 LCZeroCPU 0.28_752187          :  16.0/ 43  37.2   3344   3253   72  75   51.2 %

Und wenn dich nur die individuellen "Statistiken" interessieren:

Individual statistics:

1 KomodoDragon 2781.00        : 3442    6 (+  3,=  3,-  0), 75.0 %

LCZeroCPU 0.28_752187         :   6 (+  3,=  3,-  0), 75.0 %

2 LCZero 0.28_69722-vf20      : 3442    6 (+  3,=  3,-  0), 75.0 %

LCZeroCPU 0.28_752187         :   6 (+  3,=  3,-  0), 75.0 %

3 Stockfish 14_202108220915   : 3410    7 (+  3,=  4,-  0), 71.4 %

LCZeroCPU 0.28_752187         :   7 (+  3,=  4,-  0), 71.4 %

4 Igel 3.0.5                  : 3371    6 (+  2,=  4,-  0), 66.7 %

LCZeroCPU 0.28_752187         :   6 (+  2,=  4,-  0), 66.7 %

5 ScorpioNN 3.0.14b           : 3309    6 (+  2,=  3,-  1), 58.3 %

LCZeroCPU 0.28_752187         :   6 (+  2,=  3,-  1), 58.3 %

6 Stoofvlees II a18           : 3251    6 (+  2,=  2,-  2), 50.0 %

LCZeroCPU 0.28_752187         :   6 (+  2,=  2,-  2), 50.0 %

7 Ethereal 13.07_NNUE-15EE    : 3192    6 (+  1,=  3,-  2), 41.7 %

LCZeroCPU 0.28_752187         :   6 (+  1,=  3,-  2), 41.7 %

8 LCZeroCPU 0.28_752187       : 3253   43 (+  5,= 22,- 16), 37.2 %

Stockfish 14_202108220915     :   7 (+  0,=  4,-  3), 28.6 %
KomodoDragon 2781.00          :   6 (+  0,=  3,-  3), 25.0 %
LCZero 0.28_69722-vf20        :   6 (+  0,=  3,-  3), 25.0 %
Stoofvlees II a18             :   6 (+  2,=  2,-  2), 50.0 %
ScorpioNN 3.0.14b             :   6 (+  1,=  3,-  2), 41.7 %
Ethereal 13.07_NNUE-15EE      :   6 (+  2,=  3,-  1), 58.3 %
Igel 3.0.5                    :   6 (+  0,=  4,-  2), 33.3 %

By Benno Hartwig Date 2021-08-26 20:17

> Wenn du nicht nach der Quote reihst, wonach dann?

Wenn mich interessiert, wo in dieser Reihe Lc0-CPU wohl einzureihen ist, dann sehe ich mir an, gegen wen die Engine so ungefähr ausgeglichen spielte.

Lc0-CPU spielte halt auch gegen Lc0, SF und Dragon, verlor natürlich hier besonders viel. --> niedrige Quote
Die Engines, die ungefähr die Stärke haben wie Lc0-CPU, brauchten hier aber nur gegen den relativ schwachen Lc0-CPU zu spielen, --> vergleichsweise hohe Quote.
Diese beiden Quoten zu vergleichen, bringt aus meiner Sicht keine sinnvollen Erkenntnisse.

By Peter Martan Date 2021-08-26 20:23 Edited 2021-08-26 20:28

Ich versteh dich immer noch nicht, warum hältst du die Quote gegen bestimmte Gegner für aussagekräftig, die gegen andere nicht?
Ob sie schwächer oder stärker sind untereinander, die Gegner, kannst du gern außen vor lassen, aber wenn du sie (die bestimmten Quoten deines Missfallens) nicht gelten lässt, weil der Abstand zu groß oder zu klein ist (so könnte man auch argumentieren, weil ja da dann wieder die Errobar relativ zum Unterschied größer wäre, bei zu nahe beieinander liegenden Performances), wäre es dann nicht erst recht reine Willkür, sie gar nicht erst antreten zu lassen?
Und woher willst du den Abstand kennen, wenn du sie nicht mitspielen lässt?

By Benno Hartwig Date 2021-08-26 21:30

> Ich versteh dich immer noch nicht, warum hältst du die Quote gegen bestimmte Gegner für aussagekräftig, die gegen andere nicht?

Vermutlich drücke ich mich nicht verständlich aus.
Ich versuche es mal so:

Wenn ich gleichermaßen gegen Kreisklassenspieler und gegen Bundeligaspieler antrete
und mein Freund tritt nur gegen Kreisklassenspieler an,
dann wirst du anhand der so erspielten Quoten (nicht Elo-Werte!) nicht entscheiden können, ob wohl mein Freund oder ich der stärkere Spieler ist.

Jede Quote hat eine Aussagekraft,
aber der Vergleich der Quoten ist IMO mehr als problematisch.

By Peter Martan Date 2021-08-28 00:23 Edited 2021-08-28 00:25

Also wie auch immer du das für dich persönlich gerne rechnen möchtest, nach je 8 Partien gegen 7 verschiedene Engines hat LC0 nur gegen eine davon eine direkte positive Bilanz, ich würde also irgendwie schon sagen, der höchstens vorletzte Platz ist der Engine zwar eventuell auch zu gönnen, wie sehr sie schwächer ist als welche andere, kannst du aus den Einzel- Matches herauslesen oder auch nicht, spielt ja angesichts der Frage, wo die Engine Rangordnungs- mäßig relativ zu den anderen einzureihen sei, auch keine Rolle.

Wenn du nur jeweils 8 Partien allein rechnest gegen einen einzelnen Gegner, sind die Partiezahlen für irgendwelche Statistiken sowieso viel zu klein, lässt du, wie's bei Ranglisten ja auch üblich ist, die Summe der Ergebnisse auch gelten, sind's immer noch zu wenige, so what, könnte man sagen. Aber einen Unterschied sollte es halt meiner Meinung nach schon machen, ob die eine Engine, auf die's ankommt, 8 gegen einen Gegner, den du für "relevant" hältst, oder 56 gegen 7 verschiedene gespielt hat, findest du nicht auch?

Elostat reiht LC0-CPU als letzte, weil ihre Gesamtperformance aus 56 Spielen niedriger ist als die von Ethereal aus den Spielen gegen LC0-CPU allein, so sieht's dann aus, wenn du das ganze als Turnier wertest: (Menüpunkt 2 der Batch- Auswahl)


    Program                            Score     %    Av.Op.  Elo    +   -    Draws

  1 Stockfish 14_202108220915      :   6.0/  8  75.0   3242   3433  241 137   50.0 %
  2 KomodoDragon 2781.00           :   6.0/  8  75.0   3242   3433  241 137   50.0 %
  3 LCZero 0.28_69722-vf20         :   6.0/  8  75.0   3242   3433  241 137   50.0 %
  4 Igel 3.0.5                     :   5.5/  8  68.8   3242   3379  210 109   62.5 %
  5 ScorpioNN 3.0.14b              :   5.0/  8  62.5   3242   3330  194 177   50.0 %
  6 Stoofvlees II a18              :   4.5/  8  56.2   3242   3285  217 212   37.5 %
  7 Ethereal 13.07_NNUE-15EE       :   3.5/  8  43.8   3242   3198  150 164   62.5 %
  8 LCZeroCPU 0.28_752187          :  19.5/ 56  34.8   3353   3244   62  65   51.8 %

Individual statistics:

1 Stockfish 14_202108220915   : 3433    8 (+  4,=  4,-  0), 75.0 %

LCZeroCPU 0.28_752187         :   8 (+  4,=  4,-  0), 75.0 %

2 KomodoDragon 2781.00        : 3433    8 (+  4,=  4,-  0), 75.0 %

LCZeroCPU 0.28_752187         :   8 (+  4,=  4,-  0), 75.0 %

3 LCZero 0.28_69722-vf20      : 3433    8 (+  4,=  4,-  0), 75.0 %

LCZeroCPU 0.28_752187         :   8 (+  4,=  4,-  0), 75.0 %

4 Igel 3.0.5                  : 3379    8 (+  3,=  5,-  0), 68.8 %

LCZeroCPU 0.28_752187         :   8 (+  3,=  5,-  0), 68.8 %

5 ScorpioNN 3.0.14b           : 3330    8 (+  3,=  4,-  1), 62.5 %

LCZeroCPU 0.28_752187         :   8 (+  3,=  4,-  1), 62.5 %

6 Stoofvlees II a18           : 3285    8 (+  3,=  3,-  2), 56.2 %

LCZeroCPU 0.28_752187         :   8 (+  3,=  3,-  2), 56.2 %

7 Ethereal 13.07_NNUE-15EE    : 3198    8 (+  1,=  5,-  2), 43.8 %

LCZeroCPU 0.28_752187         :   8 (+  1,=  5,-  2), 43.8 %

8 LCZeroCPU 0.28_752187       : 3244   56 (+  5,= 29,- 22), 34.8 %

Stockfish 14_202108220915     :   8 (+  0,=  4,-  4), 25.0 %
KomodoDragon 2781.00          :   8 (+  0,=  4,-  4), 25.0 %
LCZero 0.28_69722-vf20        :   8 (+  0,=  4,-  4), 25.0 %
Stoofvlees II a18             :   8 (+  2,=  3,-  3), 43.8 %
ScorpioNN 3.0.14b             :   8 (+  1,=  4,-  3), 37.5 %
Ethereal 13.07_NNUE-15EE      :   8 (+  2,=  5,-  1), 56.2 %
Igel 3.0.5                    :   8 (+  0,=  5,-  3), 31.2 %

Wählst du als Art der Berechnung Rangliste (Menü- Auswahl 1), ist Ethereal letztgereiht:


    Program                          Elo    +   -   Games   Score   Av.Op.  Draws

  1 Stockfish 14_202108220915      : 3433  241 137     8    75.0 %   3242   50.0 %
  2 KomodoDragon 2781.00           : 3433  241 137     8    75.0 %   3242   50.0 %
  3 LCZero 0.28_69722-vf20         : 3433  241 137     8    75.0 %   3242   50.0 %
  4 Igel 3.0.5                     : 3379  210 109     8    68.8 %   3242   62.5 %
  5 ScorpioNN 3.0.14b              : 3330  194 177     8    62.5 %   3242   50.0 %
  6 Stoofvlees II a18              : 3285  217 212     8    56.2 %   3242   37.5 %
  7 LCZeroCPU 0.28_752187          : 3244   62  65    56    34.8 %   3353   51.8 %
  8 Ethereal 13.07_NNUE-15EE       : 3198  150 164     8    43.8 %   3242   62.5 %

Wenn dir das besser gefällt, bitte, du sollst auch deine Freude haben.