Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / TCEC Bonus
- - By Peter Martan Date 2020-10-16 21:12 Edited 2020-10-16 21:21
Das Sufi war ja einmal mehr nicht unspannend, aber was da jetzt wieder läuft?
SF Classical gegen komodo.
Nach 10 Partien führt SF mit 5-0 ganzen Punkten, hat alle Partien mit Weiß gewonnen, insgesamt also 7.5-2.5.

Über wieviele Runden das wohl gehen mag?

Edit:jetzt holt sich komodo mit Weiß anscheinend auch gerade einen ganzen Punkt.
Parent - - By Benno Hartwig Date 2020-10-16 21:21

> Über wieviele Runden das wohl gehen mag?


Wenn du auf Schedule klickst, erfährst du es: 100 Partien insgesamt.
Parent - By Peter Martan Date 2020-10-16 21:22
Guter Tipp.

Aber 100 Partien, OMG.
Naja, ist ja nur 12'+3".
Parent - - By Peter Martan Date 2020-10-17 09:56
Nach etwas mehr als einem Drittel der Spiele (36) hat SF 16 ganze Punkte (nach wie vor fast alle Weiß- Games) gewonnen, komodo immerhin schon 2, also insgesamt steht's
25-11.
Ich frage mich immer noch und mehr und mehr nach dem Sinn der Sache.
Parent - - By Benno Hartwig Date 2020-10-17 16:11

> Ich frage mich immer noch und mehr und mehr nach dem Sinn der Sache.


Pausenfüller! Man will halt nicht direkt mit dem nächsten TCEC-Main-Event starten.

Aber wenn man etwas Vorschläge sammelt, gibt es vielleicht Interessanteres.
Wie wäre es beispielsweise
- mit demselben Teilnehmerfeld wie im Hauptevent, aber mit deutlich reduzierten Zeiten.
   Schnellschach, oder auch gleich Blitz.
- Chess960 mit weniger langen Zeiten (Aus meiner Sicht wären 30 min + 5 sec ausreichend und klasse zu verfolgen!)
   (auch wenn da nicht alle dabei sein können.
   Wenn solche Events auch von namhaften Veranstaltern initiiert werden, könnte das ein Anreiz für die Entwickler sein.)

Parent - By Peter Martan Date 2020-10-17 16:47
Bei der 50. Partie fährt SF seinen 21. ganzen Punkt ein.

Wins   = 21
Draws  = 26
Losses = 3
Av.Op. Elo = 3450

Result     : 34.0/50 (+21,=26,-3)
Perf.      : 68.0 %
Margins    :
68 %      : (+  4.1,-  4.3 %) -> [ 63.7, 72.1 %]
95 %      : (+  7.9,-  8.5 %) -> [ 59.5, 75.9 %]
99.7 %    : (+ 11.9,- 13.0 %) -> [ 55.0, 79.9 %]

Elo        : 3581
Margins    :
68 %      : (+ 34,- 33) -> [3548,3615]
95 %      : (+ 69,- 64) -> [3517,3650]
99.7 %    : (+108,- 96) -> [3485,3689]
Parent - - By Benno Hartwig Date 2020-10-18 15:54

> Ich frage mich immer noch und mehr und mehr nach dem Sinn der Sache.


Wäre vielleicht eine Pausenfüller-Begegnung "aktueller Classic-Stockfish vs. aktueller Lc0" interessanter gewesen? (Kommt ja vielleicht noch)
Parent - - By Peter Martan Date 2020-10-18 18:08
Oder SF NNUE gegen SF Classical?
Läuft schon.
Diesmal mit 30'+5", wieder 100 Partien.
Parent - - By Benno Hartwig Date 2020-10-18 23:45
30'+5" finde ich schick!
Und "Classic-Stockfish vs. Lc0" kommt ja vielleicht trotzdem noch. Das könnte ja ggf. ziemlich was knapp ausgehen!
Parent - - By Peter Martan Date 2020-10-19 00:19
SF Classical - SF NNUE wird vermutlich auch kein Schlachtfest, nach den ersten 7 Partien hat NNUE aber immerhin 2 Partien gewonnen und keinen Verlust zu verbuchen.
30'+5" ist ganz nett zum Zuschauen, bis die 100 Partien um sind, wird's allerdings wohl etwas länger dauern als das davor.
Parent - By Benno Hartwig Date 2020-10-19 07:25
Der NNUE-Sieg mag gegen SF-classic ähnlich deutlich sein wie beim Finalsieg. Mal sehen.
Aber ob SF-classic oder Lc0 die Nase vorn haben würde, weiß ich nicht.
Parent - - By Benno Hartwig Date 2020-10-19 23:41 Edited 2020-10-19 23:44

> SF Classical - SF NNUE wird vermutlich auch kein Schlachtfest


19,0 : 12:0 steht es im Moment.
Also eine 61,3%-Quote nach 31 Partien.
Kein Schlachtfest, ok, aber immerhin!
Wer hätte vor wenigen Monaten (also vor NNUE) noch für möglich gehalten, dass bereits heute tatsächlich eine Engine existiert, die mit  "SF(-classic)" in solch einer überlegenen Weise umspringt!
Parent - - By Peter Martan Date 2020-10-20 07:26
Man könnte halt schon auch irgendwie von  Selfplay in einem weiteren Sinn reden.
Parent - - By Benno Hartwig Date 2020-10-20 18:23 Edited 2020-10-20 18:27
...dabei aber dann so unterschiedlich, wie AB-Engines auf top-Niveau untereinander nur selten sind.

PS:
30,0 zu 21,0 haben wir jetzt, die SF-NNUE-Quote also: 58,8% (Immerhin!)
Der SF-classic hat jetzt auch zweimal gewinnen können!
Parent - - By Peter Martan Date 2020-10-21 09:12 Edited 2020-10-21 09:35
Benno Hartwig schrieb:

...dabei aber dann so unterschiedlich, wie AB-Engines auf top-Niveau untereinander nur selten sind.

Das glaube ich nicht bei identischer Suche und doch über weite Strecken (Hybrid-NNUE) auch identischer Eval.

Wie auch immer, nach 66 Partien (66. läuft noch, wird aber auch Remis):

Wins   = 18
Draws  = 45
Losses = 3
Av.Op. Elo = 3500

Result     : 40.5/66 (+18,=45,-3)
Perf.      : 61.4 %
Margins    :
68 %      : (+  3.2,-  3.1 %) -> [ 58.3, 64.6 %]
95 %      : (+  6.4,-  6.1 %) -> [ 55.3, 67.7 %]
99.7 %    : (+  9.7,-  9.1 %) -> [ 52.2, 71.1 %]

Elo        : 3580
Margins    :
68 %      : (+ 24,- 23) -> [3558,3604]
95 %      : (+ 48,- 44) -> [3537,3629]
99.7 %    : (+ 76,- 65) -> [3515,3656]

Nun sind diese 80 Elo, die im 95%- Intervall auch nur 37 sein könnten, eher weniger als das, was schon so kolportiert worden ist von 100 und mehr in dieser Form des erweiterten Selfplay.
Du magst es nicht so nennen, es war aber das Standard- Vorgehen in den Wochen nachdem NNUE aufkam, und das hier im TCEC Bonus ist dasselbe Prinzip. Natürlich hast du weniger Unterschiede bei einem vernünftigen Engine- Mix, vor allem, wenn LC0 auch mitspielt.
Und die Eröffnungen, so weit ich sie mir überhaupt angeschaut habe, sind schon auch wieder eher "selektive" solche.

Das einzig Interessante in diesem Match ist für mich, dass das G'schichtl vom schlecht skalierenden NNUE-SF damit auch endlich wieder vom Tisch sein sollte.
Wüsste wirklich nicht, warum dieselbe Suche schlechter skalieren sollte mit besserer Eval, außer, dass sie halt Hardware- TC kostet, da sollte mehr Hardware- TC eher mehr bringen als weniger.

Und dann könnte man sich auf einen Gegenversuch freuen, wie du ihn auch gern hättest, freuen, wenn LC0 gegen SF Classical noch ebensoviele Partien mit derselben Hardware- TC spielte im Anschluss (geht aber schon nicht, weil die GPU- Hardware wieder nicht direkt zu vergleichen wäre mit der CPU- Hardware anders als Einzelmatch- abhängig)

Man unterläge aber selbst da wieder einmal demselben Irrtum, dem solche Vergleich von Anbeginn des Schachs an unterlagen und unterliegen: dem Irrtum, solche Ratings wären transitiv.
Nicht einmal, wenn LC0 jetzt gegen SF Classical ganz andere oder sehr ähnliche Ergebnisse erbrächte wie SF Classical gegen SF NNUE, könnte man sich auch nur eine einzige Partie im direkten LC0- SF NNUE- Match ersparen, um genau diese Paarung zu testen.

Nun hatte man dafür ja gerade das Sufi, aber halt wieder mit anderer Hardware- TC und anderen Eröffnungen und immer noch zu wenig Partien. Selbst wenn das Sufi diesmal in den 68% (wieso die immer noch durch die Elo- Statistiken geistern, fragt man sich schon auch, selbst wenn die Antwort auf der Hand liegt) eine eindeutige Likelihood of Superiority erbracht hat, im allgemein bei Statistiken mit genug Datenmaterial üblichen 95%- Intervall war's immer noch hauchdünnes Eis, wenigstens das statistisch relevant sagen zu können. Was ich mich erinnere, war die untere 95%- Grenze ganz knapp unter 50%.
Edit: Hab's einfach nochmal rausgesucht:

https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=135389#pid135389

Zitat:

95 %      : (+  5.1,-  5.0 %) -> [ 49.5, 59.6 %]



So what?
Parent - - By Peter Weise Date 2020-10-21 10:55
"Nun sind diese 80 Elo, die im 95%- Intervall auch nur 37 sein könnten, eher weniger als das, was schon so kolportiert worden ist von 100 und mehr in dieser Form des erweiterten Selfplay."

Das passt sehr gut. Die Cegt hat bei der 25 + 8 Liste 61.5% = + 80 (+- 15).
Parent - By Peter Martan Date 2020-10-21 12:58 Edited 2020-10-21 13:07
Ja, und die obere Grenze des 95%- Intervalls (3629-3500=129) gibt sogar schon fast so einen großen Gewinn her wie bei Stefan Pohl SFNNUE zu SF 11 (3716-3560=156)

https://www.sp-cc.de/index.htm

Und die Untergrenze von 37 ist nicht einmal viel weniger als der Abstand auf deiner eigenen Liste war von gerade mal 90 damals.

https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=135351#pid135351

Parent - - By Peter Martan Date 2020-10-22 19:58
Nachdem die letzte Partie Remis enden dürfte

(diesen Drachen mit
1. e4 c5 2. Nf3 d6 3. d4 cxd4 4. Nxd4 Nf6 5. Nc3 g6 6. Be3 Nc6 7. f3 h5 (?!)
hatten wir im Sufi auch, wenn ich mich recht erinnere)

ist das wohl der Endstand aus der Sicht von SF NNUE:

Wins   = 26
Draws  = 70
Losses = 4
Av.Op. Elo = 3500

Result     : 61.0/100 (+26,=70,-4)
Perf.      : 61.0 %
Margins    :
68 %      : (+  2.5,-  2.5 %) -> [ 58.5, 63.5 %]
95 %      : (+  5.0,-  4.8 %) -> [ 56.2, 66.0 %]
99.7 %    : (+  7.7,-  7.2 %) -> [ 53.8, 68.7 %]

Elo        : 3578
Margins    :
68 %      : (+ 19,- 18) -> [3560,3596]
95 %      : (+ 38,- 34) -> [3543,3616]
99.7 %    : (+ 59,- 51) -> [3527,3637]
Parent - - By Benno Hartwig Date 2020-10-22 22:01
61% holte SF-NNUE also gegen SF-Classic

Bei nochmal deutlich reichlicheren Ressourcen holte SF-NNUE gegen Lc0 54,5%.
Dann sollte Lc0 dem SF-classic wohl recht deutlich überlegen sein.
Ob wir das auch noch geboten bekommen?
Parent - - By Peter Martan Date 2020-10-23 09:45 Edited 2020-10-23 10:08
Benno Hartwig schrieb:

Dann sollte Lc0 dem SF-classic wohl recht deutlich überlegen sein.

Wie deutlich ist recht deutlich?

Mich würde das mittlerweile schon deshalb auch stark interessieren, weil es wenigstens ein Ahnung davon verleihen würde, wie sehr oder wie wenig transitiv 3 Matches zwischen je 2 aus 3 Gegnern unter sehr ähnlichen Bedingungen wohl wirklich zueinander wären.

Die Eröffnungen im SF Classical- NNUE- Match scheinen mir teilweise denen im Sufi ähnlich gewesen zu sein, wenn nicht sogar identisch, hab' leider das Sufi- Archiv schon gelöscht, aber da wird's ja auch irgendwelche anderen Info- Quellen über die Teststellungen geben, hab' nur derzeit noch keine gefunden, was die im Bonus angeht.

Hätte man dieselben im Sufi, im Bonus SF Cl.-NNUE und in einem Bonus SF Classical- LC0, und die Hardware wäre auch jeweils dieselbe (die TC sollte dann halt auch identisch sein) dann hätte man endlich mal einen Match- Vergleich A gegen B, A gegen C, C gegen B.
Parent - - By Benno Hartwig Date 2020-10-23 17:06

> Wie deutlich ist recht deutlich?


Mal ganz naiv gerechnet:

SF-NNUE hat gegen SF-Classic   61%   --> 80 Elo
SF-NNUE hat gegen Lc0          54,5% --> 33 Elo

Also geschätzt
Lc0 hat gegen SF-classic                 47 Elo --> 56,5%

Ich sage mal: schon recht deutlich
(Eine Engine von 50% auf 56,4% anzuheben ist halt schon eine gewaltige Leistung!)
Parent - - By Peter Martan Date 2020-10-23 18:49
Du bist ein alter Elosionist, Benno.

Wobei du natürlich sowohl zufällig, als auch nicht ganz ohne  Gründe recht haben könntest, zumindest innerhalb einer wahrscheinlich bei 100 Partien wieder ziemlich großen Errorbar.
Parent - - By Benno Hartwig Date 2020-10-23 19:09
Klar, sehr ungefähre Schätzung.
Darum sprach ich ja auch von eine "naiven Rechnung".
Parent - - By Peter Martan Date 2020-10-23 19:13 Edited 2020-10-23 19:19
Naiv ist daran nicht die Rechnung, sondern die Annahme, Elo seien (vor allem auch oder eben nicht zwischen LC0 und A-B-Engines bei verschiedener Hardware- TC und verschiedenen Eröffnungen, wenn sie wirklich verschieden sind, die Eröffnungen) transitiv.
Parent - - By Benno Hartwig Date 2020-10-23 19:49 Edited 2020-10-23 19:54
Baut das Elo-System nicht sogar direkt darauf auf, dass diese Transitivität ausreichend gut gegeben ist?
Ich hatte die Grundannahmen von Arpad Elo immer so verstanden.
Dann wäre solch eine Rechnung in erster Näherung doch auch gerechtfertigt, oder?

PS:
Das Zitat von ihm finde ich niedlich:
„Manchmal denke ich, ich habe Frankensteins Monster erschaffen! Die jungen Spieler interessieren sich mehr für die Elo-Wertung als für die Dinge auf dem Brett."
Parent - By Peter Martan Date 2020-10-23 20:03
Benno Hartwig schrieb:

Baut das Elo-System nicht sogar direkt darauf auf, dass diese Transitivität ausreichend gut gegeben ist?

Ja, aber während alle, einschließlich Arpad Elo, wussten und wissen, dass das nicht so ist (es war ja für Menschen und deren Spiel gegeneinander gedacht), reden sich und einander Computerschach- Elosionisten hartnäckig ein, für Computerprogramme sei das anders.
Ist es ja auch, aber nicht so, wie es Leute wie du gern hätten.
Daher eingangs meine Frage, wie deutlich ist recht deutlich?

Wie transitiv ist recht transitiv?
Wie gut ist ausreichend gut?
Parent - - By Peter Martan Date 2020-10-25 11:31 Edited 2020-10-25 11:44
Benno Hartwig schrieb:

Dann sollte Lc0 dem SF-classic wohl recht deutlich überlegen sein.
Ob wir das auch noch geboten bekommen?

Die Chancen dafür schwinden zusehends, hingegen läuft jetzt etwas, was ich als 96 Runden zwischen LC0, Allie, Stoofvlees und ScorpioNN einschätzen würde.
TC 30'+5", naja, ist auch in paar Wochen durch.
Den Zeitaufwand natürlich scherzhafter Weise stark übertreibende Grüße
Parent - - By Peter Martan Date 2020-10-27 11:15
Nach einem Viertel der Partien:

  Engine                        Games  Points Wins[W/B] Losses[W/B]
1 LCZero v0.26.3_T60.SV.JH.92-280  29    17      8 [5/3]    3 [1/2]
2 AllieStein v0.8-120f959_net-15.0 29    16      6 [4/2]    3 [2/1]
3 ScorpioNN 3.0.9                  29    13      3 [1/2]    6 [2/4]
4 Stoofvlees II a14                29    12      3 [2/1]    8 [3/5]


Hauptsächlich, um mal wieder Tabellen Formatieren hier zu üben, hatte schon wieder alles vergessen, was es da so zu beachten gibt.
Parent - By Peter Martan Date 2020-10-27 13:23 Edited 2020-10-27 13:29
Und eine kleine Performance- Tabelle von EloStat, wenn man die Start-Elo willkürlich als 3300 annimmt, nach 30(31) Runden.

    Program                            Elo      +   -   Games   Score   Av.Op.  Draws

  1 LCZero v0.26.3_T60.SV.JH.92-280 :  3343   76  71    31    58.1 %   3286   64.5 %
  2 AllieStein v0.8-120f959_net-15.0 : 3326   68  64    31    54.8 %   3292   71.0 %
  3 ScorpioNN 3.0.9                :   3273   66  71    30    45.0 %   3308   70.0 %
  4 Stoofvlees II a14              :   3256   73  78    30    41.7 %   3314   63.3 %

Parent - - By Klaus S. Date 2020-10-27 17:53

> Nach einem Viertel der Partien:


Naaa ...

ich würde sagen nach 2/3 der Partien.   

66 gespielte,  96 gesamt zu spielen.
Parent - - By Peter Martan Date 2020-10-27 18:46 Edited 2020-10-27 18:59
Also, als ich das postete, worauf du geantwortet hast, waren's gerade erst 29 Runden und 96 (Runden) sind geplant.
Einigen wir uns auf nicht ganz ein Drittel damals und etwas mehr als ein solches (Drittel) mittlerweile (Runde 34)?
Parent - - By Klaus S. Date 2020-10-27 19:52

> waren's gerade erst 29 Runden und 96 (Runden) sind geplant.


Hallo Peter,

96 Runden?

Laut Schedule sind es 96 Partien, also nach 48 Runden ist Schluß.

Egal
Parent - By Peter Martan Date 2020-10-27 20:03
Klaus S. schrieb:

Egal

Nicht ganz, ich hab' mich einfach geirrt.
Parent - - By Patrick Götz Date 2020-10-21 19:38
Benno Hartwig schrieb:

Kein Schlachtfest, ok, aber immerhin!


Es ist kein Schlachtfest aber eine bis jetzt (nach 76 Partien) makellose Dominanz:
Gewonnene Mini-Matches (bestehend aus 2 Partien mit gleicher Eröffnung):
SF NNUE = 16
SF classic = 0 (!)
Unentschieden = 22
Parent - By Peter Martan Date 2020-10-21 20:05 Edited 2020-10-21 20:53
Die 77., die wieder ein Remis wird, schon mitgezählt:

Wins   = 20
Draws  = 53
Losses = 4
Av.Op. Elo = 3500

Result     : 46.5/77 (+20,=53,-4)
Perf.      : 60.4 %
Margins    :
68 %      : (+  3.0,-  2.9 %) -> [ 57.5, 63.4 %]
95 %      : (+  5.9,-  5.7 %) -> [ 54.7, 66.3 %]
99.7 %    : (+  9.0,-  8.5 %) -> [ 51.9, 69.4 %]

Elo        : 3573
Margins    :
68 %      : (+ 22,- 21) -> [3552,3595]
95 %      : (+ 44,- 40) -> [3533,3617]
99.7 %    : (+ 69,- 60) -> [3513,3642]

Sind das eigentlich wieder Noomen- Eröffnungen?

Hab erst ein bisschen von vorn angefangen anzuschauen, aber z.B.das hier aus der 6.

1.e4 e6 2.d4 d5 3.Nc3 Nf6 4.e5 Ng8(?!)

kommt mir irgendwie bekannt vor.

Edit: und das hier, in der gerade laufenden 78., die SF NNUE nach 30 Zügen auch praktisch schon wieder gewonnen hat:

1.c4 c5 2.Nc3 Nf6 3.Nf3 d5 4.cxd5 Nxd5 5.e4 Nb4 6.Bc4 Nd3+ 7.Ke2 Nf4+ 8.Kf1 Ne6 9.b4 cxb4 10.Ne2 Nc7 11.d4 e6 12.h4 b5

ist auch nicht ganz das, was ich mir unter einer ausgeglichenen Kurzbuch- Eröffnung vorstelle.
SF NNUE ist mit 1.00 aus dem Buch gekommen.
Up Topic Hauptforen / CSS-Forum / TCEC Bonus

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill