TCEC Cup 12

By Peter Martan Date 2023-07-19 21:25

Mittlerweile 10:10

By Benno Hartwig Date 2023-07-19 23:41

Mal schauen, ob diese Begegnung jetzt die 24-Stunden-Marke knackt.

By Peter Martan Date 2023-07-20 08:45 Edited 2023-07-20 09:44

15.5:15.5

Nach wie vor hat keine Partie anders als mit Remis geendet.
Das Problem sind natürlich nicht die Eröffnungen allein, das Problem ist die Hardware- TC ab einem gewissen Engine- Niveau. Zwischen RubiChess und Igel kann man ja mit gar nicht soo vielen Partien auf moderater Hardware mit STC bis VSTC locker aus der error bar kommen, ich würde schätzen, dass dazu so 150 schon reichen, je nachdem, wie klein die Hardware- TC genau ist, exakt die zwei Engines gegeneinander hab' ich noch nicht probiert, aber zwischen CSTal, der auf RubiChess- Niveau ist und Igel waren's nach 150 Partien, als CSTal rauskam, 54 Elo (für Tal) +- 37, also immerhin LOS: 99.8 %, DrawRatio: 56.7 %, mit den 110-119cp- 6Zügern UHO von Stefan Pohl, bei single thread 3'+1".
Aber schon das 30'+3" hier, das ja auch noch Schnellschach ist, nivelliert die ohnehin auch gar nicht so wenig aus dem Gleichgewicht gebrachten Eröffnungsvorteile (von schon so einem ganzen Bauern meistens) zu dem, was man hier sieht. Und ja, natürlich ist diese eine Serie Zufall, aber die Alternative zu den zahlreichen Remis wäre, sie großteils durch beidseitige Gewinnpaare zu ersetzen. Hier geht's ja nicht um Statistik, ginge es aber darum auch, wären die 1:1- Paare statistisch schlimmer als die Remis. Hier haben wir jetzt bei der 50%- Performance eine error bar von genau 0, bei 12 Siegen für jede Seite und einem Remis wäre es eine von 19% oder 141 Elo im 95%- Intervall bei einer genau gleichen Performance. Nun könnten wir uns im ersten Fall einfach damit zufrieden geben zu sagen, ok, bei diesen Eröffnungen und dieser Hardware- TC sind die beiden Engines einfach ziemlich gleich stark, lassen wir sie noch so lange weiterlaufen, bis eine einmal öfter nach Farbwechsel gewinnt als die andere und wir haben einen Gewinner im Match, im anderen Fall müssten wir noch ein paar Hundert Partien spielen lassen, um einen Unterschied größer als die error bar zu bekommen.
So schaut's aus, nix gegen Stefan Pohls erfolgreiche Bemühungen, dieser schachlichen Realität für seine eigenen Tests und Resultate zu begegnen, funktioniert gut für diese seine Bedingungen, übertragbar auf andere Bedingungen ist es nicht so, wie man sich das früher für Ranglisten vorgestellt hat. Dazu ändert sich schon dann zuviel, wenn man auch "nur" andere Gegner und eine andere Hardware- TC nimmt. Am schnellsten sieht man's bei den einzelnen Head to Head Matches.
Zum direkten Elo- Vergleich von Dragon und Remisraten bei CCRL- Büchern hat Kaufman hier was geschrieben:

https://talkchess.com/forum3/viewtopic.php?p=950339#p950339

Gehört eigentlich in den anderen Thread, nur ist der eh schon ziemlich voll, und ich will den Freunden von Torch nicht die Freude verderben, dass sich da jetzt vielleicht wirklich mal wieder was Großes an Elo erreignen könnte demnächst. Das mit der kurzen Entwicklungszeit sollte man halt vielleicht schon auch dahingehend relativieren, dass auf (mindestens) 4 Engines aufgebaut wird, die es schon eine Weile gab und die für sich allein auch nicht soo schlecht waren.

Edit, edit: mittlerweile hat Igel in der 61. Partie (insgesamt im Turnier) nach 45 Zügen aus einem Sizilianer nach 1.e4 c5 2.Sc3 b6 mit wieder so einem Bauern + für Weiß, einen Vorteil von angezeigten 4 (RubiChess) bis 6 (Igel) Bauern Eval, das könnte sich jetzt doch zu einem ganzen Punkt ausgehen.

By Peter Martan Date 2023-07-20 09:55

Editierzeit ist um, Partie ist aus, Igel steigt mit 16.5 zu 15.5 auf.

Event:

Ort:

Datum:

Weiss:

Schwarz:

Ergebnis

Board

By Andreas Mader Date 2023-07-20 11:46

RubiCHess und Igel sind laut TCEC-Wertung auch nur 2 ELO-Punkte voneinander entfernt, also de facto gleich stark. Interessanterweise war die knapp schlechter bewertete Engine höher gesetzt (Igel als #7).

By Peter Martan Date 2023-07-20 17:55 Edited 2023-07-20 18:47

Naja, ganz so leicht sind die beiden doch nicht zu sortieren, ich hätte nicht vom indirekten Vergleich mit CSTal ausgehen sollen, den ich nur selbst hatte spielen lassen gegen RubiChess und gegen Igel.
Nachgeholt, das direkte Match:
3'+1", UHO 6ZÜger 110-119cp, single thread (3.5GHz), 6Steiner Syzygys, ponder off:

Score of RubiChess-20230410_x86-64-bmi2 vs igel-x64_bmi2_avx2_3_5_0: 142 - 103 - 255 [0.539]
Elo difference: 27.2 +/- 21.3, LOS: 99.4 %, DrawRatio: 51.0 %
500 of 500 games finished.

Bei CCRL ist sogar Igel vorn um 12 Punkte bei 40/15 4cores:

http://ccrl.chessdom.com/ccrl/4040/

13 mehr für RubiChess bei CEGT 40/20 1CPU:

http://www.cegt.net/40_40%20Rating%20List/40_40%20SingleVersion/rangliste.html

Bei Stefan Pohl 22 mehr für Rubi:

https://www.sp-cc.de/

Im Stellungstest 21 Elo bei mir im EloStatTS von Frank Schubert mit den 256 (5"/Pos. und 30 Threads der 16x3.5GHz CPU sowie der 3070ti GPU)

https://www.dropbox.com/s/8k2xzm550ox7lw0/2562.epd?dl=0
:


    Program                                    Elo   +/-  Matches  Score   Av.Op.   S.Pos.   MST1    MST2   RIndex

  1 HypnoSIccf-NN240623-Set1                 : 3565    3   6551    60.0 %   3494   206/256    1.6s    2.2s   0.84
  2 SugaRXPrOIccf240623-Set1                 : 3564    3   6561    59.9 %   3494   200/256    1.4s    2.2s   0.84
  3 CrystalMZ140523bmi2-MV4-15-Pos.          : 3562    3   6556    59.7 %   3494   200/256    1.5s    2.3s   0.83
  4 SugaRXPrOIccf150723-Set2                 : 3548    3   6196    57.5 %   3495   188/256    1.6s    2.5s   0.80
  5 ShashChessGZ-Tal+Capa                    : 3547    3   6209    57.4 %   3495   184/256    1.6s    2.5s   0.82
  ...                  
 17 Lc0v0.31.0-dag+git.9be9c142-4000M         : 3505    4   5463    50.5 %   3501   141/256    1.4s    3.0s   0.67
 18 Stockfish15                               : 3500    3   5212    50.0 %   3501   135/256    1.3s    3.1s   0.74
 19 Stockfishdev-20230711                     : 3500    3   5226    49.9 %   3501   137/256    1.4s    3.1s   0.72
 20 Dragon3.2byKomodoChess                    : 3500    4   5251    49.8 %   3501   135/256    1.3s    3.1s   0.72
 21 Berserk11.1                               : 3480    4   5053    46.6 %   3503   118/256    1.2s    3.2s   0.66
 22 Koivisto9.2                               : 3469    4   4932    44.9 %   3505   114/256    1.4s    3.4s   0.64
 23 Ethereal14.00(NNUE)                       : 3462    4   4903    43.9 %   3505   109/256    1.4s    3.4s   0.60
 24 Chess-System-Tal-2.00-v21-Elo             : 3458    4   4884    43.3 %   3505   108/256    1.5s    3.5s   0.59
 25 RubiChess20230410(bmi2)                   : 3457    4   4811    43.1 %   3505   106/256    1.4s    3.5s   0.58
 26 Dragon3.2byKomodoChess64-bit-Aggr.        : 3449    4   5039    42.0 %   3505   101/256    1.5s    3.6s   0.48
 27 Fire9x64avx2                              : 3444    4   4837    41.2 %   3506   100/256    1.6s    3.7s   0.52
 28 Rebel-16.2                                : 3436    4   4746    39.9 %   3507    93/256    1.4s    3.7s   0.53
 29 Igel3.5.064BMI2AVX2                       : 3436    4   4685    39.9 %   3507    94/256    1.4s    3.7s   0.52
 30 Lc0v0.31.0-dag+git.dd64c7ec-CPU30T        : 3425    4   4967    38.5 %   3506    96/256    2.3s    4.0s   0.24
 31 Velvetv5.2.1                              : 3424    4   4733    38.2 %   3507    88/256    1.6s    3.8s   0.44
 ...

MST1  : Mean solution time (solved positions only)
MST2  : Mean solution time (solved and unsolved positions)
RIndex: Score according to solution time ranking for each position

By Andreas Mader Date 2023-07-27 09:57

Lothar Jung schrieb:

LC0 mit Stockfish im Endspiel.
Komodo holt 3. Platz.

Also nichts Neues und keine Überraschungen. Da LC0 den letzten Cupbewerb gewonnen hat, würde auch ein Sieg in diesem Turnier keine Überraschung sein, es ist also egal, wer das Finale für sich entscheidet.

Ich hoffe, dass bei zukünftigen Turnieren CSTal und Torch dabei sind, das würde frischen Wind in die Bude bringen.

By Lothar Jung Date 2023-07-27 10:49

Ich war nicht so sicher, daß LC0 ins Endspiel kommt.
Die erwähnten Engines wären sicher eine Bereicherung des Turniers.

By Benno Hartwig Date 2023-07-27 15:49

> Also nichts Neues und keine Überraschungen.

Herausgekommen sind die wahrscheinlichsten Paarungen,
Und auch dass SF nun das Finale gewinnt, ist der wahrscheinlichere Ausgang.

Bei doch recht übersichtlich vielen Partien je Begegnung hat aber wohl immer auch die etwas schwächere Engine eine Chance auf das Weiterkommen.
Und deshalb hatte beim letzten Mal eben auch Lc0 gewinnen können.

Auch im Tennis gewinnt eben mal die Nummer 5 gegen die Nummer 3, so sind die Events eben,
Und die 3 hat sich deshalb dann ja nicht als der tatsächlich stärkere Spieler erwiesen.

By Peter Martan Date 2023-07-27 20:34 Edited 2023-07-27 21:10

Das wird jetzt gerade bei der 10. Partie, wenn LC0 gewinnt, wonach es ausschaut, das 4. 1:1- Paar in Serie nach einem Remispaar am Anfang. Warum das nach 9 Partien in Punkten als 4:5 angeschrieben wird und nicht als 3.5 zu 4.5, weiß ich nicht.

Edit: nach dem jetzt fertigen Gewinn von LC0 in der 10. sollte es meiner Meinung nach 4.5 zu 4.5 stehen (4 1:1- Paare und ein Remispaar), geschrieben steht in der Klammer 5:5.

By Benno Hartwig Date 2023-07-28 07:39

Heute früh begrüßt SF die Interessierten damit, dass die Engine gerade 10.0 zu 9.0 führt,
und damit dass die aktuelle Partie eine gute Chance auf Remis bietet.
Das wäre es dann.

By Peter Martan Date 2023-07-28 10:07 Edited 2023-07-28 10:33

Bei mir wird jetzt 11.5-9.5 angezeigt, wenn ich die 21 fertigen Ergebnisse zusammenzähle, komme ich aber auf 9.5-8, und die laufende 22. Partie schaut nach einem ganzen Punkt für LC0 aus. Wenn das stimmt, was du über die 24 Eröffnungspaare im Finale schreibst, ist's jedenfalls noch nicht aus

Edit: Jetzt ist die 22. für LC0 ausgegangen, und nach meiner Rechnung steht's 9.5-9 in Punkten, woher die in den Klammern angegeben kommen, bei denen's jetzt 11.5-10.5 wären, ist mir nach wie vor ein Rätsel.

By Max Siegfried Date 2023-07-28 10:57

Spannender sind die vielen Informationen und Bewertungen.

Viele TB Hits sind anscheinend immer noch sehr wichtig um Stockfish möglichst früh in die richtigen Bahnen zu lenken.

Witzig das LC0 einen Zug gemacht hat, welcher die eigene Bewertung nur um eine einstellige Zahl ansteigen lies, während Stockfish darauf mit einer Verdopplung der Gewinnwahrscheinlichkeit für LC0 reagierte.

By Jörg Oster Date 2023-07-28 11:05

Also Peter, ernsthaft?
Wieviele Punkte werden pro Partie denn vergeben?

By Peter Martan Date 2023-07-28 11:33 Edited 2023-07-28 12:28 Upvotes 1

Ok, ok, dann halt so: SF hat 8x gewonnen und 3x Remis gespielt in den ersten 22 Partien, um die's mir im vorigen Posting noch ging (mittlerweile ist noch ein weiteres Remis in der 23. dazugekommen), LC0 hat 7x gewonnen und 4 Remis. Mein Rechenfehler war wohl, die Remis immer nur auf einer Seite als halbe Punkte zu addieren. Aber immerhin habe ich den Thread am Laufen und die Spannung möglichst hoch gehalten, wenigstens bei mir selbst

Ich akzeptiere also (wenn auch unwillig

) die offizielle Zählung, nach der 23. Partie steht's 12:11, theoretisch könnte LC0 also mit einem ganzen Punkt im laufenden Eröffnungspaar noch aufholen, go LC0, go!

Edit: haha, und es dürfte sich auch wirklich ausgehen, dass LC0 die Benoni gewinnt, die SF zuerst gerade remis gespielt hat mit Weiß.
Dann hätten wir nach 24 Partien Gleichstand!

By Lothar Jung Date 2023-07-28 12:35

Lc0 gewinnt gerade eine Partie, dann ist Gleichstand.

By Benno Hartwig Date 2023-07-28 13:14

Ja, jetzt haben wir das 12.0 zu 12.0
Angesetzt waren für das Finale:
"and in the final a set of 12 game pairs is played."

Ab jetzt werden also immer Partiepaare gespielt, und sobald es einer Engine gelingt, solch eine Paarung für sich zu entscheiden, ist das Finale entschieden:
Und: auch die ggf. geringfügig schwächere Engine hat eine anständige Chance diesen Coup zu landen.

By Benno Hartwig Date 2023-07-28 18:43

Und SF hat es geschafft mit 14.5 zu 13.5
Knapp ist es ausgegangen, und das ist bei diesen Engines auch sehr angemessen, finde ich.

By Lothar Jung Date 2023-07-28 18:59 Upvotes 1

Ja, Lc0 hat mich positiv überrascht.
In der Lc0-Entwicklung warten einige substanzielle Verbesserungen.
Torch hat es nicht alleine mit Stockfish zu tun.

By Peter Martan Date 2023-07-29 18:25 Edited 2023-07-29 18:43

Wie schon halblustig zugegeben, hab' ich mich einfach verzählt bei den Remis, sie immer nur für eine Seite zählend. Aber wär' das nicht vielleicht sogar auch mal eine Überlegung wert, dem Remis aus schwarzer Sicht mehr Punkte zu geben?
Das einfachste wäre, die Remis immer nur für Schwarz zu zählen, (wie ich's versehentlich für Weiß gemacht hatte) Weiß geht leer aus. Was ich so ein bisschen herumprobiert habe, ändert es vor allem dann natürlich nicht viel, wenn die beiden Engines gleich viel Remis mit Schwarz wie mit Weiß spielen, aber das ist eben bei bestimmten Eröffnungen mit einseitigem Vorteil (und die Grundstellung hat ja auch einen Anzugsvorteil) gar nicht die Regel.

Mit einer einseitigen Weiß-Wertung 0 bei Remis und normaler von 0.5 für Schwarz (über das Verhältnis könnte man noch diskutieren, z.B. für Weiß einen Viertelpunkt) bekommt man hingegen aus ausgeglichenen Eröffnungen auch eine andere Performance, die Elo werden nicht gespreizt, dafür werden sie aber vielleicht sogar wieder besser übertragbar zwischen den verschiedenen anderen Bedingungen und man könnte auch wieder mehr aus Eröffnungen spielen lassen, die nicht absichtlich biased für eine Seite sind, wenn die Remis alle nur für Schwarz (z.B. wie bisher) halbe Punkte brächten.
Eigene Elo wären's natürlich schon auch wieder, aber dass die sowieso alle nur fürs jeweilige Match gültig (vergleichbar) sind, daran hat man sich ja mittlerweile doch schon ziemlich gewöhnt. Dass man mit weniger Partien bessere Unterscheidung zwischen allen Engines mit allen Eröffnungen bekommt, ist auch nicht per se zu erwarten, aber das funktioniert ja mit beliebig großem einseitigem Stellungs-Vorteil auch nicht, wenn die 1:1- Paare statt der Remis überhand nehmen. Zwischen bestimmten Engines, die mit bestimmer Hardware- TC und ausgeglichenen Eröffnungen ähnlich gute Performance haben, könnte es schon auch ein Weg sein vielleicht.
Neu ist die Idee, die Punkte für Gewinn und Remis anders zu vergeben, natürlich auch nicht.