Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / TCEC interessantes Testtunier
1 2 Previous Next  
Parent - - By Andreas Matthies Date 2022-01-10 08:17 Upvotes 1
Es sind 23 Engines, dadurch hat pro Runde immer eine Engine "Pause", also zwei Spiele weniger. Wenn dann noch innerhalb einer Runde eine Engine ohne vorangegangene Pausenrunde seine Spiele vor einer Engine mit bereits absolvierter Pausenrunde macht, ergibt das halt kurzfristig vier Spiele Unterschied. Nach Abschluss einer Runde sollten es aber immer nur maximal zwei Spiele Differenz sein und nach Abschluss des Turniers hat jeder gegen jeden zwei Spiele gemacht.

Gruß, Andreas
Parent - By Reinhold Stibi Date 2022-01-10 08:33
Jetzt nach 17 Spiele haben sich die Favoriten, wie erwartet , durchgesetzt.
Es sind noch Stockfish, Lc0 und Komodo-Dragon (18 Spiele) ohne Niederlagen.
Die Anderen folgen mit Abstand. 
Mein Favorit für den Sieg ist Stockkfish. Lc0 und Komodo-Dragon dürften von der Spielstärke
gleich sein. Da m.E. Dragon sicherer spielt, denke ich dass diese Engine Platz 2 belegt.
Aber es bleibt spannend; besonders die Siegpartien gegen die schwächeren Engines sind hoch
                                     interessant.
Parent - By Benno Hartwig Date 2022-01-10 18:12 Edited 2022-01-10 18:17

> Schweizer System ist das auch nicht.


23 Engines sind es, und es werden 506 Partien gespielt
2*23*22*/2=506
Da wird dann also wohl jeder gegen jeden gespielt mit Hin- und Rückpartie.
Jeder hat am Ende 44 Partien gespielt und alles ist wieder gerecht und gut.


Und die Reihenfolge der Paarungen? Die mag halt schon ziemlich "zufällig" sein.
Parent - By Lothar Jung Date 2022-01-10 18:52
Zwischenstand nach 22/44 Partien für 0.29-dev_dfrc_610826:

1. Platz Partien 22 Punkte 19,5=88.64%. Siege 17 [9/8] Niederlagen 0  Remis 5 [2/3] Remis

Sieht doch gut aus!

Lothar
- By Benno Hartwig Date 2022-01-12 19:49 Upvotes 1
Na, kurz vor Ende sieht es sogar so aus, als würde der so sieggewohnte Stockfish hier nur auf Rang 3 landen.
Irgendwo ist doch auch schön, dass nicht immer nur der Fish das Rennen macht.
Kleinere Umfänge machen halt so manches möglich.
- - By Benno Hartwig Date 2022-01-13 14:01
Hey, Lc0 hat gewonnen, mit einem Punkt Vorsprung vor Stockfish und Dragon.
Glückwunsch dazu!
Sowas kann eben auch mal passieren.
Parent - - By Peter Martan Date 2022-01-13 14:38 Edited 2022-01-13 14:43
Naja, im TCEC- Ranking ist SF vor Dragon, obwohl letzterer die höhere SB- Wertung hat, (gerundet 749 zu 721), die r-Mobilität ist bei SF höher (36.598 zu 36.492), aber sowieso sind die erspielten Elo- Differenzen zwischen den dreien nur ungefähr ein Drittel der Errorbar (ca.30 zu 100).
So what?

    Program                            Score     %    Av.Op.  Elo    +   -    Draws

  1 LCZero 0.29-dev_dfrc_610826    :  37.5/ 44  85.2   2996   3301  111 100   25.0 %
  2 KomodoDragon 2814.00           :  36.5/ 44  83.0   2998   3273  102  92   29.5 %
  3 Stockfish dev15_20220106       :  36.5/ 44  83.0   2998   3273  102  92   29.5 %
  4 Berserk 9-dev3                 :  33.5/ 44  76.1   3001   3202   87  81   38.6 %
  5 Ethereal 13.43-TCEC-FRC4       :  31.5/ 44  71.6   3003   3163   95  91   29.5 %
  6 SlowChess Blitz 2.82 avx       :  31.0/ 44  70.5   3003   3154  100  96   22.7 %
  7 Stoofvlees II a18              :  30.0/ 44  68.2   3004   3136   95  92   27.3 %
  8 RubiChess 2.3-dev-dfrc         :  29.5/ 44  67.0   3004   3128   85  82   38.6 %
  9 Revenge 20211210               :  28.5/ 44  64.8   3005   3111   88  86   34.1 %
10  ScorpioNN 3.0.15               :  28.0/ 44  63.6   3005   3103   86  84   36.4 %
11  Minic 3.18                     :  22.0/ 44  50.0   3010   3010   89  89   27.3 %
12  Wasp 5.02                      :  20.0/ 44  45.5   3011   2979   89  90   27.3 %
13  Defenchess 2.3_dev2            :  20.0/ 44  45.5   3011   2979   95  96   18.2 %
14  Weiss 2.1-dev                  :  18.0/ 44  40.9   3012   2949   90  91   27.3 %
15  Stash 32.1                     :  17.5/ 44  39.8   3013   2941   91  93   25.0 %
16  Nemorino 6.10                  :  16.0/ 44  36.4   3014   2917   97 100   18.2 %
17  Vajolet2 2.9.0-TCEC-S19        :  16.0/ 44  36.4   3014   2917   97 100   18.2 %
18  ClassicAra 0.9.8               :  14.5/ 44  33.0   3015   2892   97 100   20.5 %
19  Winter 0.9.8                   :  14.5/ 44  33.0   3015   2892  100 104   15.9 %
20  Monolith 20210221              :  11.0/ 44  25.0   3018   2827  107 114   13.6 %
21  Cheng 4.42_dev                 :   8.5/ 44  19.3   3020   2772  121 134    6.8 %
22  Critter 1.6a                   :   4.5/ 44  10.2   3026   2649  150 173    6.8 %
23  Cheese 3.0                     :   1.0/ 44   2.3   3036   2436  274   0    0.0 %

Elostat mit willkürlichen 3000 Start-Elo.
Parent - - By Lothar Jung Date 2022-01-13 15:03
Hallo Peter,

also Lc0 mischt mit, jetzt bei dem TCEC-Tunier, SSDF und bei Entwicklertunieren mit Highend Hardware.
Die Elo-Differenz zu SF liegt bei 28 Punkten und nicht wie oft kolportiert wird bei 50 Elo.
Die Spiekstärke bei den großen Netzen nimmt ständig zu und Ceres steht kurz vor Veröffentlichung einer neuen Version.

Lothar
Parent - - By Reinhold Stibi Date 2022-01-13 15:16 Edited 2022-01-13 15:49
Ist doch logisch; je stärker die Hardware desto geringer die Unterschiede.

Bei beidseitiger "Normaler Hardware" also bei Stockfish Ryzen 5950 mit 15 Kernen
und Lc0 mit RTX 3060 oder RTX 3070 dürfte der Unterschied um die 50 Elo liegen.
Siehe auch die Rangliste von Andreas Strangmüller mit einem Unterschied von 45 Elo
und das ist nicht wenig.
Bei Stefan Pohl Match über 300 Partien Stockfisch 15.09.21  gegen  Lc0 0.28  610062
sind es sogar deutlich + 96 Elo für Stockfish.
Bei CEGT Rangliste  All Version Stockfish 14.1  8 CPU   gegen LcZero 0.28.0  CUDNN 61000
sind es gleich 176 Elo zugunsten von Stockfih   3759 Elo zu 3583 Elo.
Parent - - By Lothar Jung Date 2022-01-13 16:14 Edited 2022-01-13 16:19
Gar nichts ist logisch!

Enginetuniere und Engineranglisten haben keine Vergleichbarkeit untereinander.

A. Rahmenbedingungen:

1. Hardware (einheitliche oder unterschiedliche)
2. Bedenkzeit und Zuschläge
3. Eröffnungsbuchwahl
4. Anzahl der Partien
5. Auswahl und Aktualität der Engines und der Netze

B. Teilnehmerfeld

1. Einheitlich oder wechselt
2. Parameter: default oder optimiert
3. Zwei- oder mehrseitige Tuniere
4. Cutoffbedingungen für neue Teilnehmer
5  Normierung der Elowerte

C. Formel für die Vergleichbarkeit der Hardwarekonfiguration zwischen CPUs und GPUs

Verändert man nur eine der o.a. Bedingungen verändern sich die Tunierergebnisse und die Elobewertungen.

Die einzelnen Tests sind nicht deshalb untereinander vergleichbar.
Allgemeine Elobewertungen und Eloabstände und Vergleiche sind unzulässig.

Lothar
Parent - - By Reinhold Stibi Date 2022-01-13 16:36
Das Turnier war ein schöner Erfolg für Lc0; Gratulation !

Die Sieger können sich bei weiteren Turnieren ändern;  das ist ja gerade das Interessante
bei Turnieren.

Eigene Turniere oder Matche wären  aussagekräftiger als Bezug auf Fremdturniere.

Toll wäre es schon wenn es mit Lc0 aufwärts gehen würde. Ich würde mich freuen,
wenn ich stabil auf Schach.de mit Lc0, ohne Einbrüche spielen könnte.
Parent - - By Tobias Lagemann Date 2022-01-14 08:46
Was unterscheidet
Zitat:
"Eigene Turniere oder Matche"
bezüglich ihrer Aussagekraft von Fremdturnieren?
Parent - By Lothar Jung Date 2022-01-14 09:48
Er meint wohl seine eigenen Tuniere.
Parent - - By Reinhold Stibi Date 2022-01-14 09:50
Oft mangelnd es bei den mitgeteilten Matche an der Ausgeglichenheit der Hardware für die
Engines, besonders festzustellen bei Stockfish gegen Lc0. 

Bei den selber gespielten Matche kann man alles selber optimal einstellen.
Parent - By Lothar Jung Date 2022-01-14 10:16
Welche „Matche“, welche Hardware, jetzt konkret?
Parent - - By Lothar Jung Date 2022-01-14 09:47
Wenn „ohne Einbrüche spielen“ heißt, das Du nicht verlieren kannst.
Da kann ich dich für immer beruhigen.
Mit zwei RTX 2070 kannst Du das gar nicht schaffen. Die reichen für 12 oder vielleicht 16 Cores.
Viel zu schwach gegen Stockfish mit 32 oder 64 Cores. Und solche Boliden spielen mit.
Da mußt Du tief in die Tasche greifen und dir zwei RTX 3080 ti zulegen.
Parent - - By Reinhold Stibi Date 2022-01-14 10:08 Edited 2022-01-14 10:17
Ich habe festgestellt, dass Stockfish mit meinem 8 Kerner Ryzen 5800X keine
Partie auf Schach.de verliert.
Mit Lc0 verlor ich bisher bei Schach.de regelmäßig nach 30 Spielen oder früher
mit meinen zwei RTX 2070 im Verbund eine Partie und landete damit am Ende
der Tabelle.
Wenn ich in einem Turnier spiele, möchte ich auch Erfolg haben, das ist doch
ganz normal. Wenn ich schon eine sehr gute Hardware habe möchte nicht 
am Ende mitschwimmen.
Das dürfte auch der Grund sein, warum kaum jemand mit Lc0 auf Schach.de
spielt; von 50 Teilnehmern vielleicht zwei. 
Detti gewinnt natürlich mit seinem 64 Kerner mehr Partien als ich mit dem
8 Kerner Ryzen 5800X. Aber auch er tut sich mit dem Gewinnen nicht leicht.
Vielleicht lege ich mir auch mal 2 RTX 3080Ti zu, aber ob das wirklich viel an
den Ergebnissen ändert würde ist die Frage. Die Hardware spielt nicht mehr
die ganz große Rolle; siehe auch meine Bemerkung am Anfang; das gleiche
gilt für die Eröffnungen.
Parent - - By Lothar Jung Date 2022-01-14 10:14
Du hast keine gute GPU-Hardware, um in einem Schach.de „Tunier“ zu gewinnen oder oben mitzuschwimmen.
Es das denn so schwer zu verstehen?!
Parent - - By Reinhold Stibi Date 2022-01-14 10:23
Das Problem von Lc0 und auch Ceres sind ihre immer noch taktischen Aussetzer
die auch kaum mit sehr starker Hardware zu beseitigen sind.
Dieses Problem hat halt Stockfish nicht.
Parent - - By Lothar Jung Date 2022-01-14 10:32 Upvotes 1
Welche aktuellen taktischen Ausreißer von Lc0?
Erstaunlich das SF nie Ausreißer hatte. Wieso wird er dann weiterentwickelt?
Parent - By Jörg Oster Date 2022-01-14 10:56
Lothar Jung schrieb:

Welche aktuellen taktischen Ausreißer von Lc0?
Erstaunlich das SF nie Ausreißer hatte. Wieso wird er dann weiterentwickelt?


Das liegt halt größtenteils an der MCTS-Suche selbst.
Das ist hinlänglich bekannt, dass diese sich schwerer tut als eine AB-Suche sog. Traps zu erkennen.
Parent - By Volker Göbel Date 2022-01-14 13:25 Upvotes 2
Reinhold Stibi schrieb:

Vielleicht lege ich mir auch mal 2 RTX 3080Ti zu, aber ob das wirklich viel an
den Ergebnissen ändert würde ist die Frage.


Es ändert sich in erster Linie die Energiekostenabrechnung. Mit 2x RTX 3080Ti.
Die Ergebnisse ändern sich kaum.

MfG
Parent - - By Max Siegfried Date 2022-01-14 17:14
Lothar Jung schrieb:

Da mußt Du tief in die Tasche greifen und dir zwei RTX 3080 ti zulegen.


Man muss natürlich auch sagen:
Wer schlau genug war sich am Anfang relativ günstig mit 4x RTX 3090 einzudecken, der hat jetzt Monsterhardware für relativ wenig Geld und die Menschen die zu spät oder gar nicht gekauft hatten, haben jetzt Pech.
Parent - By Markus Pillen Date 2022-01-14 18:17 Upvotes 1
Hallo,
Ihr redet da von Super Grafikarten für LC0. Bei mir werkelt noch eine GTX 1650 für LC0 und die reicht für die allermeisten Gegner auch. Und für Analysen reicht das Gespann sowieso.

viele Grüße
Markus
Parent - - By Dominik Tonert Date 2022-01-13 16:40
Genau so ist es.

Das gleiche gilt für den ominösen Playchess-Server:

Dort vergleichen sich unterschiedliche Engines mit unterschiedlichen Setting, mit unterschiedlicher Hardware und unterschiedlichen Büchern und geben dann mit der ELO der Engines an.
Und dann stellen einige User auch noch fest ,dass der oder der Clone von StockFish angeblich besser ist als das Original.
In welcher Ratingliste gibt es auch nur 1 Engine, die besser ist ist als StockFish??
Dann sind echte Lachnummern.
Parent - - By Benno Hartwig Date 2022-01-13 16:48

> ...und geben dann mit der ELO der Engines an.


Ist das wirklich so?
Wenn sie angeben, tun sie das dann nicht viel mehr mit ihrem Gesamtsystem?
Und betonen sie nicht vielleicht sogar viel mehr ihre Bücher oder ihre Settings? Mit dem Versuch irgendetwas Persönliches in den Vordergrund zu holen?
Parent - - By Dominik Tonert Date 2022-01-13 16:56
Mit guter HW bedarf es auf dem Server dank NNUE keiner Bücher mehr.

just my 2 cent
Parent - - By Reinhold Stibi Date 2022-01-13 17:16
Das würde ich so nicht sagen.
Ohne Buch, kann man auch mit sehr starker Hardware, durch Killervarianten verlieren.
Habe dadurch auch einige Partien verloren; nach Berichtigung des Buches nicht mehr.
Aber es ist schon richtig. Die Bücher spielen nicht mehr die große Rolle; es genügt ein
kleines Buch mit Ausschaltung der Killervarianten (die ja inzwischen bekannt sind).
Stockfish nnue spielt inzwischen auf Schach.de bombensicher auch mit meinem 8 Kern Computer  Ryzen 5800X.
Zur Zeit spiele ich mit Dragon 2.6, habe damit bisher auch noch keine Partie verloren, aber auch keine gewonnen.
Die Remisquote ist ohne Vorgabeeröffnungen recht hoch.
Parent - - By Dominik Tonert Date 2022-01-13 17:31
Reinhold Stibi schrieb:

Die Remisquote ist ohne Vorgabeeröffnungen recht hoch.


Mit auch!!
Parent - By Lothar Jung Date 2022-01-13 17:56
Von den Antiremis-Eröffnungsbücher halte ich nichts. Wofür?
Dann schon lieber FRC, da ist der Remisanteil geringer.
Entweder man beschränkt das Buch auf ausgeglichene 8 Ply’s oder man beschränkt die Buchgröße auf 8 Züge und läßt alles zu.
Die zweite Möglichkeit ist nicht für Ranglistentuniere geeignet.
Aber was bei Schach.de abgeht ist kein Schachtunier, sondern ein Hardware- und Eröffnung(fallen)-Wettbewerb mit Remisverzögerung, um eine Zeitüberschreitung beim Gegner „zu erreichen“.
Kampfsport ohne Regeln.

Lothar
Up Topic Hauptforen / CSS-Forum / TCEC interessantes Testtunier
1 2 Previous Next  

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill