Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / CCCC
- - By Peter Martan Date 2022-07-14 09:21
https://www.chess.com/de/computer-chess-championship

Jetzt läuft ein Match zwischen SF, LC0, Dragon und SF Classic über 144 Partien, 10 sind erst von jeder Engine gespielt.

# PLAYER            : RATING POINTS PLAYED (%)
1 Stockfish         : 3533.3 5.5    10     55
2 Lc0               : 3526.0 5.5    10     55
3 Dragon            : 3496.3 5.0    10     50
4 Stockfish Classic : 3444.4 4.0    10     40
Parent - - By Thomas Müller Date 2022-07-14 11:26
die Reihenfolge wie jetzt, wird es auch nach 144 Partien so geben.
Parent - By Peter Martan Date 2022-07-14 11:49
Ziemlich sicher, aber vielleicht werden die Abstände etwas größer
Parent - - By Peter Martan Date 2022-07-14 21:26 Edited 2022-07-14 21:29
Nach 20 Partien jeder Engine (40 insgesamt, natürlich immer noch sehr wenigen), ist das hingegen mit der Reihung bei dieser Hardware- TC (15'+5"), diesem Teilnehmerfeld und diesen Eröffnungen doch auch mal irgendwie überraschend anders, wenngleich vermutlich nur vorübergehend:

# PLAYER            : RATING POINTS PLAYED (%)
1 Lc0               : 3551.1 12.0   20     60
2 Stockfish         : 3525.4 11.0   20     55
3 Dragon            : 3474.6  9.0   20     45
4 Stockfish Classic : 3448.9  8.0   20     40
Parent - By Peter Martan Date 2022-07-15 09:21
Schon 20 Partien später ist die Welt wieder in Ordnung:

# PLAYER            : RATING POINTS PLAYED (%)
1 Stockfish         : 3535.5 17.0   30     57
2 Lc0               : 3526.6 16.5   30     55
3 Dragon            : 3482.3 14.0   30     47
4 Stockfish Classic : 3455.6 12.5   30     42
Parent - - By Stefan Pohl Date 2022-07-16 13:46 Edited 2022-07-16 13:56
Da fehlt aber ein wesentlicher Fakt: Es wird nicht mit meinen normalen Unbalanced Openings, sondern mit meinen Drawkiller Human (Unbalanced) Openings gespielt.
Also Drawkiller-Vorgabestellungen der Figuren auf der Grundreihe und dann "normale", menschliche Eröffnungen (6 Züge tief) dahintergesetzt. Da die Drawkiller-Vorgabestellungen natürlich nicht der normalen Grundstellung entsprechen, waren seinerzeit bei der Erzeugung natürlich viele Varianten illegal und mußten entfernt werden. Die Endstellungen wurden - wie bei meinen Eröffnungen üblich - mit Dragon analysiert und räumen Weiß einen UHO-typischen Vorteil um eine Bauerneinheit herum, ein. Also die unterste Stufe. Es gibt ja seit der Einführung des UHO-Konzeptes von mir immer mehrere Eröffnungssets mit ansteigendem Vorteil für Weiß. Je nach PC-Speed und Bedenkzeit und Stärke der spielenden Engines kann man dann ggf. höhere "Stufen" wählen, wenn die Remisquoten über 60% steigen. Somit ist die auch Zukunftssicherheit der Eröffnungen gegeben.
Die Kombination der Konzepte Drawkiller und UHO (plus menschliche Eröffnungszüge) ergibt sehr niedrige Remisquoten und spektakuläre Partien.

Download meiner AntiDraw-Eröffnungen, die die Drawkiller Human Openings enthalten, und Tests mit Satistiken:
https://www.sp-cc.de/anti-draw-openings.htm
Parent - - By Peter Martan Date 2022-07-16 13:53 Edited 2022-07-16 13:56
Stefan Pohl schrieb:

Da fehlt aber ein wesentlicher Fakt: Es wird nicht mit meinen normalen Unbalanced Openings, sondern mit meinen Drawkiller Human (Unbalanced) Openings gespielt.

Danke für die Infos und den Download- Link.
Ich glaube allerdings, dass das bei dem Vormatch SF- LC0 allein auch so war, oder?
Parent - - By Stefan Pohl Date 2022-07-16 13:56 Edited 2022-07-16 14:03 Upvotes 1
Peter Martan schrieb:


Ich glaube allerdings, dass das bei dem Vormatch SF- LC0 allein auch so war, oder?


Nein. Dort nomales UHO.

Wenn CCCC meine Drawkiller Eröffnungen benutzt, schreiben sie das immer in den Titel des Wettkampfes rein.

Die vorigen Matches kann man ja auf der CCCC-Matchseite jederzeit aufrufen und sich die Partien ansehen.

PS: Lustigerweise kommt die cccc-Website mit der Darstellung der Drawkiller Partien zu Beginn nicht klar... Fängt eine neue Partie an, werden 6 Menschzüge aus der normalen Grundstellung heraus gespielt. Erst nach einem Refresh der Seite, sieht man dann die Drawkiller-Figurenaufstellung auf den jeweiligen Grundlinien...
Parent - - By Peter Martan Date 2022-07-16 14:01 Edited 2022-07-16 14:05
Alles klar, sollten dann die Abstände bei diesen Draw Killers aber nicht eher noch größer sein als bei UHO?
Parent - - By Stefan Pohl Date 2022-07-16 14:04 Edited 2022-07-16 14:07
Peter Martan schrieb:

Alles klar, sollten dann die Abstände bei den Draw Killers aber nicht eher noch größer sein als bei UHO?


Das war in allen meinen Tests auch der Fall (siehe Website). Aber eben Tests mit 1000 Partien und 2 Engines. Bei 144 Partien und 4 Engines hat man natürlich eine hohe Zufallsstreuung. Daran kann kein Eröffnungsset der Welt etwas ändern. Zudem ist Stockfish Classic für die 3 Restgegner eigentlich viel zu schwach. Das verzerrt zusätzlich.

Aber schön, daß mein Drawkiller-UHO Mischkonzept mal genutzt wird. Ich finde diese Kombination nämlich echt cool. Die allermeisten Tester und Entwickler nutzen aber "nur" meine klassischen UHO-Eröffnungen. Was ja auch nix schlechtes ist.
Parent - - By Peter Martan Date 2022-07-16 14:06 Edited 2022-07-16 14:09
Schon klar, aber 70 Elo Unterschied im Head to Head mit UHO und jetzt knappe 30 (schon wieder etwas gesunken seit der letzten Tabelle) beim 4er- Match, selbst bei einer sehr hohen error bar...
Parent - - By Stefan Pohl Date 2022-07-16 14:09 Edited 2022-07-16 14:12 Upvotes 1
Peter Martan schrieb:

Schon klar, aber 70 Elo Unterschied im Head to Head mit UHO und jetzt knappe 40 beim 4er- Match, selbst bei einer sehr hohen error bar...


Nun ja, wir wissen doch alle seit AlphaZero, daß AlphaZero (und Lc0) sehr gerne und gut an den Flügeln angreifen. Dafür sind die Drawkiller Stellungen nun aber "wie gemalt". Es ist also sehr gut möglich, daß Lc0 mit Drawkiller besser klarkommt als Stockfish/Dragon und somit im Ergebnis an Stockfish näher heranrückt. Theoretisch.
Aber nochmal: Die Engines haben jetzt jeweils so 54 Partien gespielt. Das ist gar nix. Da reichen ein oder zwei Verlustpartien mehr und der Score fällt um 4%-5%, und ein Abstand von Engine A zu B fällt um 30 Elo. Reiner Zufall.
Parent - - By Peter Martan Date 2022-07-16 14:14 Edited 2022-07-16 14:24
Ich hab' hier mal die momentane .pgn in EloStat eingegeben und der Einfachheit halber mit 3500 Start- Elo rechnen lassen, ist ja für die Abstände und die error bar egal:

  Program                             Score     %     Av.Op.  Elo    +   -   Draws

  1 Stockfish                      :  31.5/ 54  58.3   3485   3544   79  78   31.5 %
  2 Lc0                            :  27.5/ 52  52.9   3495   3515   84  83   25.0 %
  3 Dragon                         :  24.5/ 52  47.1   3505   3485   79  79   32.7 %
  4 Stockfish Classic              :  22.5/ 54  41.7   3515   3456   73  74   38.9 %
Parent - By Stefan Pohl Date 2022-07-16 15:20 Upvotes 1
Man beachte die extrem niedrige Remisquote! Und das bei der relativ langen Bedenkzeit auf einem Rechner, der etwa doppelt so schnell wie der TCEC Rechner ist, also wahnsiinig schnell: Das würde sonst monströs hohe Remisquoten bedeuten.

Drawkiller rules!
Parent - By Stefan Pohl Date 2022-07-16 15:47
Peter Martan schrieb:

Ich hab' hier mal die momentane .pgn in EloStat eingegeben und der Einfachheit halber mit 3500 Start- Elo rechnen lassen, ist ja für die Abstände und die error bar egal:

<code>  Program                             Score     %     Av.Op.  Elo    +   -   Draws

  1 Stockfish                      :  31.5/ 54  58.3   3485   3544   79  78   31.5 %
  2 Lc0                            :  27.5/ 52  52.9   3495   3515   84  83   25.0 %
  3 Dragon                         :  24.5/ 52  47.1   3505   3485   79  79   32.7 %
  4 Stockfish Classic              :  22.5/ 54  41.7   3515   3456   73  74   38.9 %</code>


Errorbars von ca. 80. Und das sind nur die der Einzelergebnisse. Wenn man Engine A mit B vergleicht, muß man ja die komparative Errorbar nehmen, die noch größer ist:
SQRT((ErrorA*ErrorA)+(ErrorB*ErrorB))
Das wäre hier bei Stockfish/Lc0: +/- 115 Elo (!!!)
- - By Peter Martan Date 2022-07-16 11:27
# PLAYER            : RATING POINTS PLAYED (%)
1 Stockfish         : 3552.7 30.5   51     60
2 Lc0               : 3510.0 26.5   51     52
3 Dragon            : 3480.1 23.0   50     46
4 Stockfish Classic : 3457.1 21.0   50     42
Parent - - By Reinhold Stibi Date 2022-07-16 12:16
Jetzt konnte sich Stockfish, wie erwartet absetzen und Lc0 vor Dragon platzieren.
Parent - By Peter Martan Date 2022-07-16 12:25
Ja, aber obwohl 100 Partien immer noch wenig sind, sieht man doch, dass der Abstand zwischen SF und LC0 kleiner ist, wenn noch andere Engines mitspielen, die etwas schwächer sind, als es bei dem Vormatch der Fall war, an dem nur SF und LC0 allein beteiligt waren.
- By Peter Martan Date 2022-07-17 13:25
# PLAYER            : RATING POINTS PLAYED (%)
1 Stockfish         : 3536.9 41.0   72     57
2 Lc0               : 3511.0 37.5   72     52
3 Dragon            : 3492.7 35.0   72     49
4 Stockfish Classic : 3459.4 30.5   72     42

Error bar lt. EloStat anhand der .pgn immer noch bei 70 Elo, Draws durchwegs unter 30%, nur bei SF Classic bei 32.
Up Topic Hauptforen / CSS-Forum / CCCC

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill