Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Tunier mit A/B Unterstützung für Lc0, Ceres und Scorpio
- - By Lothar Jung Date 2021-11-05 10:19 Upvotes 1
Hier die Ankündigung auf Discord:

**Next Major Event**  Rig 1  (Starting in about 24 hours)
RR x 10  30'+30"  (Duration 2 weeks)
1. **Stockfish-Dev** (Latest)
2. **Ceres 0.95-Rc3**  (or latest release)
3.** Lc0** - latest/ bet T60 net
4. **Lc0 + AB helper** (Hanse)
5. **Scorpio + AB**
6. **Dragon 2.5**

Top 4 advance to Semi finals (updates allowed)

**Semi Finals**
50 games at 45' + 45" Duration 2 weeks)
1 Vs 4
2 Vs 3

Updates allowed for final

**Final**
100 games at 60'+60"

It will be of much interest to see how the new ideas and AB helpers perform.

Anmerkung:

Es tut sich im Leela Bereich sehr viel. Es wird wieder spannend!
Parent - - By Benno Hartwig Date 2021-11-12 06:10

> **Lc0 + AB helper** (Hanse)


Weiß man, was man sich hier vorzustellen hat?
Was sind das für Ideen?
Parent - - By Lothar Jung Date 2021-11-12 07:37 Edited 2021-11-12 07:41
Neben der MCTC-Suche läuft parallel eine A/B-Suche, die Fehlzüge durch tieferes Pondering verhindern soll.

**From Hanse:**

My A/B helper branch (based on killerduckys leelafish) is usable now. Since Wasp was the engine that Leela had trouble with in early days in TCEC, I thought it would be nice to try cooperating instead of fighting with Wasp, so I hooked up Wasp 4.5 as the A/B helper, did some trial and error testing to find a good balance between quality, speed and strength of influence on Leelas search and got something that looks far better than Leela on her own (T60 ~ 8KNPM on an RTX 2060).

Score of lc0 master vs lc0 + Wasp 4.5 (4 threads, depth 12): 10 - 22 - 55  [0.431] 87

Having that said, I'm now on to try improving the integration of the A/B helper into Leelas search. Killerduckys code works by selecting nodes in Leelas tree which already have got more visits than a threshold, these nodes are evaluated by the A/B helper (or as many of those nodes as the A/B helper has time enough to evaluate to a predefined depth). The PV of A/B helper is then used like this: the starting moves in the PV get their policy boosted in Leelas search. The drawbacks of the method are
- moves that never get enough visits by Leela will never be evaluated by the A/B helper
- only moves that are alredy in Leelas tree can get their policy boosted.
- policy boosting does not guarantee any level of exploration.

I'm keen to develop a completely different way of influencing leelas search: directly adding nodes into her tree. An A/B helper can provide a depth 15 PV in a few 1/10 seconds (on my old and slow system), ideally we would simply queue all those nodes for NN-evaluation in one go, and add them to the tree before backpropagating (adding them require handling them in a different order, deepest last, than backpropagating, which require deepest first). For slow but high quality nets, like 40b, I think a speedup in search could make a huge difference. https://github.com/hans-ekbrand/lc0/tree/a/b-helper

https://github.com/hans-ekbrand/lc0/tree/a/b-helper

Lothar
Parent - - By Benno Hartwig Date 2021-11-12 08:59

> Neben der MCTC-Suche läuft parallel eine A/B-Suche


Ja, warum eigentlich nicht.
Angenommen, jeder Part bekommt die Hälfte der CPU-Leistung, dann hätten wir vielleicht im Lc0-Part und im AB-Part jeweils einen Ply und damit so 40 Elo(?) weniger, als dieser Teil allein bei voller Power erreicht hätte.
Und vielleicht kann das Zusammenspiel der beiden mit weiterhin toller positioneller Bewertung und gleichzeitig einer immerhin fast optimalen AB-Bewertung diese 40 Elo ja auch mehr als wettmachen, wenn die Realisierung denn gut gelingt.
Einen Versuch ist es sicher mal wert.
Parent - By Lothar Jung Date 2021-11-12 18:51
Hallo Benno,

Lc0 braucht meistens nur 2-3 CPU Threads/Kerne.
Die Idee ist aber nicht schlecht.
Aber aus einem guten Marathonläufer und einem guten Sprinter, wird noch kein guter Mittelstreckenläufer.
Bei A/B + A/B könnten unterschiedliche Bewertungskriterien und/oder NNUEs durchaus zu einer höheren Gesamtstärke führen (z.B. Hybrid bei Stockfish).

Bei einer Mischung von sehr unterschiedlichen Suchalgorithmen wie MCTS und A/B sehr ich große Probleme bei der Findung der besten gemeinsamen Taktik/Strategie. Das bewertende Netz ist ja das gleiche.

Lothar
- - By Lothar Jung Date 2021-11-07 18:50 Edited 2021-11-07 19:33
Hier kann man das Tunier beobachten:

https://www.twitch.tv/navratil25

Die Leelas führen das Tunier an; an der Spitze Lc0 A/B.

Lothar
Parent - - By dkappe Date 2021-11-07 20:38 Upvotes 1
Angeblich sollen die Kisten auf dem selben Niveau wie TCEC sein. Koivisto ist zur Zeit +0-51=48 im andren Turnier. Da stimmt was nicht.
Parent - By Lothar Jung Date 2021-11-11 10:52 Upvotes 1
Glückwunsch Dietrich,

Dragon führt und schlägt sich sehr gut!

Lothar
- - By Lothar Jung Date 2021-11-12 03:14
Hier ein Zwischenstand:

**Alt Div P**  (Opening 2 - KI Fianchetto - COMPLETE) Games 60/180
```   # PLAYER              :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
   1 Stockfish 051121      :       0   ----    12.0      20  60.0      63   10    4    6  20.0
   2 Lc0 610383              :     -31    179    11.5      20  57.5      64    8    7    5  35.0
   3 Ceres 0.95-rc4         :     -63    187    11.0      20  55.0      50    7    8    5  40.0
   4 Dragon 2.5              :     -63    177    11.0      20  55.0      98    8    6    6  30.0
   5 Lc0 Alpha-Beta        :    -248    170     8.0      20  40.0      87    5    6    9  30.0
   6 Scorpio v3.0.14d     :    -336    166     6.5      20  32.5     ---    3    7   10  35.0

White advantage = 342.74 +/- 38.44
Draw rate (equal opponents) = 79.49 % +/- 12.06```

Median Speeds
```Name                    Games    Depth       NPS            Nodes
-------------------------------------------------------------------------------------
Lc0 Alpha-Beta      :      20     21            59978      5653260
Lc0 610383          :      20     24           174824     17204520
Stockfish 051121    :      20     43        123217341   4827911297
Scorpio v3.0.14d    :      20     12           161123      6424208
Ceres 0.95-rc4      :      20     12           164008     20581822
Dragon 2.5          :      20     39         95376710   4266677583```
COMMENTS:
NN's using an AB helper is unconvincing - further development required.
Parent - - By Benno Hartwig Date 2021-11-12 06:12 Edited 2021-11-12 06:36
Weil es sonst so schwer zu lesen ist:

   # PLAYER              :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
   1 Stockfish 051121    :       0   ----    12.0      20  60.0      63   10    4    6  20.0
   2 Lc0 610383          :     -31    179    11.5      20  57.5      64    8    7    5  35.0
   3 Ceres 0.95-rc4      :     -63    187    11.0      20  55.0      50    7    8    5  40.0
   4 Dragon 2.5          :     -63    177    11.0      20  55.0      98    8    6    6  30.0
   5 Lc0 Alpha-Beta      :    -248    170     8.0      20  40.0      87    5    6    9  30.0
   6 Scorpio v3.0.14d    :    -336    166     6.5      20  32.5     ---    3    7   10  35.0


Lc0 Alpha-Beta konnte nicht unbedingt überzeugen.
Ok, 20 Partien jeweils nur, aber da sind es erstmal 3.5 Punkte weniger als ihre Schwester ohne AB-Hilfe.
Parent - - By Lothar Jung Date 2021-11-19 13:31
Jetzt führt Lc0 knapp und Ceres steht auf Platz 3, Lc0 Alpha-Beta vor Scorpio.

Wenn das keine überzeugende Performance der Leelas ist?

**Leela hits the front with 6 games to go for each engine!**
```Diff
# PLAYER              :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
+1 Lc0 610383         :       7     70    30.0      53  56.6      57   12   36    5  67.9
2 Stockfish 051121    :       0   ----    29.5      53  55.7      68   14   31    8  58.5
3 Ceres 0.95-rc4      :     -15     66    28.0      53  52.8      65    9   38    6  71.7
4 Dragon 2.5           :     -29     73    26.5      53  50.0      88   11   31   11  58.5
5 Lc0 Alpha-Beta      :     -71     73   24.5      53  46.2      90    9   31   13  58.5
6 Scorpio v3.0.14d   :   -113     69    20.5      53  38.7     ---    3   35   15  66.0

White advantage = 138.33 +/- 16.32
Draw rate (equal opponents) = 99.90 % +/- 0.74```
Median speeds
```Name                    Games    Depth       NPS            Nodes
-------------------------------------------------------------------------------------
Lc0 Alpha-Beta      :      53     21            57310      5521010
Lc0 610383          :      53     24           178460     17485240
Stockfish 051121    :      53     45        110882532   4793084716
Scorpio v3.0.14d    :      53     12           159210      7056707
Ceres 0.95-rc4      :      53     12           181479     22308000
Dragon 2.5          :      53     41         86745962   4388562805```

Lothar
Parent - - By Lothar Jung Date 2021-11-21 21:45
Lc0 hat das Turnier gewonnen, 1 Punkt vor SF, Ceres wurde Dritter.

**Match**  **Alt_Div_P**
**Hardware:** Ryzen 3990X CPU 128 threads + Nvidia RTX 4 x 3080
**Time control:**  30 minutes + 30 second increments
**Book:** WCEC
**Tablebases:** Full 3/4/5/6 piece
**Adjudication:** TBS adj and Win >= 10 for 10 moves; Draw after 35 moves <= 0.15 for 10 moves
**Software:** Octagon GUI
**Ratio:** 1 : 704
**Comments** First Leela win ahead of SF
**Next event** Viren test of 40B
**Then Semi Finals** Lc0 v Dragon & SF v Ceres
**Median speeds:**
```Name                    Games    Depth       NPS            Nodes
-------------------------------------------------------------------------------------
Lc0 Alpha-Beta      :      60     21            57858      5509429
Lc0 610383          :      60     24           181852     17368387
Stockfish 051121    :      60     45        109310756   4746422770
Scorpio v3.0.14d    :      60     12           155070      6910676
Ceres 0.95-rc4      :      60     12           185614     21739797
Dragon 2.5          :      60     41         86336563   4400377815```

**Ordo**
```Diff
# PLAYER                  :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
+1 Lc0 610383          :      12     62    34.5      60  57.5      64   14   41    5  68.3
2 Stockfish 051121    :       0   ----    33.5      60  55.8      76   15   37    8  61.7
3 Ceres 0.95-rc4        :     -23     64    31.5      60  52.5      63   10   43    7  71.7
4 Dragon 2.5             :     -34     65    30.5      60  50.8      88   13   35   12  58.3
5 Lc0 Alpha-Beta       :     -74     67    27.0      60  45.0      93    9   36   15  60.0
6 Scorpio v3.0.14d    :    -121     63    23.0      60  38.3     ---    4   38   18  63.3

White advantage = 137.53 +/- 15.14
Draw rate (equal opponents) = 100.00 % +/- 0.55```

**Head to Head** Lc0 6.5 - 5.5 Stockfish
Parent - By Volker Göbel Date 2021-11-22 04:11 Upvotes 1
- -/- Von Patrick Götz Datum 2021-11-17 19:24 Editiert 2021-11-17 19:29
Da LC0 von der Spielstärke her weit abgehängt ist sind so hohe Investitionen wohl kaum noch zu rechtfertigen.
Nach dem was ich gelesen habe kann selbst mit noch stärkeren Grafikkarten nicht mit Stockfish auf nur einen Kern (1 Thread) mitgehalten werden.
PS.: aber ein billiges gebrauchtes Notebook für den Spielspaß ist kann durchaus eine Überlegung Wert sein.

Basis- -/- Von Volker Göbel Datum 2021-11-17 19:48 Gut 2
Na ja, weit abgehängt ist anders.
Würde ich so nicht behaupten.
Vielleicht ein Wimpernschlag dahinter trifft es eher.
Ich spreche aber ausdrücklich von meinen Erfahrungen, vielleicht haben andere, ja auch andere Erfahrungen gemacht.

MfG

Basis-/- Von Reinhold Stibi Datum 2021-11-17 19:57
Also ich habe auch Lc0 mit zwei RTX 2070 im Verbund getestet.

Lc0 hängt schon deutlich mehr als ein Wimpernschlag zurück.

Ich denke es sind mindestens 50 Elo. Die altbekannten Schwächen sind noch
immer nicht behoben.

Lc0 tut sich auch deutlich mit dem Gewinnen schwerer als Stockfish.

Hallo,

Anscheinend ist der Fisch doch noch nicht Meilenweit, Lc0 enteilt!  

MfG
- By Lothar Jung Date 2021-11-18 16:54
Hier ein neuer Zwischenstand:

**Alt Div P** (  Games 150/180)
Median Speeds
```Name                    Games    Depth       NPS            Nodes
-------------------------------------------------------------------------------------
Lc0 Alpha-Beta      :      50     22            56750      5506278
Lc0 610383          :      50     25           175290     17496804
Stockfish 051121    :      50     46        111391469   4853958733
Scorpio v3.0.14d    :      50     12           162376      7141566
Ceres 0.95-rc4      :      50     12           176446     22319608
Dragon 2.5          :      50     41         87121728   4462082947```
```   # PLAYER              :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
   1 Stockfish 051121    :       0   ----    28.5      50  57.0      65   14   29    7  58.0
   2 Lc0 610383          :     -14     71    27.5      50  55.0      64   10   35    5  70.0
   3 Ceres 0.95-rc4      :     -28     69    26.5      50  53.0      58    9   35    6  70.0
   4 Dragon 2.5          :     -34     67    26.0      50  52.0      94   11   30    9  60.0
   5 Lc0 Alpha-Beta      :     -89     72    22.0      50  44.0      84    7   30   13  60.0
   6 Scorpio v3.0.14d    :    -124     67    19.5      50  39.0     ---    3   33   14  66.0

White advantage = 136.78 +/- 16.42
Draw rate (equal opponents) = 100.00 % +/- 0.77```

Lc0 und Ceres ist SF hart auf den Versen. Dragon knapp dahinter.

Lothar
Up Topic Hauptforen / CSS-Forum / Tunier mit A/B Unterstützung für Lc0, Ceres und Scorpio

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill