Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / Schachprogrammierung / Monte Carlo Tree Search (MCTS)
- - By Lothar Jung Date 2021-07-13 10:09 Edited 2021-07-13 10:19
Wichtige Quellen:

https://www.ke.tu-darmstadt.de/lehre/arbeiten/bachelor/2012/Arenz_Oleg.pdf

https://de.wikipedia.org/wiki/Monte-Carlo-Algorithmus?wprov=sfti1

https://www.chessprogramming.org/Monte-Carlo_Tree_Search
Parent - - By Jörg Oster Date 2021-08-14 17:38
Lothar Jung schrieb:

Wichtige Quellen:

<a class='ura' href='https://www.ke.tu-darmstadt.de/lehre/arbeiten/bachelor/2012/Arenz_Oleg.pdf'>https://www.ke.tu-darmstadt.de/lehre/arbeiten/bachelor/2012/Arenz_Oleg.pdf</a>

<a class='ura' href='https://de.wikipedia.org/wiki/Monte-Carlo-Algorithmus?wprov=sfti1'>https://de.wikipedia.org/wiki/Monte-Carlo-Algorithmus?wprov=sfti1</a>

<a class='ura' href='https://www.chessprogramming.org/Monte-Carlo_Tree_Search'>https://www.chessprogramming.org/Monte-Carlo_Tree_Search</a>


Der erste Link ist durchaus lesenswert.
Gut verständlich, finde ich, und die Vor- und Nachteile werden gut dargestellt.

Einen gravierenden Nachteil können wir auch gerade bei TCEC VVLT-Bonus live in Aktion sehen.
Parent - - By Peter Martan Date 2021-08-14 21:32 Edited 2021-08-14 21:48
Jörg Oster schrieb:

Einen gravierenden Nachteil können wir auch gerade bei TCEC VVLT-Bonus live in Aktion sehen.

Du meinst, dass sich die lange TC weniger bezahlt macht als für die A-B-Suche?
Sag ich schon lange, lässt sich aber außer an einzelnen Stellungen sehr schwer statistisch relevant beweisen, jetzt haben wir bei dem VVLTC gerade mal 3 Partien nach 2 Tagen.
Lustig aber, dass jede gegen jede andere Engine je einmal verloren und einmal gewonnen hat. Nur so zum anderen Thema Transitivität im Computerschach der Neuzeit, wenngleich hier jetzt wohl einfach jedesmal die weiße Seite zu stark im Vorteil aus der Eröffnung gekommen ist.
Und 3 Partien sind sowieso nix, aber 2xA-B auf CPU gegen 1xPUCT auf GPU ist halt auch der typische Ungleichheitsfall, was die Teilnehmer angeht.

   Program                            Score     %    Av.Op.  Elo    +   -    Draws

  1 KomodoDragon 2774.00           :   1.0/  2  50.0   3500   3500  600 600    0.0 %
  2 Stockfish 14_202108051641      :   1.0/  2  50.0   3500   3500  600 600    0.0 %
  3 LCZero 0.28-dev+_69722-vf2     :   1.0/  2  50.0   3500   3500  600 600    0.0 %


Individual statistics:

1 KomodoDragon 2774.00      : 3500    2 (+  1,=  0,-  1), 50.0 %

Stockfish 14_202108051641     :   1 (+  1,=  0,-  0), 100.0 %
LCZero 0.28-dev+_69722-vf2    :   1 (+  0,=  0,-  1),  0.0 %

2 Stockfish 14_202108051641 : 3500    2 (+  1,=  0,-  1), 50.0 %

KomodoDragon 2774.00          :   1 (+  0,=  0,-  1),  0.0 %
LCZero 0.28-dev+_69722-vf2    :   1 (+  1,=  0,-  0), 100.0 %

3 LCZero 0.28-dev+_69722-vf2: 3500    2 (+  1,=  0,-  1), 50.0 %

KomodoDragon 2774.00          :   1 (+  1,=  0,-  0), 100.0 %
Stockfish 14_202108051641     :   1 (+  0,=  0,-  1),  0.0 %
Parent - By Jörg Oster Date 2021-08-15 12:50 Upvotes 2
Peter Martan schrieb:

Jörg Oster schrieb:

Einen gravierenden Nachteil können wir auch gerade bei TCEC VVLT-Bonus live in Aktion sehen.

Du meinst, dass sich die lange TC weniger bezahlt macht als für die A-B-Suche?


Das auch.
Sobald der Suchbaum erstmal aufgebaut ist, mit mehreren Tausenden, evtl. sogar Millionen von visits in den niedrigeren plies,
haben die neueren Bewertungen der entfernteren Positionen kaum eine Chance,
noch grundlegend was an der Bewertung und damit an der Zugauswahl zu ändern.
Sie gehen quasi in der Masse der früheren Bewertungen unter.

Mir ging es aber mehr darum, dass MCTS Probleme damit hat, sog. search traps zu entdecken.
Lc0 kann das meistens durch die Bewertungen und die Zugprioritäten kompensieren.
Aber halt nicht immer.

Eine AB-Suche kann da mehr oder weniger sofort reagieren, egal ob bisher 20 Tausend
oder auch 20 Milliarden Stellungen durchsucht wurden!

Man müsste also sowas wie einen "Reset" bei einer MCTS machen, damit die neueren Bewertungen wieder besser greifen können.
Ich habe aber keine Ahnung, wie das gehen sollte. Und ob überhaupt.

Gruß,
Jörg.
Parent - By Lothar Jung Date 2021-08-16 13:22
- - By Lothar Jung Date 2021-08-12 18:58
Hier MCTS-Suchroutinen von Lc0 mit Figurenbewertungen:

https://github.com/LeelaChessZero/lc0/blob/master/src/mcts/search.cc
Parent - By dkappe Date 2021-08-13 03:08 Upvotes 2
A0lite, etwas übersichtlicher und in python.

https://github.com/dkappe/a0lite
- By Lothar Jung Date 2021-08-27 10:28
Hier eine Veröffentlichung über „ Monte-Carlo Graph Search for AlphaZero“:

https://arxiv.org/pdf/2012.11045v1.pdf
- By Lothar Jung Date 2021-09-26 11:52
Hier eine Veröffentlichung über „Dual Monte Carlo Tree Search“:

https://arxiv.org/pdf/2103.11517.pdf?
- By Lothar Jung Date 2021-11-11 17:42
Multiple Policy Value Monte Carlo Tree Search

https://arxiv.org/pdf/1905.13521.pdf
Up Topic Hauptforen / Schachprogrammierung / Monte Carlo Tree Search (MCTS)

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill