Dazu ein Tournament gepostet auf Discord:

I sometimes like to run Sf and Lc0 at the same time both at PV=8 or so, easily done in Arena (and Lc0 GPU only costs CPU 2 threads).  The only thing is when they do even have 'my' move and I have to enter it to see some crushing refutation.
Thanks for the Sf link (https://github.com/official-stockfish/Stockfish/wiki/Useful-data#elo-cost-of-using-multipv).  I assume its self-ply, and Pohl's data, although a year ago, is about right still:  https://www.sp-cc.de/experiments.htm

https://cdn.discordapp.com/attachments/425419483016855563/1054828549015617696/PohlMultiPV.png

MCTS kann man nicht mit AB-Engines mit Principal Variation Search und deren MultiPV-Modus vergleichen.
Das ist mehr oder weniger ein Werbegag des Komodo-Teams.

MCTS funktioniert einfach anders in der Hinsicht.

Hallo Wolfram,

hier die Infos:

„Elo cost of using MultiPV

MultiPV provides the N best moves, and their associated principal variation. This is a great tool to understand the options available in a given position. However, this information does not come for free, and the computational cost computing it reducing the quality of the bestmove found relative to a search that only needs to find a single line. To quantify this, a tournament has been played with SF 15.1, for MultiPV 1-5, using LTC (60s+0.6s), as well as the UHO book. The following is the result

MultiPV  Elo  Elo-err
1     0.0  0.0
2  -97.2  2.1
3  -156.7  2.8
4  -199.3  2.9
5  -234.5  2.8
„

Aus akademischen Gründen ist das sicherlich interessant, aber bei einem Engine-Engine-Match macht MPV keinen Sinn und bei der Analyse von Menschen-Partien machen auch ein paar ELO weniger keinen Unterschied. Oder habe ich jetzt irgendeine Anwendung übersehen, wo man das sinnvoll einsetzen kann?

Hallo Wolfram,

eigentlich sind es bei Stockfish schon 2 separate Suchvorgänge bei MultiPV=2.
Dies ist der Implementierung geschuldet.

Für den ersten Zug werden alle Züge untersucht.
Für den zweitbesten Zug werden auch wieder alle Züge untersucht,
bis auf den ersten, der ausgespart wird, usw.

Bei MultiPV=x werden also x Suchvorgänge benötigt.

Ich hatte mal versucht, das so zu ändern, dass alle PV-Linien in einem Suchvorgang erledigt werden.
Das hat natürlich einen spürbaren Geschwindigkeitsvorteil gebracht.
Leider reduziert dies aber auch die "Qualität" der einzelnen PV-Linien.

Wobei dies aber auch schwierig zu quantifizieren ist ...

Gruß,
Jörg.

Eben nicht, je nachdem was man unter erheblich versteht und welche Zeit man meint.
Time to depht ja, meistens, aber auch nur je nach Stellung, und was genau sagt dir die eigentlich?
Time to solution nein, wenn's nur drum geht, wie du sagst, einen Zug zu finden, der nicht viel schlechter ist als die nächstbesten Alternativen, findet den die Engine (wenn mir mal von SF allein reden) mit nicht allzu vielen primaries im praktisch relevanten Bereich (ok, vielleicht nicht, wenn wir von very short TC reden) genau so schnell, oft genug, wenn's Züge sind, die in den non primaries dem Pruning zum Opfer fallen deutlich schneller, siehe den Thread über die Nützlichkeit von diesem und jenem. SF dev. single primary eine halbe Stunde (hab' dann noch einen Versuch mit 30 Threads gemacht, weil ich's mal wieder wissen wollte, da war nach 30 Minuten auch immer noch kein ...Tf6 in Sicht) nur einer der beiden zweit- bis drittbesten Züge oben, single thread MultiPV=4 in 12 bzw. 21" (bei den 3 Tage auseinander liegenden dev.- Versionen) gefunden und stabil oben behalten.
Benno, warum glaubst du, teste ich mit den taktischen best move- Stellungen die besten A-B-Sucher praktisch nur mehr mit MultiPV=4, und das mit nicht einfachen Stellungen und einer TC von nur 5"/Stellung (das ist STC, auch wenn ich mit den MEA- Stellungen, die viel "leichter" sind, auf 100msec runtergehe).
Du musst praktisch ein bisschen probieren, bevor du redest, oder dir meine Resutate anschauen, dann wirst du dich wundern, wie wenig "Zeit" MultiPV bei SF heutzutage nur mehr kostet.
Natürlich Ansichtssache, wieviel "viel" ist, aber drum hat's ja eben keinen Sinn über solche Begriffe zu reden, ohne sie genauer zu defineren, und auch wenn du die meistens gemeinte time to depth meinst, ok, wieviel ist bei der viel, da tust du dir noch viel schwerer, etwas zu definieren, weil du die schachliche Relevanz dabei noch weniger kennst.
In keiner Weise kennst du sie, ohne sie in Hinblick auf bestimmte Stellungen und eine bestimmte Hardware zu betrachten.
Und ja, natürlich ist das bei z.B LC0 oder komodo MCTS alles wieder ganz anders, weil bei denen kostet MultiPV praktisch nichts an time to depht, bringt aber halt auch nichts an time to solution (genauer auch wieder: praktisch nichts bei den meisten taktisch schwierigen Stellungen, bei denen er bei A-B schon hilft).

Edit: zu genau diesem Thema hatte ich im damaligen Thread schöne MEA- Vergleiche mit SF dev. und Jörg Osters SimpleMV- Modifikation mit single primary, MultiPV=1, 2, 3 und 4 gezeigt, ich lasse gerade die neue Version laufen und poste dann dort wieder den aktualisierten Screenshot.

Edit, edit, das hier von oben

relativiere ich wie folgt stark, bzw. nehme es sogar teilweise zurück:

Das stimmt natürlich nur dann, wenn die Züge, die es zu finden gibt, bei den Stellungen mit wenig bis keinen forcierten Abspielen, tatsächlich so ähnlich gut sind, wie sie scheinen, wenn man sie nur mit Standrechnen und anhand ihrer Evals betrachtet ohne tiefer in die Output- Varianten hinein und wieder rückwärts zu gehen mit der Engine, also keine echte interaktive Analyse macht und oder in großer Partiezahl ausspielen lässt.

Dass Eröffnungsstellungen (nur so als Beispiel, weil's bei denen am meisten zählt und weil sie typischer Weise noch keine forcierten taktischen Abspiele bergen) nicht eine effektivere Suche nach dem very best move (von dem's ja genau genommen schon immer nur einen gibt, man kennt ihn nur oft genug nicht genau genug) im single primary variant mode erfahren, lässt sich weder wirklich konkret vermuten noch beweisen, letzteres am ehesten noch wieder mit ganz speziellen Stellungstests, die hab' ich ja auch dazu, man lässt sie nur nicht als relevant gelten im Vergleich zum game playing. Aber vermutlich auch das  Ausspielen wird nur sehr bedingt mit sehr viel Partien und sehr selektiver TC und sehr selektiven Eröffnungsstellungen schlüssig beweisend werden. Wahrscheinlich stinkt SF gegen SF MultiPV ab einer primary line- Zahl von mehr als 2 und einer TC von 5+0 abwärts doch früher oder später ab, aber so lange das nicht z.B. Stefan Pohl, wenn's ihn ausreichend stark interessiert und er darauf Hardware- Zeit verschwendet, statistisch relevant untersucht hat, gehe ich mal davon aus, gar soo groß wird bei MultiPV=2 und SF dev. und UHO und einer TC von 5+0 aufwärts der game playing- Unterschied bei etwas moderaterer Hardware- TCvielleicht auch gar nicht sein.
Gab's da aber nicht irgendwelche derartigen Experimente ohnehin auch mal in der letzten Zeit?
Mal suchen...