Hier das Ergebnis eines schnellen Matches, für mehr ist es mir heute definitiv zu warm. 



Hier noch die dazugehörende Befehlszeile für cutechess-cli, aus der man die Matchbedingungen ersehen kann:
./cutechess-cli -engine name=SF-simpleMultiPV4 cmd=./stockfish-mpv-cute -engine name=SF-Master-MultiPV4 cmd=./sf-master-mpv -each proto=uci option.Threads=1 option.Hash=128 option.MultiPV=4 tc=20+0.2 restart=on -openings file=/home/joster/openings/feobos_v20.1-contempt-3.pgn order=random plies=12 -rounds 200 -ratinginterval 10 -resign movecount=5 score=600 -draw movenumber=60 movecount=10 score=15 -tb /media/joster/EGTB-SSD/syzygy-5men/syzygy -tbpieces 5 -wait 5 -pgnout SF-MultiPV4_20+0.2.pgn

Getestet habe ich eine leicht weniger aggressive Version, d. h., schlechtere Züge bekommen wieder etwas mehr Anteil an der zugewiesenen Zeit.

Hallo Jörg

Dein Stockfish macht mehr Knoten.
Kann man diese Knoten jetzt vergleichen
mit den Knoten vom normalen Stockfish,
oder ist es auch wieder was anderes?

Ich denke nicht, dass ich immer annähernd die gleichen Informationen erhalte. Wenn zum Beispiel ein Zug nur deshalb ziemlich weit unten ist, weil er nicht tief genug berechnet wurde, dann erhalte ich sogar falsche Informationen. Außerdem wird oft die Reihenfolge der Züge anders sein, wenn sie nahe beisammen liegen und unterschiedlich tief gerechnet wird. Damit geht für mich der Sinn von MultiPV verloren.

Danke Jörg!

Ich hab' das neue avx2-bmi2- compile mal mit MultiPV=4  auf 30 threads der 13.5GHz CPU über die 128 für 15"/Stellung schweren taktischen single best move- Stellungen laufen lassen, die ich auch sonst für MultiPV=4 nehme ("MV4" in der Liste).

https://www.dropbox.com/s/804b7chwli13laf/1284.epd?dl=0

Dass das bei diesen Stellungen und dieser Hardware- TC weniger bringt als MultiPV=4 der "klassischen" Art, ist kein Wunder, hingegen find' ich's bemerkenswert, dass es doch an die SF dev.- Versionen, bei denen ich das zuletzt so auch probiert habe, herankommt.

    Program                                    Elo   +/-  Matches  Score   Av.Op.   S.Pos.   MST1    MST2   RIndex

  1 HypnoSIccf190523-Set2                   : 3591    4   6872    63.7 %   3493    96/128    3.0s    6.0s   0.67
  2 CrystalMZ140523bmi2-Set2                : 3584    4   6708    62.7 %   3494    94/128    3.1s    6.2s   0.64
  3 ShashChess31-MV4-Tal+Capa               : 3572    4   6619    61.2 %   3493    89/128    3.2s    6.8s   0.59
...
28 Stockfishdev-20230405-MV4                : 3530    4   5843    54.8 %   3497    71/128    3.4s    8.6s   0.52
...             
34 Stockfishdev-20230305-MV4                : 3520    4   5811    53.2 %   3497    70/128    3.9s    9.0s   0.44
35 Stockfish15-MV4                          : 3518    4   5795    52.8 %   3499    68/128    4.1s    9.2s   0.45
36 EMAN8.30-NNUE-Pure-MV4-FAD15             : 3510    4   6093    51.9 %   3497    75/128    5.4s    9.4s   0.30
37 Stockfishdev-20230104-9fe9ff00-MV4       : 3508    5   5649    51.3 %   3499    66/128    4.1s    9.4s   0.43
38 Stockfishdev-20230619-nogit-MV4          : 3505    4   5794    50.9 %   3499    68/128    5.2s    9.8s   0.37
39 Cfish160223-MV4                          : 3504    4   5696    50.6 %   3500    66/128    4.7s    9.7s   0.39
40 Lc0v0.30.0-dag+git.77382b9c-325M         : 3500    5   5893    49.5 %   3503    59/128    3.7s    9.8s   0.32
...
47 Dragon3.2byKomodoChess64-Aggr.MV4        : 3467    5   5495    44.7 %   3504    52/128    5.1s   11.0s   0.25
48 Lc0v0.30.0-dag+git.c91bf77-784038        : 3465    5   5441    44.1 %   3506    45/128    3.5s   11.0s   0.29
49 Sting28-MV4                              : 3463    5   5398    43.8 %   3506    45/128    3.3s   10.9s   0.27
50 Berserk11-MV4                            : 3459    5   5214    43.4 %   3506    48/128    4.5s   11.1s   0.29
52 Dragon3.1byKomodoChess-MV4               : 3454    5   5238    42.6 %   3505    47/128    4.7s   11.2s   0.26
53 SlowChessBlitz2.9avx2-MV4                : 3435    5   5110    39.9 %   3507    43/128    5.5s   11.8s   0.21
54 Ethereal14.00(NNUE)-MV4                  : 3428    5   5062    38.7 %   3508    40/128    5.5s   12.0s   0.18
...

MST1  : Mean solution time (solved positions only)
MST2  : Mean solution time (solved and unsolved positions)
RIndex: Score according to solution time ranking for each position


Um zu sehen, was MultiPV=4 bei deiner Version relativ zu MultiPV=4 bei SF dev. im game playing kostet, würde ich so vorgehen: SF dev. single primary gegen SF dev. MultiPV=4 spielen lassen, wenigstens 3'+1" / Partie als TC single threaded, weil noch weniger Hardware- TC vermutlich erst recht auf Kosten des multi primary variant- Spielenden geht und ich würde vermuten, den SF dev. mit 4 "echten" zu primaries erhobenen non primaries kostet das mehr Spielstärke als deinen, je kürzer die Hardware- TC, desto größer vermutlich der Unterschied.
Dann den Gegenversuch MultiPV=4 deiner Version mit derselben Hardware- TC wieder gegen SF dev. single primary (default). Auf diese Art hätte man zwar nicht den direkten Vergleich (der aber vermutlich halt auch viel mehr Partien bräuchte, um aus der error- bar zu kommen, wie du schon an deinem ersten diesbezüglichen Versuch vor Kurzem gezeigt hast) aber einen ganz guten, relevanten, indirekten, (direkt vergleichbar wären sowieso auch immer nur einzelne Matches bestimmter Hardware- TC, Gegner und Eröffnungen) mit einer vermutlich überschaubaren Partiezahl, um aus der error bar zu kommen.

Und das alles sowieso nur, sofern einen der Spielstärke- Verlust mit STC im game playing überhaupt interessiert, weil's ja kaum von praktischem Nutzen sein wird, für eine Engine eine game playing performance einer einzelnen Gegenerschaft, Hardware- TC und einem einzelnen Eröffnungstestset für eine bestimmte Zahl an primary lines zu bestimmen. Jede der aufgezählten Bedingungen hätte ein mit anderen nicht vergleichbares Einzelergebnis, ebenso wie jeder einzelne Stellungstest.

Lass mich wissen, ob ich zwei Matches der oben geschilderten Art starten soll, ein einzelner Spielrutenlauf SF dev. default gegen die zwei MultiPV- Settings würde den Zweck eigentlich auch erfüllen.

Edit: die neue Version jetzt doch auch noch single primary (default) über den obigen Parcours geschickt: mit 54 Lösungen (statt 68 siehe oben im MultiPV=4) doch deutlich weniger bei gleicher Hardware- TC.