Aktuell die beste Engine/Netz/Parameter Kombo

By Peter Martan Date 2022-08-31 13:39 Edited 2022-08-31 14:19

Danke für die Infos, Lothar!

Ein erster Testrun mit dem neuen Compile und dem neuen Netz und der jüngsten Version der 128 Stellungen (siehe hier

http://talkchess.com/forum3/viewtopic.php?p=932939#p932939

, da ist auch gleich noch der jüngste ShashChess 24.0 im Vergleich zur vorigen Version drin, die Erklärung, was MV4 in dem Zusammenhang bedeutet und warum es fast als Standard- Setting für die A-B-Programme jetzt bei mir dient , steht auch im Posting vom Link), im direkten Vergleich mit dem vorigen 0.30 dag- Prerelease und dem Netz 784038, das zuletzt auf TCEC gespielt hat.


    Program                                    Elo   +/-  Matches  Score   Av.Op.   S.Pos.   MST1    MST2   RIndex

  1 CorChess3300522-Tactical-MV4             : 3577    7   2602    61.9 %   3492    85/128    3.3s    7.2s   0.59
  2 BlueMarlin15.3-avx2-MV4                  : 3574    7   2528    61.5 %   3493    82/128    3.1s    7.4s   0.60
  3 ShashChess24-GoldDigger-MV4              : 3565    7   2499    60.3 %   3493    80/128    3.6s    7.9s   0.57
  4 Crystallite1.1a-bmi2-ContMax-MV4         : 3560    7   2547    59.3 %   3495    79/128    3.7s    8.0s   0.53
  5 ShashChess23.1.1-GoldDigger-MV4          : 3560    7   2431    59.4 %   3493    80/128    3.7s    7.9s   0.55
  6 HypnoSFmpv110822-MV4                     : 3559    7   2468    59.3 %   3494    77/128    3.2s    7.9s   0.51
  7 TheHuntsman1bmi2-MV4                     : 3547    8   2477    57.4 %   3496    72/128    3.3s    8.4s   0.47
  8 Swordfish15.3a-bmi2-MV4                  : 3546    7   2430    57.3 %   3495    76/128    4.2s    8.6s   0.49
  9 EMAN8.2064-bitAVX2-MV4                   : 3542    7   2433    56.8 %   3494    74/128    4.2s    8.8s   0.47
 10 EMAN8.2064-bitAVX2-FAD15                  : 3536    7   2483    55.9 %   3495    81/128    6.1s    9.4s   0.39
 11 TheHuntsman1bmi2-MateSearch               : 3535    8   2327    55.4 %   3497    62/128    2.2s    8.8s   0.48
 12 Stockfish310722-MV4                       : 3530    7   2317    54.8 %   3496    68/128    4.2s    9.3s   0.44
 13 Sting28                                   : 3495    8   2174    48.9 %   3502    52/128    3.9s   10.5s   0.33
 14 Ceres0.97RC3-784038                       : 3490    9   2074    48.0 %   3504    49/128    3.3s   10.5s   0.37
 15 Stockfish310722                           : 3484    8   2142    47.6 %   3501    55/128    5.5s   10.9s   0.30
 16 Lc0v0.30.0-dag+git.c91bf77-784038         : 3478    9   2044    46.1 %   3505    45/128    3.5s   11.0s   0.32
 17 Sting28-MV4                               : 3476    9   2048    45.9 %   3505    45/128    3.3s   10.9s   0.30
 18 Lc0v0.30.0-dev-784038                     : 3475    9   1999    45.6 %   3506    44/128    3.5s   10.7s   0.34
 19 Lc0v0.30.0-dag+git.c91bf77-784822         : 3469    9   2042    44.8 %   3505    46/128    4.7s   11.3s   0.29
 20 Dragon3.1byKomodoChess-MV4                : 3469    8   2021    44.9 %   3504    47/128    4.7s   11.2s   0.28
 21 SlowChessBlitz2.9avx2-MV4                 : 3442    8   1932    41.1 %   3505    43/128    6.1s   12.0s   0.23
 22 Dragon3.1byKomodoChess                    : 3442    9   1928    40.8 %   3507    39/128    5.0s   12.0s   0.25
 23 Dragon3.1byKomodoChess-MCTS-MV30          : 3436    9   1923    39.8 %   3508    37/128    4.0s   11.8s   0.13
 24 Ethereal13.75(NNUE)-AnalysisMode-MV4      : 3428    9   1867    38.7 %   3508    34/128    4.3s   12.2s   0.22
 25 Berserk20220725-MV4                       : 3424    9   1857    38.2 %   3508    35/128    4.8s   12.2s   0.19
 26 RubiChess20220813(bmi2)-MV4               : 3415    9   1855    36.7 %   3509    29/128    3.4s   12.4s   0.18
 27 Koivisto8.13                              : 3383    9   1764    32.4 %   3511    22/128    3.4s   13.0s   0.14
 28 Revenge3.0b-MV4                           : 3369    9   1860    30.7 %   3510    30/128   12.4s   14.4s   0.03

MST1  : Mean solution time (solved positions only)
MST2  : Mean solution time (solved and unsolved positions)
RIndex: Score according to solution time ranking for each position

Die jüngste Kombo hat also schon bei der Lösungszahl die Nase knapp vorn, die Zeiten sind aber halt in Hinblick aufs Ranking (alles innerhalb der error bar sowieso) Grund für den 3. Platz der getesten 3 Settings. Da schneidet das v0.30.0-dev+git.75c6ada mit dem 784038- Netz kombiniert am besten ab.

3070ti mit 15"/Stellung und dem Release von deinem Link (Cuda v0.30.0-dag+git.c91bf77) + 784822- Netz:

Zitat:

Löse: C:\...\1284.cbh
Maximale Lösungszeit = 15s.

1. HTC108,2 - Corbit,D, Tactical Insanity Nr.1   > 15s.
2. TacticalInsanityNr.9 - CorbitD, HTC108-5 S   > 15s.
3. Carlsen,M - Caruana,F, HTC108-7 WM2018   > 15s.
4. ACT-Suite,N - Dorsz,O, HTC108-8   > 15s.
5. van Foreest,J - L'Ami,E, HTC108-9 Zug 24...Sideline   Gelöst in 0.36s/9; Gelöst: 1
6. Konig?,C - Cornforth96?,C, HTC108-11 Arasan   > 15s.
7. PoorFish,C - Borderline,D, HTC108-12   > 15s.
8. LC0,C - SF,C, HTC108-15 S   Gelöst in 0.41s/7; Gelöst: 2
9. AlphaZero,H - SF, Game9 2017   > 15s.
10. Gashimov,V - Azariov,S, 2011 HTC108-23   > 15s.
11. CorbitD,C, HTC108-25   Gelöst in 3.86s/16; Gelöst: 3
12. Gusia - Barlov, Schweiz 1980 HTC108-28   > 15s.
13. Bondarenko,& - Glarean,P, HTC108-29   > 15s.
14. Rudolph,W, Studie 1912 HTC108-30 S   > 15s.
15. Gusev,Y - Auerbach,E, HTC108-42   Gelöst in 2.11s/14; Gelöst: 4
16. Van Essen,M - 2004,#, HTC108-48 (-9ZNr41) S   > 15s.
17. Neghina,M - Stronghold,2, HTC108-49 S   > 15s.
18. Tunik - Duzhakov, 2011 HTC108-52   Gelöst in 0.63s/10; Gelöst: 5
19. Neghina,M - Chase,D, HTC108-54   Gelöst in 9.52s/19; Gelöst: 6
20. SolomonKing,? - 2.g4,H, HTC108-80 S   > 15s.
21. Nicolic,E - Fischer,R, HTC108-94 S   > 15s.
22. Morozevich,A - Vitiugov,N, Reggio 2011 HTC108-100   > 15s.
23. M. Garcia - P. Krug,S - Glarean, The Engine Crackers   Gelöst in 15.52s/21; Gelöst: 7
24. Zepler,E - Studie,1,   2020   > 15s.
25. Formela,M - Studie,2, Polski Zwiazek Szachowy 2019   > 15s.
26. Stoofvlees - SF, TCEC 2019   Gelöst in 0.28s/10; Gelöst: 8
27. Lasker,E - Lipke,P, Nebenvariante 41.Ke4! MS 1889   > 15s.
28. Los,A - Kubicki,T, corr LIPEAD40 (PER) 2016   > 15s.
29. PurePower - Exxon, Chessbase online 2021   Gelöst in 9.05s/16; Gelöst: 9
30. Bauer,R - Zhak,B, WC30/final ICCF 2017   Gelöst in 0.41s/8; Gelöst: 10
31. Mihai Neghina - Desperation, White to move and draw S 12   Gelöst in 0.41s/9; Gelöst: 11
32. Tauber,H - Sikorsky,H, 37.e5! 2018   > 15s.
33. Bondarenko+Gorgiev,S - BrillanterSchachzug,1,   2008   > 15s.
34. ACT3,? - Festung, S   Gelöst in 7.72s/17; Gelöst: 12
35. ACT3,? - Studie?   > 15s.
36. ACT3,?   Gelöst in 7.30s/17; Gelöst: 13
37. ACT3,? - Festung   Gelöst in 4.23s/11; Gelöst: 14
38. ACT3,? - Festung, S   > 15s.
39. ACT3,? - Studie?   Gelöst in 13.30s/24; Gelöst: 15
40. ACT3,? - Studie?, S   Gelöst in 0.69s/16; Gelöst: 16
41. Neghina,M - GoldenerKÃ¤fig,2, S Sibiu 2009   > 15s.
42. Ree,H - Hort,V, Wijk 1986 2009   > 15s.
43. Neghina,M - WhieTo,M, 2018? S   > 15s.
44. Popov,S - Glarean 2006,1, HTC108-58 2008   > 15s.
45. Sikorsky,H - Novak,J, Sideline ICCF 2017   > 15s.
46. Krug,P - CCC,P, S 2022   > 15s.
47. TCEC,S - Nr.8,j, CCC 2022   > 15s.
48. TCEC,S - Nr.22,r, CCC 2022   > 15s.
49. Sikorsky,H - Vinchev,S, corr GER, Hiarcs 2016   > 15s.
50. Zemljanski,Y - 1move,c, Tsjechover-90 S 1999   Gelöst in 0.36s/9; Gelöst: 17
51. Study,?, IQ 100 2012   > 15s.
52. Study?,?, ACT3   > 15s.
53. Study?,?, TTT2 31   > 15s.
54. Semenikov+,D - Sikorsky,H, corr. USA 2021   > 15s.
55. Petrov,M - Sikorsky,H, CL/2021 ICCF   > 15s.
56. Study,? - CCC, ACT5 11   Gelöst in 8.52s/15; Gelöst: 18
57. Study,?, ACT5 29   Gelöst in 0.52s/10; Gelöst: 19
58. ERET 015 - Endspiel D&B vs T&L&B, Becker 2015   Gelöst in 7.64s/19; Gelöst: 20
59. ERET 032 - Zugzwang, Fahrni 1922   Gelöst in 0.52s/13; Gelöst: 21
60. ERET 037 - Zugzwang, Garcia 2000   > 15s.
61. ERET 046 - Endspiel T&S vs T&S, Grandelius-Raznikov, Albena 2011   Gelöst in 0.36s/7; Gelöst: 22
62. ERET 050 - Koenigsangriff, Hansen-Barua, Biel 1993   > 15s.
63. ERET 090 - Endspiel L vs L, Salai 2011   > 15s.
64. ERET 093 - Endspiel T&S&B vs T&T&L, Simkhovich 1923   > 15s.
65. ERET 094 - Damenopfer, Sirobaba-Chaika, CorrGame 2011   > 15s.
66. Fortress,S, ACT3-51 S   Gelöst in 0.20s/10; Gelöst: 23
67. ACT4,N, ACT4-1   > 15s.
68. Cyclic,Z, ACT5-25 2   > 15s.
69. Blass,U - CCC, ACT5-27 2   Gelöst in 0.39s/7; Gelöst: 24
70. Campioli,M - #14,?, ACT5-28 2   > 15s.
71. Krug,P, ACT5-30 2   > 15s.
72. KrugP,G - HHdbVI.0044383.001,a, ACT5-31 1   > 15s.
73. Kos,V - ?, ACT5-34 2   Gelöst in 8.69s/16; Gelöst: 25
74. Sokka,H - HHdbVI.1076075.001,a, ACT5-36 1   > 15s.
75. Sehwers,J - HHdbVI.1643584.002a.,8, ACT5-ana   Gelöst in 1.13s/10; Gelöst: 26
76. Zinar,M - HHdbVI.0210037.002a.,0, ACT5-44 2   > 15s.
77. Nestorescu,V - HHdbVI.0708805.002a.,3, ACT5-46 1   > 15s.
78. Timman,J - HHdbVI.0033988.002a.,0, ACT5-48 2   Gelöst in 4.27s/17; Gelöst: 27
79. Unknown,A, ACT5-51 2   Gelöst in 7.13s/15; Gelöst: 28
80. Ivanov,V, ACT5-53 2   > 15s.
81. Bernhardt,G, ACT5-58 2   > 15s.
82. Unknows,A, ACT5-61 2   > 15s.
83. Naef,W, ACT5-63 2   > 15s.
84. #7,?, ACT5-67 2   Gelöst in 0.36s/9; Gelöst: 29
85. #9,?, ACT5-68 2   > 15s.
86. SilhanJ,Z, ACT5-59 3   > 15s.
87. Hiarcs,?, TTT2 2   > 15s.
88. Hiarcs,?, TTT2 6 2   Gelöst in 12.78s/17; Gelöst: 30
89. Derived,f - StavrietskyA,2, TTT2 14   > 15s.
90. Midgame,? - ?, TTT2 23   Gelöst in 2.69s/14; Gelöst: 31
91. TTT2.053, TTT2   > 15s.
92. TTT2.073, TTT2   Gelöst in 0.30s/10; Gelöst: 32
93. RoxlauM,G - HHdbVI, ACT4 4 1   Gelöst in 8.08s/21; Gelöst: 33
94. Smyslov,V, ACT4-26 1   > 15s.
95. Smyslov,V, ACT4-41 1   Gelöst in 0.30s/10; Gelöst: 34
96. JostenG,   2008   Gelöst in 0.92s/16; Gelöst: 35
97. Study,?, ACT4-59   Gelöst in 14.97s/22; Gelöst: 36
98. Wotawa,A, ACT4-66 1   > 15s.
99. Study,?, ACT4-90 1   > 15s.
100. Bethge,F, ACT4-91   > 15s.
101. Blathy,O, ACT4-94 1   > 15s.
102. Cortlever,N - HHdbVI, ACT3-29 1   > 15s.
103. Korolkov,V, ACT3-38   > 15s.
104. Fortress,?, ACT3-41 1   > 15s.
105. Unknown,A, ACT3-48   > 15s.
106. Kraemer,A, ACT3-49   > 15s.
107. Sivkov,N - #10,?, ACT3-88   > 15s.
108. Timman=J - Glarean,N,   2012   > 15s.
109. Boudy Bueno,J - Szabo,L, Varna 1979 Txb2!? Eret 17   Gelöst in 2.69s/11; Gelöst: 37
110. Lc0-dev - Stockfish, ECO MegaMatch II! (1|1) 2020   Gelöst in 0.36s/9; Gelöst: 38
111. Carlsen,M - L'Ami,E, Corus B VLH16 35 2006   > 15s.
112. Bazlo,Y - 10moves,l, 2019 HHdbVI 1   Gelöst in 12.16s/16; Gelöst: 39
113. Opening,H - !,?   Gelöst in 0.38s/8; Gelöst: 40
114. TCEC,r, CCC   > 15s.
115. TCEC,r, CCC Nr.5   > 15s.
116. Gleichmann,M - Praznik,N, corr CT21/final 2019   > 15s.
117. Yarmonov,I - Glarean, 2020   > 15s.
118. Eman - SugaR, Glarean   Gelöst in 2.97s/11; Gelöst: 41
119. Hobacle's,V - Walter Eigenmann's,S   Gelöst in 3.41s/12; Gelöst: 42
120. Krug,P - Glarean,E, 2018   > 15s.
121. Gniazdowski,M - Rau,J, corr CL/2019/C8 Glarean   Gelöst in 0.34s/10; Gelöst: 43
122. Illescas,M - Glarean,E   > 15s.
123. Heinz,J - Glarean, Study 1981   > 15s.
124. Josten,G - Glarean,E, Studie 2001   Gelöst in 10.56s/22; Gelöst: 44
125. Timman,J - HHdbVI   > 15s.
126. Gelly,M - HHdbVI, Glarean   Gelöst in 0.33s/10; Gelöst: 45
127. Krug,P - HHdbVI,G,   2013   > 15s.
128. Ganguly,S - RuszA,c, HHdbVI 2017   Gelöst in 15.73s/24; Gelöst: 46

Ergebnis: 46 aus 128 = 35.9%. Durchschnittszeit = 4.45s / 13.56

Edit: laut dieser Site

http://zz4032.rf.gd/lc0/charts.html?i=1

ist bei den Run3- Versionen das 783452 das mit den meisten SelfPlay Elo.

By Lothar Jung Date 2022-09-02 08:50

Hier die aktuelle DAG Engine:

I have made `dag-master` to have a trunk containing "finished" parts of DAG. It was created from the latest `dab-bord-lf` branch at the time.

`dag-size` is based on `dag-master` and tries to shrink the edge (`Node`) size by only storing "copies" of `wl_`, `d_` and `m_` taken from node (`LowNode`), reducing precision of all three and shrinking `n_in_flight_` as well. It gains speed for me (~12% with the trivial backend) for some reason. I thought it was due to more out of order evaluations caused by reduced precision, but it seems to be more complicated than that.

`dag-size` (https://github.com/Etcaqab/lc0/tree/dag-size) commit `c91bf77a`, builds at https://ci.appveyor.com/project/Etcaqab/lc0/builds/44614483.

Feedback very welcome!

By Peter Martan Date 2022-09-02 09:54 Edited 2022-09-02 10:27

Danke, Lothar, aber für feedback and die LC0- Entwickler haben wir ja dich.

Nein, ich kann mich schon auch mal wieder im discord einloggen, mache das aber immer nur, wenn's unbedingt sein muss und ich habe nicht wirklich viel Feedback zu geben im Moment, das die LC0- Entwickler interessieren würde.

Andrea Manzo hat übrigens seine Version seiner Test- Stellungen im Talkchess- Forum im Thread von der Hard Talkchess 2020- Suite veröffentlicht mit direktem Download- Link, ich kann nur gerade, obwohl ich soeben dort auch was dazu geschrieben habe, nicht auf die Site, dauernd time out, sowas hasse ich während der Editierzeit, aber du findest die Postings leicht auch ohne Link von mir jetzt hier dazu.

Die Suite ist, was ich nur kurz durchgeblättert habe, auch großteils aus altbekannten Teststellungen zusammengebaut, leider gleich die erste wieder mal eine aus der STS- Suite, absolut kein single best move und von Swami und Dann schon damals für STC auf damaliger Hardware als positionelle Teststellung gedacht gewesen, die mehr aus der Eval als aus der Suche gelöst werden soll. Spricht also wirklich einiges dagegen, sie in einer taktischen single best move- Suite zu haben, vor allem stimmt auch nicht einmal der als Lösung angegebene best move.

Bevor ich alles, was ich gerade im CCC dazu schrieb, hier wiederhole, probier ich weiter wieder ins Talkchess reinzukommen, wenn ich's bald schaffe, reiche ich die Links hier noch nach. Das ist allerdings in der letzten Zeit dort für meine IP- Adresse überhaupt schon wieder die ganze letzte Woche wieder mal praktisch unerreichbar gewesen, dieses Forum, ich hätte nicht wieder anfangen sollen, dort was zu schreiben, nur weil's gerade wieder zu gehen schien

Edit: hat doch wieder geklappt, die Editierzeit ist aber natürlich abgelaufen, sonst hätt' ich's noch gekürzt und ausgebessert mein Posting dort.
Das ist der Link zu Manzos Posting, um den hier noch nachzureichen, wenn du dir die Suite anschauen willst, die er dort zum Download anbietet:

http://talkchess.com/forum3/viewtopic.php?p=933009#p933009

Meine Antwort drauf ist auf der nächsten Seite, 2 Postings später.

By Lothar Jung Date 2022-09-02 10:58

Ich habe die Textdatei runtergeladen.
Wie konvertiere ich sie ins epd Format.
Mit Umbenennung klappt nicht.
Oder einfach in eine bestehende epd Datei reinkopieren und den vorherigen Inhalt löschen?

By Peter Martan Date 2022-09-02 11:22 Upvotes 1

Geh, Lothar!

Die Fen- Strings als Text in den Editor eingefügt mit der Dateiendung .epd abspeichern, dann sind die Stellungen allein schon in Arena oder Shredder nutzbar, als .cbh nur, wenn du mit "Einfügen- EPD anhängen" im Fritz Datenbankfenster die .epd- Sammlung als solche ansteuerst.

Mach dir aber mit .cbh keine unnötige Arbeit, die hab' ich schon aus der .epd- Sammlung gemacht und kann sie dir inclusive 3er Proberuns per Mail schicken, wenn du willst.
Für weitere, insbesondere für öffentliche Verwendung würde ich halt schon ziemlich viele Stellungen aussortieren, was ich bisher so gesehen habe.

By Peter Martan Date 2022-09-02 11:56 Upvotes 1

Dazu noch:
http://talkchess.com/forum3/viewtopic.php?p=933068#p933068

By Peter Martan Date 2022-09-02 17:35 Edited 2022-09-02 17:41 Upvotes 1

Der letzte Stand für heute:

http://talkchess.com/forum3/viewtopic.php?p=933090#p933090

Weiteres nur noch per Email und auf Anfrage.

By Lothar Jung Date 2022-09-03 13:00 Upvotes 1

You can upgrade your lc0 to the pro version and all options will be shown: rename it to lc0pro (you will most probably need to install it again in your gui)

By Lothar Jung Date 2022-09-04 14:09 Upvotes 1

Hier ein interessantes Test/Tunier zwischen SF 14 und aktuelle T80 Engines:

**Gauntlet:** dag-bord-lf-se-2 and dag-size vs Stockfish 14
**Hardware:** Ryzen 9 5900X + GeForce RTX 3080 Ti
**Software:** BanksiaGUI
**LC0 version:** dag-bord-lf-se-2-d85e6b4c and dag-size-c91bf77a
**LC0 networks:** 804158
**LC0 settings:** NNCacheSize=5000000
**Stockfish settings:** Threads=20, Hash=4096
**Time control:** 2m + 1s
**Book:** TCEC 22
**Tablebases:** 3-4-5
```
   # PLAYER    : RATING ERROR POINTS PLAYED   (%) CFS(%) W D L D(%)
   1 Lc0 v0.30.0-dev-d85e6b4c 804158 :    3.9   40.5 50.5    100 51 57   18   65   17 65
   2 Stockfish 14 :    0.0   ----   107.5    200 54    100   45 125   30 63
   3 Lc0 v0.30.0-dev-c91bf77a 804158 :   -62.9   40.3 42.0    100 42    ---   12   60   28 60
```

By Peter Martan Date 2022-09-04 14:31 Upvotes 1

Der Thread im CCC geht auch noch weiter. Kennst du den user Plutie?

http://talkchess.com/forum3/viewtopic.php?p=933166#p933166

Er gibt in der members list auch einen real name an.

By Lothar Jung Date 2022-09-04 17:03 Upvotes 1

Plutie gehört zum Entwicklerteam.
Er macht u.a. die Compiles.
Seine Beträge kannst Du in Discord suchen.

By Andreas Matthies Date 2022-09-05 09:09 Upvotes 2

Um den Problemen näher zu kommen, hat Plutie übrigens in den letzten Tagen eine eigene Instanz des Openbench Testframework aufgesetzt und bei den dafür notwendigen Anpassungen (Openbench hat ein paar Voraussetzungen wie z.B. einen Bench-Modus, der keinen zufälligen Knotenwert zurück liefern darf, was in lc0 nicht erfüllt ist) reichlich Unterstützung von Andrew Grant bekommen. Ebenfalls im (Openbench-)Discord nachzulesen.

Genauso verstehe ich Open Source Softwareentwicklung. Gemeinsam kommt man weiter.

Grüße, Andreas