Stockfish hat seine Netzarchitektur verändert

By Chess Player Date 2022-02-11 16:56

Arena 3.5.1 Windows 10 Prof

ERET Eigenmann Rapid Engine Chess.epd
Analysemotor: Stockfish_22021019_x64
11.02.2022 16:23:37 Spielstufe: 15 Sekunden
   Quelle : Liste von EPD/PGN Dateien

   Farben : Weiße Züge=True, Schwarze Züge=True
   Richtung : vorwärts
   Partien (PGN)    : Von 1 bis 999999
   Züge : Von 1 bis 250
   Stellungen (EPD) : Alle Stellungen
   Verwende Motor(en) : Liste
Stockfish_22021019_x64
   Sekunden pro Zug verwenden : 15 Sekunden pro Zug
   Analyse&zeilen : Speichern ab Such&tiefe=2
   Analysen abbrechen aktivieren: False
1) Tf1xf4    Tf1-f2
2) Sf8-g6    Tg4xg5
3) f4-f5 f4-f5   * 0 Sekunden
4) Sf3xg5    Sf3xg5 * 11 Sekunden
5) Lb3xf7    Lb3xf7 * 0 Sekunden
6) .. Sd7-c5 Sd7-c5 * 0 Sekunden
7) .. Sd7-e5 Sd7-e5 * 4 Sekunden
8) Db3xd5    Db3xd5 * 0 Sekunden
9) Se5-g6    Se5-g6 * 0 Sekunden
10) .. d5-d4    d5-d4   * 0 Sekunden
11) d4xe5, Sg1-f3 d4xe5   * 1 Sekunde
12) Sc3xd5    Sc3xd5 * 2 Sekunden
13) De2-d2, Ld3-c2    Ld3-c2 * 0 Sekunden
14) Sd2-f3    Sd2-f3 * 0 Sekunden
15) Dh3-d3    Dh3-f1
16) Sa5-c6    Sa5-c6 * 0 Sekunden
17) .. Tb8xb2 Tb8xb2 * 6 Sekunden
18) .. Da5-g5 Da5-g5 * 0 Sekunden
19) Se3-f5    Kf7-f8
20) Ld3xh7    Ld3xh7 * 0 Sekunden
21) .. Td8-c8 Td8-c8 * 0 Sekunden
22) h2-h4 h2-h4   * 0 Sekunden
23) Sh4-g6    Sh4-g6 * 0 Sekunden
24) b2-b3(?)    Lf1-e2 * 0 Sekunden
25) Lg5xd8    Lg5xd8 * 0 Sekunden
26) Sh4xg6    Sh4xg6 * 0 Sekunden
27) g2-g4 g2-g4   * 0 Sekunden
28) Ta7xb7(?) Ta7-a4 * 0 Sekunden
29) Tc1xc5    Tc1xc5 * 0 Sekunden
30) Sf3-h4    Sf3-h4 * 0 Sekunden
31) b3-b4 b3-b4   * 0 Sekunden
32) Sf1-g3    a2-a3
33) Sf3xe5    Sf3xe5 * 2 Sekunden
34) Tc1-c8    Tc1-c8 * 0 Sekunden
35) Sa3xb5    Sa3xb5 * 0 Sekunden
36) b6-b7 b6-b7   * 2 Sekunden
37) Sc7-a8    Tc2-f2
38) e4xd5 Sg7-e8
39) a2-a3 a2-a3   * 0 Sekunden
40) .. Lf8-c5 Lf8-c5 * 0 Sekunden
41) Sf3xg5    Sf3xg5 * 0 Sekunden
42) .. Kc7-b7 Kc7-b7 * 0 Sekunden
43) Sd4xf5    Sd4xf5 * 0 Sekunden
44) h2-h4 h2-h4   * 0 Sekunden
45) Tb3-b4    Lc2-d3
46) Sf4-d3    h4xg5
47) Sc5xb7    Sc5xb7 * 0 Sekunden
48) c4xd5 c4xd5   * 0 Sekunden
49) f2-f4 f2-f4   * 2 Sekunden
50) .. Se5-f3 g6-g5
51) .. Lg7-h6 Lg7-h6 * 0 Sekunden
52) b2-b4 b2-b4   * 0 Sekunden
53) .. c5-c4    c5-c4   * 0 Sekunden
54) .. c4-c3    Te8-d8
55) Lf4xh6    Lf4xh6 * 0 Sekunden
56) Lf1-e2    Lf1-e2 * 6 Sekunden
57) d5-d6 e3-e4
58) h2-h4 Ta6-a3
59) De3-d3    De3-d3 * 0 Sekunden
60) .. Da8xd8 Da8xd8 * 0 Sekunden
61) .. Tf8-f6 Tf8-f6 * 1 Sekunde
62) g5-g6 g5-g6   * 0 Sekunden
63) .. Ke8-f8 Ke8-f8 * 0 Sekunden
64) .. Tf1xf2(?)    Tf1-h1 * 0 Sekunden
65) .. Dc7-b6 Dc7-b6 * 3 Sekunden
66) Kf2-e1    Kf2-e1 * 3 Sekunden
67) .. f4-f3    f4-f3   * 0 Sekunden
68) a2-a3 Sd2-e4
69) h4-h5 h4-h5   * 0 Sekunden
70) a2-a3 a2-a3   * 0 Sekunden
71) f4-f5 f4-f5   * 0 Sekunden
72) .. Da8-d5 Da8-d5 * 1 Sekunde
73) Dd1xe2    Dd1xe2 * 3 Sekunden
74) Kd3-c4    Kd3-c4 * 0 Sekunden
75) .. Dh5-f5 Dh5-f5 * 12 Sekunden
76) Lg5xf6    Lg5xf6 * 0 Sekunden
77) g5xf6 g5xf6   * 0 Sekunden
78) Tf1xf6    Tf1xf6 * 0 Sekunden
79) De2xe8    De2xe8 * 0 Sekunden
80) .. Lg5-c1 Lg5-c1 * 0 Sekunden
81) Lh6-g7    Lh6-g7 * 0 Sekunden
82) g3-g4 g3-g4   * 2 Sekunden
83) Sc3-b5    Sc3-b5 * 0 Sekunden
84) Lh6-g7    Lh6-g5
85) Se5-g4    Se5-g4 * 0 Sekunden
86) c4-c5 c4-c5   * 0 Sekunden
87) e4-e5 e4-e5   * 0 Sekunden
88) g3-g4 g3-g4   * 0 Sekunden
89) e7-e8S    Td5-d1
90) f3-f4 Ke8-d7
91) .. g7-g6, Kd6-c6   g7-g6   * 0 Sekunden
92) .. Dg5xg2(?)    Tf8-f7 * 0 Sekunden
93) Sf7-d6    Sf7-h6
94) .. Td6-f6 Td6-d7
95) Sf3xg5    Sf3xg5 * 1 Sekunde
96) Ke5-f6    Df3-f8
97) c4-c5 c4-c5   * 0 Sekunden
98) Kf1-e2(?) Te4-e8 * 0 Sekunden
99) Te7-e8    Te7-e8 * 1 Sekunde
100) Sd4-f5    Sd4-f5 * 0 Sekunden
101) .. Sd7-e5 Sd7-e5 * 0 Sekunden
102) .. Sa6xb4 Sa6xb4 * 0 Sekunden
103) Kb7-c8    a5-a6
104) .. Sc6-e7 Sc6-e7 * 0 Sekunden
105) e4-e5 e4-e5   * 6 Sekunden
106) .. Le7xf6 Le7xf6 * 0 Sekunden
107) .. Tb8-b5 Tb8-b5 * 0 Sekunden
108) Lb3-a4    Lb3-a4 * 0 Sekunden
109) .. Dc4xd4 Dc4xd4 * 0 Sekunden
110) c4-c5 c4-c5   * 10 Sekunden
111) a2-a3 a2-a3   * 0 Sekunden
90 von 111 Zügen gefunden
11.02.2022 16:53:14, Gesamt Dauer: 00:29:36 Wertungszeit: 06:34 = 394 Sekunden

By Andreas Kuntze Date 2022-02-11 17:33 Upvotes 4

Mal eine allgemeine Bemerkung zu diesen geradezu inflationär auftauchenden Testergebnissen (also nicht speziell auf den Autor dieses Beitrages gemünzt):

Was nützt so ein Ergebnis, wenn es nicht in irgendeiner Art und Weise eingeordnet wird? Ist das jetzt ein gutes Ergebnis im Vergleich zu letzten Stockfish-dev-Version oder hat sich das Ergebnis verschlechtert? Was könnten die Gründe für die Veränderung sein? Könnte es vielleicht an der neuen Netzarchitektur liegen? Wie ist das Ergebnis in Relation zu anderen Engines zu bewerten?

Ohne solche Einordnungen ist das alles nur unnützer Zahlen- und Buchstabensalat...

By Peter Martan Date 2022-02-11 19:50 Edited 2022-02-11 19:55

Das ist wahr.

Daher:


    Program                                    Elo   +/-  Matches  Score   Av.Op.   S.Pos.   MST1    MST2   RIndex

  1 ShashChess20.2-MCTS1-Tal                 : 3563    4   4810    59.6 %   3495   197/222    2.2s    3.7s   0.85
  2 ShashChess20.2-Tal-MCTS20                : 3557    4   4722    58.8 %   3495   191/222    2.1s    3.9s   0.84
  3 ShashChess20.2                           : 3547    4   4608    57.2 %   3496   183/222    2.1s    4.4s   0.80
  4 Crystal251221                            : 3546    4   4530    57.0 %   3497   175/220    1.7s    4.4s   0.80
  5 ShashChess20.1-nn4401e826ebcc            : 3545    4   4623    57.0 %   3496   183/220    2.5s    4.6s   0.79
  6 Swordfish14.7-avx2                       : 3538    4   4481    55.9 %   3497   177/222    2.5s    5.0s   0.80
  7 CorChess3271221                          : 3528    4   4394    54.4 %   3497   169/220    2.4s    5.3s   0.76
  8 Stockfish220122                          : 3525    4   4357    53.9 %   3498   166/222    2.3s    5.5s   0.78
  9 Stockfish+030122-MCTS                    : 3520    4   4301    53.1 %   3498   166/220    2.8s    5.8s   0.73
 10  Stockfish100222                          : 3520    4   4285    53.0 %   3499   160/222    2.1s    5.7s   0.77
 11  Stockfish+030122                         : 3516    4   4303    52.5 %   3499   163/222    2.8s    6.0s   0.74
 12  Ceres0.96-781032                         : 3514    4   4340    52.1 %   3500   159/222    2.3s    5.9s   0.68
 13  Stockfish221221                          : 3509    4   4216    51.5 %   3499   157/220    2.7s    6.3s   0.71
 14  Lc0v0.29.0-dev-780800                    : 3507    4   4280    50.9 %   3500   153/222    2.2s    6.2s   0.67
 15  Stockfish171221-nn4401e826ebcc           : 3504    4   4216    50.6 %   3500   155/220    2.9s    6.5s   0.70
 16  Lc0v0.28.2-780486                        : 3503    4   4251    50.3 %   3501   150/222    2.3s    6.4s   0.65
 17  Dragon2.6byKomodoChess64-bit             : 3503    4   4224    50.3 %   3501   152/220    2.9s    6.6s   0.68
 18  Lc0v0.29.0-dev-781032                    : 3502    4   4242    50.1 %   3501   147/222    2.0s    6.4s   0.67
 19  Ceres0.94d-610902                        : 3464    5   4039    44.1 %   3504   122/220    2.2s    7.9s   0.52
 20  RubiChess2021NN-fb50f(avx2)              : 3463    5   3962    44.1 %   3504   124/220    2.6s    8.0s   0.57
 21  Ethereal13.50                            : 3456    5   3917    43.0 %   3505   119/222    2.3s    8.2s   0.56
 22  Wasp5.20                                 : 3423    5   3862    38.0 %   3508   101/220    2.7s    9.4s   0.40
 23  DeepHIARCS15.0                           : 3407    5   3874    35.8 %   3508    97/222    3.5s   10.0s   0.33
 24  Fritz15                                  : 3393    5   3870    33.9 %   3509    87/222    3.4s   10.5s   0.32
 25  DarkToga1.1                              : 3372    5   3799    31.2 %   3510    73/222    2.8s   11.0s   0.29

MST1  : Mean solution time (solved positions only)
MST2  : Mean solution time (solved and unsolved positions)
RIndex: Score according to solution time ranking for each position

Die vielleicht schon bekannte Legende dazu: A-B-Engines mit 30 Threads einer 16x3.5GHz Ryzen CPU und 2G Hash, LC0 und Ceres mit 3070ti GPU, 222 Stellungen aus HTC108+Eret-17 Dubletten+20 dazu passenden, die man hier kopieren kann:

http://talkchess.com/forum3/viewtopic.php?p=918732#p918732

Fritz- GUI, Auswertung mit EloStatTS von Frank Schubert, 15"/Stellung, 2 Extra Halbzüge.

By Chess Player Date 2022-02-11 17:49

File name : ERET Eigenmann Rapid Engine Chess.epd
Total test items   : 111
Test for    : best moves
Total engines : 2
Timer : movetime: 15
Expand ply    : 5
Elapsed : 12:15
Total tests : 222
Total corrects    : 177 (79%)
Ave correct elapse : 4182 ms
Status    : completed

Correct/Total:
Stockfish 100222: 90/111
Swordfish 14.7 : 87/111

Failed tests (hit *):
1. Stockfish 100222:
ERET 002 - Zugzwang, ERET 004 - Endspiel, ERET 015 - Endspiel*, ERET 019 - Endspiel*, ERET 032 - Zugzwang, ERET 036 - Endspiel*, ERET 037 - Zugzwang, ERET 038 - Endspiel, ERET 045 - Initiative, ERET 046 - Endspiel, ERET 054 - Endspiel, ERET 057 - Abtausch, ERET 058 - Endspiel, ERET 075 - Festung, ERET 084 - Koenigsangriff, ERET 089 - Unterverwandlung, ERET 090 - Endspiel, ERET 093 - Endspiel, ERET 094 - Damenopfer, ERET 096 - Endspiel, ERET 103 - Zugzwang
2. Swordfish 14.7:
ERET 002 - Zugzwang, ERET 004 - Endspiel, ERET 007 - Laeuferpaar, ERET 015 - Endspiel*, ERET 019 - Endspiel*, ERET 032 - Zugzwang, ERET 036 - Endspiel*, ERET 037 - Zugzwang, ERET 038 - Endspiel, ERET 045 - Initiative, ERET 046 - Endspiel, ERET 057 - Abtausch, ERET 059 - Endspiel, ERET 073 - Mobilitaet, ERET 075 - Festung, ERET 084 - Koenigsangriff*, ERET 089 - Unterverwandlung, ERET 090 - Endspiel, ERET 093 - Endspiel, ERET 094 - Damenopfer*, ERET 096 - Endspiel, ERET 103 - Zugzwang, ERET 105 - Starke Felder*, ERET 110 - Freibauer

Successful tests:
1. Stockfish 100222:
ERET 001 - Entlastung, ERET 003 - Linienoeffnen, ERET 005 - Laeuferopfer f7, ERET 006 - Springeropfer, ERET 007 - Laeuferpaar, ERET 008 - Zentrum, ERET 009 - Springeropfer, ERET 010 - Freibauer, ERET 011 - Rochadeangriff, ERET 012 - Entlastung, ERET 013 - Zentrum, ERET 014 - Endspiel, ERET 016 - Pos. Opfer, ERET 017 - Koenigsangriff, ERET 018 - Entwicklung, ERET 020 - Laeuferopfer h7, ERET 021 - Prophylaxe, ERET 022 - Freibauer, ERET 023 - Rochadeangriff, ERET 024 - Entwicklung, ERET 025 - Endspiel, ERET 026 - Springeropfer, ERET 027 - Zugzwang, ERET 028 - Vergifteter Bauer, ERET 029 - Qualitaetsopfer, ERET 030 - Initiative, ERET 031 - Endspiel, ERET 033 - Initiative, ERET 034 - Laeuferpaar, ERET 035 - Qualitaetsopfer, ERET 039 - Entwicklung, ERET 040 - Koenigssicherheit, 40, ERET 042 - Endspiel, ERET 043 - Springeropfer, ERET 044 - Linienoeffnen, ERET 047 - Entlastung, ERET 048 - Starke Felder, ERET 049 - Entwicklung, ERET 050 - Koenigsangriff, ERET 051 - Verteidigung, ERET 052 - Starke Felder, ERET 053 - Pos. Opfer, ERET 055 - Laeuferopfer h6, ERET 056 - Zwischenzug, ERET 059 - Endspiel, ERET 060 - Koenigsangriff, ERET 061 - Koenigsangriff, ERET 062 - Starke Felder, ERET 063 - Verteidigung, ERET 064 - Endspiel, ERET 065 - Zwischenzug, ERET 066 - Endspiel, ERET 067 - Raeumung, ERET 068 - Offene Linie, ERET 069 - Koenigsangriff, ERET 070 - Starke Felder, ERET 071 - Ablenkung, ERET 072 - Zentralisierung, ERET 073 - Mobilitaet, ERET 074 - Endspiel, ERET 076 - Entwicklung, ERET 077 - Rochadeangriff, ERET 078 - Freibauer, ERET 079 - Damenopfer, ERET 080 - Raeumung, ERET 081 - Koenigsangriff, ERET 082 - Endspiel, ERET 083 - Abtausch, ERET 085 - Abtausch, ERET 086 - Qualitaetsopfer, ERET 087 - Raeumung, ERET 088 - Endspiel, ERET 091 - Endspiel, ERET 092 - Vergifteter Bauer, ERET 095 - Damenopfer, ERET 097 - Endspiel, ERET 098 - Endspiel, ERET 099 - Endspiel, ERET 100 - Initiative, ERET 101 - Entwicklung, ERET 102 - Koenigsangriff, ERET 104 - Entwicklung, ERET 105 - Starke Felder, ERET 106 - Koenigssicherheit, ERET 107 - Verteidigung, ERET 108 - Endspiel, ERET 109 - Entlastung, ERET 110 - Freibauer, ERET 111 - Festung
2. Swordfish 14.7:
ERET 001 - Entlastung, ERET 003 - Linienoeffnen, ERET 005 - Laeuferopfer f7, ERET 006 - Springeropfer, ERET 008 - Zentrum, ERET 009 - Springeropfer, ERET 010 - Freibauer, ERET 011 - Rochadeangriff, ERET 012 - Entlastung, ERET 013 - Zentrum, ERET 014 - Endspiel, ERET 016 - Pos. Opfer, ERET 017 - Koenigsangriff, ERET 018 - Entwicklung, ERET 020 - Laeuferopfer h7, ERET 021 - Prophylaxe, ERET 022 - Freibauer, ERET 023 - Rochadeangriff, ERET 024 - Entwicklung, ERET 025 - Endspiel, ERET 026 - Springeropfer, ERET 027 - Zugzwang, ERET 028 - Vergifteter Bauer, ERET 029 - Qualitaetsopfer, ERET 030 - Initiative, ERET 031 - Endspiel, ERET 033 - Initiative, ERET 034 - Laeuferpaar, ERET 035 - Qualitaetsopfer, ERET 039 - Entwicklung, ERET 040 - Koenigssicherheit, 40, ERET 042 - Endspiel, ERET 043 - Springeropfer, ERET 044 - Linienoeffnen, ERET 047 - Entlastung, ERET 048 - Starke Felder, ERET 049 - Entwicklung, ERET 050 - Koenigsangriff, ERET 051 - Verteidigung, ERET 052 - Starke Felder, ERET 053 - Pos. Opfer, ERET 054 - Endspiel, ERET 055 - Laeuferopfer h6, ERET 056 - Zwischenzug, ERET 058 - Endspiel, ERET 060 - Koenigsangriff, ERET 061 - Koenigsangriff, ERET 062 - Starke Felder, ERET 063 - Verteidigung, ERET 064 - Endspiel, ERET 065 - Zwischenzug, ERET 066 - Endspiel, ERET 067 - Raeumung, ERET 068 - Offene Linie, ERET 069 - Koenigsangriff, ERET 070 - Starke Felder, ERET 071 - Ablenkung, ERET 072 - Zentralisierung, ERET 074 - Endspiel, ERET 076 - Entwicklung, ERET 077 - Rochadeangriff, ERET 078 - Freibauer, ERET 079 - Damenopfer, ERET 080 - Raeumung, ERET 081 - Koenigsangriff, ERET 082 - Endspiel, ERET 083 - Abtausch, ERET 085 - Abtausch, ERET 086 - Qualitaetsopfer, ERET 087 - Raeumung, ERET 088 - Endspiel, ERET 091 - Endspiel, ERET 092 - Vergifteter Bauer, ERET 095 - Damenopfer, ERET 097 - Endspiel, ERET 098 - Endspiel, ERET 099 - Endspiel, ERET 100 - Initiative, ERET 101 - Entwicklung, ERET 102 - Koenigsangriff, ERET 104 - Entwicklung, ERET 106 - Koenigssicherheit, ERET 107 - Verteidigung, ERET 108 - Endspiel, ERET 109 - Entlastung, ERET 111 - Festung

By Max Siegfried Date 2022-02-13 09:09

Lothar Jung schrieb:

Hier die Infos und das NNv4:

<a class='ura' href='https://abrok.eu/stockfish/'>https://abrok.eu/stockfish/</a>

Lothar

Und es wird immer besser:

Author: Michael Chaly
Date: Sun Feb 13 01:05:27 2022 +0100
Timestamp: 1644710727

Big search tuning (version 2)

One more tuning - this one includes newly introduced heuristics and
some other parameters that were not included in previous one. Result
of 400k games at 20+0.2 "as is". Tuning is continuing since there is
probably a lot more elo to gain.

STC:
https://tests.stockfishchess.org/tests/view/620782edd71106ed12a497d1
LLR: 2.99 (-2.94,2.94) <0.00,2.50>
Total: 38504 W: 10260 L: 9978 D: 18266 Elo +2.54
Ptnml(0-2): 142, 4249, 10230, 4447, 184

LTC:
https://tests.stockfishchess.org/tests/view/6207a243d71106ed12a49d07
LLR: 2.94 (-2.94,2.94) <0.50,3.00>
Total: 25176 W: 6793 L: 6546 D: 11837 Elo +3.41
Ptnml(0-2): 20, 2472, 7360, 2713, 23

closes https://github.com/official-stockfish/Stockfish/pull/3931

Bench: 4784796
see source