Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Testen von aktuellen 414xxx-Netzen
- - By Lothar Jung Date 2019-03-10 10:43 Edited 2019-03-10 10:59
Im Google-Forum werden T40-Netze vermehrt getestet.
Aktuelle Testergebnisse weisen zumindest auf einen Gleichstand mit den stärksten T30-Netzen hin.
Durch den letzten Bugfix und der Veröffentlichung von Lc0 0.21 hat sich der Verlauf stabilisiert und die Self-Elos sind gestiegen.
T40-Netze scheinen auch taktisch weniger anfällig zu sein.

Hier ein paar Links:

https://docs.google.com/spreadsheets/d/1XSJiCcQpCLv0fNwrUn7jXjdkZFU63YFEWpdXv6dSSg0/htmlview#gid=312836954

https://groups.google.com/forum/m/#!topic/lczero/kmhsdzwVD8U

https://groups.google.com/forum/m/#!topic/lczero/FG8PmOSPKt4

https://groups.google.com/forum/m/#!topic/lczero/39HjTbvGZRA

https://lichess.org/UvC8o42b

Lothar
Parent - - By Lothar Jung Date 2019-03-10 13:01
Hier das Ergebnis des WAC-Test für Netz 41453 (RTX 2070 + GTX 1080): 178 von 200.

10.03.2019 12:33:47 Spielstufe: 5 Sekunden
   Quelle                      : Liste von EPD/PGN Dateien
      C:\Users\Lotha\OneDrive\Desktop\Schach\wac-revised.epd
   Farben                      : Weiße Züge=True, Schwarze Züge=True
   Richtung                    : vorwärts
   Partien (PGN)               : Alle Partien
   Züge                        : Von 1 bis 250
   Stellungen (EPD)            : Von 1 bis 999999
   Verwende Motor(en)          : Liste
      Lc0 20 TB [003]
   Sekunden pro Zug verwenden  : 5 Sekunden pro Zug
   Analyse&zeilen              : Speichern ab Such&tiefe=2
   Analysen abbrechen aktivieren: False
  1) Te3-g3             Te3-g3  * 0 Sekunden
  2) Dh6xh7             Dh6xh7  * 0 Sekunden
  3) .. Dc6-c4          Dc6-c4  * 0 Sekunden
  4) Tb6-b7             Tb6-b7  * 0 Sekunden
  5) .. Sg4-e3          Sg4-e3  * 0 Sekunden
  6) Te7-f7             Te7-f7  * 0 Sekunden
  7) Th4xh7             Th4xh7  * 0 Sekunden
  8) Lf3xc6             Lf3xc6  * 0 Sekunden
  9) .. Dg4xf3          Dg4xf3  * 0 Sekunden
10) Df1xf8             Df1xf8  * 0 Sekunden
11) Dh3xh7             Dh3xh7  * 0 Sekunden
12) Se2-c3             Se2-c3  * 0 Sekunden
13) Sc4-e5             Sc4-e5  * 0 Sekunden
14) Ta8-h8             Ta8-h8  * 0 Sekunden
15) c5-c6              c5-c6   * 0 Sekunden
16) .. Ld7-b5          Ld7-e6  
17) Dd2-h6             Dd2-h6  * 0 Sekunden
18) Sg5xf7             Sg5xf7  * 2 Sekunden
19) g2-g4              g2-g4   * 0 Sekunden
20) .. Lg7-d4          Lg7-d4  * 0 Sekunden
21) .. Dg4-h4          Dg4-h4  * 0 Sekunden
22) .. Ld7-f5          Ld7-f5  * 0 Sekunden
23) Da3-f8             Da3-f8  * 0 Sekunden
24) .. Db4-e1          Db4-e1  * 0 Sekunden
25) c5-c6              c5-c6   * 0 Sekunden
26) Se4xd6             Se4xd6  * 1 Sekunde
27) Dd1-d8             h2-h3   
28) .. Ld4-g1          Ld4-g1  * 0 Sekunden
29) Th4xh7             Th4xh7  * 0 Sekunden
30) .. Te7-e1          Te7-e1  * 0 Sekunden
31) .. Sc6xd4          Sc6xd4  * 0 Sekunden
32) Sc3-a4             Sc3-a4  * 0 Sekunden
33) .. Td8-c8          Td8-c8  * 0 Sekunden
34) Lb4-a5             Lb4-a5  * 0 Sekunden
35) .. d5xc4           d5xc4   * 0 Sekunden
36) .. Df1xa1          Df1xa1  * 0 Sekunden
37) Sc3-b5             Sc3-b5  * 0 Sekunden
38) .. Sc6xd4          Sc6xd4  * 0 Sekunden
39) .. Tb8-b4          Tb8-b4  * 0 Sekunden
40) Tb7xb6             Tb7xb6  * 0 Sekunden
41) Tf4-g4             Tf4-g4  * 0 Sekunden
42) .. Te3-e1          Te3-e1  * 0 Sekunden
43) .. Dh5-h1          Dh5-h1  * 0 Sekunden
44) Dd4xg7             Dd4xg7  * 1 Sekunde
45) .. Lc5xf2          Lc5xf2  * 0 Sekunden
46) Tf3-f8             Tf3-f8  * 0 Sekunden
47) Dd3-d1             Dd3-d1  * 0 Sekunden
48) Sc3-d5             Sc3-d5  * 0 Sekunden
49) .. Tg6xg3          Tg6xg3  * 0 Sekunden
50) Se5xf7             Se5xf7  * 0 Sekunden
51) g2-g4              g2-g4   * 0 Sekunden
52) Sd5-e7             Sd5-e7  * 0 Sekunden
53) .. Dc7xe5          Dc7xe5  * 0 Sekunden
54) Te5xd5             Te5xd5  * 0 Sekunden
55) De2xe3             De2xe3  * 0 Sekunden
56) .. Sb4-a2          Sb4-a2  * 0 Sekunden
57) Sb5xa7             Sb5xa7  * 0 Sekunden
58) e5-e6              e5-e6   * 0 Sekunden
59) De2-d2             De2-d2  * 0 Sekunden
60) .. Dd7-d6          Dd7-d6  * 0 Sekunden
61) Lg5xf6             Lg5xf6  * 0 Sekunden
62) .. Sf5-g3          Sf5-g3  * 0 Sekunden
63) Se4-g5             Se4-g5  * 0 Sekunden
64) Td1-a1             Td1-a1  * 2 Sekunden
65) .. Le7-d6          Le7-d6  * 0 Sekunden
66) Le4-h7             Le4-h7  * 0 Sekunden
67) Dd5-g8             Dd5-g8  * 0 Sekunden
68) .. Sf6-g4          Sf6-g4  * 0 Sekunden
69) .. Te6xe5          Te6xe5  * 1 Sekunde
70) .. Tg6xg2          Tg6xg2  * 0 Sekunden
71) Sf5xg7             Sf5xg7  * 0 Sekunden
72) .. Lb3-e6          Lb3-e6  * 0 Sekunden
73) .. Le6xg4          Le6-c4  
74) Lc1-h6             Lc1-h6  * 0 Sekunden
75) .. e5-e4           e5-e4   * 0 Sekunden
76) Sf6-g4             Sf6-g4  * 0 Sekunden
77) Dg2-a8             Dg2-a8  * 3 Sekunden
78) .. Sc5xe4          Sc5xe4  * 0 Sekunden
79) Te5-h5             Te5-h5  * 0 Sekunden
80) .. Ld4-c3          Ld4-c3  * 0 Sekunden
81) Dh6xg6             Tg1xg6  
82) Sd4-b5             Sd4-b5  * 0 Sekunden
83) Dc5-e5             Dc5-e5  * 0 Sekunden
84) .. c4-c3           c4-c3   * 0 Sekunden
85) .. La7-e3          La7-e3  * 0 Sekunden
86) .. Dg1-f1          Dg1-d1  
87) Te1xe6             Te1xe6  * 0 Sekunden
88) .. Dd8xf6          Dd8xf6  * 0 Sekunden
89) Ld3xh7             Ld3xh7  * 0 Sekunden
90) Se8-d6             Se8-d6  * 0 Sekunden
91) .. Td8-d2          Dh4-f4  
92) .. Sd6-e4          Sd6-e4  * 0 Sekunden
93) Tf4-h4             Tf4-h4  * 0 Sekunden
94) .. Dd8xd3          Dd8xd3  * 0 Sekunden
95) .. Lc6xf3          Lc6xf3  * 0 Sekunden
96) .. Td1xf1          Td1xf1  * 0 Sekunden
97) .. g4-g3           g4-g3   * 0 Sekunden
98) .. Lb6xd4          Lb6xd4  * 0 Sekunden
99) Tf6xc6             Tf6xc6  * 0 Sekunden
100) Tb2xb7             Tb2xb7  * 0 Sekunden
101) Df7-g6             Df7-g6  * 0 Sekunden
102) .. Lb7-f3          Lb7-f3  * 0 Sekunden
103) .. Dg7-h6          Dg7-h6  * 0 Sekunden
104) Lg3-h4             Lg3-h4  * 0 Sekunden
105) .. Td8-d1          Td8-d1  * 0 Sekunden
106) .. Se6-d4          Se6-d4  * 0 Sekunden
107) Td1-d7             Td1-d7  * 2 Sekunden
108) h4-h5              h4-h5   * 0 Sekunden
109) Se4-f6             Da3-e7  
110) Le5-c7, Tc3-c7     Tc3-c7  * 0 Sekunden
111) Dc1xf4             Th4xf4  
112) Tg6xh6             Tg6xh6  * 0 Sekunden
113) .. d4-d3           d4-d3   * 0 Sekunden
114) .. Sf6xg4          Sf6xg4  * 0 Sekunden
115) Tg1xg7             Tg1xg7  * 1 Sekunde
116) .. Le4xg2          Le4xg2  * 0 Sekunden
117) Sa4-c3             Sa4-c3  * 0 Sekunden
118) Sc3-e4             Sc3-e4  * 4 Sekunden
119) Df2xf7             Df2xf7  * 0 Sekunden
120) d5-d6              d5-d6   * 0 Sekunden
121) Dh3xh6             Dh3xh6  * 0 Sekunden
122) Sd5-e7             h3xg4   
123) Sg5-e6             Sg5-e6  * 0 Sekunden
124) Lc4-d5             Lc4-d5  * 0 Sekunden
125) .. Df3-g2          Df3-g2  * 0 Sekunden
126) Tc2xc4             Tc2xc4  * 1 Sekunde
127) Te3-e2             Te3-e2  * 0 Sekunden
128) .. d5-d4           d5-d4   * 0 Sekunden
129) .. Dd7-d2          Dd7-d2  * 0 Sekunden
130) .. Lg7-h6          Lg7-h6  * 0 Sekunden
131) Da2xc4             Da2xc4  * 0 Sekunden
132) Le3-h6             Le3-h6  * 0 Sekunden
133) De3-h6             De3-h6  * 0 Sekunden
134) Sf4-h5             Sf4-h5  * 0 Sekunden
135) Sf4xe6             De4xh7  
136) .. Sf6xd5          Sf6xd5  * 0 Sekunden
137) .. Sf6-g4          Sf6-g4  * 0 Sekunden
138) Dd1-h5             Dd1-h5  * 0 Sekunden
139) .. Sf4-h3          Sf4-h3  * 3 Sekunden
140) Df6-g7             Df6-g7  * 0 Sekunden
141) .. Ld7-h3          Ld7-h3  * 0 Sekunden
142) .. Sb4-d3          Sb4-d3  * 0 Sekunden
143) Sf5-h6             f2-f4   
144) g2-g3              g2-g3   * 0 Sekunden
145) .. Sc6-b4          Sc6-b4  * 0 Sekunden
146) .. Df2-f1          Df2-f1  * 0 Sekunden
147) .. Td8-d3          Sf4-d3  
148) Lb2xf6             Lb2xf6  * 0 Sekunden
149) Ta1-a7             Ta1-a7  * 0 Sekunden
150) .. Tc2xa2          Tc2xa2  * 0 Sekunden
151) Dg5-h6             Dg5-h6  * 0 Sekunden
152) Te1xe5             Te1xe5  * 3 Sekunden
153) Dd2xg5             Dd2xg5  * 0 Sekunden
154) .. Td6-c6          Td6-c6  * 0 Sekunden
155) Dg4xg7             Dg4xg7  * 0 Sekunden
156) Lh5-f7             Lh5-f7  * 1 Sekunde
157) Td1-h1             Td1-h1  * 0 Sekunden
158) Dh8xg7             Dh8xg7  * 0 Sekunden
159) Th5xh7             Th5xh7  * 4 Sekunden
160) Dd3-h7             Dd3-h7  * 0 Sekunden
161) .. Df7-f1          Df7-f1  * 0 Sekunden
162) .. De2xf1          De2xf1  * 2 Sekunden
163) Lh4-f6             Lh4-f6  * 3 Sekunden
164) .. d6-d5           Kc8-b8  
165) Ld3xe4             Ld3xe4  * 1 Sekunde
166) Lc1-g5             Lc1-g5  * 0 Sekunden
167) .. Tc3-c1          Tc3-c1  * 3 Sekunden
168) .. Tc2-c1          Tc2-c1  * 0 Sekunden
169) Lg2xb7             Lg2xb7  * 3 Sekunden
170) Dc2xc6             Dc2xc6  * 0 Sekunden
171) Td1xd7             Lb1-a2  
172) Te3-e8             Te3-e8  * 0 Sekunden
173) .. Sf4xh3          Sf4xh3  * 0 Sekunden
174) Tf6xg6             Tf6xg6  * 0 Sekunden
175) Sd4-f5             g2-g3   
176) Td1xd4             Td1xd4  * 0 Sekunden
177) Lh5xg6             Kh1-g1  
178) Dd5-e6             Dd5-e6  * 0 Sekunden
179) .. Tg6-h6          Tg6-h6  * 2 Sekunden
180) Df7-g8             Df7-h5  
181) e5xf6              Dc2xe4  
182) .. Th8xh2          Th8xh2  * 1 Sekunde
183) Sd5-c7             a2-a3   
184) a3xb4              O-O     
185) Dd4-g4             Te2xe8  
186) Te6-d6             Te6-d6  * 0 Sekunden
187) Le3xc5             Le3xc5  * 0 Sekunden
188) Lc4-f7             Lc4-f7  * 0 Sekunden
189) Tc7xh7             Tc7xh7  * 0 Sekunden
190) Th1-h8             Th1-h8  * 0 Sekunden
191) Sh3-g5             Sh3-g5  * 0 Sekunden
192) .. Td8xd5          Td8xd5  * 0 Sekunden
193) Sh5-f6             Sh5-f6  * 1 Sekunde
194) .. De6-e5          De6-e5  * 0 Sekunden
195) d5-d6              d5-d6   * 0 Sekunden
196) Sf3-g5             Se4-c5  
197) Td1xd5             Td1xd5  * 1 Sekunde
198) Dd8-h8             Dd8-h8  * 0 Sekunden
199) g5-g6              g5-g6   * 0 Sekunden
200) .. Sc6-d4          Sc6-d4  * 0 Sekunden
178 von 200 Zügen gefunden
10.03.2019 12:53:34, Gesamt Dauer: 00:19:47 Wertungszeit: 02:36 = 156 Sekunden
Parent - - By Peter Martan Date 2019-03-10 13:21
Danke dafür, Lothar. Eigentlich ist 178/200 allerdings für diesen leichten Test immer noch erst Crafty- Niveau. (176, soweit ich mich erinnere, bei auch 5"/Zug.)

Beim Eret schneiden die 40er Netze anscheinend relativ zu anderen Engines besser ab als in diesem Uralt- Test, der WAC ist halt auch ziemlich auf Menschen zugeschnitten, irgendwie ist das Leela offenbar immer noch "zu minder".
Parent - By Lothar Jung Date 2019-03-10 13:27
Ich werde Eret jetzt testen.
Parent - - By Lothar Jung Date 2019-03-10 21:19
Hallo Peter,
ich habe Eret durchlaufen lassen, dauert ewig!
Die Ausgabedatei ist riesig.
Wie beurteile ich, welche Stellungen gelöst sind.
Manche sind nur teilweise gelöst.

Viele Grüße

Lothar
Parent - By Klaus S. Date 2019-03-10 21:53
Was meinst du damit?

Vielleicht dieser Fehler hier:
http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?tid=10155
Parent - - By Peter Martan Date 2019-03-10 21:56
Lothar Jung schrieb:

Hallo Peter,
ich habe Eret durchlaufen lassen, dauert ewig!
Die Ausgabedatei ist riesig.
Wie beurteile ich, welche Stellungen gelöst sind.

Du musst ein GUI nehmen, dass fixe Zeiten einhält, Fritz tut das normaler Weise auch, wenn du nicht zusätzliche Plys in den Anforderungen eingibst, und das dann vielleicht bei LC0 ewig dauern kann, bis die nächsten Iterationen durch sind, obwohl die Lösung schon stimmt.

Und die Ausgabedatei hängt natürlich auch vom GUI ab, riesig könnte ich mir vorstellen, dass sie bei ungebührlichem Zeitverbrauch in Arena und in Shredder würde, wobei du zumindest im Shredder (in Arena müsste ich es ausprobieren) sowieso bei der TC "genaue Zeit" ankaken solltest, weil das sonst auch zu großzügig mit der selbstständigen Zeiteinteilung der Engine ist, vor allem wieder bei Plus-Plies im Anforderungs- Dialog.

Wie hast du denn den WAC getestet?

Vielleicht liest Walter Eigenmann mit und gibt Tipps, wie man LC0 am besten vergleichbar mit seinen Ergebnissen in welchem GUI wie genau einstellt.

Ich würde mal einfach im Fritz die zusätzlichen Plies ganz auf 0 oder höchstens auf 1 stellen. Dann müsste Zeitmissbrauch eigentlich schon ziemlich vermieden werden, und die Ausgabedatei ist bei der Fritz- Testsuite sowieso immer gleich kurz.

Kann's leider nicht mit einer GPU- Leela probieren, bei mir läuft nach wie vor nur die CPU- LC0.exe.
Parent - By Lothar Jung Date 2019-03-11 09:35
Hallo Peter!
Ich schicke Dir mal die Ausgabedatei.
Grüße
Lothar
Parent - - By Lothar Jung Date 2019-03-11 20:13 Edited 2019-03-11 20:16
Hallo Peter,

das Netz 41453 erreichte 68 Punkte von 111.

Grüße

Lothar
Parent - By Peter Martan Date 2019-03-11 21:48
Ok, Lothar, danke!
Parent - - By Walter Eigenmann Date 2019-03-11 11:48 Edited 2019-03-11 11:52 Upvotes 1
Lothar Jung schrieb:
ich habe Eret durchlaufen lassen, dauert ewig!
Die Ausgabedatei ist riesig. Wie beurteile ich, welche Stellungen gelöst sind.
Manche sind nur teilweise gelöst.

"Teilweise gelöst"? Ein Stellungstest-Output hat nur zwei Zustände: Richtig oder falsch...

Hier ein paar technische Details zum Engine-Stellungstest-Lösen:

F R I T Z (bis und mit Ver. 13)

1. Die Funktion "Testsuite lösen" (Reiter "Engine") ist ab den Fritz-14-Versionen buggy, die Lösungs-Outputs werden zerschossen.
Also die Versionen bis max. 13 benützen. (Hoffentlich bereinigt Chessbase diesen Riesenbug in der bevorstehenden Fritz-17-Ausgabe...)

2. Beim Testsuites-Lösen kann es grundsätzlich - zumal bei schwierigen Sammlungen wie z.B. dem ERET - zu Fluktuationen beim
Zug-Output kommen: Nach 2 Sekunden bringt eine Engine den Lösungszug, nach 5 Sekunden verwirft sie ihn wieder, ab der 14. Sekunde behält sie ihn, u.ä.
Wird also bei "Testsuite lösen" unter "Extra Halbzüge" eine zu geringe Anzahl (weniger als 10) eingestellt, trägt Fritz den ggf. richtig gefundenen Zug ein
und geht sofort weiter zur nächsten Stellung, was wieder ggf. zu einer verfälschten Zeiten-Bilanz pro Engine/Test führt.
Das kann verhindert werden, indem man unter "Extra Halbzüge" am besten "99" einträgt, womit die Engines über die volle Distanz
der "Maximalen Lösungszeit" gezwungen werden - im Falle des ERET empfohlenerweise 15 sec./Stellung auf flotter Hardware).
Der Test dauert dadurch insgesamt länger, ist aber korrekter.

3. Bei der Abarbeitung generiert die Fritz-GUI "technische Meldungen", die "kopiert" werden können und dann
in einer Text-Datei eine übersichtliche Liste ergeben, z.B.:

1. ERET 001 - Entlastung,  Akopian-Khenkin, Tilburg 1994   Gelöst in 0.03s/8; Gelöst: 1
2. ERET 002 - Zugzwang,  Akerblom 1961   Gelöst in 0.03s/7; Gelöst: 2
3. ERET 003 - Linienoeffnen,  Alvarez-Kokkila, CorrGame 1997   Gelöst in 0.20s/6; Gelöst: 3
4. ERET 004 - Endspiel L&S vs L&S,  Anand-Shirov, Advanced Chess 2000   Gelöst in 14.66s/13; Gelöst: 4
5. ERET 005 - Laeuferopfer f7,  Andriulaitis-Ruefenacht, CorrGame 1999   Gelöst in 11.73s/13; Gelöst: 5

   (etc.)

4. Will man eine differenzierte Rangliste bereits absolvierter Programme, kopiert man bei "Testsuite lösen" die "Früheren Ergebnisse" in
eine Excel-Datei (bzw. in die Gratis-"LibreOffice", welche dann sekundengenau jede Engine bei jeder Stellung listet.

A R E N A (3.5.1)

1. Unter dem  Interface-Menü "Motoren" wird die Funktion "Automatische Analyse" (von EPD- und PGN-Stellungen) verwendet,
wo beim Reiter "Motoren" z.B. "15 Sekunden pro Zug" eingestellt werden.
Experimentell interessant ist auch die Option "Feste Suchtiefe" verwenden, was "Fritz" nicht anbietet.

2. Der Reiter "Ausgabe" stellt zwei Text-Output-Optionen zur Verfügung: Eine "Protokoll"-Datei und eine "Report"-Datei.
Das Protokoll erfasst die umfängliche Zug-Evaluation einer jeden Engine bei jeder Stellung, kann also mit der Zeit riesig/unübersichtlich werden.
(Für spezifisch Programm-Interessierte natürlich trotzdem aufschlussreich).
Übersichtlicher ist der Report, der nur den Lösungszug und den Engine-Zug listet, was dann z.B. so aussieht:

1)  Tf1xf4             Tf1xf4  * 0 Sekunden
2)  Sf8-g6             Sf8-g6  * 0 Sekunden
3)  f4-f5              f4-f5   * 0 Sekunden
4)  Sf3xg5             Sf3xg5  * 7 Sekunden
5)  Lb3xf7             Lb3xf7  * 0 Sekunden
6)  .. Sd7-c5          Sd7-c5  * 4 Sekunden
7)  .. Sd7-e5          Sd7-e5  * 4 Sekunden
8)  Db3xd5             Db3xd5  * 0 Sekunden
9)  Se5-g6             h2-h3   
10) .. d5-d4           d5-d4   * 2 Sekunden


(etc. - Stellung 9 wurde also nicht gelöst)

Sowohl bei Fritz wie bei Arena haben die "Stellungstest"-Funktionen noch weitere Parameter - am differenziertesten geht Arena mit dieser Funktion um,
weil dort die individuellsten Einstellungen vorgenommen werden können, während z.B. Shredder nur rudimentäre User-Handlings bzw. Outputs zur Verfügung stellt.
(Andererseits können bei Shredder wieder mittels "Triple Brain" sogar zwei Engines gleichzeitig einen Test absolvieren...)

Gruss: Walter

.
Parent - By Michael Scheidl Date 2019-03-11 13:04
Danke Dir für die Warnung (habe derzeit F13 und F15). - Für längere Bedenkzeiten wäre extra Halbzüge 3 ein guter Kompromiß (extra Halbzug 1 rechnet nur die aktuelle Iteration fertig).
Parent - - By Peter Martan Date 2019-03-11 14:09 Edited 2019-03-11 14:15
Hallo Walter!

Danke für die detaillierte Anleitung, dadurch angeregt habe ich jetzt auch erstmalig Arena (3.0) probiert, dabei eine Entdeckung gemacht, die ich doch auch vermelden will.

Dieses GUI bietet ja auch die Möglichkeit, die Engine im MV- Modus, wenn man das in den UCI- Optionen so definiert, automatisch analysieren zu lassen.

Weil man liest, die MCTS- Engines (ich weiß schon, dass das für LC0 nicht die ganz richtige Bezeichnung ist) würden an Time to Depth weniger unter MV leiden als die A-B-Engines, wollte ich mal sehen, ob sich das beweisen lässt im Eret und habe LC0 im MV4 losgelassen auf die Suite.

Schon beim Zuschauen fiel mir auf, dass Lösungen, die im Output oben waren, nicht als richtig gezählt wurden. Das liegt offenbar daran, dass die Reihenfolge, in der die MV- Lines in der Report- Datei gelistet werden in umgekehrter Reihenfolge ihrer Evals aufscheinen, dadurch ist der oberste der am schlechtesten gewertete, wird aber offenbar als "Lösung" mit der gespeicherten verglichen.

Hier der Anfang der Report- Datei kopiert:

Analyse von C:\...\Eigenmann Rapid Engine Chess.epd  
11.03.2019 13:50:10 Spielstufe: 15 Sekunden
Analysemotor: Lc0H

1 Rxf4; id "ERET 001 -
    Suche Zug: Tf1xf4
    Bester Zug (Lc0H): Sg6xf4
    Nicht gefunden in: 00:15
     1/2  00:00             6  13  -8,66  Sg6xf4 d7-d6
     1/2  00:00             6  13  -6,82  Sc3-d5 d7-d6
     1/2  00:00             6  13  -3,90  Sg6xe5 f6xe5
     1/2  00:00             6  13  +0,19  Dh5-h7 Tg8xg6
   ---------------------------------------------------------------------------
   ---
   ---------------------------------------------------------------------------
     6/12  00:14           696  49  -5,00  Sc3-d5 Le5xb2 Dh5-h7 Tg8xg6 Dh7xg6 Ke8-f8 Tf1xf4 Lb2xa1 Sd5xf6 La1-d4+ Kg1-h1
     6/12  00:14           696  49  -3,71  Sg6xe5 f6xe5 Tf1xf4 e5xf4 Sc3-d5 Dd8-g5 Dh5xg5 Sf7xg5
     6/12  00:14           696  49  -2,69  Dh5-h7 Tg8xg6 Dh7xg6 Sc6-e7 Dg6-g7 d7-d6 Sc3-d5 Se7xd5 Lb2xe5 d6xe5 e4xd5 Dd8-e7
     6/12  00:14           696  49  -2,42  Tf1xf4 Le5xf4 Sg6xf4 Sc6-e5 Sc3-d5 d7-d6 Ta1-f1 Tg8-h8 Dh5-e2 Th8-h6 Sd5-e7
   11.03.2019 13:50:28, Zeit für diese Analyse: 00:00:15, Wertungszeit: 00:15

...
...

3 f5; id "ERET 003 - L
    Suche Zug: f4-f5
    Bester Zug (Lc0H): Dh4-f2
    Nicht gefunden in: 00:15
     1/2  00:00             4  8  +0,58  Ld3-e2 Sd7-f6 Dh4xf6
     1/2  00:00             4  8  +0,83  Tf3-h3 Sd7-f8 Dh4-d8
   ---------------------------------------------------------------------------
     2/4  00:01            16  11   0,00  Dh4-f2
     2/4  00:01            16  11  +0,61  f4-f5 Sd7-e5 Tf3-h3 Sb4xc2
     2/4  00:01            16  11  +0,87  Ld3-e2 b7-b5 a5xb6/ep Sb4xc2
     2/4  00:01            16  11  +1,48  Tf3-h3 h7-h6 f4-f5 Sd7-e5
   ---------------------------------------------------------------------------
---
   ---------------------------------------------------------------------------
     7/13  00:13         1.498  107  +0,92  Ta1-f1 Dc7-d8 Dh4-f2 Sb4xd3 c2xd3 Dd8xa5
     7/13  00:13         1.498  107  +0,74  Ld3-e2 Sd7-f6 Ta1-a4 Sb4-c6 Sd4-b3 Dc7-e7
     7/13  00:13         1.498  107  +0,82  Tf3-h3 Sd7-f6 Sd4-f3 e6-e5 f4-f5 d6-d5
     7/13  00:13         1.498  107  +1,70  f4-f5 e6xf5 e4xf5 Sd7-e5 Tf3-h3 h7-h5 Ld3-e2 Dc7-e7 Le3-g5 De7-c7 Ta1-f1 Dc7xa5
   11.03.2019 13:51:00, Zeit für diese Analyse: 00:00:15, Wertungszeit: 00:45

Ob das bei 3.51 auch noch so ist, kann ich nicht sagen, aber in 3.0 scheint's mir ein Bug für den Sonderfall automatische Analyse und MV- Mode zu sein.

Die schwachen Tiefen liegen übrigens nicht am MV- Mode (in erster Linie), sondern daran, dass das die CPU-Version ist, ich habe immer noch keine anständige neue Graphikkarte.
Parent - - By Walter Eigenmann Date 2019-03-11 14:43
Peter Martan schrieb:
Weil man liest, die MCTS- Engines (ich weiß schon, dass das für LC0 nicht die ganz richtige Bezeichnung ist) würden an Time to Depth weniger unter MV leiden als die A-B-Engines, wollte ich mal sehen, ob sich das beweisen lässt im Eret und habe LC0 im MV4 losgelassen auf die Suite.
Schon beim Zuschauen fiel mir auf, dass Lösungen, die im Output oben waren, nicht als richtig gezählt wurden. Das liegt offenbar daran, dass die Reihenfolge, in der die MV- Lines in der Report- Datei gelistet werden in umgekehrter Reihenfolge ihrer Evals aufscheinen, dadurch ist der oberste der am schlechtesten gewertete, wird aber offenbar als "Lösung" mit der gespeicherten verglichen.

Wenn ich dazu komme, schaue ich mir das bei 3.5.1 an; mir war, als wäre damals von 3 auf 3.5.1 u.a. auch das verbessert worden.

Apropos: Hat niemand hier noch einen Draht zu den damaligen Arena-Machern? Frank Quisinsky?
Das Interface hat noch viel Potential, schade dass da seit Jahren nix mehr läuft!

Gruss: Walter

.
Parent - By Wolfgang Battig Date 2019-03-11 21:24
Walter Eigenmann schrieb:

...
Apropos: Hat niemand hier noch einen Draht zu den damaligen Arena-Machern? Frank Quisinsky?
Das Interface hat noch viel Potential, schade dass da seit Jahren nix mehr läuft!

Gruss: Walter

.


Die Arena-Seite ist seit einiger Zeit nicht erreichbar.
Du könntest versuchen Michael Diosi per PN über Talkchess zu erreichen. Er ist dort als User registriert.
Parent - By Achim Müller Date 2019-03-11 20:04
Walter Eigenmann schrieb:

F R I T Z (bis und mit Ver. 13)

1. Die Funktion "Testsuite lösen" (Reiter "Engine") ist ab den Fritz-14-Versionen buggy, die Lösungs-Outputs werden zerschossen.
Also die Versionen bis max. 13 benützen. (Hoffentlich bereinigt Chessbase diesen Riesenbug in der bevorstehenden Fritz-17-Ausgabe...)


Ja, mich wundert, dass dies sonst keinem aufgefallen ist, und cb das offenbar auch bis einschließlich Fritz16 nicht auf dem Schirm hat. Ich wäre vor fast einem Jahr, als ich nach langer Zeit anlässlich lc0 wieder mit Tests angefangen habe, fast verzweifelt und habe dann auch Fritz 13 reaktiviert.

Ciao

Achim
Parent - By Chess Player Date 2021-08-30 12:24 Upvotes 1
Vielen Dank Herr Eigenmann. 
Parent - - By Clemens Keck Date 2019-03-10 14:54
Ich spiele viel online auf Schachservern mit engines.
10 Jahre sind es locker
Seit einem Monat spiele ich mit Lc0 (auf RTX 2070).
Bis hin zum 44 core konnte ich schon alles schlagen

Mit NN 33000 hatte ich einige Partien mit krassen Turmeinstellern.
Das lies sich sogar offline reproduzieren.
NN40 spielte diese Züge nicht mehr.
Hab jetzt auf NN 41543 gewechselt. Mal sehn wie das wird.

C.K.
Parent - - By Lothar Jung Date 2019-03-10 16:00
Hier ein Blitztunier 2/2 32930 gegen 41444 auf einer RTX 2080ti:

http://talkchess.com/forum3/viewtopic.php?f=6&t=70149

Lothar
Parent - - By Clemens Keck Date 2019-03-10 18:46 Upvotes 2
Dieser "Tester" spielt nach meiner Meinung einen ziemlichen Mist zusammen.

Alle seine Tests ( auf 16 core )mit ponder on gegen Stockfish liefen mit 2 threads für Lc0 und 32 threads für Stockfish...Also wurden 2 threads immer von beiden engines gleichzeitig genutzt.
Als ob Lc0 diese 2 threads nicht nutzt....
Ich hab ihn auch mehrmals drauf hin gewiesen, aber er sieht das nicht ein.
Das ist so eine hirnverbrannte Stromverschwendung

Naja, und meine Meinung über 2+1 Tests ( 20 Spiele) hat sich mittlerer Weile wohl rumgesprochen .....
Das passt zu Gesamtbild.
Wir leben in einer Fake-News-Gesellschaft.
C.K.

Lothar Jung schrieb:

Hier ein Blitztunier 2/2 32930 gegen 41444 auf einer RTX 2080ti:

<a class='ura' href='http://talkchess.com/forum3/viewtopic.php?f=6&t=70149'>http://talkchess.com/forum3/viewtopic.php?f=6&t=70149</a>

Lothar
Parent - By Lothar Jung Date 2019-03-11 08:57 Edited 2019-03-11 09:06
Hier ein anderer Test auf RTX 2080.

https://groups.google.com/forum/m/#!topic/lczero/FG8PmOSPKt4

3300 vs 41443 2min+2sec

Rank  Engine  Score  Lc  Lc  S-B
1  Lc0-33000(3300elo)  50.0/100  · ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·  =======1=0===0==1=====1======1=====0==0=====001====0===1=0======0======1==1=1======0============1===   2500.00
1  Lc0-41443  50.0/100  =======0=1===1==0=====0======0=====1==1=====110====1===0=1======1======0==0=0======1============0===  · ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·· ·   2500.00

100 of 101 games played

Tournament start: 2019.03.09, 14:18:31
Latest update: 2019.03.10, 12:56:25
Site/ Country: DESKTOP-2DLCSDH, United States
Level: Blitz 2/2
Hardware: Intel(R) Core(TM) i7-7700K CPU @ 4.20GHz with 16.0 GB Memory
Operating system: Windows 10 Pro Professional (Build 9200) 64 bit
PGN File: 3300vs41443 2+2 sec.pgn
Table created with: Arena 3.5.1                                                                                 

So after switching to the newest engine 0.21RC2 , the newest 41443 net showed its full potential drawing with older 33000 net 50 to 50. This is an amazing result that indicate that 40xxx is capable of being the best chess engine on the planet. Let see what will happen within a few next days!

Bei den Tests Net/Net spielen die SF-Einstellungen keine Rolle.

Netz 41450 liegt jetzt 2 Elo über Netz 32930.

https://docs.google.com/spreadsheets/d/1XSJiCcQpCLv0fNwrUn7jXjdkZFU63YFEWpdXv6dSSg0/htmlview#gid=312836954
Parent - By Michael Scheidl Date 2019-03-11 13:10
Zitat:
My baby left me but I don't kehr

das hat mich erheitert, danke vielmals

Was manche "Tests" betrifft, ist es oft wirklich qualvoll die Fehlkonfigurationen zu ertragen. Ich klick da nurnoch weg so schnell es geht, und wende mich sinnvolleren Dingen zu.
Parent - - By Stefan Pohl Date 2019-03-11 11:41
https://www.sp-cc.de/long-thinkingtime.htm

Net 41390 liegt nur ganz knapp hinter 32890. Weit innerhalb der Errorbar.
Parent - By Reinhold Stibi Date 2019-03-11 14:19 Upvotes 1
Nach meinen Tests mit GTX 960 und GTX 1050 Ti   gegen  Stockfish 10

Testbedingungen wie üblich  wurden von mir schon öfters aufgeführt:

Net:

32930  vom 28.01.19     50 Partien    -42

40786  vom 10.02.19     65    "          -27

AntiFish 1.0  13.02.        58              -24

LeelaFish      20.02         58              -42

41092          23.02         48              -26

41356          06.03         40             +9

41412          08.03         70             -20

41432         09.03         30             +12

Die Networks von gestern und heute sind wieder enttäuschend.

Schlussfolgerung:

Einige 40er Nets  sind inzwischen besser als Net 32930.

Lc0 hat inzwischen mit Stockfish 10 gleichgezogen, evtl. geringfügig und unbedeutend darunter.

Es dürfte für Lc0 sehr schwer werden Stockfish 10 eindeutig zu übertreffen.
Parent - - By Patrick Götz Date 2019-03-11 15:23
Latest Website-News (2019/03/27)?
Parent - - By Stefan Pohl Date 2019-03-11 16:35
Patrick Götz schrieb:

Latest Website-News (2019/03/27)?


Oh. Sorry. Habs geändert....Danke für den Tipp.
Parent - - By Reinhold Stibi Date 2019-03-21 17:33 Upvotes 1
Bei mir läuft gerade ein Riesenturnier mit 26 Engines und 756 Partien.

Nach 245 Partien führt Lc0 Net 41513 mit einem halben Punkt Vorsprung vor Stockfish 10

Mit Stockfish 10 kann noch Lc0 Net 41537  und Lc0 Net 41412 mithalten.

Leider sind die neueren Lc0 Nets  trotz hoher Net-Elo erheblich schlechter.
Parent - - By Tom Paul Date 2019-03-22 07:49
Reinhold Stibi schrieb:

Bei mir läuft gerade ein Riesenturnier mit 26 Engines und 756 Partien.

Nach 245 Partien führt Lc0 Net 41513 mit einem halben Punkt Vorsprung vor Stockfish 10

Mit Stockfish 10 kann noch Lc0 Net 41537  und Lc0 Net 41412 mithalten.

Leider sind die neueren Lc0 Nets  trotz hoher Net-Elo erheblich schlechter.


Weil die Anzahl der verfügbaren (Parameter) begrenzt ist, ist das so. Da hilft nur ein größeres Netzwerk und das führt zu einer längeren Trainingszeit. Deshalb haben sich die Entwickler entschieden diverse andere erfolglose Versuche zu unternehmen, was zwar zu keinen Verbesserungen führte aber insgesamt um ein vielfaches mehr Trainingszeit in Anspruch genommen hatte.
Parent - - By Reinhold Stibi Date 2019-03-23 16:50 Edited 2019-03-23 16:53 Upvotes 1
Das aktuelle Net von heute 41658 schneidet gegen Stockfish 10 hervorragend ab.

Super Start: Nach 10 Partien  mit GTX 1050 Ti  gegen Stockfish 10 3 CPU Xeon E5345
                   mit 2 Min.+6 Sek.je Zug  und Eröffnungsvorgabe 4 Züge  Stefan Pohl

  +4   = 6   -0    = 70 %  =  + 147 Elo für Lc0 - kaum zu glauben, aber wahr.

Das Super-Ergebnis wird sich sicher nicht halten lassen; wäre aber schön wenn
Lc0 nach 58 Partien mit + abschneiden könnte.

Bevor ich ein Match starte mache ich einen Kurztest mit einigen taktischen Stellungen
und Endspielstellungen. Wenn dieser positiv ausfällt, sind in der Regel auch die Turnier-
Ergebnisse gut  - dies ist bei Net 41658 der Fall.

Wieder einmal von Lc0 positiv überrascht.
Parent - - By Frank Brenner Date 2019-03-24 01:39
Nr 10 Partien und dann diese Lobhudelei ?

10 Partien sind in diesem Fall so gut wie bedeutungslos und von der Aussagekraft in etwa Vergleichbar wie 0 Partien.

LOL
Parent - - By Guenter Stertenbrink Date 2019-03-24 06:15 Edited 2019-03-24 06:18
10 sind mehr als 0

Carlsen-Caruana waren 12

besser waeren m.E. 100 Partien mit 1/10 Bedenkzeit , dann kann man hochrechnen
auf groessere Bedenkzeiten anhand voriger Erfahrungen
jedenfalls bei AB, bei NN koennte das schwieriger sein, bin mir nicht sicher
Parent - - By Reinhold Stibi Date 2019-03-24 08:05
Inzwischen ist das Match Lc0 Net 41658  GTX 1050 Ti  gegen Stockfish 10  3 CPU  Xeon E5345

nach 58 Partien zu ende

mit einem Super-Ergebnis für Lc0    +12   =39   -7    = 54,3 %   = +30 Elo für Lc0.

Das hätte ich nicht gedacht, Lc0 Net 41658 ist leicht besser wie Stockfish 10  und wahrscheinlich
gleichstark wie der neueste stärkste Stockfish.

Von längeren Bedenkzeiten über 8 Sek.pro Zug halte ich nichts; von einem Computer erwarte ich schnelle Ergebnisse
und ich möchte auch nicht während der Partieverfolgung einschlafen.

Die Suchtiefen sind inzwischen bei den Engines bei ca. 8 Sek. so hoch, dass es wirklich keiner längere Bedenkzeit
bedarf.
Parent - - By Reinhold Stibi Date 2019-03-24 08:44
Nachtrag:

Im Eigenmann Test hat Lc0 Net 41658  GTX 1050 Ti  30 Sek.

mit 69 aus 111 auch hervorragend abgeschnitten   =62,1 %  Durchschnittszeit = 5,95s.
Parent - By Guenter Stertenbrink Date 2019-03-24 16:31 Edited 2019-03-24 16:45
mtgostark gibt nun 3444 fuer 41650 , 14 mehr als 32930 ,
welches 3 weniger performierte als SF im TCEC14 Superfinale

https://docs.google.com/spreadsheets/d/1XSJiCcQpCLv0fNwrUn7jXjdkZFU63YFEWpdXv6dSSg0/edit#gid=312836954

gefisht gibt das dann weitere 40
Up Topic Hauptforen / CSS-Forum / Testen von aktuellen 414xxx-Netzen

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill