EPD Testsuite der Lc0 Netze

By Lothar Jung Date 2023-08-23 12:19

**EPD Testsuite:** 783 positions: ACT 1B through 5, TTT 1 and 2 (1B 183, others 100 each), http://dorszcz.blogspot.com/
**Hardware:** R7 2700X | RTX 3080 10GB
**Stockfish:** 23081619-axv abrok.eu 14ths 8G hash Syzygy-6
**Lc0:** 0.31dag-Ergodice commit 8138ee5 defaults ex. multi_stream=true (off for 60 secs.) Syzygy-6
**Lc0 nets:** _t2 = t2-768x15x24h-swa-4942500.pb.gz
_t1 = t1-768x15x24h-swa-4000000.pb.gz
_LgDist = t1-smolgen-512x15x8h-distilled-swa-3395000.pb.gz
_BT2 = BT2-768x15smolgen-12h-do-01-4510000.pb.gz
_T80 = 814687 768x15 (recent s.p. 198)
_T80old = 811963 512x19 (prior size, high near the last)
_T78 = 786948 512x20 (peak s.p.)```ACT 1B-5 + TTT 1-2
60 secs/position solved/783   solved ave time
Lc0.31dagEr_t2    650 83.0%   5.58 secs *
15 secs/position
Lc0.31dagEr_LgDist   583 74.5%   1.82 secs
Stockfish-23081619   578 73.8%   2.22 secs
Lc0.31dagEr_t2    573 73.2%   1.73 secs *
Lc0.31dagEr_BT2 567 72.4%   1.78 secs
Lc0.31dagEr_t1    558 71.3%   1.79 secs
Lc0.31dagEr_T80 537 68.6%   2.05 secs
Lc0.31dagEr_T80old   533 68.1%   1.88 secs
Lc0.31dagEr_T78 521 66.5%   2.15 secs```\* t2 60s additional solutions were very long, see screenshot example.

By Peter Martan Date 2023-08-23 12:37 Edited 2023-08-23 12:48

Ja, der gute alte ACT, von dem hab' ich auch viel in vielen zusammengewürfelten Suiten. Für alle Stellungen von ACT1-5 ist mir die komplette Sammlung dann aber doch zu inhomogen für eine gemeinsame Hardware- TC. Da werden bei STC immer wieder dieselben Stellungen von denselben Engines nicht gelöst und bei etwas längeren Rechnenzeiten bleiben immer dieselben übrig, die nicht von allen gelöst werden. Sowas müsste man dann schon noch, wie ich jetzt 2x bei den 512 gezeigt habe, in win, draw, loss von Stellung zu Stellung und von Engine zu Engine auswerten (also jede Stellung, die von 2 Engines gemeinsam gelöst oder gemeinsam nicht gelöst wird als Remis, die nur von der einen als 1-0 und die nur von der anderen als 0-1) noch besser mit EloStatTS, das auch die Lösezeiten für die gemeinsam gelösten berücksichtigt.

By Max Siegfried Date 2023-08-23 12:55

Peter Martan schrieb:

Für LC0 ist diese Testsuite noch gut genug aber nicht für Stockfish.
https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=158491;hl=Stockfish%20test%20suite%202022

By Lothar Jung Date 2023-08-23 13:02

Quatsch! Schau dir doch die Hardware-Relationen an!

By Lothar Jung Date 2023-08-23 13:04

Klar ist deine Suite besser. Die EPD ist aber verbreitet.
Auf die Historie und Vergleiche kommt es an.
Eine Suite muß etabliert sein.