Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Longtime Testrun von Netz 61894
- - By Stefan Pohl Date 2020-01-16 12:34 Edited 2020-01-16 12:41
Inzwischen habe ich den 5. Testrun meines neuen longtime Testruns (300 SALC Armageddon Partien gegen Stockfish 191210 mit 8'+5'' (Partiedauer ca. 30 Minuten)) abgeschlossen. Erster Testrun eines T60 Netzes. Nicht übel. So langsam wird es was mit T60 (nach über 40 Mio Lernpartien mit 10000 n/Zug wird das auch langsam mal Zeit)...bis zur aktuellen Stockfish-Dev und zum Leelenstein Netz fehlt schon noch etwas, aber der Abstand ist nicht mehr sehr groß. Stockfish 10 wurde aber schon deutlich überholt (3508 SPCC-Elo). Das ist ja schon mal was.
Nächster Testrun: Fat Fritz 1.0. Danach vermutlich Leelenstein 13. Aber solange die T60-Lernerei läuft, werde ich immer mal wieder ein T60-Netz testen. Aber, da jeder Testrun gut 6 Tage dauert, kann das eben nur mit rel. großem, zeitlichen Abstand erfolgen.

Hier der Überblick:

Code:

300 SALC-Armageddon games each testrun (=all draws are a win for Black)
vs Stockfish 191210 (SPCC-Elo: 3555)

1 Lc0 0.23.1 LS 12.2 (20x256)    : 3562 300 (+153,=  0,-147), 51.0 %
2 Lc0 0.23.1 t40-1705 (30x384)   : 3548 300 (+147,=  0,-153), 49.0 %
3 Lc0 0.23.1 42741 (20x256)      : 3541 300 (+144,=  0,-156), 48.0 %
4 Lc0 0.23.1 61894 (24x320)      : 3529 300 (+139,=  0,-161), 46.3 %
4 Lc0 0.23.1 J13B.2-200 (24x320) : 3529 300 (+139,=  0,-161), 46.3 %

Games        : 1500 (finished)

White Wins   : 766 (51.1 %)
Black Wins   : 734 (48.9 %)
Draws        : 0 (0.0 %)
Unfinished   : 0

White Score  : 51.1 %
Black Score  : 48.9 %


Download der 1500 Partien auf meiner Website, oder direkt hier:

https://www.sp-cc.de/files/nn_longtime_games.zip
Parent - - By Lothar Jung Date 2020-01-23 11:35
Hier ein Test auf Discord zwischen LS 12.2 und 62078:

**Match**: LS 12.2 vs 62078 in time control.**
**LC0 version:** 0.23.2
**LC0 options:** cudnn-fp16, 2x2070 (demux), <@!115054542860713989> "bonus" settings: cpuct=2.147, fpu=0.443, pst=1.607, cpuct-base=18368, cpuct-factor=2.815 for both 
**Time control:**  20s+2s
**Hardware:** 2 x RTX 2070
**Book:** CCC 12 book (100 openings), in sequence, reversed color
**Tablebases:** 6-man TB
**Adjudication**: 6-man TB, -draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=800
**Software:**cutechess-cli
**Speed:** LS 12.2: 41.3 knps, 62078: 21.5 knps (with lc0 benchmark of this settings)
**Comments:** The score is: +22 -13 =165: win for the LS 12.2 net.
1) Congrats for who voted A (1st time wins) <https://discordapp.com/channels/425419482568196106/539960268982059008/669560216601362462>.
2) It is not equivalent of CCC Final, but the match will be very hard for T60.

```diff
tc=20s+2s, 2 x RTX 2070 (demux)
"bonus settings" cpuct=2.147, fpu=0.443, pst=1.607, cpuct-base=18368, cpuct-factor=2.815

   # PLAYER             :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L
   1 lc0.net.LS_12_2    :       8     10   104.5     200  52.3      94   22  165   13
   2 lc0.net.62078      :      -8     10    95.5     200  47.8     ---   13  165   22

White advantage = 33.47 +/- 10.32
Draw rate (equal opponents) = 85.36 % +/- 2.74
```
Parent - By Stefan Pohl Date 2020-01-23 12:22
Naja. Remisqoute 85%. So kann man kaum Spielstärkeunterschiede messen.
Deswegen nehme ich Armageddon zum testen von Lc0. Ich werde sicher in absehbarer Zeit ein aktuelles T60 testen. Aber ich brauche halt 6 Tage für einen Testrun.
Parent - - By Peter Martan Date 2020-01-23 12:39
Stefan Pohl schrieb:

Nicht übel. So langsam wird es was mit T60 (nach über 40 Mio Lernpartien mit 10000 n/Zug wird das auch langsam mal Zeit)...bis zur aktuellen Stockfish-Dev und zum Leelenstein Netz fehlt schon noch etwas, aber der Abstand ist nicht mehr sehr groß. Stockfish 10 wurde aber schon deutlich überholt (3508 SPCC-Elo). Das ist ja schon mal was.

Manchmal bewundere ich dich wirklich für deine Begeisterungsfähigkeit.

Aber im Ernst, danke, dass du dir das alles so konsequent, fleißig und reproduzierbar antust.
(Reproduzierbar natürlich nur für genau dieses Hardware- TC, das gleiche Teilnehmerfeld und die gleichen Eröffnungen, SCNR)
Parent - - By Stefan Pohl Date 2020-01-23 13:05 Edited 2020-01-23 13:07
Peter Martan schrieb:

Stefan Pohl schrieb:

Nicht übel. So langsam wird es was mit T60 (nach über 40 Mio Lernpartien mit 10000 n/Zug wird das auch langsam mal Zeit)...bis zur aktuellen Stockfish-Dev und zum Leelenstein Netz fehlt schon noch etwas, aber der Abstand ist nicht mehr sehr groß. Stockfish 10 wurde aber schon deutlich überholt (3508 SPCC-Elo). Das ist ja schon mal was.

Manchmal bewundere ich dich wirklich für deine Begeisterungsfähigkeit.

Aber im Ernst, danke, dass du dir das alles so konsequent, fleißig und reproduzierbar antust.


Wer keinen Enthusiasmus für eine Sache aufbringt, sollte sie lieber gleich sein lassen... Ich finde einfach, daß die NN-Revolution viel frischen Wind ins Computerschach bringt. Welches zuvor an der Spitze ja eher langweilig wurde, da Stockfish immer weiter enteilte. Und generell finde ich bionische Lösungen immer interessant. Und, daß (und wie schnell) die NeuralNetze so stark geworden sind, finde ich einfach faszinierend. Und die Art wie sie spielen auch. Und, wie sehr das auch auf das Spitzen-Menschenschach durchschlägt. Carlsen unglaubliche Dominanz seit der letzen WM (jetzt Weltmeister im Turnier-, Schnell- und Blitzschach(!!!) und seit zig Turnierpartien ohne Niederlage) beruht ja zu einem beträchtlichen Teil auf Inspiration durch die AlphaZero Partien, wie er selbst immer wieder betont.
Parent - By Peter Martan Date 2020-01-23 13:27
Stefan Pohl schrieb:

Carlsen unglaubliche Dominanz seit der letzen WM (jetzt Weltmeister im Turnier-, Schnell- und Blitzschach(!!!) und seit zig Turnierpartien ohne Niederlage) beruht ja zu einem beträchtlichen Teil auf Inspiration durch die AlphaZero Partien, wie er selbst immer wieder betont.

Da würde ich dann aber der Inspiration mehr an Erfolgsanteil zuschreiben als den AlphaZeroPartien, weil die werden sich die Konkurrenten wohl auch angeschaut haben. Er wird halt vielleicht von vornherein mehr Inspiration mitbringen, als so Mancher andere und gute Werbung, die sich sowohl für Sponsoren als auch für einen selbst gut auswirkt, ist doppelt gute Werbung.

Im Ernst, Stefan, du solltest nicht alles glauben, was Schachspieler so erzählen.
Up Topic Hauptforen / CSS-Forum / Longtime Testrun von Netz 61894

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill