Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / +130 ELO für Sergio20200801-1209.bin gegenüber SF
- - By Raphael Raberger Date 2020-08-01 11:42
Hallo allerseits,

ich habe hier einen kleinen und kurzen Testrun in Ultrabullet (0:15+0,2)
gemacht, und habe hier eine unglaubliche Performance vom neuesten Sergio-Netz gegenüber SF11.
RofChade ist leider ein bisschen arm.
Sicher sind 20 Runden nicht aussagekräftig (man muss laut Statistik min. 85 Partien haben, um eine Sicherheit von 95% zu haben (=> siehe Schwankungsbreite)),
aber sie geben eine Tendenz an.

https://www.comp.nus.edu.sg/~sergio-v/nnue/

Kompliment and Sergio Vieri.

Ich werde bei Interesse weiter testen.

Einstellungen:

TC: 0:15+0,2
6 Threads
Prozessor: Intel(R) Core(TM) i7-9750H CPU @ 2.60GHz, 2592 MHz, 6 Kerne, 12 logischer Prozessoren
Hash: 2048 MB
Ponder Off.

Start ELO: 0

Code:
1 Stockfish NNUE 20MB Sergio:  201   20 (+ 13,=  7,-  0), 82.5 %

RofChade                      :  10 (+ 10,=  0,-  0), 100.0 %
Stockfish 11                  :  10 (+  3,=  7,-  0), 65.0 %

2 Stockfish 11              :   68   20 (+  7,= 10,-  3), 60.0 %

RofChade                      :  10 (+  7,=  3,-  0), 85.0 %
Stockfish NNUE 20MB Sergio    :  10 (+  0,=  7,-  3), 35.0 %

3 RofChade                  : -269   20 (+  0,=  3,- 17),  7.5 %

Stockfish 11                  :  10 (+  0,=  3,-  7), 15.0 %
Stockfish NNUE 20MB Sergio    :  10 (+  0,=  0,- 10),  0.0 %

LG
Parent - - By Volker Göbel Date 2020-08-01 11:48
    Das scheint mir doch etwas viel zu sein. Das wäre ja sensationell.
Parent - - By Eduard Nemeth Date 2020-08-01 12:33
Auf Chess.com läuft gerade ein Match zwischen NNUE und Stockfish auf 90 Threads. NNUE führt mehr als deutlich. Das verwendete Netz ist nicht von Sergio sondern von JJosh "Network: jjosh 3". Was für ein Netz ist das, kann man es herunterladem?
Parent - By Peter Martan Date 2020-08-01 13:08
Eduard Nemeth schrieb:

Das verwendete Netz ist nicht von Sergio sondern von JJosh "Network: jjosh 3". Was für ein Netz ist das, kann man es herunterladem?

Ja, hier:

https://www.patreon.com/m/2450503/posts

Du musst bis unter den ersten freien Stockfinn CCC (0.5 und 0.4 noch Patron- pflichtig) runterscrollen, dann kommt 0.3.
Beachte, dass es ein 384x- Netz ist, also eine passende Binary braucht, eine stockfinn3.exe ist auch zum Download dort, funktioniert aber nur mit avx2- fähigen CPUs, soviel ich weiß, noch um einiges weiter unten gibt's bei SFinn 0.2 noch ein  popcnt- compile zusätzlich.

So richtig zur Entfaltung kommen, nach meinen bescheidenen Erfahrungen, die 30Mb- Netze nur auf wirklich starker Hardware, durchschnittliche CPUs bremsen sie ziemlich stark aus.
Parent - - By Andreas Strangmüller Date 2020-08-01 13:11
Parent - By Peter Martan Date 2020-08-01 13:22
Ich glaube, das ist noch eines später, das CCC zu dem dein Link führt.
Ich hab' ein Posting weiter oben einen gesetzt, der einen längeren Teil der Entwicklung der letzten Stock- Finnen beinhaltet, da kommt das 0.3- Netz noch ein Posting weiter unten.
Parent - By Clemens Keck Date 2020-08-01 12:31
immerhin reicht es für eine reißerische Überschrift

C.K.

Raphael Raberger schrieb:


Sicher sind 20 Runden nicht aussagekräftig (man muss laut Statistik min. 85 Partien haben, um eine Sicherheit von 95% zu haben (=> siehe Schwankungsbreite)),
aber sie geben eine Tendenz an.

- By Raphael Raberger Date 2020-08-01 13:37
Ich habe nun für jede Engine 40 Partien,
NNUE hält einen deutlichen Vorsprung, aber Elotechnisch nicht mehr so viel wie vorher:

Code:
1 Stockfish NNUE 20MB Sergio:  168   40 (+ 25,= 13,-  2), 78.8 %

RofChade                      :  20 (+ 19,=  0,-  1), 95.0 %
Stockfish 11                  :  20 (+  6,= 13,-  1), 62.5 %

2 Stockfish 11              :   70   40 (+ 15,= 19,-  6), 61.2 %

RofChade                      :  20 (+ 14,=  6,-  0), 85.0 %
Stockfish NNUE 20MB Sergio    :  20 (+  1,= 13,-  6), 37.5 %

3 RofChade                  : -238   40 (+  1,=  6,- 33), 10.0 %

Stockfish 11                  :  20 (+  0,=  6,- 14), 15.0 %
Stockfish NNUE 20MB Sergio    :  20 (+  1,=  0,- 19),  5.0 %


Die +130 ELO sind auf etwas unter +100 (genau +98, bitte nachrechnen und validieren ).
RofChade ist anscheinend nur dazu da, ein schönes Ergebniss der beiden führenden zu verhindern. 

Dennoch ein gewaltiger Vorsprung.

Es ist auch zu erwähnen, dass NNUE gegnüber SF 6 mal gewonnen (!) hat. Ein Winrate von etwas über 25%. Es minimiert die Remisquote, weil es gewinnt!
Die Tendenz baut sich aus: NNUE ist um 20 Hausecken besser als SF, nicht nur eine! 

Ich werde dies noch weiter fortführen, bis genug Runden da sind.

LG
P.S.: Könnte wer ein ähnliches Turnier zur Verfikation durchführen? Danke.
Up Topic Hauptforen / CSS-Forum / +130 ELO für Sergio20200801-1209.bin gegenüber SF

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill