Net 40xxx Lern-Run startet wohl morgen

By Stefan Pohl Date 2019-01-07 16:56

Von Discord:

Test37 has started. Assuming I haven't messed anything up that is... Default contributions returned to being a balance.
Test37 uses policy_channels: 80 setting instead of the default 32. Its also being seeded with T35 data.
It is planned to only last 24 hours as one last proof of concept for the next major run - T40.

Der nächste "richtige" NN-Run mit Nets 40xxx wird also nun bald losgehen, wie es aussieht. Soweit bekannt, wird es wohl ein verbessertes SE-Net (SE= Squeeze and Excitation) sein, dieser neue Netz-Standard wurde ja ab v0.20.0 in Leela reincodiert. Er verspricht deutlich bessere Erkennungs-Leistungen bei annähernd gleichem Hardware-Konsum. Insofern kann es spannend werden, ob Leela damit neue Elo-Höhen erklimmen kann...

Wer sich schlau machen will (langsam wirds aber echt kompliziert), hier noch mal ein Link zu dem Thema SE-Nets:
https://towardsdatascience.com/squeeze-and-excitation-networks-9ef5e71eacd7

"Squeeze-and-Excitation Networks (SENets) introduce a building block for CNNs that improves channel interdependencies at almost no computational cost. They were used at this years ImageNet competition and helped to improve the result from last year by 25%. Besides this huge performance boost, they can be easily added to existing architectures"

By Tom Paul Date 2019-01-07 18:47

Stefan Pohl schrieb:

Von Discord:

Test37 has started. Assuming I haven't messed anything up that is... Default contributions returned to being a balance.
Test37 uses policy_channels: 80 setting instead of the default 32. Its also being seeded with T35 data.
It is planned to only last 24 hours as one last proof of concept for the next major run - T40.

Der nächste "richtige" NN-Run mit Nets 40xxx wird also nun bald losgehen, wie es aussieht. Soweit bekannt, wird es wohl ein verbessertes SE-Net (SE= Squeeze and Excitation) sein, dieser neue Netz-Standard wurde ja ab v0.20.0 in Leela reincodiert. Er verspricht deutlich bessere Erkennungs-Leistungen bei annähernd gleichem Hardware-Konsum. Insofern kann es spannend werden, ob Leela damit neue Elo-Höhen erklimmen kann...

Wer sich schlau machen will (langsam wirds aber echt kompliziert), hier noch mal ein Link zu dem Thema SE-Nets:
<a class='ura' href='https://towardsdatascience.com/squeeze-and-excitation-networks-9ef5e71eacd7'>https://towardsdatascience.com/squeeze-and-excitation-networks-9ef5e71eacd7</a>

"Squeeze-and-Excitation Networks (SENets) introduce a building block for CNNs that improves channel interdependencies at almost no computational cost. They were used at this years ImageNet competition and helped to improve the result from last year by 25%. Besides this huge performance boost, they can be easily added to existing architectures"

Irgendwie wird da zu vieles zur gleichen Zeit gemacht ohne Prioritäten zu setzen.
Angeblich werden seit längerer Zeit schon kaum Trainingspartien verwendet um das T30 Netzwerk zu verbessern.
Wenn das der Fall sein sollte wäre es ein großer Fehler, da ein besonders starkes Netzwerk für das Superfinale gebraucht wird und das T30 Netzwerk entwickelt sich noch immer fast nur nach oben.

By Stefan Pohl Date 2019-01-08 12:25

So, der neue Lern-Run von Net 40xxx läuft!

Momentan erst das zweite Net, 230 Elo im Selfplay.... long way to go sozusagen. Aber ich bin gespannt, wie das neue SE-Net sich entwickeln wird.

By Tom Paul Date 2019-01-08 18:46

Stefan Pohl schrieb:

So, der neue Lern-Run von Net 40xxx läuft!

Momentan erst das zweite Net, 230 Elo im Selfplay.... long way to go sozusagen. Aber ich bin gespannt, wie das neue SE-Net sich entwickeln wird.

Es ist natürlich logisch ein anderes Net anzufangen und das Superfinale zu verlieren, anstatt die 30xxx Nets weiter zu trainieren und das Superfinale zu gewinnen.