LC0 zu heiß gewaschen...und eingelaufen...

By Stefan Pohl Date 2019-01-09 16:58 Edited 2019-01-09 17:01

Es gibt (erfolgreiche) Bemühungen, Leela mit stark verkleinerten NeuronalNetzen laufen zu lassen, die dennoch ordentliche Stärke erreichen. Dies hat den großen Vorteil, daß Leela damit auf CPU laufend, wesentlich höhere Berechnungsgeschwindigkeiten erreichen kann - mit den normalen Netzen, die z.Zt. ja 20x256 groß sind, ist Leela ja auf der CPU quälend langsam. Auch für die Brettcomputer mit den Raspberry Pi- Rechnern könnte das sehr interessant sein.

Hier der Link zum Thread im Leela-Forum:

https://groups.google.com/forum/#!to...ro/2f6Pata3AGY

Bisher wird dort eine auf 16x2 (!) Größe eingeschrumpfte Version des starken NeuralNetzes 11258 angeboten. Theoretisch sollte dieses geschrumpfte Net 160x schneller abgearbeitet werden, als die Originalgröße (!!!). Damit könnte also auch auf limitierter Hardware (Raspberry Pi) eine erheblich größere Spielstärke generiert werden, weil durch das Speedup natürlich die Taktik erheblich besser wird.

Es ist dabei aber zu beachten, daß die geschrumpfte Net-Version ein neuartiges SE-Net ist (SE= Squeeze and Excitation). Dies kann nur von den neueren LC0-Versionen ab 0.20.0 verarbeitet werden, mit älteren Version klappt es nicht!

Habe es gerade auf meinem einfachen Netbook auf der Arbeit probiert und in Arena problemlos zum Laufen gebracht, also Lc0 v0.20.1 mit dem eingeschrumpften 16x2 Net. Geht ab wie die Hölle!
Vorher hatte ich auf dieser limitierten CPU um die 6 rollouts/s (mit einem 20x256 Net)(also wirklich schneckenlangsam). Das neue Mini-Net schafft knapp 1000 rollouts/s, die von mir theoretisch prognostizierte Geschwindigkeitssteigerung von Faktor 160 kommt also auch wirklich in der Praxis raus!

Was jetzt noch fehlt ist eine Android-Version von LC0... Dann könnte man per Chesslink auf dem Chess Genius Exklusive Brett gegen Leela spielen. Mit einer ordentlichen Rechengeschwindigkeit. Schön wär's...

Das geschrumpfte Net ist übrigens nicht nur schnell, sondern auch wirklich klein: nur 8 MByte...

By Lothar Jung Date 2019-01-09 17:03

Dürfte auch auf einer Notebook-Nvidia-GPU laufen und entsprechend noch schneller sein.

By Stefan Pohl Date 2019-01-09 17:11

Lothar Jung schrieb:

Dürfte auch auf einer Notebook-Nvidia-GPU laufen und entsprechend noch schneller sein.

Muß ich bei mal probieren bei Gelegenheit. Wäre logisch. Aber bei der geringen Net-Größe muß man wahrscheinlich schon Abstriche beim Positionsspiel machen. Insofern dürfte es primär für CPU-Betrieb interessant sein. Einfach damit man auf einen gewissen Speed kommt. Bisher hat man mit Leela auf CPU das alte "Mephisto 3"-Problem: Intelligenz bzw. Positionsverständnis nützt nun mal nix, wenn die Taktik so mies ist, daß man dauernd Figuren einstellt und Matts übersieht...
Wie gesagt, für Android-Mobilgeräte und Raspberry wäre das eine coole Sache.

By Lothar Jung Date 2019-01-09 17:16

Android-Version müsste machbar sein, da Linux-Source vorliegt.

By Stefan Pohl Date 2019-01-09 17:20

Lothar Jung schrieb:

Android-Version müsste machbar sein, da Linux-Source vorliegt.

Stimmt. Aber ich kenn mich weder mit Linux noch Android-compiles aus. Bleibt zu hoffen, daß sich mal jemand, der Ahnung davon hat, erbarmt und eine Android-Version erstellt, die ich dann in Chess for Android laufen lassen kann. Das wäre so cool! Dann muß ich mir doch noch ein ChessLink kaufen...

By Stefan Pohl Date 2019-01-10 12:37

Stefan Pohl schrieb:

Lothar Jung schrieb:

Dürfte auch auf einer Notebook-Nvidia-GPU laufen und entsprechend noch schneller sein.

Tja, also auf meiner GTX 950m läuft das mini-Net leider "nur" Faktor 50 schneller, statt 160, wie auf CPU. Und in ein paar schnellen Testpartien gegen Komodo 12 ging mal gar nix (0:10 autsch)

Das ist wohl wirklich nur was für langsame CPUs/Brettcomputer.

By Ingo Althöfer Date 2019-01-11 12:08

Stefan Pohl schrieb:

Tja, also auf meiner GTX 950m läuft das mini-Net
leider "nur" Faktor 50 schneller, statt 160, wie auf CPU.
Und in ein paar schnellen Testpartien gegen Komodo 12
ging mal gar nix (0:10 autsch)

Gibt es denn Gegner, gegen die das Mini-Leela um die
50 % holt?

Ingo Althöfer.

By Stefan Pohl Date 2019-01-11 12:39

Ingo Althöfer schrieb:

Stefan Pohl schrieb:

Tja, also auf meiner GTX 950m läuft das mini-Net
leider "nur" Faktor 50 schneller, statt 160, wie auf CPU.
Und in ein paar schnellen Testpartien gegen Komodo 12
ging mal gar nix (0:10 autsch)

Gibt es denn Gegner, gegen die das Mini-Leela um die
50 % holt?

Ingo Althöfer.

Das kann ich nicht sagen, ich habe leider nicht die Kapazitäten nun auch noch die eingeschrumpften Nets zu testen. Auch der Autor derselben hat bei der Erstellung die klare Intention, Lc0 auf CPUs zu einer vernüftigen Geschwindigkeit zu verhelfen, nicht auf GPUs. Ich denke auch, primär interessant ist dieser Ansatz für Raspberry Pi-Rechner und (hoffentlich) auch mal Android-Smartphones (welche man dann ja auch mit ChessGenius Exklusive Holzbrett per ChessLink und Chessfor Android-App, koppeln könnte.)

By Ingo Althöfer Date 2019-01-09 17:54

Hallo Herr Pohl,
danke für Ihr Engagement insgesamt und auch das aktuelle Posting.

Stefan Pohl schrieb:

Es gibt (erfolgreiche) Bemühungen, Leela mit stark
verkleinerten NeuronalNetzen laufen zu lassen, die dennoch
ordentliche Stärke erreichen...
Bisher wird dort eine auf 16x2 (!) Größe eingeschrumpfte Version des
starken NeuralNetzes 11258 angeboten. Theoretisch sollte dieses
geschrumpfte Net 160x schneller abgearbeitet werden, als die Originalgröße (!!!)...

Habe es gerade auf meinem einfachen Netbook auf der Arbeit probiert...
Geht ab wie die Hölle!

Ohne dass ich das technische Knowhow habe, hatte ich vor zwei Jahren
schon mal in Diskussionen angeregt, ob man nicht die NN von AlphaGo
(oder auch allgemeine NN) stark schrumpfen könnte.
So etwas scheint also wirklich gut zu klappen.

Vor 26 Jahren hatte ich mal - ganz abstrakt und theoretisch - untersucht,
ob man lineare Bewertungsfunktionen schrumpfen könnte. Die Antwort war
"ja". Das Ganze hatte ich auch im ICCA Journal publiziert, unter dem Titel
"On telescoping linear evaluation functions" ("telescoping" im Sinne
eines zusammengeschobenen Fernrohres).
https://content.iospress.com/articles/icga-journal/icg16-2-05
Dort kann man auch einen Scan des Artikels (3,5 Seiten) herunterladen.

Bob Hyatts Reaktion damals: "Don't open a can of worms."

Ingo Althöfer.

PS. Warnung: für die praktische Entwicklung dürfte das damalige Ergebnis
keine Bedeutung haben.

By Olaf Jenkner Date 2019-01-09 19:35 Upvotes 1

Ingo Althöfer schrieb:

PS. Warnung: für die praktische Entwicklung dürfte das damalige Ergebnis
keine Bedeutung haben.

Mein Eindruck war immer, daß im ICCA-Journal die Wissenschaftler schöne Artikel publizieren und dann kommen die Handwerker und schreiben Weltmeisterprogramme, ohne sich groß um die Theorie zu kümmern. Eine Ausnahme davon ist wahrscheinlich die Nullmoveheuristik, aber auch die wurde von einem Handwerker erfunden.

By Ingo Althöfer Date 2019-01-09 20:17

Lieber Herr Jenkner,

Olaf Jenkner schrieb:

das war/ist die Standardsituation. Mein Paper von damals
wurde wohl auch nicht beachtet. Aber ...

so ungefähr ab 1998/99 wurden die kommerziellen Schach-
Programme (Shredder, Junior, Fritz, Rebel) immer komplexer
mit immer waghalsigeren Forward-Pruning-"Tricks". Weil das
für eine Zeitlang alle machten, kam es zu einer Art Inzucht-
Entwicklung, bis ... Anfang 2004 Fabien Letouzey mit seinem
Fruit einen anderen Ansatz realisierte: extrem einfache und
schnelle Suche, die dafür sehr tief ging.

Das war ein Wendepunkt, mit den bekannten Folgen:
Fruit, Zappa, Rybka, Houdini, Komodo, Strockfish.

Ingo Althöfer.

By Olaf Jenkner Date 2019-01-09 22:01

Ach ja, auch schon 25 Jahre tot...