Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / Schachprogrammierung / Machine Learning
- By Lothar Jung Date 2021-07-28 10:28 Upvotes 1
Hier eine gute Zusammenfassung von Quellen:

https://github.com/hibayesian/awesome-automl-papers
- - By Lothar Jung Date 2021-09-05 19:41 Upvotes 1
Wer über ein IPad oder iPhone verfügt, dem sei folgende App empfohlen:

https://apps.apple.com/de/app/learn-machine-learning-pro/id1483211228
Parent - By Max Siegfried Date 2021-09-05 22:27
Lothar Jung schrieb:

Wer über ein IPad oder iPhone verfügt, dem sei folgende App empfohlen:

<a class='ura' href='https://apps.apple.com/de/app/learn-machine-learning-pro/id1483211228'>https://apps.apple.com/de/app/learn-machine-learning-pro/id1483211228</a>


Sehr interessant.
Danke!
- - By Lothar Jung Date 2021-10-26 14:08 Upvotes 1
Hier auf YouTube eine deutschsprachige Serie über neuronale Netzwerke:

https://youtube.com/playlist?list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi
Parent - By Kurt Utzinger Date 2021-10-26 18:21 Upvotes 1
Lothar Jung schrieb:

Hier auf YouTube eine deutschsprachige Serie über neuronale Netzwerke:

<a class='ura' href='https://youtube.com/playlist?list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi'>https://youtube.com/playlist?list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi</a>


Präzisierung: In Englisch gehalten aber mit deutscher Übersetzung eingeblendet.
Gruss
Kurt
Parent - By Lothar Jung Date 2021-11-19 16:44 Upvotes 1
Hier für das Windows Subsystem for Linux Tutorials für GPU-Compute:

https://docs.microsoft.com/en-us/windows/wsl/tutorials/gpu-compute
- - By Lothar Jung Date 2022-04-20 15:19 Upvotes 1
https://syncedreview.com/2022/04/19/toward-self-improving-neural-networks-schmidhuber-teams-scalable-self-referential-weight-matrix-learns-to-modify-itself/
Parent - By Michael Bechmann Date 2022-04-20 15:51 Upvotes 2
Zitat:
Die neulichen Aussagen von drei Personen haben mich doch sehr erschreckt:

Wegen eines kleinen Fehlers in einem Hesse-Zitat wurde meine Schachmedieninitiative beschmutzt und ich wurde beleidigt.

Das gleiche gilt für die abscheulichen Kommentare und persönlichen Beleidigungen von zwei Personen in Bezug auf das Unterforum „Schachprogrammierung“.

Das lass ich mir nicht mehr gefallen.

Ich habe bewusst davon abgesehen, das Abscheiden von Lc0 auf einer RTX 3060m hier einzustellen.

Ich hatte gehofft, das ich die derzeitigen großen Katastrophen mit der Arbeit im Forum etwas abzumildern und mir Freude zu schenken.
Das Gegenteil ist der Fall.

Ich bitte zum Beispiel Peter, Frank, den Fernschachspieler und die Foristen, die meine Beiträge schätzen, um Nachsicht.

Ich kann nicht anders.

Lothar
- By Lothar Jung Date 2022-06-20 16:10 Edited 2022-06-20 16:14 Upvotes 1
Veröffentlichung über „Prioritized Training“:

https://arxiv.org/pdf/2206.07137.pdf
- - By Lothar Jung Date 2022-07-29 19:59 Edited 2022-07-29 20:22 Upvotes 1
Hier das englischsprachige Buch „Neural Networks for Chess“:

https://github.com/asdfjkl/neural_network_chess

https://github.com/asdfjkl/neural_network_chess/releases/download/v1.5/Neural_Networks_For_Chess.pdf

Inhalt:

Contents
1 Introduction 11

2 A Crash Course into Neural Networks 19
2.1 ThePerceptron ............................. 20
2.2 Back-PropagationandGradientDescent . . . . . . . . . . . . . . .
24 2.3 ClassificationvsRegression ...................... 35
2.4 PuttingitintoPractice ......................... 38
2.5 InherentLimitsofaSinglePerceptron ................ 40
2.6 MultilayerPerceptrons ......................... 42
2.7 VectorizationandGPUs ........................ 48
2.8 ConvolutionalLayers.......................... 49
2.9 Squeeze-and-ExcitationNetworks................... 61
2.10FullyConnectedLayers......................... 62
2.11 Batch normalization and Rectified Linear Units . . . . . . . . . . . 63
2.12ResidualLayers ............................. 67
2.13OverfittingandUnderfitting...................... 69
2.14Summary................................. 73

3 Searching 75
3.1 Minimax................................. 80
3.2 Alpha-BetaSearch............................ 86
3.3 AdvancedTechniques ......................... 91
3.4 ANoteonDeepBlue.......................... 94

CONTENTS
3.5 Monte-CarloTreeSearch........................100
3.6 Summary.................................121

4 Modern AI Approaches - A Deep Dive 123
4.1 AlphaGo.................................126
4.2 AlphaGoZero..............................149
4.3 AlphaZero................................162
4.4 LeelaChessZero(Lc0) .........................174
4.5 FatFritz..................................182
4.6 Efficiently Updateable Neural Networks (NNUE) . . . . . . . . . . 191
4.7 FatFritz2.................................216
4.8 Maia ...................................217
4.9 Conclusion................................227

5 HexapawnZero 231
5.1 TheNetwork...............................233
5.2 GameLogic ...............................236
5.3 SupervisedLearning ..........................242
5.4 “Zero-like”ReinforcementLearning . . . . . . . . . . . . . . . . .249
5.5 Summary.................................259

6 Conclusion and Outlook
Parent - By Ernest Bonnem Date 2022-07-30 03:54 Upvotes 1
Danke Lothar, sehr interessant !
- By Lothar Jung Date 2022-08-20 10:39 Upvotes 1
Veröffentlichung über „Benchmarking TPU, GPU, and CPU Platforms for DeepLearning“:

https://www.researchgate.net/publication/334695156_Benchmarking_TPU_GPU_and_CPU_Platforms_for_Deep_Learning
- By Lothar Jung Date 2022-10-10 09:47 Upvotes 1
Veröffentlichung über „WIDE ATTENTION IS THE WAY FORWARD FOR TRANSFORMER“:

https://arxiv.org/pdf/2210.00640.pdf
- By Lothar Jung Date 2022-10-18 08:04 Upvotes 1
Veröffentlichung über „FP8 FORMATS FOR DEEP LEARNING“:

https://arxiv.org/pdf/2209.05433.pdf
- By Lothar Jung Date 2022-10-19 20:19 Edited 2022-10-19 20:30
Veröffentlichungen über Posits:

https://spectrum.ieee.org/floating-point-numbers-posits-processor

https://www.cs.cornell.edu/courses/cs6120/2019fa/blog/posits/

https://posithub.org/docs/Posits4.pdf

Dieses reduzierte FP-Zahlenformat steht an, das Training von AI-Netzen erheblich zu verkürzen.
Sowohl in der Software, als auch hardwareseitig.
- By Lothar Jung Date 2022-10-20 13:52 Edited 2022-10-20 14:00 Upvotes 1
Weiter zu Posits:

Posit-Zahlen sind eine neue Art, reelle Zahlen für Computer darzustellen, eine Alternative zu den standardmäßigen IEEE-Gleitkommaformaten. Der Hauptvorteil von Posit-Zahlen ist die Möglichkeit, mit einer bestimmten Anzahl von Bits eine höhere Genauigkeit oder einen größeren Dynamikbereich zu erzielen. Wenn eine Anwendung beispielsweise von 64-Bit-IEEE-Fließkommazahlen auf 32-Bit-Posits umstellen kann, können doppelt so viele Zahlen gleichzeitig im Speicher abgelegt werden. Das kann einen großen Unterschied in der Leistung von Anwendungen machen, die große Datenmengen verarbeiten.

Niedrigpräzise Formate haben sich als effizienter Weg erwiesen, um nicht nur den Speicherbedarf, sondern auch die Hardware-Ressourcen und den Stromverbrauch von Deep-Learning-Berechnungen zu reduzieren. Unter dieser Prämisse scheint das numerische Format Posit ein sehr brauchbarer Ersatz für das IEEE-Gleitkommaformat zu sein, aber seine Anwendung auf das Training neuronaler Netze erfordert noch weitere Forschung. Einige vorläufige Ergebnisse haben gezeigt, dass 8-Bit-Posits (und noch kleinere) für die Inferenz und 16-Bit-Posits für das Training verwendet werden können, wobei die Modellgenauigkeit erhalten bleibt. Die hier vorgestellte Forschungsarbeit zielt darauf ab, die Durchführbarkeit des Trainings tiefer neuronaler Faltungsnetze unter Verwendung von Posits zu bewerten. Zu diesem Zweck wurde ein Software-Rahmenwerk entwickelt, um simulierte Posits und Quires in End-to-End-Training und Inferenz zu verwenden. Diese Implementierung ermöglicht die Verwendung beliebiger Bitgrößen, Konfigurationen und sogar gemischter Präzision, die für unterschiedliche Präzisionsanforderungen in verschiedenen Phasen geeignet sind. Die Ergebnisse deuten darauf hin, dass 8-Bit-Posits 32-Bit-Gleitkommazahlen während des Trainings ersetzen können, ohne dass dies negative Auswirkungen auf die resultierenden Verluste und die Genauigkeit hat.

Übersetzt mit DeepL (https://www.deepl.com/app/?utm_source=ios&utm_medium=app&utm_campaign=share-translation. Sie verweist auf diese: https://ieeexplore.ieee.org/document/9413919

Dieses reduzierte FP-Zahlenformat steht damit an, das Training von AI-Netzen erheblich zu verkürzen;
Sowohl software- als auch hardwareseitig. Zum Beispiel Lc0-NN als auch NNUEs in der Computerschachprogrammierung, siehe z.B. https://github.com/hpc-ulisboa/posit-neuralnet

Intel, Nvidia und ARM arbeiten an Gleitkomma-Standard der die Berechnungen
Um bisherige Workarounds bei Gleitkommazahlen für Machine Learning zu vereinheitlichen, treiben Intel, Nvidia und ARM einen gemeinsamen Standard voran.
Intel, Nvidia und ARM wollen mit FP8 einen neuen Standard für Gleitkommazahlen etablieren, der die bisherigen in IEEE 754 normierten Formate für 16, 32 und 64 Bit ergänzt. FP8 soll vor allem beim Trainieren von Machine-Learning-Modellen zum Einsatz kommen und Prozesse ohne nennenswerten Einfluss auf die Genauigkeit beschleunigen.
Wie die drei Hersteller erklären, gibt es derzeit verschiedene Ansätze, Gleitkommazahlen für das Machine Learning zu optimieren. Viele setzen auf einen Mixed-Precision-Weg, der beispielsweise Gleitkommazahlen halber und einfacher Präzision, aber auch FP16 mit 8-Bit-Integer-Werten (INT8) mischt. Aktuelle Prozessoren und Rechenbeschleuniger verarbeiten auch das benutzerdefinierte BFloat16 (BF16).

Siehe Heise: https://www.heise.de/select/ix/2022/11/2224812225142247937

Weitere Veröffentlichungen über Posits:

https://www.johndcook.com/blog/2018/04/11/anatomy-of-a-posit-number/

https://spectrum.ieee.org/floating-point-numbers-posits-processor

https://www.cs.cornell.edu/courses/cs6120/2019fa/blog/posits/

https://posithub.org/docs/Posits4.pdf
- By Lothar Jung Date 2022-10-20 15:51 Upvotes 1
Hier noch ein Heise-Artikel zu FP8:

https://www.heise.de/news/Gleitkommazahlen-im-Machine-Learning-Weniger-ist-mehr-fuer-Intel-Nvidia-und-ARM-7264714.html
- By Lothar Jung Date 2022-10-23 09:28 Edited 2022-10-23 09:31
Hier zwei lesenswerte Veröffentlichungen:

https://towardsdatascience.com/understanding-alphago-how-ai-think-and-learn-1-2-da07d3ec5278

https://towardsdatascience.com/understanding-alphago-how-ai-thinks-and-learns-advanced-d70780744dae

Sehr umfassend und anschaulich.
- By Lothar Jung Date 2022-10-27 18:13 Edited 2022-10-27 18:40 Upvotes 1
Veröffentlichungen und Erklärungen zu „Transformer“ in der KI:

https://de.wikipedia.org/wiki/Transformer_(Maschinelles_Lernen)?wprov=sfti1

https://www.alexanderthamm.com/de/data-science-glossar/transformer-maschinelles-lernen/

https://www.trans-kom.eu/bd14nr02/trans-kom_14_02_05_Krueger_NMUe.20211202.pdf

https://www.alexanderthamm.com/de/blog/transformer-im-uberblick-bert-gpt-3-und-co/
- By Lothar Jung Date 2022-11-12 09:29 Upvotes 2
Hier ein interaktives Buch über Deep Learning:

https://www.heise.de/hintergrund/Dive-Into-Deep-Learning-Ein-interaktives-Buch-fuer-DL-7337410.html
- By Lothar Jung Date 2022-11-13 13:10 Upvotes 1
Veröffentlichung „Learning to Play the Chess Variant Crazyhouse Above World Champion Level With Deep Neural Networks and Human Data“:

https://www.frontiersin.org/articles/10.3389/frai.2020.00024/full
- By Lothar Jung Date 2022-11-13 22:41 Upvotes 1
Hier das umfangreiche Buch „Dive into Deep Learning “als pdf:

https://export.arxiv.org/pdf/2106.11342v3.pdf

Unglaublich!
- - By Lothar Jung Date 2022-11-13 22:49 Edited 2022-11-13 22:51 Upvotes 1
Hier die pdf Ausgabe des Buches „Mathematics for Maschine Learning“:

https://mml-book.github.io/book/mml-book.pdf
Parent - By Ernest Bonnem Date 2022-11-14 03:34 Upvotes 2
Auch unglaublich, was man alles in Internet findet...

Bravo Lothar !!!
- By Lothar Jung Date 2022-11-27 19:05 Upvotes 1
Begriffserklärung von DAG:

https://www.bigdata-insider.de/was-ist-ein-directed-acyclic-graph-dag-a-1075296/
Up Topic Hauptforen / Schachprogrammierung / Machine Learning

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill