Hier eine gute Zusammenfassung von Quellen:

https://github.com/hibayesian/awesome-automl-papers

Wer über ein IPad oder iPhone verfügt, dem sei folgende App empfohlen:

https://apps.apple.com/de/app/learn-machine-learning-pro/id1483211228

Hier auf YouTube eine deutschsprachige Serie über neuronale Netzwerke:

https://youtube.com/playlist?list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi

https://syncedreview.com/2022/04/19/toward-self-improving-neural-networks-schmidhuber-teams-scalable-self-referential-weight-matrix-learns-to-modify-itself/

Veröffentlichung über „Prioritized Training“:

https://arxiv.org/pdf/2206.07137.pdf

Hier das englischsprachige Buch „Neural Networks for Chess“:

https://github.com/asdfjkl/neural_network_chess

https://github.com/asdfjkl/neural_network_chess/releases/download/v1.5/Neural_Networks_For_Chess.pdf

Inhalt:

Contents
1 Introduction 11

2 A Crash Course into Neural Networks 19
2.1 ThePerceptron ............................. 20
2.2 Back-PropagationandGradientDescent . . . . . . . . . . . . . . .
24 2.3 ClassificationvsRegression ...................... 35
2.4 PuttingitintoPractice ......................... 38
2.5 InherentLimitsofaSinglePerceptron ................ 40
2.6 MultilayerPerceptrons ......................... 42
2.7 VectorizationandGPUs ........................ 48
2.8 ConvolutionalLayers.......................... 49
2.9 Squeeze-and-ExcitationNetworks................... 61
2.10FullyConnectedLayers......................... 62
2.11 Batch normalization and Rectified Linear Units . . . . . . . . . . . 63
2.12ResidualLayers ............................. 67
2.13OverfittingandUnderfitting...................... 69
2.14Summary................................. 73

3 Searching 75
3.1 Minimax................................. 80
3.2 Alpha-BetaSearch............................ 86
3.3 AdvancedTechniques ......................... 91
3.4 ANoteonDeepBlue.......................... 94

CONTENTS
3.5 Monte-CarloTreeSearch........................100
3.6 Summary.................................121

4 Modern AI Approaches - A Deep Dive 123
4.1 AlphaGo.................................126
4.2 AlphaGoZero..............................149
4.3 AlphaZero................................162
4.4 LeelaChessZero(Lc0) .........................174
4.5 FatFritz..................................182
4.6 Efficiently Updateable Neural Networks (NNUE) . . . . . . . . . . 191
4.7 FatFritz2.................................216
4.8 Maia ...................................217
4.9 Conclusion................................227

5 HexapawnZero 231
5.1 TheNetwork...............................233
5.2 GameLogic ...............................236
5.3 SupervisedLearning ..........................242
5.4 “Zero-like”ReinforcementLearning . . . . . . . . . . . . . . . . .249
5.5 Summary.................................259

6 Conclusion and Outlook

Veröffentlichung über „Benchmarking TPU, GPU, and CPU Platforms for DeepLearning“:

https://www.researchgate.net/publication/334695156_Benchmarking_TPU_GPU_and_CPU_Platforms_for_Deep_Learning

Veröffentlichung über „WIDE ATTENTION IS THE WAY FORWARD FOR TRANSFORMER“:

https://arxiv.org/pdf/2210.00640.pdf

Veröffentlichung über „FP8 FORMATS FOR DEEP LEARNING“:

https://arxiv.org/pdf/2209.05433.pdf

Veröffentlichungen über Posits:

https://spectrum.ieee.org/floating-point-numbers-posits-processor

https://www.cs.cornell.edu/courses/cs6120/2019fa/blog/posits/

https://posithub.org/docs/Posits4.pdf

Dieses reduzierte FP-Zahlenformat steht an, das Training von AI-Netzen erheblich zu verkürzen.
Sowohl in der Software, als auch hardwareseitig.

Weiter zu Posits:

Posit-Zahlen sind eine neue Art, reelle Zahlen für Computer darzustellen, eine Alternative zu den standardmäßigen IEEE-Gleitkommaformaten. Der Hauptvorteil von Posit-Zahlen ist die Möglichkeit, mit einer bestimmten Anzahl von Bits eine höhere Genauigkeit oder einen größeren Dynamikbereich zu erzielen. Wenn eine Anwendung beispielsweise von 64-Bit-IEEE-Fließkommazahlen auf 32-Bit-Posits umstellen kann, können doppelt so viele Zahlen gleichzeitig im Speicher abgelegt werden. Das kann einen großen Unterschied in der Leistung von Anwendungen machen, die große Datenmengen verarbeiten.

Niedrigpräzise Formate haben sich als effizienter Weg erwiesen, um nicht nur den Speicherbedarf, sondern auch die Hardware-Ressourcen und den Stromverbrauch von Deep-Learning-Berechnungen zu reduzieren. Unter dieser Prämisse scheint das numerische Format Posit ein sehr brauchbarer Ersatz für das IEEE-Gleitkommaformat zu sein, aber seine Anwendung auf das Training neuronaler Netze erfordert noch weitere Forschung. Einige vorläufige Ergebnisse haben gezeigt, dass 8-Bit-Posits (und noch kleinere) für die Inferenz und 16-Bit-Posits für das Training verwendet werden können, wobei die Modellgenauigkeit erhalten bleibt. Die hier vorgestellte Forschungsarbeit zielt darauf ab, die Durchführbarkeit des Trainings tiefer neuronaler Faltungsnetze unter Verwendung von Posits zu bewerten. Zu diesem Zweck wurde ein Software-Rahmenwerk entwickelt, um simulierte Posits und Quires in End-to-End-Training und Inferenz zu verwenden. Diese Implementierung ermöglicht die Verwendung beliebiger Bitgrößen, Konfigurationen und sogar gemischter Präzision, die für unterschiedliche Präzisionsanforderungen in verschiedenen Phasen geeignet sind. Die Ergebnisse deuten darauf hin, dass 8-Bit-Posits 32-Bit-Gleitkommazahlen während des Trainings ersetzen können, ohne dass dies negative Auswirkungen auf die resultierenden Verluste und die Genauigkeit hat.

Übersetzt mit DeepL (https://www.deepl.com/app/?utm_source=ios&utm_medium=app&utm_campaign=share-translation. Sie verweist auf diese: https://ieeexplore.ieee.org/document/9413919

Dieses reduzierte FP-Zahlenformat steht damit an, das Training von AI-Netzen erheblich zu verkürzen;
Sowohl software- als auch hardwareseitig. Zum Beispiel Lc0-NN als auch NNUEs in der Computerschachprogrammierung, siehe z.B. https://github.com/hpc-ulisboa/posit-neuralnet

Intel, Nvidia und ARM arbeiten an Gleitkomma-Standard der die Berechnungen
Um bisherige Workarounds bei Gleitkommazahlen für Machine Learning zu vereinheitlichen, treiben Intel, Nvidia und ARM einen gemeinsamen Standard voran.
Intel, Nvidia und ARM wollen mit FP8 einen neuen Standard für Gleitkommazahlen etablieren, der die bisherigen in IEEE 754 normierten Formate für 16, 32 und 64 Bit ergänzt. FP8 soll vor allem beim Trainieren von Machine-Learning-Modellen zum Einsatz kommen und Prozesse ohne nennenswerten Einfluss auf die Genauigkeit beschleunigen.
Wie die drei Hersteller erklären, gibt es derzeit verschiedene Ansätze, Gleitkommazahlen für das Machine Learning zu optimieren. Viele setzen auf einen Mixed-Precision-Weg, der beispielsweise Gleitkommazahlen halber und einfacher Präzision, aber auch FP16 mit 8-Bit-Integer-Werten (INT8) mischt. Aktuelle Prozessoren und Rechenbeschleuniger verarbeiten auch das benutzerdefinierte BFloat16 (BF16).

Siehe Heise: https://www.heise.de/select/ix/2022/11/2224812225142247937

Weitere Veröffentlichungen über Posits:

https://www.johndcook.com/blog/2018/04/11/anatomy-of-a-posit-number/

https://spectrum.ieee.org/floating-point-numbers-posits-processor

https://www.cs.cornell.edu/courses/cs6120/2019fa/blog/posits/

https://posithub.org/docs/Posits4.pdf

Hier noch ein Heise-Artikel zu FP8:

https://www.heise.de/news/Gleitkommazahlen-im-Machine-Learning-Weniger-ist-mehr-fuer-Intel-Nvidia-und-ARM-7264714.html

Hier zwei lesenswerte Veröffentlichungen:

https://towardsdatascience.com/understanding-alphago-how-ai-think-and-learn-1-2-da07d3ec5278

https://towardsdatascience.com/understanding-alphago-how-ai-thinks-and-learns-advanced-d70780744dae

Sehr umfassend und anschaulich.

Veröffentlichungen und Erklärungen zu „Transformer“ in der KI:

https://de.wikipedia.org/wiki/Transformer_(Maschinelles_Lernen)?wprov=sfti1

https://www.alexanderthamm.com/de/data-science-glossar/transformer-maschinelles-lernen/

https://www.trans-kom.eu/bd14nr02/trans-kom_14_02_05_Krueger_NMUe.20211202.pdf

https://www.alexanderthamm.com/de/blog/transformer-im-uberblick-bert-gpt-3-und-co/

Hier ein interaktives Buch über Deep Learning:

https://www.heise.de/hintergrund/Dive-Into-Deep-Learning-Ein-interaktives-Buch-fuer-DL-7337410.html

Veröffentlichung „Learning to Play the Chess Variant Crazyhouse Above World Champion Level With Deep Neural Networks and Human Data“:

https://www.frontiersin.org/articles/10.3389/frai.2020.00024/full

Hier das umfangreiche Buch „Dive into Deep Learning “als pdf:

https://export.arxiv.org/pdf/2106.11342v3.pdf

Unglaublich!

Hier die pdf Ausgabe des Buches „Mathematics for Maschine Learning“:

https://mml-book.github.io/book/mml-book.pdf

Begriffserklärung von DAG:

https://www.bigdata-insider.de/was-ist-ein-directed-acyclic-graph-dag-a-1075296/