Machine Learning

Not logged inCSS-Forum

Forum

CSS-Online

Help

Topic Hauptforen / Schachprogrammierung / Machine Learning

By Lothar Jung Date 2021-07-28 10:28 Upvotes 1

Hier eine gute Zusammenfassung von Quellen:

https://github.com/hibayesian/awesome-automl-papers

By Lothar Jung Date 2021-09-05 19:41 Upvotes 1

Wer über ein IPad oder iPhone verfügt, dem sei folgende App empfohlen:

https://apps.apple.com/de/app/learn-machine-learning-pro/id1483211228

By Max Siegfried Date 2021-09-05 22:27

Lothar Jung schrieb:

Wer über ein IPad oder iPhone verfügt, dem sei folgende App empfohlen:

<a class='ura' href='https://apps.apple.com/de/app/learn-machine-learning-pro/id1483211228'>https://apps.apple.com/de/app/learn-machine-learning-pro/id1483211228</a>

Sehr interessant.
Danke!

By Lothar Jung Date 2021-10-26 14:08 Upvotes 1

Hier auf YouTube eine deutschsprachige Serie über neuronale Netzwerke:

https://youtube.com/playlist?list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi

By Kurt Utzinger Date 2021-10-26 18:21 Upvotes 1

Lothar Jung schrieb:

Hier auf YouTube eine deutschsprachige Serie über neuronale Netzwerke:

<a class='ura' href='https://youtube.com/playlist?list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi'>https://youtube.com/playlist?list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi</a>

Präzisierung: In Englisch gehalten aber mit deutscher Übersetzung eingeblendet.
Gruss
Kurt

By Lothar Jung Date 2021-11-19 16:44 Upvotes 1

Hier für das Windows Subsystem for Linux Tutorials für GPU-Compute:

https://docs.microsoft.com/en-us/windows/wsl/tutorials/gpu-compute

By Michael Bechmann Date 2022-04-20 15:51 Upvotes 2

Zitat:

Die neulichen Aussagen von drei Personen haben mich doch sehr erschreckt:

Wegen eines kleinen Fehlers in einem Hesse-Zitat wurde meine Schachmedieninitiative beschmutzt und ich wurde beleidigt.

Das gleiche gilt für die abscheulichen Kommentare und persönlichen Beleidigungen von zwei Personen in Bezug auf das Unterforum „Schachprogrammierung“.

Das lass ich mir nicht mehr gefallen.

Ich habe bewusst davon abgesehen, das Abscheiden von Lc0 auf einer RTX 3060m hier einzustellen.

Ich hatte gehofft, das ich die derzeitigen großen Katastrophen mit der Arbeit im Forum etwas abzumildern und mir Freude zu schenken.
Das Gegenteil ist der Fall.

Ich bitte zum Beispiel Peter, Frank, den Fernschachspieler und die Foristen, die meine Beiträge schätzen, um Nachsicht.

Ich kann nicht anders.

Lothar

By Lothar Jung Date 2022-06-20 16:10 Edited 2022-06-20 16:14 Upvotes 1

Veröffentlichung über „Prioritized Training“:

https://arxiv.org/pdf/2206.07137.pdf

By Lothar Jung Date 2022-07-29 19:59 Edited 2022-07-29 20:22 Upvotes 1

Hier das englischsprachige Buch „Neural Networks for Chess“:

https://github.com/asdfjkl/neural_network_chess

https://github.com/asdfjkl/neural_network_chess/releases/download/v1.5/Neural_Networks_For_Chess.pdf

Inhalt:

Contents
1 Introduction 11

2 A Crash Course into Neural Networks 19
2.1 ThePerceptron ............................. 20
2.2 Back-PropagationandGradientDescent . . . . . . . . . . . . . . .
24 2.3 ClassificationvsRegression ...................... 35
2.4 PuttingitintoPractice ......................... 38
2.5 InherentLimitsofaSinglePerceptron ................ 40
2.6 MultilayerPerceptrons ......................... 42
2.7 VectorizationandGPUs ........................ 48
2.8 ConvolutionalLayers.......................... 49
2.9 Squeeze-and-ExcitationNetworks................... 61
2.10FullyConnectedLayers......................... 62
2.11 Batch normalization and Rectified Linear Units . . . . . . . . . . . 63
2.12ResidualLayers ............................. 67
2.13OverfittingandUnderfitting...................... 69
2.14Summary................................. 73

3 Searching 75
3.1 Minimax................................. 80
3.2 Alpha-BetaSearch............................ 86
3.3 AdvancedTechniques ......................... 91
3.4 ANoteonDeepBlue.......................... 94

CONTENTS
3.5 Monte-CarloTreeSearch........................100
3.6 Summary.................................121

4 Modern AI Approaches - A Deep Dive 123
4.1 AlphaGo.................................126
4.2 AlphaGoZero..............................149
4.3 AlphaZero................................162
4.4 LeelaChessZero(Lc0) .........................174
4.5 FatFritz..................................182
4.6 Efficiently Updateable Neural Networks (NNUE) . . . . . . . . . . 191
4.7 FatFritz2.................................216
4.8 Maia ...................................217
4.9 Conclusion................................227

5 HexapawnZero 231
5.1 TheNetwork...............................233
5.2 GameLogic ...............................236
5.3 SupervisedLearning ..........................242
5.4 “Zero-like”ReinforcementLearning . . . . . . . . . . . . . . . . .249
5.5 Summary.................................259

6 Conclusion and Outlook

By Ernest Bonnem Date 2022-07-30 03:54 Upvotes 1

Danke Lothar, sehr interessant !

By Lothar Jung Date 2022-08-20 10:39 Upvotes 1

Veröffentlichung über „Benchmarking TPU, GPU, and CPU Platforms for DeepLearning“:

https://www.researchgate.net/publication/334695156_Benchmarking_TPU_GPU_and_CPU_Platforms_for_Deep_Learning

By Lothar Jung Date 2022-10-10 09:47 Upvotes 1

Veröffentlichung über „WIDE ATTENTION IS THE WAY FORWARD FOR TRANSFORMER“:

https://arxiv.org/pdf/2210.00640.pdf

By Lothar Jung Date 2022-10-18 08:04 Upvotes 1

Veröffentlichung über „FP8 FORMATS FOR DEEP LEARNING“:

https://arxiv.org/pdf/2209.05433.pdf

By Lothar Jung Date 2022-10-19 20:19 Edited 2022-10-19 20:30

Veröffentlichungen über Posits:

https://spectrum.ieee.org/floating-point-numbers-posits-processor

https://www.cs.cornell.edu/courses/cs6120/2019fa/blog/posits/

https://posithub.org/docs/Posits4.pdf

Dieses reduzierte FP-Zahlenformat steht an, das Training von AI-Netzen erheblich zu verkürzen.
Sowohl in der Software, als auch hardwareseitig.

By Lothar Jung Date 2022-10-20 13:52 Edited 2022-10-20 14:00 Upvotes 1

Weiter zu Posits:

Posit-Zahlen sind eine neue Art, reelle Zahlen für Computer darzustellen, eine Alternative zu den standardmäßigen IEEE-Gleitkommaformaten. Der Hauptvorteil von Posit-Zahlen ist die Möglichkeit, mit einer bestimmten Anzahl von Bits eine höhere Genauigkeit oder einen größeren Dynamikbereich zu erzielen. Wenn eine Anwendung beispielsweise von 64-Bit-IEEE-Fließkommazahlen auf 32-Bit-Posits umstellen kann, können doppelt so viele Zahlen gleichzeitig im Speicher abgelegt werden. Das kann einen großen Unterschied in der Leistung von Anwendungen machen, die große Datenmengen verarbeiten.

Niedrigpräzise Formate haben sich als effizienter Weg erwiesen, um nicht nur den Speicherbedarf, sondern auch die Hardware-Ressourcen und den Stromverbrauch von Deep-Learning-Berechnungen zu reduzieren. Unter dieser Prämisse scheint das numerische Format Posit ein sehr brauchbarer Ersatz für das IEEE-Gleitkommaformat zu sein, aber seine Anwendung auf das Training neuronaler Netze erfordert noch weitere Forschung. Einige vorläufige Ergebnisse haben gezeigt, dass 8-Bit-Posits (und noch kleinere) für die Inferenz und 16-Bit-Posits für das Training verwendet werden können, wobei die Modellgenauigkeit erhalten bleibt. Die hier vorgestellte Forschungsarbeit zielt darauf ab, die Durchführbarkeit des Trainings tiefer neuronaler Faltungsnetze unter Verwendung von Posits zu bewerten. Zu diesem Zweck wurde ein Software-Rahmenwerk entwickelt, um simulierte Posits und Quires in End-to-End-Training und Inferenz zu verwenden. Diese Implementierung ermöglicht die Verwendung beliebiger Bitgrößen, Konfigurationen und sogar gemischter Präzision, die für unterschiedliche Präzisionsanforderungen in verschiedenen Phasen geeignet sind. Die Ergebnisse deuten darauf hin, dass 8-Bit-Posits 32-Bit-Gleitkommazahlen während des Trainings ersetzen können, ohne dass dies negative Auswirkungen auf die resultierenden Verluste und die Genauigkeit hat.

Übersetzt mit DeepL (https://www.deepl.com/app/?utm_source=ios&utm_medium=app&utm_campaign=share-translation. Sie verweist auf diese: https://ieeexplore.ieee.org/document/9413919

Dieses reduzierte FP-Zahlenformat steht damit an, das Training von AI-Netzen erheblich zu verkürzen;
Sowohl software- als auch hardwareseitig. Zum Beispiel Lc0-NN als auch NNUEs in der Computerschachprogrammierung, siehe z.B. https://github.com/hpc-ulisboa/posit-neuralnet

Intel, Nvidia und ARM arbeiten an Gleitkomma-Standard der die Berechnungen
Um bisherige Workarounds bei Gleitkommazahlen für Machine Learning zu vereinheitlichen, treiben Intel, Nvidia und ARM einen gemeinsamen Standard voran.
Intel, Nvidia und ARM wollen mit FP8 einen neuen Standard für Gleitkommazahlen etablieren, der die bisherigen in IEEE 754 normierten Formate für 16, 32 und 64 Bit ergänzt. FP8 soll vor allem beim Trainieren von Machine-Learning-Modellen zum Einsatz kommen und Prozesse ohne nennenswerten Einfluss auf die Genauigkeit beschleunigen.
Wie die drei Hersteller erklären, gibt es derzeit verschiedene Ansätze, Gleitkommazahlen für das Machine Learning zu optimieren. Viele setzen auf einen Mixed-Precision-Weg, der beispielsweise Gleitkommazahlen halber und einfacher Präzision, aber auch FP16 mit 8-Bit-Integer-Werten (INT8) mischt. Aktuelle Prozessoren und Rechenbeschleuniger verarbeiten auch das benutzerdefinierte BFloat16 (BF16).

Siehe Heise: https://www.heise.de/select/ix/2022/11/2224812225142247937

Weitere Veröffentlichungen über Posits:

https://www.johndcook.com/blog/2018/04/11/anatomy-of-a-posit-number/

https://spectrum.ieee.org/floating-point-numbers-posits-processor

https://www.cs.cornell.edu/courses/cs6120/2019fa/blog/posits/

https://posithub.org/docs/Posits4.pdf

By Lothar Jung Date 2022-11-12 09:29 Upvotes 2

Hier ein interaktives Buch über Deep Learning:

https://www.heise.de/hintergrund/Dive-Into-Deep-Learning-Ein-interaktives-Buch-fuer-DL-7337410.html

By Lothar Jung Date 2022-11-13 13:10 Upvotes 1

Veröffentlichung „Learning to Play the Chess Variant Crazyhouse Above World Champion Level With Deep Neural Networks and Human Data“:

https://www.frontiersin.org/articles/10.3389/frai.2020.00024/full

By Lothar Jung Date 2022-11-13 22:41 Upvotes 1

Hier das umfangreiche Buch „Dive into Deep Learning “als pdf:

https://export.arxiv.org/pdf/2106.11342v3.pdf

Unglaublich!

By Lothar Jung Date 2022-11-13 22:49 Edited 2022-11-13 22:51 Upvotes 1

Hier die pdf Ausgabe des Buches „Mathematics for Maschine Learning“:

https://mml-book.github.io/book/mml-book.pdf

By Ernest Bonnem Date 2022-11-14 03:34 Upvotes 2

Auch unglaublich, was man alles in Internet findet...

Bravo Lothar !!!

By Lothar Jung Date 2022-11-27 19:05 Upvotes 1

Begriffserklärung von DAG:

https://www.bigdata-insider.de/was-ist-ein-directed-acyclic-graph-dag-a-1075296/

By Lothar Jung Date 2022-12-10 11:16 Edited 2022-12-10 11:20 Upvotes 1

Hier Quellen zu Alphacode: „Competition-level code generation with AlphaCode“

https://www.science.org/doi/10.1126/science.abq1158

https://www.deepmind.com/blog/competitive-programming-with-alphacode

https://alphacode.deepmind.com/

By Lothar Jung Date 2022-12-10 13:31 Upvotes 1

Hier ein interaktive LernApp zu Python/KI:

https://apps.apple.com/de/app/tinkerstellar-learn-python-ml/id1567374120

By Lothar Jung Date 2022-12-15 21:15 Upvotes 1

Hier eine grundlegende Veröffentlichung über ML im Schach (Giraffe):

https://arxiv.org/pdf/1509.01549.pdf

By Lothar Jung Date 2023-01-14 06:11 Upvotes 1

Veröffentlichung über „Improving Chess Commentaries by Combining Language Models with Symbolic Reasoning Engines“:

https://arxiv.org/pdf/2212.08195.pdf

By Lothar Jung Date 2023-01-14 18:58 Upvotes 1

Veröffentlichung über „SentiMATE: Learning to play Chess through Natural Language Processing“:

https://arxiv.org/pdf/1907.08321.pdf

By Lothar Jung Date 2023-01-18 08:48 Upvotes 1

Hier ein Blog von Stanford zu „FlashAttention: Fast Transformer Training with Long Sequences“:

https://crfm.stanford.edu/2023/01/13/flashattention.html

By Lothar Jung Date 2023-01-23 10:55 Upvotes 1

Veröffentlichung über "FlexiBERT: Are Current Transformer Architectures too Homogeneous and Rigid?":

https://arxiv.org/pdf/2205.11656.pdf

By Lothar Jung Date 2023-01-27 10:26 Edited 2023-01-27 10:29

Veröffentlichungen über MUZero Selflearning:

https://www.furidamu.org/blog/2020/12/22/muzero-intuition/

https://www.nature.com/articles/s41586-020-03051-4

By Lothar Jung Date 2023-02-04 08:48

Hier eine Veröffentlichung von MS zu „Understanding INT4 Quantization for Transformer Models: Latency Speedup, Composability, and Failure Cases“:

https://arxiv.org/pdf/2301.12017.pdf

By Lothar Jung Date 2023-02-11 11:30 Upvotes 1

Hier eine Veröffentlichung über KI bei Spielen, mit Fokus auf Schach:

https://arxiv.org/pdf/2112.03178.pdf

By Lothar Jung Date 2023-03-01 10:54

Veröffentlichung über „Transformers learn in-context by gradient descent“:

https://arxiv.org/pdf/2212.07677.pdf

By Peter Weise Date 2023-03-14 20:08 Upvotes 1

Na also: Rücktritt vom Rücktritt vom ...
Die 13te wird kommen ...

By Lothar Jung Date 2023-03-21 05:23

https://arxiv.org/pdf/2203.08913.pdf

MEMORIZING TRANSFORMERS

By Lothar Jung Date 2023-04-02 20:58

Hier gute YouTube-Verweise der MIT über Neurale Netzwerke:

If someone wants to learn neural networks, this set of MIT lectures are very good (consise, information dense but easy to follow):
(discovered on hackernews -- 4 lectures so far)
<https://www.youtube.com/watch?v=QDX-1M5Nj7s>
<https://www.youtube.com/watch?v=ySEx_Bqxvvo>
<https://www.youtube.com/watch?v=NmLK_WQBxB4>
<https://www.youtube.com/watch?v=3G5hWM6jqPk>

By Lothar Jung Date 2023-04-12 16:14

Hier der Github zum NetzTool Netron:

https://github.com/lutzroeder/netron

Netron is a viewer for neural network, deep learning and machine learning models.

Netron supports ONNX, TensorFlow Lite, Caffe, Keras, Darknet, PaddlePaddle, ncnn, MNN, Core ML, RKNN, MXNet, MindSpore Lite, TNN, Barracuda, Tengine, CNTK, TensorFlow.js, Caffe2 and UFF.

Netron has experimental support for PyTorch, TensorFlow, TorchScript, OpenVINO, Torch, Vitis AI, kmodel, Arm NN, BigDL, Chainer, Deeplearning4j, MediaPipe, MegEngine, ML.NET and scikit-learn.

By Lothar Jung Date 2023-05-23 19:22 Upvotes 1

Veröffentlichung über die KI-Simulation von 26 Atari 1000 Spiele:

https://storage.googleapis.com/pub-tools-public-publication-data/pdf/32d70c51892f8f53b29cae8091d3fab35d92b01a.pdf

Topic Hauptforen / Schachprogrammierung / Machine Learning