Maschinelles Lernen - Grundlagen und Anwendungen

In diesem Fachbuch werden vorwiegend die Grundlagen des Maschinellen Lernens erläutert. Die Hauptthemen sind die mathematischen Grundlagen, Optimierungsmethoden und die ML-Algorithmen. Es wird zu jedem Kapitel mindestens eine Beispiel-Übung durchgeführt. Die Übungen könnten durch Python-Code ergänzt werden. Zusätzlich werden Aufgabenstellungen definiert, dies dient der Festigung des in dem jeweiligen Kapitel gelernten. Spezielle Anwendungen sollen ebenfalls dargestellt werden. Die Zielgruppe sind hauptsächlich Studierende, welche sich in dieses Themengebiet einarbeiten möchten. Ingenieure können allerdings ebenfalls von diesem Fachbuch profitieren, da ein großer Schwerpunkt bei der Anwendung von ML liegt. Besonders die Verwendung in interdisziplinären Fachrichtungen wie der Regelungstechnik, Bildverarbeitung und der Chemie werden aufgezeigt.

Mein Name ist Benny Botsch und studierte Maschinenbau an der Technischen Universität in Berlin. Ich arbeite seit einigen Jahren als wissenschaftlicher Mitarbeiter bei der Gesellschaft zur Förderung angewandter Informatik e.V. (GFaI e.V.) im Bereich der Bildverarbeitung / Industrielle Anwendungen. Dabei entwickle ich Software zur Auswertung von 2D-Materialbildern durch klassische Bildverarbeitung (Objekterkennung, Kantenerkennung), aber auch durch neuronale Netze, um Materialkennwerte zu ermitteln.

Inhaltsverzeichnis

1 Einführung

1.1 Was ist maschinelles Lernen

1.2 Überwachtes Lernen

1.2.1 Klassifikation und Regression

1.2.2 Generalisierung, Überanpassung und Unteranpassung

1.3 Unüberwachtes Lernen

1.4 Bestärkendes Lernen

1.5 Teilüberwachte Lernen

1.6 Herausforderungen des maschinellen Lernens

1.6.1 Unzureichende Menge an Trainingsdaten

1.6.2 Nicht repräsentative Trainingsdaten

1.6.3 Daten von schlechter Qualität

1.6.4 Irrelevante Merkmale

1.6.5 Explainable Artificial Intelligence

1.7 Bewertung und Vergleich von Algorithmen

1.7.1 Kreuzvalidierung

1.7.2 Messfehler

1.7.3 Intervallschätzung

1.7.4 Hypothesenprüfung

1.8 Werkzeuge und Ressourcen

1.8.1 Installation von Python mit Anaconda

1.8.2 Entwicklungsumgebungen

1.8.3 Python Bibliotheken

1.8.4 Grundlagen in Python

2 Lineare Algebra

2.1 Skalare, Vektoren und Matrizen

2.1.1 Operationen mit Skalaren und Vektoren 2.1.2 Operationen mit Vektoren und Matrizen

2.1.3 Die Inverse einer Matrix

2.2 Lineare Gleichungssysteme

2.2.1 Gauß-Algorithmus

2.2.2 Numerische Lösungsmethoden linearer Gleichungssysteme

3 Wahrscheinlichkeit und Statistik

3.1 Grundbegriffe der Wahrscheinlichkeit

3.2 Zufallsgrößen und Verteilungsfunktionen

3.3 Momente einer Verteilung

3.3.1 Erwartungswert und Streuung

3.3.2 Schiefe und Exzess

3.4 Bedingte Wahrscheinlichkeiten

3.5 Deskriptive Statistik

3.6 Einfache statistische Tests

3.6.1 Ablauf eines statistischen Tests

3.6.2 Parametertests bei normalverteilter Grundgesamtheit

3.6.3 Mittelwerttest

3.6.4 ����2 Streuungstest

4 Optimierung

4.1 Grundlagen der Optimierung

4.1.1 Univariate Optimierung

4.1.2 Bivariate Optimierung

4.1.3 Multivariate Optimierung

4.2 Gradient Descent

4.2.1 Momentum-Based Learning

4.2.2 AdaGrad

4.2.3 Adam

4.3 Newton Methode

5 Parametrische Methoden

5.1 Regressionsanalyse

5.1.1 Lineare Regression

5.1.2 Logistische Regression

5.2 Lineare Support Vector Machines

5.2.1 Die optimale Trennebene

5.2.2 Soft-Margin

5.2.3 Kernfunktionen5.3 Der Bayessche Schätzer

5.3.1 Stochastische Unabhängigkeit

5.3.2 Bayessche Netze

5.4 Neuronale Netze

5.4.1 Das künstliche Neuron

5.4.2 Mehrschichtige Neuronale Netze

5.4.3 Lernvorgang

5.5 Deep Learning

5.5.1 Convolutional Neural Networks

5.5.2 Rekurrent Neural Networks

5.5.3 Generative Modelle

6 Nichtparametrische Methoden

6.1 Nichtparametrische Dichteschätzung

6.1.1 Histogrammschätzer

6.1.2 Kernschätzer

6.1.3 ����-Nächste-Nachbarn-Schätzer

6.2 Entscheidungsbäume

6.2.1 Univariate Bäume

6.2.2 Multivariate Bäume

6.2.3 Pruning

6.2.4 Random Forest

7 Bestärkendes Lernen

7.1 Was ist bestärkendes Lernen

7.1.1 Belohnung

7.1.2 Der Agent

7.1.3 Die Umgebung

7.1.4 Aktionen

7.1.5 Beobachtungen

7.2 Theoretische Grundlagen

7.2.1 Markov Entscheidungsprozesse7.2.2 Markov Prozess

7.2.3 Markov Belohnungsprozess

7.2.4 Policy

7.3 Wertebasierte Verfahren

7.3.1 Grundlagen der Wertefunktion und der Bellman-Gleichung

7.3.2 Q-Learning

7.3.3 SARSA

7.3.4 Deep Q-Networks (DQN)

7.4 Policybasierte Verfahren

7.4.1 Policy Gradien

7.4.2 Actor-Critic-Verfahren

7.4.3 Soft Actor-Critic (SAC)

8 Custeranalyse

8.1 ����-Means-Clustermethode

8.2 Hierarchisches Clustermethode 8.3 Gaußsche Mischmodelle

9 Anwendungen

9.1 Regelungstechnik

9.1.1 Systemidentifikation

9.1.2 Neuronaler Regler

9.1.3 Regelung eines inversen Pendels

9.2 Bildverarbeitung

9.2.1 Klassifikation von Zahlen

9.2.2 Segmentierung von Bruchflächen

9.2.3 Objekterkennung mit Vision Transformers

9.2.4 Künstliche Generierung von Bildern

9.2.5 Interpretierbarkeit von Vision-Modellen mit Grad-CAM

9.3 Chemie

9.3.1 Klassifizierung von Wein

9.3.2 Vorhersage von Eigenschaften organischer Moleküle

9.4 Physik

9.4.1 Statistische Versuchsplanung optimieren

9.4.2 Vorhersage von RANS-Strömungen

9.5 Generierung von Text

9.5.1 Textgenerierung mit einem Miniatur-GPT

9.5.2 Englisch-Spanisch-Übersetzung mit TensorFlow

9.6 Audiodatenverarbeitung

9.6.1 Automatische Spracherkennung mit CTC

9.6.2 Klassifizierung von Sprechern mit FFT

Literaturverzeichnis