Deep Learning – Teil 3: Textverarbeitung

Der dritte Teil unserer Deep-Learning-Kursserie widmet sich der Verarbeitung von Sprache und Text mit modernen neuronalen Netzarchitekturen. Im Zentrum stehen dabei Transformer-Modelle, die heute das Rückgrat vieler Anwendungen im Bereich Natural Language Processing (NLP) bilden – von Chatbots bis hin zu automatischer Übersetzung.

Sie lernen, wie Wörter mithilfe von Word Embedding in mathematische Vektoren überführt werden und damit semantische Zusammenhänge in Texten abgebildet werden können. Darauf aufbauend steigen Sie in die Welt der Transformer ein – eine der bedeutendsten Entwicklungen im Deep Learning.

Der Kurs erläutert sowohl Decoder-Only-Transformer, die zur Texterzeugung verwendet werden, als auch Encoder-Decoder-Transformer, die typischerweise für Aufgaben wie maschinelle Übersetzung eingesetzt werden. Sie erfahren, wie diese Modelle strukturiert sind, wie sie trainiert werden und wie ihre verschiedenen Komponenten – wie Attention-Mechanismen, Layer Normalization und Feedforward-Blöcke – zusammenspielen.

Wie in den vorherigen Kursen liegt auch hier der Fokus auf Praxisnähe: Mit zahlreichen Übungen, Codebeispielen und zwei begleitenden Projekten wenden Sie die Theorie auf reale NLP-Aufgaben an.

Länge: 02:58 Stunden

Alle Video-Lektionen im Überblick:

• Vorstellung und Kursüberblick
  • Herzlich willkommen zu diesem Kurs
• Einführung in Transformer-Modelle
  • Kapitelüberblick
  • Hauptarten von Transformer-Modellen
  • Word-Embedding für Transformer-Modelle
  • Vorhersagen eines Decoder-Only-Transformers
  • Textdaten in Python importieren
  • Input- und Output-Tokens erstellen
  • Definition der Decoder-Komponenten
  • Decoder-Only-Transformer trainieren und bewerten
  • Quiz: Einführung in Transformer-Modelle
• Projekt 8 – Trainiere dein eigenes Large Language Model (LLM)
  • Kapitelüberblick
  • Projektvorlage in Python
  • Projektlösung in Python
• Transformer-Modelle – Vertiefung
  • Kapitelüberblick
  • Encoder-Decoder-Transformer – Intuition
  • Übersetzte Texte in Python importieren
  • Definition der Encoder-Komponenten
  • Definition der Decoder-Komponenten
  • Encoder-Decoder-Transformer trainieren und bewerten
  • Quiz: Transformer-Modelle – Vertiefung
• Projekt 9 – KI-gestützte Textübersetzung
  • Kapitelüberblick
  • Projektvorlage in Python
  • Projektlösung in Python
• Abschluss
  • Fazit und Kursabschluss

Über den Trainer:

Ilyas Tachakor entdeckte bereits während seines Informatikstudiums seine Leidenschaft für Data Science. Bevor er sich als Online-Dozent selbstständig machte, entwickelte er bei einem führenden deutschen EdTech-Startup innovative Lerninhalte im Bereich Informatik. Diese Erfahrung verschaffte ihm ein umfassendes Verständnis für die Bedürfnisse von Lernenden. Heute verbindet er dieses Wissen mit seiner Fachkompetenz, um in seinen praxisorientierten Videokursen ein nachhaltiges Lernerlebnis zu schaffen und Menschen für moderne Technologien zu begeistern.

So lernen Sie mit diesem Videokurs:

In den Videokursen von heise academy lernen Sie IT-Themen anschaulich und verständlich. In den Videos schauen Sie den Experten bei der praktischen Arbeit zu und lassen sich dabei alles genau erklären. Das Wissen ist in kleine Lernschritte und Aufgaben unterteilt, sodass Sie den Kurs Lektion für Lektion durcharbeiten oder gezielt zu Themen springen können, die Sie interessieren. Die persönliche Lernumgebung der heise academy hält viele Funktionen für Sie bereit, die Ihnen beim Lernen helfen können:

• Flexibler Videoplayer mit vielen Steuerungsmöglichkeiten
• Wissensquiz zur Lernkontrolle
• Lernhistorie und Lernfortschritt
• Lesezeichen und Notizen
• Volltextsuche in den Videos
• Frage-den-Experten-Modul
• Übungsmaterial zum Mitmachen
• Responsive Web-App und Videostreaming für alle Endgeräte

Technische Voraussetzungen:

Für diesen Videokurs werden lediglich ein Browser (mit eingeschalteter JavaScript-Funktionalität) und eine Internetverbindung benötigt.