c't 23/2023

Einstieg in Word Embedding, Sequence-to-Sequence-Modelle und Transformer mit PythonDas Buch bietet eine leicht verständliche Einführung in Machine-Learning-Algorithmen im Allgemeinen und in die Verarbeitung von Textdaten mit Deep-Learning-Verfahren im Besonderen. Es veranschaulicht die theoretischen Konzepte bewährter und neuerer NLP-Ansätze und führt in die praktische Umsetzung ein.Im Fokus stehen insbesondere folgende Verfahren:Vektorisierung von Wörtern mit Word EmbeddingVerarbeitung von Texten mit rekurrenten und konvolutionalen neuronalen Netzen.Aufbau von Sequence-to-Sequence-Modellen zur Übersetzung und für Textzusammenfassungen.Arbeit mit der Transformers-Bibliothek und Hugging Face.Anhand praktischer Anwendungen (Klassizierung von Texten, Rechtschreibkorrektur, Übersetzung, Frage-Antwort-System) wird gezeigt, wie sich Textdaten vorbereiten und effektive Lernmodelle mit Bibliotheken wie Transformers, TensorFlow/Keras und Scikit-Learn aufbauen, trainieren und produktiv einsetzen lassen.Über den Autor:Dr. Jochen Hirschle ist IT-Trainer und Consultant für Machine Learning und Deep Learning in Braunschweig. Er ist erfahrener Programmierer in Python und Java und war als Wissenschaftler und Dozent an den Universitäten in Köln, Innsbruck und Frankfurt tätig. Er kennt die Fallstricke der statistischen Datenanalyse und die Tricks maschinellen Lernens aus seiner langjährigen Praxis und er weiß, wie sich komplexe Sachverhalte einfach erklären lassen.Leseprobe (PDF-Link)

Sprachanwendungen mit Hugging Face erstellenTransformer liefern hervorragende Ergebnisse bei der maschinellen Sprachverarbeitung und haben sich in den letzten Jahren zur vorherrschenden Architektur im Natural Language Processing (NLP) entwickelt. Dieses Praxisbuch zeigt Data Scientists und Programmierer*innen, wie sie NLP-Modelle mit Hugging Face Transformers, einer Python-basierten Deep-Learning-Bibliothek, trainieren und skalieren. Transformer kommen beispielsweise beim maschinellen Schreiben von Nachrichtenartikeln, bei der Verbesserung von Google-Suchanfragen oder bei Chatbots zum Einsatz.Lewis Tunstall, Leandro von Werra und Thomas Wolf, die die Transformers-Bibliothek von Hugging Face mitentwickelt haben, erklären in diesem Buch, wie Transformer-basierte Modelle funktionieren und wie Sie sie in Ihre Anwendungen integrieren. Sie erfahren, wie Transformer für eine Vielzahl von Aufgaben erfolgreich eingesetzt werden können.Erstellen, debuggen und optimieren Sie Transformer-Modelle für zentrale NLP-Aufgaben wie Textklassifizierung, Named Entity Recognition oder Question AnsweringLernen Sie, wie Transformer für sprachenübergreifendes Transfer Learning verwendet werdenWenden Sie Transformer auf reale Anwendungsfälle an, bei denen nur auf wenige gelabelte Daten zurückgegriffen werden kannOptimieren Sie Transformer-Modelle für das Deployment mit Techniken wie Distillation, Pruning und QuantisierungTrainieren Sie Transformer von Grund auf und lernen Sie, wie sie auf mehreren GPUs und verteilten Umgebungen skalierenÜber die Autoren:Lewis Tunstall ist Machine Learning Engineer bei Hugging Face. Der Schwerpunkt seiner Arbeit liegt derzeit auf der Entwicklung von Tools für die NLP-Community und darauf, Menschen zu schulen, diese effektiv zu nutzen.Leandro von Werra ist Machine Learning Engineer im Open-Source-Team von Hugging Face. Er konzentriert sich hauptsächlich auf Modelle, die Code generieren können, und auf die Zusammenarbeit mit der Community.Thomas Wolf ist Chief Science Officer und Mitgründer von Hugging Face. Sein Team hat sich der Aufgabe verschrieben, die KI-Forschung voranzutreiben und sie weiter zu demokratisieren.