PySpark – Teil 1: Spark-Grundlagen und Datenmanipulation

PySpark bietet eine Schnittstelle für die Nutzung von Apache Spark in Python. Es vereint die Performanz von Apache Spark mit der Flexibilität von Python und erleichtert damit die Abfrage, Verarbeitung und Auswertung großer Datenmengen.

In diesem Kurs erhalten Sie einen fundierten Einstieg in die Arbeit mit PySpark. Nach einer theoretischen Einführung in Big Data und die Architektur von Spark lernen Sie zentrale Konzepte wie SparkContext und SparkSession kennen. Anschließend arbeiten Sie mit den grundlegenden Datenstrukturen in PySpark, den Resilient Distributed Datasets (RDDs) sowie den Spark DataFrames, und setzen Spark SQL gezielt für effiziente Datenabfragen ein. Praktische Übungen helfen Ihnen dabei, das Gelernte zu festigen und anzuwenden.

Dieser Kurs gehört zu einer Kursreihe:

• PySpark – Teil 1: Spark-Grundlagen und Datenmanipulation 
• PySpark – Teil 2: Datenverarbeitung mit PySpark DataFrames (erscheint in Kürze)
• PySpark – Teil 3: Datenverarbeitung mit Spark SQL (erscheint in Kürze)
• PySpark – Teil 4: Machine Learning mit Spark MLlib (erscheint in Kürze)
  
  

Länge:  01:23 Stunden

Alle Lektionen im Überblick:

• Vorstellung und Infos zum Kurs
  • Herzlich willkommen zu diesem Kurs
• Einführung und Vorbereitung
  • Kapitelüberblick
  • Theorie: Was ist Big Data?
  • Theorie: Herausforderungen bei der Arbeit mit großen Datenmengen
  • Theorie: Big Data Tools
  • Theorie: Einführung in Apache Spark und seine Architektur
  • Größe einer Excel-Tabelle in der Analyse
  • Installation der Entwicklungsumgebung mit Jupyter Labs
  • Einrichtung von PySpark mit Jupyter Labs
  • Quiz: Einführung und Vorbereitung
• Grundlegende Konzepte und Datenstrukturen in PySpark
  • Kapitelüberblick
  • Theorie: SparkContext und SparkSession
  • SparkContext und SparkSession
  • Theorie: Grundlegende Datenstrukturen in PySpark
  • Spark-Cluster-Komponenten im Überblick
  • PySpark-Datenstrukturen: Resilient Distributed Datasets (RDDs)
  • PySpark-Datenstrukturen: Spark DataFrames
  • Spark SQL als SQL-Schnittstelle für die Interaktion mit DataFrames
  • Quiz: Grundlegende Konzepte und Datenstrukturen in PySpark
• Abschluss
  • Fazit und Kursabschluss

Über den Trainer:

Fabio Basler hat schon zu Beginn seines Studiums eine große Leidenschaft für die Methoden der Statistik und Data Science entwickelt. Über mehrere Semester hinweg konnte er als Tutor zahlreiche Studierende erfolgreich auf ihre Prüfungen und den Berufsalltag vorbereiten. Fabio Basler arbeitet als Datenanalyst in einem großen Industriekonzern. Mit großer Freude am Unterrichten gibt er sein Wissen in Online-Kursen und Seminaren weiter.

So lernen Sie mit diesem Videokurs:

In den Videokursen von heise academy lernen Sie IT-Themen anschaulich und verständlich. In den Videos schauen Sie den Experten bei der praktischen Arbeit zu und lassen sich dabei alles genau erklären. Das Wissen ist in kleine Lernschritte und Aufgaben unterteilt. Sie können den Kurs Lektion für Lektion durcharbeiten oder gezielt zu Themen springen, die Sie interessieren. Die persönliche Lernumgebung der heise academy hält viele Funktionen für Sie bereit, die Ihnen beim Lernen helfen können:

• Flexibler Videoplayer mit vielen Steuerungsmöglichkeiten
• Wissensquizzes zur Lernkontrolle
• Lernhistorie und Lernfortschritt
• Lesezeichen und Notizen 
• Volltextsuche in den Videos
• Frage-den-Experten-Modul
• Übungsmaterial zum Mitmachen
• Responsive Web-App und Videostreaming für alle Endgeräte

Technische Voraussetzungen:

Für diesen Videokurs wird lediglich ein Browser (mit eingeschalteter JavaScript-Funktionalität) und eine Internetverbindung benötigt.