iX Developer Big Data 2015

Big Data

Big Data ist mittlerweile mehr als nur ein Hype. Die Techniken und Konzepte dahinter sind branchenübergreifend angekommen, und Unternehmen haben begonnen Big Data in ihre Prozesse und Kultur einzubinden.

Hadoop

NoSQL

Relationale Datenbanken haben seit geraumer Zeit eine ernstzunehmende Konkurrenz bekommen. Denn die unterschiedlichen NoSQL-Konzepte erfüllen in vielen Fällen die heutigen Anforderungen an Datenbanken viel besser als die arrivierten relationalen Vertreter. Wären da nicht schon wieder andere Trends wie NewSQL & Konsorten …

Analyse und Programmiersprachen

Data Science ist das Hype-Thema im Big-Data-Umfeld schlechthin. Wie gut, dass die Data Scientists bei ihrer Analyse schon auf bewährte Patterns, Werkzeuge und Programmiersprachen zur Visualisierung ihrer Daten zurückgreifen können.

BIG DATA

Trends

Klaas Wilhelm Bollhöfer

Recht

Security

HADOOP

MapReduce/YARN

Ökosystem

Apache Spark

Hadoop konkret

NoSQL

Überblick

Dokumentenorientierte Datenbanken

Graphendatenbanken

Moderne Datenbanksysteme

NoSQL-Vergleich

Enterprise Search

ANALYSE

Data Science

Entwurfsmuster

Data Visualization

PROGRAMMIERSPRACHEN

Sprachen zur Datenanalyse

SONSTIGES

Der Begriff „Big Data“ ist in den letzten zehn Jahren sicherlich überstrapaziert worden. Begünstigt durch zunehmend billiger werdenden Hauptspeicher und Mechanismen paralleler Programmierung zur schnellen Datenverarbeitung haben sich Analysten, Marketingabteilungen unterschiedlichster Firmen sowie Konferenz- und Schulungsanbieter schnell auf die mit Big Data verbundenen Techniken und Schlagwörter gestürzt. Die Folge war ein klassischer Hype mit all seinen Sonnen- und Schattenseiten. So ist eine stark vom Big-Data-Framework Apache Hadoop und seinem Ökosystem getriebene technische Basis entstanden, die es allerdings erst mal zu monetarisieren gilt.

Viele unserer Leser waren zu Recht erst mal skeptisch, selbst noch 2012, als der Branchenverband BITKOM Big Data zum Trend ausrief, und auch noch 2014, als die CeBIT Big Data zum Leitthema kürte. So attraktiv die immer wieder zitierten Anwendungsszenarien und so erschreckend bis faszinierend die Datensammelwut beispielsweise einer NSA sind, fehlte es vielen Unternehmen lange Zeit an der Idee oder Strategie, wie sich aus ihren großen Datenmengen geschäftsrelevante Informationen mit Gewinn ziehen lassen. Das ändert sich nun so langsam, wie ich in Gesprächen auf unser eigenen Big-Data-Konferenz data2day erfahren durfte, die im November letzten Jahres ihre Premiere hatte.

Und auch die Artikel in diesem Sonderheft deuten darauf hin, dass Big Data mittlerweile mehr als nur ein skeptisch zu sehender Hype zu zugegebenermaßen reifen Techniken ist. Beispielsweise hat sich mit den Data Scientists eine eigene Berufsgruppe herausgebildet, für nicht wenige die derzeit spannendste in der IT. Für die damit verbundenen Fähigkeiten – Klaas Wilhelm Bollhöfer skizziert sie im Heft als Mischung aus klassischem Ingenieursstudium, programmatischen und mathematischen Grundlagen sowie Business- und Design-Denken aus der Internet-Ära – sind Experten natürlich nicht so einfach zu finden.

Mag es auf Wirtschafts-, Job- und Projektseite signifikant vorwärtsgehen, ist selbst bei Hadoop womöglich noch lange nicht das Ende der Fahnenstange erreicht. So vermeldete der bei Cloudera angestellte Hadoop-Schöpfer Doug Cutting Mitte März 2015 immer noch eine jährliche Verdopplung der Hadoop-Anwender. Das bedeutet zugleich, dass über die Hälfte der Nutzer Einsteiger in das Thema sind. Für sie mag das Sonderheft den größten Wert haben, aber auch für alle anderen an Big-Data- und NoSQL-Themen Interessierten haben wir Lesenswertes konfektioniert.

Wir wünschen Ihnen viel Spaß bei der Lektüre.

Alexander Neumann

Auf der Heft-DVD

EXASolution versus Natural Language Processing: ein Praxisbeispiel, wie benutzerdefinierte Funktionen (User-Defined Functions; UDFs) in EXASolution zu integrieren sind, um Sprachverarbeitung direkt in der Datenbank zu ermöglichen.

Big-Data-Analysen mit Skyline: Skyline ist ein neues Analyse-Werkzeug in EXASolution, das unter Berücksichtigung unterschiedlicher Bewertungskriterien eine Vorauswahl aus großen Datenmengen über mehrere Dimensionen hinweg trifft.

Skyline – ein praktisches Beispiel: Das multidimensionale Optimierungstool „Skyline“ erspart das mühevolle Sortieren, Filtern und die subjektive Bewertung unüberschaubar großer Datenmengen.

Performance und Geschwindigkeit statt Schneckentempo und Frustration: allgemeiner Überblick über die Möglichkeiten des In-Memory Computing mit der Hochleistungsdatenbank EXASolution.


HADOOP
Cloudera’s Distribution Including Hadoop (CDH) 5.3.0
Die Open-Source-Sammlung umfasst die Kernkomponenten von Hadoop zur verteilten und ausfallsicheren Speicherung und Verarbeitung großer Datenmengen. Darüber hinaus sind Werkzeuge für Sicherheit, Hochverfügbarkeit und Integration in bestehende Datenlandschaften enthalten. CDH ist unter der Apache-Lizenz verfügbar und eine der verbreitetsten Hadoop-Distributionen und wird für Tests, Entwicklung und den Betrieb großer Cluster verwendet. Auf der DVD befindet sich ein VMware-Image, das insbesondere Einsteigern helfen kann, sich schnell einen Überblick zu verschaffen.