HA-HDFS in Hadoop 2.2.x und: Yahoo testet YARN

Hadoop sorgt nun auch für die Hochverfügbarkeit von Big Data

| Autor / Redakteur: Filipe Pereira Martins und Anna Kobylinska / Ulrike Ostler

Eine angespannte Beziehung

Von Anbietern proprietärer Big-Data-Lösungen wird Hadoop mit HA-HDFS zugleich genutzt und gefürchtet. Mike Olson, der Chief Strategy Officer von Cloudera, macht es ganz klar deutlich, warum Softwarehäuser auf der Basis von proprietären Standards sich besser keine Hoffnungen machen sollten, erfolgreich mit quelloffenen Lösungen zu konkurrieren: „Die wirtschaftlichen Skaleneffekte kostenloser Downloads, einer kostenlosen Installation und kostenlosen Benutzung sind in Kombination mit dem hohen Innovationstempo der Open-Source-Gemeinde durch einen einzelnen (kommerziellen) Anbieter einfach nicht zu schlagen.“

Die größte Herausforderung beim Einsatz von Hadoop mit HA-HDFS ist nicht ein dickes Finanzpolster, sondern das (noch) fehlende Know-how. Die Lösung laut Urbanski: klein anfangen.

Im ersten Schritt gilt es, sich die günstige Datenverarbeitung und robuste Datensicherung mit HDFS zu Nutze zu machen. Nachdem man damit begonnen habe, die Früchte dieser Kostensenkungen zu ernten, könne man dann die Datenanalyse ausbauen. Erst in dieser Phase würde es Sinn machen, Datenwissenschaftler zu beschäftigen, damit sie mit Hilfe von Datenanalyselösungen auf der Basis von Hadoop anspruchsvolleren Fragen nachgingen.

Die Autoren:

Filipe Martins und Anna Kobylinska sind von der McKinley Denali Inc. (USA). Sie ziehen folgendes Fazit: "In der zweiten Generation von Hadoop wurde HDFS ziemlich „aufgebohrt“. Die aktuelle Hochverfügbarkeitsimplementierung mischt die Karten ganz schön neu auf."

Ergänzendes zum Thema
Was meinen Sie zu diesem Thema?

Schreiben Sie uns hier Ihre Meinung ...
(nicht registrierter User)

Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
Kommentar abschicken
copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 42544481 / Software)