Big Data speziell für Xeon Intel bringt eigene Hadoop-Distribution heraus

Wer sich mit Big Data beschäftigt, kommt an „Apache Hadoop“ einfach nicht vorbei. Das denkt sich offenbar auch Intel und produziert eine eigene Distribution des Open-Source-Produkts. Seit Februar gibt es eine solche, die so eng wie nie zuvor mit Xeon-Prozessoren verknüpft ist.

Anbieter zum Thema

Intel Deutschland GmbH

AixpertSoft GmbH

Fujitsu Technology Solutions GmbH

Die Botschaft ist einfach: Wer Hadoop will, kann die Open-Source-Software natürlich überall laufen lassen; doch am besten auf Intel-basierter clustered Commodity-Hardware. Denn dann bekommt der Anwender zugleich „Enterprise-Features“ geliefert – wie immer diese auch aussehen.

Dafür wirft Intel seine gute Reputation in die Waagschale und Intel-Strategen wie Vin Sharma sehen einen akuten Bedarf an einer Evolution des Open-Source-Frameworks, das sich nun auch in den Unternehmen etabliere und nicht nur bei den großen Service-Providern als skalierbares Tool für Web-weite Analysen diene.

Die Unternehmen benötigten nun einmal ein gewisses Set an Verfügbarkeits-, Skalierbarkeits-, Security- und Management-Features. Zudem sähen sie in Open-Source eher ein Risiko und bevorzugten vertrauten Herstellern von denen sie Support und Services erwarten könnten.

Die Enterprise-Features

Intel habe eine Chance gesehen und in Hadoop investiert, so Sharma. Unter anderem könne Intel gar weltweit Service bieten.

Tatsächlich hat Intel bereits in Security-Features für Hadoop auf Xeon investiert, zum Beispiel in Chip-basierte Verschlüsselung. Diese Funktion stellt Intel dem Open-Source-Projekt zur Verfügung.

Zudem bietet der Hersteller eine Lösung für das Problem, dass Verschlüsselung jede Menge Rechenleistung benötigt. Die Intel-Distribution von Hadoop unterstützt die „AES New Instructions” (Intel AES -NI) in Xeon-Processoren. Das aber bewirkt, dass die Analyse von verschlüsselten Daten schneller vonstatten gehen kann.

Nützliche Automatismen

Zudem ist Xeon für hohes I/O-und Speicher-Aufkommen ausgelegt – Solid State Disks und 10 Gigabit Ethernet. Und schließlich ist das Hardware-Management mit der Bezeichnung „Intel Manager for Hadoop” in der Distribution automatisiert.

Eines der wichtigsten Features ist die „Active Tuner“-Software. Sie ist dafür zuständig, die Hardware-Konfiguration in Hadoop-Cluster zu automatisieren. Bisher müssen solche Anpassungen, etwa in Bezug auf Performance, manuell und von Experten vorgenommen werden. Der Intel-Algorithmus deckt ein Dutzend Parameter für typische Hadoop-Workloads ab.

(ID:39747120)