Umfangreiches Testprojekt von T-Systems SfR, Genomatix und Zimory Verarbeitung großer Datenmengen mittels Cloud-Technologie

In einem Proof of Concept stellte Zimory zusammen mit NetApp, T-Systems SfR und das Fraunhofer Institut ITWM unter Beweis, dass es möglich ist, große Datenmengen mittels Cloud-Technologie zu verarbeiten. Ziel des Projektes war es, ein Filesystem in der Cloud zu nutzen, das Skalierbarkeit und höchste I/O-Raten liefert. Die Daten selbst stammen von Genomatix.

Anbieter zum Thema

Vogel IT-Medien GmbH

Fujitsu Technology Solutions GmbH

Schwarz IT KG

index Agentur GmbH

Zu den Vorteilen einer Cloud-Umgebung gehört die Skalierbarkeit - beispielsweise von CPU und Speicherplatz. Dabei wird die Input-/Output-Geschwindigkeit (I/O-Rate) oft als Nadelöhr bezeichnet. Dies gilt insbesondere für datenintensive Anwendungen. In einem Proof of Concept gelang es NetApp jetzt zusammen mit den Partnern T-Systems Solution for Research, Zimory und dem Fraunhofer Institut für Techno- und Wirtschaftsmathematik ITWM zu beweisen, dass selbst enorm große Datenmengen mittels Cloud-Technologien verarbeitet werden können.

Die Software der Firma Genomatix diente dazu, um die Tauglichkeit des Konzepts für eine T-Systems-Cloud-Umgebung zu prüfen. Genomatix ist ein führender Anbieter von Software zur Analyse und Auswertung genomischer Daten. Für die Verarbeitung wird eine große Anzahl an CPUs und eine definierte I/O-Rate zum Speichersystem benötigt.

Die Test-Infrastruktur

Im NetApp Customer Proof of Concept Lab in den USA baute Genomatix gemeinsam mit den Partnern eine Teststellung auf. Als Hardware-Infrastruktur und als Host für die virtuellen Maschinen dienten acht 12-Core-Server von IBM, ausgestattet mit bis zu 144 GB RAM und 10 Gigabit/s-Ethernet-Verbindungen. Als Speichersystem fungierte ein NetApp FAS-System mit Dual Controller und 1 TB FlashCache. Mit dem Parallelen Filesystem FhGFS des Fraunhofer Instituts wurde die Performance in Richtung Speicher erhöht, da die Schreib- und Leselast gleichzeitig auf mehrere Disks verteilt werden kann. Mit Hilfe der Cloud Management Suite des Berliner Software-Herstellers Zimory wurden die benötigten Ressourcen automatisch reserviert und optimal zugewiesen.

„Die Ergebnisse der Teststellung haben gezeigt, dass unsere Software trotz riesiger zu verarbeitender Datenmengen in einer Cloud-Umgebung eingesetzt werden kann“, fasst Torben Frey von Genomatix das Projekt zusammen. „Die Performance steht physischen, lokalen Servern mit einem angeschlossenen RAID-System in nichts nach.“

Mit dieser Implementierung haben die Projektpartner gezeigt, dass die Verarbeitung großer Datenmengen mit hoher Performance auch in einer virtuellen Cloud-Umgebung möglich ist. Big-Data-Analysen und Lese-intensive Anwendungen können skalierbar implementiert werden. Die benötigten Datenraten werden in einer Zimory-Cloud mit dem Fraunhofer Filesystem zur Verfügung gestellt.

„Dieses Projekt ist ein wichtiger Entwicklungsschritt für das Cloud-Computing“, sagt Rüdiger Baumann, CEO von Zimory. „Wir haben beweisen können, dass auch große Datenmengen schnell und effizient in der Cloud verarbeitet werden können. Und darüber hinaus haben wir gezeigt, dass die Lese- und Schreibgeschwindigkeit vom Nutzer nach Bedarf skaliert werden kann.

Deutsche Börse Cloud Exchange stellt sich vor

Weltweit erster unabhängiger Marktplatz für Cloud Computing

(ID:39664080)