mobile.de nutzt Opensource-Technologie für Datenintegration

Ressourcenplanung mit Open-Source-ETL-Tool

Seite: 2/2

Firmen zum Thema

Die Lösung

Eine genauere konzeptionelle Betrachtung ergab recht schnell, dass die Datenintegrationstechnologie von Talend gut in die von Open-Source-Produkten geprägte Systemlandschaft passen und das Pflichtenheft voll abdecken würde. Nach einer dreimonatigen Testphase stand fest: In Zukunft würde mobile.de seine Geschäftsanalyse mit der Unternehmenslösung Talend Enterprise Data Integration abwickeln. Diese kostenpflichtige Version bietet im Vergleich zu der kostenlosen Community-Version neben einem qualifizierten Support durch den Hersteller auch weitere, für den Unternehmenseinsatz nützliche Funktionen, etwa Team-Entwicklung oder die Unterstützung massiver Datenmengen.

Am Anfang stand die Migration der bestehenden ETL-Prozesse, die fast ein Jahr in Anspruch genommen hat. Im Zuge der Migration wurden die ETL-Prozesse neu konzipiert und entwickelt. Heute werden drei unterschiedliche Data-Warehouses aufgebaut. Die zugrunde liegenden Datenmodelle konnten aber allesamt beibehalten werden, das vereinfachte die Umstellung erheblich.

Da die Datenintegrations-Plattform geschäftskritisch ist, wurde die Infrastruktur ausfallsicher ausgelegt. Erreicht wurde dies durch die Einrichtung redundanter Serversysteme: Zwei aktive Talend-Server ergänzen sich gegenseitig. Auf einem dritten Serversystem läuft mit der Talend Admin Console (TAC) das zentrale Administrationssystem, das die Verwaltung und das Handling der Datenintegrationsprozesse übernimmt. Die Entwicklung und Anpassung der Datenintegrationsprozesse und des Data-Warehouse an die spezifischen Anforderungen von mobile.de erfolgt durch ein Entwicklerteam aus sechs Personen. Die gesamte Umgebung wird in virtuellen Maschinen im Kontext des VMware ESX-Servers ausgeführt.

Bereit für Big Data

Nach der gelungenen Umstellung zieht Michael Schulz ein positives Fazit: „Das Analysesystem kann nun weitaus genauer und schneller Auskunft über die Umsätze, die Besucher der Webseiten, deren Interessen und dergleichen liefern. Viele dieser Metrikern konnten früher nicht erzeugt werden, weil die dazu notwendigen Basisdaten nicht integriert waren“. Zur einfachen Integration von Anwendungen, Daten und Systemen nutzt mobile.de mittlerweile auch Talend Enterprise ESB mit seinem skalierbaren Enterprise Service Bus (ESB).

Aufgrund der positiven Erfahrungen plant mobile.de eine Ausweitung der Installation: „Wir hatten Big Data bei der Planung des Data-Warehouse-Projektes bereits im Hinterkopf. Mit der Technologie von Talend ist der Entwicklungspfad vom traditionellen Data-Warehouse zur Anbindung und Auswertung von Hadoop-Quellen ganz einfach möglich.“

(ID:38107690)