mobile.de nutzt Opensource-Technologie für Datenintegration Ressourcenplanung mit Open-Source-ETL-Tool

Redakteur: Ulrich Roderer

Auf der Suche nach einer Alternative zu dem ETL-Tool SAP Business Objects Data Integration fand mobile.de die Datenintegrationstechnologie von Talend, die gut in die von Open-Source-Produkten geprägte Systemlandschaft des Portals passen.

Firmen zum Thema

Das Portal mobile.de setzt in Zukunft für seine Geschäftsanalyse auf die Unternehmenslösung Talend Enterprise Data Integration .
Das Portal mobile.de setzt in Zukunft für seine Geschäftsanalyse auf die Unternehmenslösung Talend Enterprise Data Integration .
(Bild: mobile.de)

Mit knapp 7,05 Millionen Unique Usern pro Monat (AGOF internet facts 2012-10) ist mobile.de der meistbesuchte Fahrzeugmarkt für den An- und Verkauf von Fahrzeugen in Deutschland. Aktuell stehen dort mehr als 1,4 Millionen Fahrzeuge zur Auswahl, das ist das größte Pkw-, Nutzfahrzeug- und Motorradangebot in Deutschland. Die Plattform richtet sich sowohl an Fahrzeughändler als auch an Privatkunden, zusätzliche Dienstleistungen wie die Vermittlung von Finanzierungen oder Versicherungen sowie Online-Werbung ergänzen das Angebot.

Das Internetgeschäft weist eine sehr hohe Dynamik auf und erfordert ständige Anpassungen und Verbesserungen am Webauftritt und den Backend-Systemen. Hinzu kommt speziell im Fall von mobile.de das sich ständig verändernde Verhalten der Nutzer, das eine kontinuierliche Überwachung und Neujustierung voraussetzt. Das Nutzerverhalten hängt dabei von vielen Faktoren ab, neben positiven Anreizen durch eigene Werbemaßnahmen spielen auch politische und wirtschaftliche Faktoren hinein.

Beispielhaft dafür sind die so genannte Abwrackprämie, die die Verkaufszahlen von PKW stark beeinflusst hat, oder die Eurokrise, die das Neuwagengeschäft dämpft, dafür aber das Geschäft mit Gebrauchtfahrzeugen stimuliert. Mit seiner IT-Infrastruktur versucht mobile.de möglichst viele dieser Faktoren in die Ressourcenplanung einfließen zu lassen – wobei man anhand der Fülle an Informationen aus Transaktionen und weiteren Quellen mit einiger Berechtigung von „Big Data“ reden kann.

Ersatz für das alte ETL-Werkzeug

Um den Internetauftritt und beispielsweise die Verkaufskonditionen jederzeit anpassen zu können, nutzt mobile.de selbst entwickelte Anwendungen mit verschiedenen Datenbanken als Backend. In diesen Datenbanken werden etwa Angebote, Verwaltungsinhalte, Zugriffszahlen oder Suchkriterien der Benutzer abgelegt. Alle Datenbanken werden in ein zentrales Data-Warehouse konsolidiert, das als Basis für die effiziente Aggregation und Auswertung von Informationen dient.

Um dieses Data-Warehouse mit Daten zu befüllen, wurde in der Vergangenheit die ETL-Software (Extract, Tranform, Load) SAP Business Objects Data Integration eingesetzt. „Unsere bestehende Lösung aus dem Data-Warehouse und dem ETL-Tool passte aber irgendwann einfach nicht mehr in unsere Systemumgebung“, erinnert sich Michael Schulz, Data-Warehouse-Manager bei mobile.de. „Zum einen wurden nicht alle benötigten Datenbanken unterstützt. Infolgedessen blieben eigentlich sinnvoll nutzbare Datenquellen für die Auswertungen außen vor und konnten schlichtweg nicht angezapft werden. Hinzu kam, dass das Business-Objects-System einige Betriebssysteme, etwa Suse-Linux-Derivate oder Debian, die wir intern verwenden, nicht unterstützt. Häufig reichten auch die Zeitfenster für notwendige Datenaufbereitungen nicht mehr aus.“ Es gab also einige Gründe, die aus Sicht von Michael Schulz dafür sprachen, das alte ETL-Werkzeug zu ersetzen.

Die Lösung

Eine genauere konzeptionelle Betrachtung ergab recht schnell, dass die Datenintegrationstechnologie von Talend gut in die von Open-Source-Produkten geprägte Systemlandschaft passen und das Pflichtenheft voll abdecken würde. Nach einer dreimonatigen Testphase stand fest: In Zukunft würde mobile.de seine Geschäftsanalyse mit der Unternehmenslösung Talend Enterprise Data Integration abwickeln. Diese kostenpflichtige Version bietet im Vergleich zu der kostenlosen Community-Version neben einem qualifizierten Support durch den Hersteller auch weitere, für den Unternehmenseinsatz nützliche Funktionen, etwa Team-Entwicklung oder die Unterstützung massiver Datenmengen.

Am Anfang stand die Migration der bestehenden ETL-Prozesse, die fast ein Jahr in Anspruch genommen hat. Im Zuge der Migration wurden die ETL-Prozesse neu konzipiert und entwickelt. Heute werden drei unterschiedliche Data-Warehouses aufgebaut. Die zugrunde liegenden Datenmodelle konnten aber allesamt beibehalten werden, das vereinfachte die Umstellung erheblich.

Da die Datenintegrations-Plattform geschäftskritisch ist, wurde die Infrastruktur ausfallsicher ausgelegt. Erreicht wurde dies durch die Einrichtung redundanter Serversysteme: Zwei aktive Talend-Server ergänzen sich gegenseitig. Auf einem dritten Serversystem läuft mit der Talend Admin Console (TAC) das zentrale Administrationssystem, das die Verwaltung und das Handling der Datenintegrationsprozesse übernimmt. Die Entwicklung und Anpassung der Datenintegrationsprozesse und des Data-Warehouse an die spezifischen Anforderungen von mobile.de erfolgt durch ein Entwicklerteam aus sechs Personen. Die gesamte Umgebung wird in virtuellen Maschinen im Kontext des VMware ESX-Servers ausgeführt.

Bereit für Big Data

Nach der gelungenen Umstellung zieht Michael Schulz ein positives Fazit: „Das Analysesystem kann nun weitaus genauer und schneller Auskunft über die Umsätze, die Besucher der Webseiten, deren Interessen und dergleichen liefern. Viele dieser Metrikern konnten früher nicht erzeugt werden, weil die dazu notwendigen Basisdaten nicht integriert waren“. Zur einfachen Integration von Anwendungen, Daten und Systemen nutzt mobile.de mittlerweile auch Talend Enterprise ESB mit seinem skalierbaren Enterprise Service Bus (ESB).

Aufgrund der positiven Erfahrungen plant mobile.de eine Ausweitung der Installation: „Wir hatten Big Data bei der Planung des Data-Warehouse-Projektes bereits im Hinterkopf. Mit der Technologie von Talend ist der Entwicklungspfad vom traditionellen Data-Warehouse zur Anbindung und Auswertung von Hadoop-Quellen ganz einfach möglich.“

(ID:38107690)