Ein weiteres Echtzeitanalysesystem unter Apache Lizenz

LinkedIn Pinot wird Open Source

| Autor / Redakteur: Thomas Drilling / Thomas Drilling

Drillings Open-Source-Eck
Drillings Open-Source-Eck (Bild: Thomas Drilling)

Das soziale Netzwerk LinkedIn hat seine Infrastruktur-Lösung zur Echtzeitanalyse großer Datenmengen Pinot unter einer Open Source frei verfügbar gemacht.

Laut  Aussage von  LinkedIn-Produkt Manager Kishore Gopalakrishna werde das im Herbst 2014 erstmals vorgestellte Echtzeitanalysesystem Pinot inzwischen von mehr als 25 Analyseprodukten als Backend eingesetzt, sodass das System reif sei, von der Open-Source-Gemeinschaft weitergeführt zu werden.

SQL-ähnliche Abfragesprache

LinkedIn selbst setzt Pinot seit gut zwei Jahren als Plattform für Online-Analysen ein. Pinot bedient sich dazu aus von  Apache Hadoop und Kafka gelieferten Daten. Für Abfragen kommt eine an SQL angelehnte Sprache zum Einsatz, wobei allerdings keine Lesezugriffe möglich sind. Pinot verzichtet auch gänzlich auf table joins, damit die grundlegenden Eigenschaften Skalierbarkeit, Echtzeit-Fähigkeit und Ausfallsicherheit gewahrt bleiben.

Pinot wird derzeit auf Githib gehostet, steht aber unter einer Apache 2.0 Lizenz, was die Vermutung nahelegt, dass das Projekt irgendwann zur Apache Software Foundation umzieht.

Eine Auflistung sämtlicher gegenwärtig implementierter Funktionen steht auf der Projektseite zur Verfügung.