Analyse großen Datenmengen Microsoft Graph Engine wird Open Source

Microsoft hat seine „Graph Engine“ für die Analyse großer Datenmengen unter eine Open-Source-Lizenz zum Download bereit gestellt, einschließlich eines SDK für das eigene Entwickler-Tool „Visual Studio“.

Anbieter zum Thema

Vogel IT-Medien GmbH

Fujitsu Technology Solutions GmbH

Schwarz IT KG

Microsoft Deutschland GmbH

Die Graph Engine, ein bereits mehrere Jahre bestehendes internes Forschungsprojekt von Microsoft, steht ab sofort unter der MIT Open-Source-Lizenz. Die Analyseplattform für den vereinfachten Umgang mit Graphen bringt eine eigene Abfragesprache (Language Integrated Knowledge Query, LIKQ) mit, die Microsoft auch für die Cloud-API der eigenen Cognitive Services nutzt sowie Funktionen zum Importieren und Verarbeiten der Daten.

Memory-Cloud

Neben dem Modell zur Repräsentation der Graphen und den Nutzer-Schnittstellen ist der Speicherpool für das eigentliche Speichern der Daten die wohl wichtigste Komponente der Plattform.

Sie fasst den Arbeitsspeicher mehrerer Cluster zu einem global adressierbaren Adressraum zusammen, basiert auf einem verteilten Key-Value-Store und bringt das zugehörige Framework mit, das den enthaltenen Servern die Kommunikation ermöglicht.

Die Graph Engine ist allerdings nicht nur RAM-Store, sondern auch Compute-Engine, das heißt: Die Server selbst speichern nicht nur die Daten, sondern führen auch die Berechnungen unmittelbar auf diesen aus. Der Zugriff auf die Daten/Ergebnisse erfolgt mithilfe von Proxy- und Client-Systemen, die selbst keine Daten vorhalten.

SDK für Visual Studio

Da die Graph Engine laut Aussage von Microsoft nicht auf bestimmte Operationen optimiert ist, können Anwender die Software problemlos an die eigenen Bedürfnisse anpassen, wobei ein SDK für Visual Studio bereits enthalten ist. Die Engine selbst ist in C# mit DotNet geschrieben und setzt derzeit mindestens „Windows 7“ oder „Windows Server 2008 R2“ voraus. Da .Net Core aber inzwischen ebenfalls unter einer Open-Source-Lizenz steht, ließe sich die Graph Engine theoretisch auch auf Linux portieren, obgleich es hierfür derzeit keine Pläne gibt.

Während der Quellcode folgerichtig ab sofort auf Github zum Download bereit steht, hält die Projektseite eine umfangreiche Dokumentation bereit.

*Über den Autor

Thomas Drilling ist freie Autot und Berater. Aus DataCenter-Insider schreibt er seinen eigenen Blog: „Drillings Open-Source Eck“.

(ID:44532055)