Data Artisans Streaming Ledger

Serialisierbare ACID-Transaktionen direkt auf Streaming-Daten und ohne Datenbank

| Redakteur: Ulrike Ostler

Das Data-Processing bei „Data Artisans Streaming Ledger“ kommt ohne zugrundeliegende relationale Datenbank aus und erlaubt so neue Arten von Streaming-Anwendungen.
Das Data-Processing bei „Data Artisans Streaming Ledger“ kommt ohne zugrundeliegende relationale Datenbank aus und erlaubt so neue Arten von Streaming-Anwendungen. (Bild: gemeinfrei - Prawny/Pixabay / CC0)

Data Artisans, gegründet von den Initiatoren des „Apache Flink“- Projekts, hat heute auf der Flink Forward Berlin eine bereits zum Patent angemeldete Technologie vorgestellt. Diese erweitert die Bandbreite der Stream-Verarbeitung mit schnellen, serialisierbaren ACID-Transaktionen (Atomicity, Consistency, Isolation, Durability) direkt auf Streaming-Daten.

Mit der Einführung von „Data Artisans Streaming Ledger“ hebt Data Artisans eine langjährige Einschränkung der bestehenden Stream-Processing-Techniken auf. Mit serialisierbaren Transaktionen über mehrere Tabellen, Zeilen und Streams hinweg können sich, so der Anbieter, Programmierer auf die Anwendungslogik konzentrieren, anstatt sich um Konsistenzmodelle kümmern zu müssen.

Bis zum Jahr 2025 soll, so der „“,Market Insights Report, Dezember 2017, der globale Markt für Streaming-Analytik ein Volumen von 47,75 Milliarden Dollar erreichen, bei einer kontinuierlichen jährlichen Wachstumsrate von 34,98 Prozent zwischen 2017 und 2025. Das Wachstum ist dadurch bedingt, dass Unternehmen branchenübergreifend von einem produktzentrischen Geschäftsmodell zu einem Kunden- und Service-orientierten Ansatz übergehen.

Da Unternehmen ihre Streaming-Datenarchitektur ausbauen, wollen sie die Anwendungsfälle erweitern und eine größere Bandbreite von Echtzeitanwendungen einsetzen. Das Produkt Streaming Ledger gehe über das heutige exactly-once Stateful-Stream-Verarbeitungsmodell hinaus und bringt mehrzeilige, mehrstufige Cross-Stream-Transaktionen in die Datenstromverarbeitung, so Data Artisians .

Der Anwendungsbereich

Die Software wurde speziell für die Anforderungen der heutigen datenintensiven Branchen entwickelt. Sie bietet einen hohen Durchsatz, so dass umfangreiche Anwendungen wie Bestandsverwaltung, Preisfindung, Fakturierung, Supply-Demand-Matching, Logistik oder Positionsführung effizient in konsistente Streaming-Anwendungen umgewandelt werden können. Hierbei ist erstmals keine zugrundeliegende relationale Datenbank mehr erforderlich.

Stephan Ewen, Mitbegründer und CTO von Data Artisans, sagt: „Die Gewährleistung serialisierbarer ACID-Transaktionen ist die Königsdisziplin des Daten-Managements. Dabei handelt es sich um ein sehr aufwändiges Problem, an dem selbst große etablierte Datenbanken scheitern. Wir sind sehr stolz darauf, einen Weg gefunden zu haben, dieses Problem für Echtzeit-Datenstreams zu lösen und haben die Lösung so konzipiert, dass sie schnell und einfach zu bedienen ist.“

Ergänzendes zum Thema
 
Über Data Artisans

Die Funktionsweise von „Data Artisans Streaming Ledger“
Die Funktionsweise von „Data Artisans Streaming Ledger“ (Bild: Data Artisians)

Die Funktionsweise

Das Produkt verarbeitet Event-Streams über mehrfach verteilte States/Tabellen mit serialisierbarer ACID-Semantik. Die Software überwindet die Einschränkungen bestehender Stream-Processing-Technologien durch die Möglichkeit, verteilte serialisierbare Transaktionen aus mehreren Streams über gemeinsame Tabellen und multiplen Zeilen pro Tabelle durchzuführen.

Ähnlich wie bei serialisierbaren ACID-Transaktionen in relationalen Datenbank-Management-Systemen modifiziert jede Transaktion alle Tabellen, vollständig isoliert gegen gleichzeitige Änderungen. Dadurch kann die Datenkonsistenz wie in den führenden relationalen Datenbanken von heute gewährleistet werden.

Die Architektur der Data Artisans Plattform.
Die Architektur der Data Artisans Plattform. (Bild: Data Artisians)

Das Produkt wird Bestandteil der „Data Artisans Plattform“. Diese steht somit ab sofort in zwei Versionen zur Verfügung. Die ursprüngliche „Stream Edition“ beinhaltet einen „Application Manager“, der den Prozess der Durchführung und Aufrechterhaltung von Echtzeit-Streaming-Applikationen rationalisiert. Die nunmehr neue „River Edition“ umfasst sowohl die Funktionen von Streaming Ledger als auch des Application Manager.

Frei zugänglich

Damit ermögliche das Produkt „eine völlig neue Klasse von Streaming-Anwendungen mit maximaler Transaktionskonsistenz“, so der Hersteller. Die Programmier-API, einschließlich einer seriellen Runtime für die lokale Entwicklung, wurde als Open-Source-Projekt auf Github veröffentlicht.

Ewen ergänzt: „Wir sehen dies auch als Beweis für die Leistungsfähigkeit von ´Apache Flink` und seine einzigartigen Fähigkeiten, die Bausteine für eine solch fortschrittliche Technologie zur Verfügung zu stellen.“ Auch jetzt schon wird Apache Flink von Entwicklern zur Analyse und Verarbeitung von Datenströmen mit sehr hohem Volumen verwendet.

Durch den Einsatz von Flink und einer Daten-Streaming-Architektur können Unternehmen innerhalb von Millisekunden auf Erkenntnisse aus Daten reagieren und bestehende historische Datenverarbeitungsanforderungen innerhalb einer einzigen Plattform abdecken. Flink wird von der dynamischen und wachsenden Open-Source-Community der Apache Software Foundation entwickelt und unterstützt, in der mehr als 360 Teilnehmer aktiv sind.

Teilnehmer der Flink Forward Konferenz Berlin (4. und 5. Sepetember 2018) erhalten vor Ort eine Live-Demonstration.

Was meinen Sie zu diesem Thema?

Schreiben Sie uns hier Ihre Meinung ...
(nicht registrierter User)

Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
Kommentar abschicken
copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 45479768 / Data)