End-Edge-Cloud Synchronisation

Im Gegensatz zu herkömmlichen Internetanwendungen, die Benutzer mit Benutzern über das Netzwerk verbinden, sind die beteiligten Objekte von IoT-Anwendungen domänenübergreifend, wie „End“, „Edge“ und „Cloud“, und bilden ein komplexeres Anwendungsmodell.

Was ist End-Edge-Cloud?

Anders als bei herkömmlichen Internetanwendungen, die Benutzer mit Benutzern über das Netzwerk verbinden, erstrecken sich die beteiligten Objekte von IoT-Anwendungen über das „End“, „Edge“ und „Cloud“ und bilden einen komplexeren Anwendungsmodus:

(1) End-Seite: Sie befindet sich normalerweise innerhalb des Geräts, z. B. eines Stromaggregats, eines Logistikfahrzeugs, eines Lüfters usw. Der Endstandort verfügt normalerweise über weniger Speicher- und Rechenressourcen und muss die generierten Daten lokal zwischenspeichern oder speichern wenn kein Netz vorhanden ist. Die gespeicherten Daten unterstützen auch Anwendungen wie Edge Computing.
(2) Edge-Seite: normalerweise die Edge-Gateway-Knoten oder lokale Steuerknoten, wie IoT-Plattformen auf Fabrikebene und zentralisierte Steuersysteme. Die Edge-Seite empfängt Daten von mehreren Geräten und überwacht den Gerätestatus in Echtzeit und muss effiziente Einfüge-, Lösch-, Änderungs- und Abfragefunktionen unterstützen.
(3) Cloud-Seite: Es handelt sich in der Regel um eine Big-Data-Plattform auf Unternehmensebene, und die Daten aller Fabriken werden zur Datenanalyse auf der Cloud-Plattform aggregiert.




„End-Edge-Cloud“-Architektur für die Datensynchronisation

Drei Softwareformen

IoTDB-Lite (TsFile)

Stellt ein spaltenweises Speicherdateiformat bereit, das für Zeitreihendaten entwickelt wurde. Es verwendet Geräte und ein Messmodell, um zweidimensionale Indizes für Serien und Zeit zu erstellen, und unterstützt das Schreiben von mehreren zehn Millionen Punkten pro Sekunde, Speicherung mit hoher Komprimierungsrate und Hochleistungsabfrage.

IoTDB-Standard

Bietet eine vollständige Funktion zum Einfügen, Löschen und Abfragen sowie erweiterte Funktionen wie Aggregation und Zeitreihenausrichtung für Zeitreihendaten.

IoTDB-BigData

TsFile oder IoTDB können eine Verbindung zu Big-Data-Analyse-Engines wie Spark herstellen und sich als Data Warehouse in das Big-Data-Ökosystem integrieren und Datenfunktionen für die Verarbeitung, Analyse und maschinelles Lernen von Zeitreihendaten bereitstellen.

Die Szenarien für die Anpassung von den drei Softwareformen:


End
Edge
Cloud
Lite
Standard
BigData

IoTDB-Lite (TsFile)

Stellt ein spaltenweises Speicherdateiformat bereit, das für Zeitreihendaten entwickelt wurde. Es verwendet Geräte und ein Messmodell, um zweidimensionale Indizes für Serien und Zeit zu erstellen, und unterstützt das Schreiben von mehreren zehn Millionen Punkten pro Sekunde, Speicherung mit hoher Komprimierungsrate und Hochleistungsabfrage.

IoTDB-Standard

Bietet eine vollständige Funktion zum Einfügen, Löschen und Abfragen sowie erweiterte Funktionen wie Aggregation und Zeitreihenausrichtung für Zeitreihendaten.

IoTDB-BigData

TsFile oder IoTDB können eine Verbindung zu Big-Data-Analyse-Engines wie Spark herstellen und sich als Data Warehouse in das Big-Data-Ökosystem integrieren und Datenfunktionen für die Verarbeitung, Analyse und maschinelles Lernen von Zeitreihendaten bereitstellen.

Die Szenarien für die Anpassung von den drei Softwareformen:

End Edge Cloud
Lite
Standard
BigData


Zwei Datensynchronisationslösungen

Um den unterschiedlichen Anforderungen der „End-Edge-Cloud“-Datensynchronisationsverzögerung und des Datenverkehrsverbrauchs in verschiedenen Anwendungsszenarien gerecht zu werden, bietet Apache IoTDB zwei Datensynchronisationslösungen.

Lösung 1: Synchronisation mit geringem Datenvolumen basierend auf TsFile

Lösung 2: Synchronisation mit geringer Latenz basierend auf Betriebsprotokollen

Vergleich der beiden Lösungen

Synchronisation mit geringem Datenvolumen basierend auf TsFile Synchronisation mit geringer Latenz basierend auf Betriebsprotokollen
Latenz Mitte Niedrig
Datenvolumen Verbrauch Niedrig Hoch
Rechnenresource Sehr niedrig Hoch
Lösung 1: Synchronisation mit geringem Datenvolumen basierend auf TsFile

Die Low-Traffic-Synchronisationslösung auf Basis von TsFile überwindet den Nachteil der traditionellen Synchronisationsmethode „Eine Daten, zwei Verarbeitungen“, spart Netzwerkverkehr und Cloud-Computing-Ressourcen und realisiert eine neue Form von Daten „Einmalige Verarbeitung, End-Cloud-Sharing“ .

Die Daten werden auf der Senderseite im TsFile-Format gespeichert, und die Daten werden mithilfe der Rechenleistung der Edge-Seite tief codiert und komprimiert. Wenn ein TsFile auf der Endseite gebildet wird, kann das TsFile an das empfangende Ende übertragen werden, ohne die Originaldaten zu übertragen, wodurch 85 % bis 90 % des Netzwerkverkehrs eingespart werden.

Auf der empfangenden IoTDB-Seite kann die empfangene TsFile direkt in das System geladen werden, ohne die Daten zu dekodieren und neu zu schreiben, wodurch 90 % bis 95 % der Rechenressourcen der empfangenden Seite eingespart werden.

Es nutzt Edge-Computing-Funktionen voll aus, entlastet Cloud-seitigen Computing-Druck und unterstützt massive Senderinstanzen.


Lösung 2: Synchronisation mit geringer Latenz basierend auf Betriebsprotokollen

Dies ist die gängige Lösung der relationalen Datenbank, wie z.B. die Binlog-Synchronisation von MySQL. Die Synchronisierung auf Basis von Betriebsprotokollen hat die Eigenschaften einer geringen Latenz, aber der Rechendruck auf der Edge wird auch auf die Cloud übertragen.

Schreibvorgänge auf der Senderseite werden in Echtzeit an die Empfängerseite gesendet, um eine geringe Latenz zu gewährleisten, normalerweise erfolgt die Synchronisierung in Sekunden. Nachdem der Empfänger die Schreiboperation empfangen hat, führt er sie lokal erneut aus.

Wenn auf der Senderseite eine große Menge historischer Daten vorhanden ist, wurde das entsprechende Vorgangsprotokoll möglicherweise als TsFile gespeichert. Daher hat IoTDB diese Lösung optimiert. Die historischen Daten werden mit der TsFile-Granularität synchronisiert, und die Echtzeitdaten werden mit dem Betriebsprotokoll synchronisiert.

Kontaktiere Uns

* Benötigte Information