Analytisches Dateiformat

Es umfasst die Datenmanagementfunktionen des gesamten Lebenszyklus wie Erfassung, Speicherung, Abfrage, Analyse und Visualisierung von Zeitreihendaten.

Was ist Analytisches Dateiformat?

Tsfile ist ein für Zeitreihendaten optimiertes Spaltenspeicherdateiformat, das die für die Datenspeicherung erforderlichen Hardwareressourcen reduziert und die Leistung der Datenabfrage optimiert.

Das Dateiformat übernimmt die Idee der Spaltenspeicherung, unterteilt einen Zeitreihendatensatz in mehrere Teilmengen und speichert jede Teilmenge entsprechend der Reihe.

Struktur des analytischen Dateiformats

Ein TsFile enthält einen Datenbereich und einen Indexbereich. Der Datenbereich besteht aus einer oder mehreren Stück-Gruppen ("ChunkGroups"). Der Indexbereich zeichnet die Metadateninformationen und zugehörigen Abfrageindizes des Tsfiles auf. In jeder ChunkGroup werden die Daten entsprechend der Zeitreihe in mehrere Stücke ("Chunks") aufgeteilt. Jeder Unterblock unterteilt die Zeitdaten in mehrere Seiten ("Page") und speichert die Zeit und den Wert jeweils in Spalten.

Vorteile des analytischen Dateiformats
1. Reduzierung von mehr als 90% der Hardwareressourcen für die Datenspeicherung

Tsfile speichert die Zeitstempel und Werte jeder Zeitreihe in Spalten, codiert und komprimiert sie nach Spalten, wodurch das Prinzip der Datenlokalität effektiv genutzt, das Komprimierungsverhältnis von Daten während der Speicherung bereitgestellt und 90 % Speicherplatz eingespart werden kann.

2. Schnelle Spaltenabfrage

Tsfile speichert die Zeitreihen in Spalten, wodurch die während der Datenabfrage zu lesende Datenmenge und die Anzahl der Festplatten-E/A effektiv reduziert werden können, um die Abfragegeschwindigkeit zu verbessern. Es kann TB-Datenabfragen in Millisekunden abschließen.

3. Effiziente Unterstützung bei aggregierter Abfrage

Tsfile unterteilt die Zeitreihendaten in eine hierarchische Struktur gemäß "ChunkGroup", "Chunk" und "Page", aggregiert die Daten vorab auf der Ebene von "Chunk" und "Page" und erstellt die Aggregationsindexinformationen von Datenpunkten. Dadurch kann Tsfile aggregierte Abfragen natürlich unterstützen und verfügt über eine effiziente aggregierte Abfrageeffizienz.

4. Selbstanalyse und Anpassung an Big-Data-Analyseplattform

Tsfile speichert Datenblock-, Indexblock- und Metadateninformationen in derselben Datei, sodass die Datei anhand von Metadateninformationen selbst analysiert werden kann. Diese Funktion kann solche Dateien für Hive, Spark und andere Datenanalyseplattformen anwendbar machen.

Kontaktiere Uns

* Benötigte Information