-->

分析型文件格式

覆盖了对时序数据的采集、存储、查询、分析以及可视化等全生命周期的数据管理功能。

什么是分析型文件格式?

       TsFile是一种面向时序数据优化的列式存储文件格式,减少数据存储所需要的硬件资源,优化数据查询性能。

      该文件格式采用列式存储的思想,将一个时间序列数据集划分为多个子集,并对每个子集按照时间序列进行列式存储。

分析型文件格式结构

       一个TsFile包含数据区和索引区,数据区由一个或多个数据块组(ChunkGroup)构成,索引区记录该TsFile的元数据信息及相关的查询索引。在每个数据块组(ChunkGroup)中,数据按照时间序列划分为多个子块(Chunk),每个子块将时序数据划分为多个页(Page),并将时间和值分别进行列式存储。


分析型文件格式的优势
1. 减少90%以上的数据存储硬件资源

       TsFile将每个时间序列的时间戳和值分别进行列式存储,并按列进行编码和压缩,能有效的利用数据的局部性原理,提供数据在存储时的压缩比,节省90%存储空间。



2. 极速完成列查询

       TsFile将时间序列进行列式存储,可以有效地减少数据查询时所需要读取的数据量,减少磁盘I/O的次数,从而提高查询的速度。其能够在毫秒级时间完成TB级数据查询。


3. 高效支持聚合查询

       TsFile把时序数据按照“数据块组”、“列块”、“页”划分为层级结构,并在“列块”和“页”的级别对数据进行了预聚合,构建了数据点的聚合索引信息。这使得TsFile能够原生地支持聚合查询,具有高效的聚合查询效率。

4. 文件自解析,适配主流大数据分析平台

       TsFile将数据块、索引块及元数据信息存储在同一个文件中,使得该文件能通过元数据信息进行自解析。这种特性可以使得该类文件能够适用于Hive、Spark等一些数据分析平台。

具体的技术实现文档:iotdb网站

扫码关注

关注我们

联系我们

Contact Us

* 为必填信息