-->

端边云数据协同

与传统互联网应用将用户与用户通过网络连接起来不同,物联网应用的参与对象跨域了“端”、“边”、“云”,形成了更复杂的应用模式。

什么是"端-边-云"?

       与传统互联网应用将用户与用户通过网络连接起来不同,物联网应用的参与对象跨域了“端”、“边”、“云”,形成了更复杂的应用模式:

    (1)端侧:通常为设备本地,如一个发电机组、一辆物流车、一台风机等,其存储计算资源较少,需要在无网络时将生成 

             的数据在本地进行缓存,或者持久化存储以支持边缘计算等应用。

    (2)边侧:通常为边缘网关节点或本地控制节点,如工厂级物联网平台、集控系统,接收多台设备的数据,实时监控设备

             状态,并需要支持高效的增删改查功能。

    (3)云侧:通常为公司级大数据平台,所有工厂的数据会汇总至云平台进行数据分析。


"端-边-云"数据协同架构



三种软件形态
IoTDB-Lite (TsFile)

        提供了为时序数据设计的列式存储文件格式,采用物联网的设备、测点模型,建立序列、时间两个维度索引,支持千万点每秒写入、高压缩比存储和高性能查询。

IoTDB-Standard

      提供完整的增删改查功能,提供针对时序数据的聚合检索、时序对齐等高级功能。

IoTDB-BigData

       TsFile 或 IoTDB,均可对接大数据分析引擎,如 Spark,作为数据仓库融入大数据生态,为时序数据处理、分析与机器学习提供数据能力。

三种软件形态适配的场景:

Lite
Standard
BigData
两种数据同步方案

为应对不同应用场景对“端-边-云”数据同步的延迟和流量消耗的不同需求,Apache IoTDB 提供了两种数据同步方案。

方案一:基于TsFile 的低流量同步
方案二:基于操作日志的低延迟同步

两种方案对比

基于TsFile 的低流量同步 基于操作日志的低延迟同步
传输延迟
流量消耗
计算资源 极低
方案一:基于TsFile 的低流量同步

       基于 TsFile 的低流量同步方案克服了传统同步方式“一份数据,两次处理”的弊端,节省网络流量和云端计算资源,实现了数据“一次处理,端云共用”新形态。


       在发送端将数据持久化为 TsFile 格式,利用边缘端的计算能力,将数据进行深度编码压缩。当一个 TsFile 在端侧形成时,即可将 TsFile 传输到接收端,无需将原始数据传输,节省85%-90%的网络流量。

       在接收端 IoTDB,可将收到的 TsFile 直接加载至系统中,无需将数据解码和重新写入,节省90%-95%接收端计算资源。

充分利用了边缘计算能力,缓解了云侧计算压力,支持海量发送端实例。

方案二:基于操作日志的低延迟同步

       此方案是常见的数据库主备同步方案,如 MySQL 的 Binlog 同步。基于操作日志的同步方案具有低延迟的特点,但边侧的计算压力会同样施加到云端。

       在发送端的写入操作会实时发送到接收端,以此来保证低延迟,通常能够在秒级进行同步。接收端接收到写入操作后,会在本地重新执行。



       当发送端存在大量历史数据时,其对应的操作日志可能已经持久化为数据文件 TsFile,因此 IoTDB 对此方案进行了优化,历史数据以 TsFile 为粒度进行同步,实时数据以操作日志进行同步。

扫码关注

关注我们

联系我们

Contact Us

* 为必填信息