从 Timer 到 Timer-XL,再登时序大模型能力高峰

时序数据库在支持时序特性写入、存储、查询等功能后,正朝着深度分析方向发展。自动化异常监测与智能化趋势预测,成为时序数据管理的核心需求。

时序数据库 IoTDB 团队不断探索,自研推出了面向时间序列的大模型 Timer 和扩展版 Timer-XL,性能取得多项突破并在国际机器学习顶级会议发表成果,为时序分析预测提供了更高效的解决方案。

01

Timer 模型

02

Timer-XL 模型

03

模型使用场景

04

模型效果验证

01 Timer 模型

深度时序分析通用基础模型 Timer 和时序数据库 IoTDB 一样,发源于清华大学软件学院,具备可观的分析能力和对真实世界数据的理解能力。通过显著的少样本能力和多任务适配能力,Timer 模型能够处理多样化的下游任务,为多类实际应用场景提供通用解决方案。

Timer 模型拥有以下特点:

  • 泛化性:模型能够通过使用少量样本进行微调,达到行业内领先的深度模型预测效果。

  • 通用性:模型设计灵活,能够适配多种不同的任务需求,并且支持变化的输入和输出长度,使其在各种应用场景中都能发挥作用。

  • 可扩展性:随着模型参数数量的增加或预训练数据规模的扩大,模型的性能会持续提升,确保模型能够随着时间和数据量的增长而不断优化其预测效果。

Timer-XL文章图1-20250326.png

02 Timer-XL 模型

作为 Timer 模型的扩展版本,Timer-XL 模型在继承其优秀特性的基础上,实现了三大核心突破:

  • 扩展上下文输入:该模型突破了传统时序预测模型的限制,支持处理数千个 Token(相当于数万个时间点)的输入,有效解决了上下文长度的瓶颈问题。

  • 多变量预测场景覆盖:支持多种预测场景,包括非平稳时间序列的预测、涉及多个变量的预测任务以及包含协变量的预测,满足多样化的业务需求。

  • 大规模工业时序数据集训练:采用万亿大规模工业物联网领域的时序数据集进行预训练,数据集兼有庞大的体量、卓越的质量和丰富的领域等重要特质,覆盖能源、航空航天、钢铁、交通等多领域。

Timer-XL文章图2-20250326.png

03 模型使用场景

目前,Timer 模型已经内置在时序数据库 IoTDB 的智能分析节点 AINode 中,用户能够非常方便地进行调用。得益于 Timer 模型的优异性能,时序数据库 IoTDB 可以有效地为异常检测、数据填补、时序预测等工业场景提供解决方案。

(1) 异常检测

利用时序大模型精准识别与正常趋势偏离过大的异常值,可支持静态阈值告警和动态阈值告警,实现告警自动化。

下图蓝色曲线代表预测告警数据,红色曲线为实际数据趋势,可见预测告警结果准确性较高。

Timer-XL文章图3-20250326.png

(2) 数据填补

调用时序大模型进行预测,在缺失值可能发生之前,使用预测值对缺失数据进行补全,实现补全算法智能化,不局限于线性插值补全。

下图蓝色曲线代表预测填补数据,红色曲线为实际数据趋势,两曲线反映趋势高度吻合。

Timer-XL文章图4-20250326.png

(3) 时序预测

利用时序大模型的预测能力,可原生支持多变量预测,能够准确预测时间序列的未来变化趋势,相比单变量预测实现更优的预测准确性。

下图蓝色曲线代表预测趋势,红色曲线为实际趋势,两曲线高度吻合。

Timer-XL文章图5-20250326.png

04 模型效果验证

多类大模型的预测结果对比中,Timer-XL 模型在零样本预测、单变量预测、多变量预测、协变量预测场景,结果准确性都优于其他大模型,并具有更强的泛化性能,可以在训练集之外的数据集保持高可靠性。

多变量预测方面,Timer-XL 模型预测效果达到了 SOTA 水平(State-of-the-Art,在该领域当前达到的最佳性能水平)。协变量预测方面,Timer-XL 的表现优于 SOTA 水平的专门化模型。

上述成果代表 Timer-XL 模型能够熟练地在大量数据中自适应地选择信息,从而实现卓越的预测性能,充分证明了 Timer-XL 模型在时序预测领域的领先地位与强大实力。

Timer-XL文章图6-20250326.png

来源:ICLR 2025 论文《Timer-XL: Long-Context Transformers For Unified Time Series Forecasting》

未来,IoTDB 团队将持续优化时序大模型架构及功能,拓展其在工业多领域、多场景应用,推动时序数据分析进入智能决策新阶段。

更多内容推荐:

下载时序数据库 IoTDB 开源版

了解如何使用 时序数据库 IoTDB AI 能力