Page QiView

时间序列基础模型(Foundation Models)综述与落地

时间序列基础模型(Foundation Models)综述与落地

1. 概念定位

时间序列基础模型的核心是“先大规模预训练,再小样本适配”。
它解决的不是单一任务,而是跨行业、跨频率的泛化能力问题。

2. 典型预训练目标

  1. 掩码重建(Masked Reconstruction)。
  2. 未来片段预测(Future Patch Prediction)。
  3. 对比学习(跨窗口表示一致性)。

统一目标可以写成:

$$ \min_\theta \sum_{\mathcal{T}} \mathcal{L}{task}(f\theta(x_{hist}), y_{target}) $$

3. 迁移策略

  1. 线性探针:冻结骨干,仅训头部层。
  2. 低秩适配(LoRA):低成本微调。
  3. 全参数微调:样本足够时使用。

4. Python 实践框架

# 伪代码:预训练模型 + 任务头
backbone = load_pretrained_ts_model("timesfm-like")
for p in backbone.parameters():
    p.requires_grad = False

head = nn.Linear(backbone.hidden_size, horizon)
# 只训练 head,先做低成本验证

5. 评估与上线建议

  1. 不同预测周期分开评估(短期/中期/长期)。
  2. 引入漂移监控(输入分布与误差分布双监控)。
  3. 保留经典基线(ARIMA/LightGBM)作为兜底。

6. 风险点

  1. 数据泄漏:预训练语料与测试集重叠。
  2. 频率错配:小时模型直接迁移到月度场景。
  3. 解释性不足:业务方无法接受“黑箱上线”。

基础模型不是“替代一切”,而是把特征学习的公共成本前置,再通过任务适配释放增量价值。