时间序列基础模型(Foundation Models)综述与落地
1. 概念定位
时间序列基础模型的核心是“先大规模预训练,再小样本适配”。
它解决的不是单一任务,而是跨行业、跨频率的泛化能力问题。
2. 典型预训练目标
- 掩码重建(Masked Reconstruction)。
- 未来片段预测(Future Patch Prediction)。
- 对比学习(跨窗口表示一致性)。
统一目标可以写成:
$$ \min_\theta \sum_{\mathcal{T}} \mathcal{L}{task}(f\theta(x_{hist}), y_{target}) $$
3. 迁移策略
- 线性探针:冻结骨干,仅训头部层。
- 低秩适配(LoRA):低成本微调。
- 全参数微调:样本足够时使用。
4. Python 实践框架
# 伪代码:预训练模型 + 任务头
backbone = load_pretrained_ts_model("timesfm-like")
for p in backbone.parameters():
p.requires_grad = False
head = nn.Linear(backbone.hidden_size, horizon)
# 只训练 head,先做低成本验证
5. 评估与上线建议
- 不同预测周期分开评估(短期/中期/长期)。
- 引入漂移监控(输入分布与误差分布双监控)。
- 保留经典基线(ARIMA/LightGBM)作为兜底。
6. 风险点
- 数据泄漏:预训练语料与测试集重叠。
- 频率错配:小时模型直接迁移到月度场景。
- 解释性不足:业务方无法接受“黑箱上线”。
基础模型不是“替代一切”,而是把特征学习的公共成本前置,再通过任务适配释放增量价值。