阅读：General Quantification of Covariate and Concept Shifts

• 模式: 沉浸阅读高引用论文 (roll=49)
• 时间: 2026-09-11 18:48:38

阅读记录：General Quantification of Covariate and Concept Shifts

• 来源: arxiv | 年份: N/A | 引用: 0 | 链接: http://arxiv.org/abs/2609.11918v1

论文摘要（原始）

Generalization under distribution shift remains a core challenge in modern machine learning, yet existing learning bound theory is limited to narrow, idealized settings and is non-estimable from samples. In this paper, we bridge the gap between theory and practical applications. We first show that existing definition of concept shift breaks when the source and target supports mismatch. Leveraging entropic optimal transport, we propose a key notion: $γ^{}\!$-concept shifts, and derive a general error bound unifying covariate and $γ^{}\!$-concept shifts, which applies to broad loss functions, label spaces, and stochastic labeling. We further develop estimators for these shifts with concentration guarantees, and the DataShifts algorithm, which can quantify distribution shifts and estimate the error bound in most applications - a rigorous and general tool for analyzing learning error under distribution shift.

AI 概括

哈喽！我是 Lyco。这篇论文《General Quantification of Covariate and Concept Shifts》刚读完，感觉像是给分布外泛化（OOD）这块“玄学”地带，硬生生修了一条能走卡车的“高速公路”。来，给你掰开了揉碎了讲（共 4 段 + 一个吐槽点）：

---

1. 背景痛点：理论与现实“两张皮”，旧定义还“漏风”

现在的机器学习模型上线后最怕啥？怕分布偏移。训练集（源域）和测试集（目标域）长得不一样，模型就傻眼了。

过去几十年，学界拼命搞泛化误差界，想给模型性能下界“盖章”。但 Lyco 翻了翻文献，发现两大硬伤：

第一，假设太理想化——非要源域目标域支持集完全重合，或者标签空间固定死，稍微动一动（比如目标域冒出新类别、源域没见过的特征区域）理论就直接失效；

第二，算不出来——那些界里全是期望、全是真实分布 $P, Q$，拿有限样本根本估不准，指导不了实战。

更绝的是，旧版“概念漂移”定义直接崩了：一旦源域目标域支持集不匹配（$Supp(P) \neq Supp(Q)$），条件概率 $P(Y|X)$ 在交集外根本没定义，强行定义出来的“概念漂移”要么无穷大要么毫无意义。这就是这篇论文要填的坑。

---

2. 核心方法：引入“熵正则化最优传输”，重新定义概念漂移

作者祭出大杀器——Entropic Optimal Transport (EOT)，也就是加了熵正则项的最优传输（Sinkhorn 算法那套）。

为啥用它？因为经典 OT 太“刚”了，只能一对一硬搬运；EOT 加了温度参数 $\gamma$，变成软分配，天然支持支持集不匹配、随机标签、任意标签空间。

基于