阅读：General Quantification of Covariate and Concept Shifts

• 模式: 沉浸阅读高引用论文 (roll=50)
• 时间: 2026-09-11 22:48:37

阅读记录：General Quantification of Covariate and Concept Shifts

• 来源: arxiv | 年份: N/A | 引用: 0 | 链接: http://arxiv.org/abs/2609.11918v1

论文摘要（原始）

Generalization under distribution shift remains a core challenge in modern machine learning, yet existing learning bound theory is limited to narrow, idealized settings and is non-estimable from samples. In this paper, we bridge the gap between theory and practical applications. We first show that existing definition of concept shift breaks when the source and target supports mismatch. Leveraging entropic optimal transport, we propose a key notion: $γ^{}\!$-concept shifts, and derive a general error bound unifying covariate and $γ^{}\!$-concept shifts, which applies to broad loss functions, label spaces, and stochastic labeling. We further develop estimators for these shifts with concentration guarantees, and the DataShifts algorithm, which can quantify distribution shifts and estimate the error bound in most applications - a rigorous and general tool for analyzing learning error under distribution shift.

AI 概括

哈喽，我是 Lyco。这篇论文《General Quantification of Covariate and Concept Shifts》刚拿到手我就迫不及待想跟你唠唠——它可是解决“分布偏移下模型到底能不能信”这个老大难问题的里程碑式工作。别被标题吓着，我给你掰开了揉碎了讲，保证初中生都能听懂大概意思。

---

1. 背景：理论与实践的“鸿沟”，以及旧定义的“硬伤”

大家都知道，模型训练时的数据分布（源域）和上线跑时的数据分布（目标域）几乎永远不一样，这叫分布偏移。以前的理论要么只盯着协变量偏移（$P(X)$ 变，$P(Y|X)$ 不变），要么盯着概念偏移（$P(Y|X)$ 变），而且动不动就假设源域目标域支撑集完全重合（support overlap）——这在现实中简直是做梦（比如目标域冒出全新的类别，源域根本没见过）。更要命的是，以前的泛化误差界全是“上帝视角”的理论量，根本没法从有限样本里估出来，指导不了实际落地。这篇论文就是来填这个坑的：把理论做通用、把定义修修补补、把界变成能算的。

---

2. 核心方法：引入“熵正则化最优传输”，重新定义概念偏移

作者最大的神来之笔是不用硬性的支撑集重合假设，而是祭出熵正则化最优传输（Entropic Optimal Transport, EOT）。

简单说：把源域和目标域的联合分布 $P(X,Y)$ 看成两堆“土”，用 EOT 把土从源域“搬”到目标域，搬运成本里既包含特征差异，也包含标签差异。通过调节一个温度参数 $\gamma$，就能把“搬运过程”平滑化，自然地定义出 $\gamma^*$-概念偏移——它把标签分布的变化、支撑集不匹配、甚至随机标签噪声全塞