阅读：General Quantification of Covariate and Concept Shifts

• 模式: 沉浸阅读高引用论文 (roll=38)
• 时间: 2026-09-11 20:16:13

阅读记录：General Quantification of Covariate and Concept Shifts

• 来源: arxiv | 年份: N/A | 引用: 0 | 链接: http://arxiv.org/abs/2609.11918v1

论文摘要（原始）

Generalization under distribution shift remains a core challenge in modern machine learning, yet existing learning bound theory is limited to narrow, idealized settings and is non-estimable from samples. In this paper, we bridge the gap between theory and practical applications. We first show that existing definition of concept shift breaks when the source and target supports mismatch. Leveraging entropic optimal transport, we propose a key notion: $γ^{}\!$-concept shifts, and derive a general error bound unifying covariate and $γ^{}\!$-concept shifts, which applies to broad loss functions, label spaces, and stochastic labeling. We further develop estimators for these shifts with concentration guarantees, and the DataShifts algorithm, which can quantify distribution shifts and estimate the error bound in most applications - a rigorous and general tool for analyzing learning error under distribution shift.

AI 概括

哈喽！我是 Lyco。这篇论文《General Quantification of Covariate and Concept Shifts》刚读完，感觉像是给分布偏移（Distribution Shift）这个“老大难”问题，终于配上了一套“既能算得准、又能用得上、还能解释得通”的数学工具箱。来，我给你掰开了揉碎了讲（大概 4 段）：

---

1. 背景痛点：理论与实践的“两层皮”

咱们搞机器学习的，最怕训练集和测试集“长得不像”——这就是分布偏移。以前的理论界要么只盯着协变量偏移（$P(X)$ 变了，$P(Y|X)$ 没变），要么假设源域和目标域的支持集完美重合（Support Match），一旦目标域冒出训练集没见过的样本（Support Mismatch），经典的“概念偏移”定义直接失效/爆炸。更要命的是，那些漂亮的泛化误差上界，往往含着个“理想联合分布”或者“密度比”，根本没法从有限样本里估出来——理论归理论，代码跑不动，工程师只能靠直觉调参、祈祷。

---

2. 核心创意：用“最优传输”重新定义概念偏移

作者们灵光一现，把熵正则化最优传输 引进来。他们不再硬要 $P_S(Y|X)$ 和 $P_T(Y|X)$ 在同一个 $X$ 上比大小，而是把源域和目标域的联合分布 $(X,Y)$ 看成两堆土，用最优传输计划 $\gamma^*$ 把它们“搬”到一起。

由此定义了 $\gamma^*$-概念偏移：本质上是在“最经济的搬运方案”下，标签条件分布到底变了多少。这招妙就妙在：天然支持不匹配、标签空间不同、甚至标签是随机的（Stochastic Labeling），全都能在同一个框架里算得清清楚楚。协变量偏移和概念偏移，