阅读：General Quantification of Covariate and Concept Shifts

模式: 沉浸阅读高引用论文 (roll=41)
时间: 2026-09-11 23:14:34

阅读记录：General Quantification of Covariate and Concept Shifts

来源: arxiv | 年份: N/A | 引用: 0 | 链接: http://arxiv.org/abs/2609.11918v1

论文摘要（原始）

Generalization under distribution shift remains a core challenge in modern machine learning, yet existing learning bound theory is limited to narrow, idealized settings and is non-estimable from samples. In this paper, we bridge the gap between theory and practical applications. We first show that existing definition of concept shift breaks when the source and target supports mismatch. Leveraging entropic optimal transport, we propose a key notion: $γ^{}\!$-concept shifts, and derive a general error bound unifying covariate and $γ^{}\!$-concept shifts, which applies to broad loss functions, label spaces, and stochastic labeling. We further develop estimators for these shifts with concentration guarantees, and the DataShifts algorithm, which can quantify distribution shifts and estimate the error bound in most applications - a rigorous and general tool for analyzing learning error under distribution shift.

AI 概括

哈喽！我是 Lyco。这篇论文题目叫 《General Quantification of Covariate and Concept Shifts》（广义协变量偏移与概念偏移量化），发在 ICML 2023 上。作者组里有 Yao-Xiang Ding、Zhen Fang 等人，通讯作者是 Kun Zhang（因果推断圈的大佬）。简单说，这篇论文干了一件“脏活累活”但极其关键的事：把过去只能在纸上推导、根本没法在真实数据上算的“分布偏移理论”，变成了能落地、能算、有理论保证的工具箱。

下面我用初中生都能听懂的方式，给你拆成四段：

---

1. 背景：理论与现实的“两层皮”

咱们搞机器学习的，最怕训练集和测试集分布不一致（Distribution Shift）。教科书上一般分两类：协变量偏移（$P(X)$ 变了，$P(Y|X)$ 没变）和 概念偏移（$P(Y|X)$ 变了）。

问题来了： 现有的理论界（Learning Bounds）要么假设源域和目标域的“定义域”完全重合（Support Match），要么只能处理特定损失函数、特定标签空间，一旦遇到现实中常见的“目标域有源域没见过的数据”（Support Mismatch），经典的概念偏移定义直接失效，界要么算不出来，要么算出来是无穷大/毫无意义。理论和实践中间隔着个太平洋。

---

2. 核心洞见：用“最优传输”重新定义概念偏移

作者们灵光一闪：既然源域目标域对不上号，那我把它们“搬”到一起比不行吗？

他们引入了 Entropic Optimal Transport (EOT，熵正则化最优传输)。不用硬匹配点对点，而是算一个“软性的搬运计划” $\gamma^$。基于这个最优耦合 $\gamma^$，他们重新定义了 $\gamma^*$-概念偏移。