阅读：General Quantification of Covariate and Concept Shifts

• 模式: 沉浸阅读高引用论文 (roll=39)
• 时间: 2026-09-11 21:14:10

阅读记录：General Quantification of Covariate and Concept Shifts

• 来源: arxiv | 年份: N/A | 引用: 0 | 链接: http://arxiv.org/abs/2609.11918v1

论文摘要（原始）

Generalization under distribution shift remains a core challenge in modern machine learning, yet existing learning bound theory is limited to narrow, idealized settings and is non-estimable from samples. In this paper, we bridge the gap between theory and practical applications. We first show that existing definition of concept shift breaks when the source and target supports mismatch. Leveraging entropic optimal transport, we propose a key notion: $γ^{}\!$-concept shifts, and derive a general error bound unifying covariate and $γ^{}\!$-concept shifts, which applies to broad loss functions, label spaces, and stochastic labeling. We further develop estimators for these shifts with concentration guarantees, and the DataShifts algorithm, which can quantify distribution shifts and estimate the error bound in most applications - a rigorous and general tool for analyzing learning error under distribution shift.

AI 概括

哈喽，我是 Lyco。这篇论文《General Quantification of Covariate and Concept Shifts》刚拿到手我就啃了一遍，简单说就是：以前的理论只能在“完美真空球形鸡”的理想世界里算账，这回作者把账算到了真实世界的“脏数据”里，还顺手造了个能直接跑代码的工具箱 DataShifts。

下面我用大白话给你拆解成四段，最后再吐个槽。

---

1. 背景痛点：理论与现实“两层皮”，旧定义还会“翻车”

大家都知道分布偏移是机器学习的心病。过去几十年，理论界拼命搞泛化误差上界，但基本都有两个硬伤：一是假设源域和目标域的定义域完全重合，二是要求损失函数有界、标签空间简单。一旦遇到现实中常见的“目标域冒出新类别”、“源域没见过的特征区域”，或者标签本身就是概率分布，这些漂亮的界直接失效甚至报错。更绝望的是，就算理论推得再漂亮，里面的关键量（比如那个著名的 $\mathcal{H}$-divergence）根本没法从有限样本里估出来——纸上谈兵，落不了地。

---

2. 核心创新：用“最优传输”重新定义 Concept Shift，统一了江湖

作者最硬核的一招是引入熵正则化最优传输。

以前定义 Concept Shift（$P(Y|X)$ 变了）时，默认 $X$ 的分布没变，或者强行对齐支持集。这篇论文说：别硬对齐了，我用传输计划 $\gamma$ 把源域样本“搬运”到目标域，顺路把标签分布也一起“推”过去。

由此定义出 $\gamma^*$-Concept Shift：在最优搬运路径下，标签分布到底变了多少。这招妙在：

* 天然处理支持集不匹配（源域没有的地方，传输过去就是 0，不炸