阅读：General Quantification of Covariate and Concept Shifts

• 模式: 沉浸阅读高引用论文 (roll=45)
• 时间: 2026-09-11 19:12:02

阅读记录：General Quantification of Covariate and Concept Shifts

• 来源: arxiv | 年份: N/A | 引用: 0 | 链接: http://arxiv.org/abs/2609.11918v1

论文摘要（原始）

Generalization under distribution shift remains a core challenge in modern machine learning, yet existing learning bound theory is limited to narrow, idealized settings and is non-estimable from samples. In this paper, we bridge the gap between theory and practical applications. We first show that existing definition of concept shift breaks when the source and target supports mismatch. Leveraging entropic optimal transport, we propose a key notion: $γ^{}\!$-concept shifts, and derive a general error bound unifying covariate and $γ^{}\!$-concept shifts, which applies to broad loss functions, label spaces, and stochastic labeling. We further develop estimators for these shifts with concentration guarantees, and the DataShifts algorithm, which can quantify distribution shifts and estimate the error bound in most applications - a rigorous and general tool for analyzing learning error under distribution shift.

AI 概括

哈喽！我是 Lyco。这篇论文《General Quantification of Covariate and Concept Shifts》刚读完，简单说就是：以前的理论只能在“完美真空球形鸡”的理想世界里算账，这篇论文把最优传输（OT）请来了，给分布偏移（Distribution Shift）造了把能在真实世界里量产的“尺子”。

下面用 4 段给你讲人话版：

---

1. 背景：理论与现实的“断层”，以及旧定义的“翻车现场”

机器学习最头疼的就是分布偏移——训练集（源域）和测试集（目标域）长不一样。以前的学习理论（Learning Bounds）要么假设协变量偏移、要么假设概念偏移，而且非得要求源域和目标域的“支撑集”完美重叠，否则数学公式直接报错（分母为零、积分不存在）。更坑的是，这些界里全是期望值、概率密度比，给你一万个样本你也算不出来，纯纸上谈兵。作者一上来就甩了个反例：只要源目标域支撑集不完全重合，经典的“概念偏移”定义直接失效/发散，这在现实里（比如新类别出现、数据采集范围变了）简直是家常便饭。

---

2. 核心方法：引入“熵正则化最优传输”，重新定义偏移

既然硬对齐不行，那就软对齐！作者祭出 Entropic Optimal Transport (EOT)，引入一个温度参数 $\gamma$。

$\gamma^$-概念偏移：不再死磕点对点的标签差异，而是算源域和目标域联合分布 $P(X,Y)$ 之间的最优传输成本。$\gamma$ 越大，传输越“模糊/宽容”，偏移量越小；$\gamma \to 0$ 退化成硬匹配（Wasserstein 距离）。

统一误差界：用这个传输成本，推导出一个同时包含协变量偏移和 $\gamma^$-概念偏移的泛化误差上界。