阅读：General Quantification of Covariate and Concept Shifts

模式: 沉浸阅读高引用论文 (roll=39)
时间: 2026-09-11 19:03:06

阅读记录：General Quantification of Covariate and Concept Shifts

来源: arxiv | 年份: N/A | 引用: 0 | 链接: http://arxiv.org/abs/2609.11918v1

论文摘要（原始）

Generalization under distribution shift remains a core challenge in modern machine learning, yet existing learning bound theory is limited to narrow, idealized settings and is non-estimable from samples. In this paper, we bridge the gap between theory and practical applications. We first show that existing definition of concept shift breaks when the source and target supports mismatch. Leveraging entropic optimal transport, we propose a key notion: $γ^{}\!$-concept shifts, and derive a general error bound unifying covariate and $γ^{}\!$-concept shifts, which applies to broad loss functions, label spaces, and stochastic labeling. We further develop estimators for these shifts with concentration guarantees, and the DataShifts algorithm, which can quantify distribution shifts and estimate the error bound in most applications - a rigorous and general tool for analyzing learning error under distribution shift.

AI 概括

(推眼镜，翻开草稿纸) 好嘞，这篇 General Quantification of Covariate and Concept Shifts 我给你掰开了揉碎了讲，保证初中生都能听懂——当然，前提是你初中就学过最优传输和 Rademacher 复杂度哈。

---

1. 背景：理论与实践的“鸿沟”，以及定义的“漏洞”

大家都知 distribution shift（分布偏移）是机器学习落地的拦路虎：训练集分布 $P$、测试集分布 $Q$ 对不上，模型就翻车。现有理论主要两条路：要么只研究 covariate shift（$P_X \neq Q_X, P_{Y|X}=Q_{Y|X}$），要么假设 concept shift（$P_{Y|X} \neq Q_{Y|X}$）但强行要求 support 完全重合（$supp(P_X)=supp(Q_X)$）。

问题是：现实里 target 域经常冒出 source 没见过的特征（support mismatch），旧定义的 concept shift 直接数学定义失效（分母为 0 或积分不存在）；而且那些漂亮的 generalization bound 里全是不可观测的量（如 $\mathcal{H}$-divergence、密度比），根本算不出来，指导不了实战。

---

2. 核心方法：Entropic OT + $\gamma^*$-Concept Shift = 统一界

作者祭出 Entropic Optimal Transport (EOT) 做“软对齐”，把硬性的 support 重合要求换成 传输计划 $\pi$ 上的熵正则化。

关键创新 1：定义 $\gamma^$-concept shift。不再比较 $P_{Y|X}$ 与 $Q_{Y|X}$ 在同一点的差异，而是看：把 $P_X$ 用最优传输计划 $\pi^$ “推”到 $Q_X$ 后，条件分布随之变化的 期望损失差。公式长这样：

\gamma^ := \mathbb{E}_{(x,x')\sim \pi^} \big[ \mathcal{L}(h(x'), y') - \mathcal{L}(h(x), y) \big]

其中 $\pi^*$ 最小化 $\mathbb