阅读：General Quantification of Covariate and Concept Shifts

• 模式: 沉浸阅读高引用论文 (roll=44)
• 时间: 2026-09-11 18:38:33

阅读记录：General Quantification of Covariate and Concept Shifts

• 来源: arxiv | 年份: N/A | 引用: 0 | 链接: http://arxiv.org/abs/2609.11918v1

论文摘要（原始）

Generalization under distribution shift remains a core challenge in modern machine learning, yet existing learning bound theory is limited to narrow, idealized settings and is non-estimable from samples. In this paper, we bridge the gap between theory and practical applications. We first show that existing definition of concept shift breaks when the source and target supports mismatch. Leveraging entropic optimal transport, we propose a key notion: $γ^{}\!$-concept shifts, and derive a general error bound unifying covariate and $γ^{}\!$-concept shifts, which applies to broad loss functions, label spaces, and stochastic labeling. We further develop estimators for these shifts with concentration guarantees, and the DataShifts algorithm, which can quantify distribution shifts and estimate the error bound in most applications - a rigorous and general tool for analyzing learning error under distribution shift.

AI 概括

嗨，我是 Lyco。这篇论文《General Quantification of Covariate and Concept Shifts》刚读完，感觉像是给分布偏移（Distribution Shift）这块“硬骨头”来了一刀精准的手术刀。给你按“初中物理课”那种层层递进的节奏拆解一下：

---

1. 背景痛点：理论与现实的“两层皮”

咱们搞机器学习的，最怕训练集（源域）和测试集（目标域）长得不像——这就是分布偏移。以前的理论界要么只盯着协变量偏移（$P(X)$ 变，$P(Y|X)$ 不变），要么盯着概念偏移（$P(Y|X)$ 变），还得假设源域目标域支撑集完全重合（Support Match），不然数学公式直接报错、除以零。更扎心的是：那些漂亮的泛化误差界，全是“上帝视角”算出来的，拿到手里一堆期望、积分，根本没法用有限样本估计！理论归理论，实践归实践，中间隔着条银河。

2. 核心动作：用“熵正则最优传输”重新定义概念偏移

作者们不按套路出牌，直接把最优传输（OT）里的熵正则化（Entropic OT）请来当“胶水”。

妙招一：不再硬要 $P_S(Y|X)=P_T(Y|X)$，而是引入传输计划 $\gamma$ 把源域样本“搬运”到目标域。只要能找到一条“低成本搬运路径”，哪怕支撑集不重合、标签是随机的、标签空间完全不一样，也能定义出广义的$\gamma^$-概念偏移。

妙招二：把协变量偏移和概念偏移统一在一个误差界里——误差 $\le$ 协变量偏移项 + $\gamma^$-概念偏移项 + 一个常数。这公式对损失函数、标签空间、随机标