阅读：General Quantification of Covariate and Concept Shifts

• 模式: 沉浸阅读高引用论文 (roll=38)
• 时间: 2026-09-11 17:47:40

阅读记录：General Quantification of Covariate and Concept Shifts

• 来源: arxiv | 年份: N/A | 引用: 0 | 链接: http://arxiv.org/abs/2609.11918v1

论文摘要（原始）

Generalization under distribution shift remains a core challenge in modern machine learning, yet existing learning bound theory is limited to narrow, idealized settings and is non-estimable from samples. In this paper, we bridge the gap between theory and practical applications. We first show that existing definition of concept shift breaks when the source and target supports mismatch. Leveraging entropic optimal transport, we propose a key notion: $γ^{}\!$-concept shifts, and derive a general error bound unifying covariate and $γ^{}\!$-concept shifts, which applies to broad loss functions, label spaces, and stochastic labeling. We further develop estimators for these shifts with concentration guarantees, and the DataShifts algorithm, which can quantify distribution shifts and estimate the error bound in most applications - a rigorous and general tool for analyzing learning error under distribution shift.

AI 概括

（推眼镜，翻着草稿纸上的公式，清了清嗓子）

哈喽哈喽，我是 Lyco。今天咱们来啃一块硬骨头——《General Quantification of Covariate and Concept Shifts》。别看标题里全是 "General"、"Quantification" 这种吓人的词，其实这篇论文干的事儿特别接地气：它想给“模型上线后性能会不会崩”这件事，装上一个既严谨又能真算出来的“体检仪”。

---

1. 背景：理论与现实的“脱节”有多离谱？

大家都知道分布偏移是机器学习的“心头大患”。过去几十年，理论圈拼命搞学习界，什么 $\mathcal{H}$-divergence、Wasserstein 距离、Importance Weighting……听起来高大上。但 Lyco 要泼盆冷水了：这些理论要么假设源域目标域支持集完全重合（现实里哪有那么巧？），要么算出来的界松得像筛子，要么根本算不出来（因为要算真实分布密度比，谁有啊？）。 更绝的是，连“概念漂移”这帮理论大佬都没定义清楚——一旦源域和目标域的 $X$ 取值范围对不上（比如训练集全是白天照片，测试集全是夜晚），经典的 $P(Y|X)$ 定义直接失效/崩溃。所以，咱们急需一个不挑模型、不挑损失函数、支持集对不上也能用、还能从有限样本里算出来的统一框架。

---

2. 核心方法：把“最优传输”请来当“翻译官”

作者们的大招是 Entropic Optimal Transport (EOT，熵正则化最优传输)。

简单说：与其硬比对不齐的 $P_S(X)$ 和 $P_T(X)$，不如花点“运费”把源域的样本“搬运”到目标域分布上去。在这个“最省力的搬运计划”里，顺便把标签分布 $P(Y|X)$ 也一起搬过去。

$\gamma^$-Concept Shift（$\gamma^*$ 概念漂