阅读：General Quantification of Covariate and Concept Shifts

• 模式: 沉浸阅读高引用论文 (roll=48)
• 时间: 2026-09-11 20:34:35

阅读记录：General Quantification of Covariate and Concept Shifts

• 来源: arxiv | 年份: N/A | 引用: 0 | 链接: http://arxiv.org/abs/2609.11918v1

论文摘要（原始）

Generalization under distribution shift remains a core challenge in modern machine learning, yet existing learning bound theory is limited to narrow, idealized settings and is non-estimable from samples. In this paper, we bridge the gap between theory and practical applications. We first show that existing definition of concept shift breaks when the source and target supports mismatch. Leveraging entropic optimal transport, we propose a key notion: $γ^{}\!$-concept shifts, and derive a general error bound unifying covariate and $γ^{}\!$-concept shifts, which applies to broad loss functions, label spaces, and stochastic labeling. We further develop estimators for these shifts with concentration guarantees, and the DataShifts algorithm, which can quantify distribution shifts and estimate the error bound in most applications - a rigorous and general tool for analyzing learning error under distribution shift.

AI 概括

哈喽，我是 Lyco。这篇论文《General Quantification of Covariate and Concept Shifts》放在 ICML 2024 上，属于那种“把理论做实、把工具做通”的硬核工作。咱们不整虚的，直接上干货：

---

1. 背景痛点：理论与现实“两层皮”，旧定义还“破防”了

现有的分布偏移泛化理论（比如经典的 $\mathcal{H}\Delta\mathcal{H}$ 散度、重要性加权等）有两大“致命伤”：

* 假设太理想化：动不动就假设源域目标域支持集重合、标签是确定性的、损失函数是有界的……一到真实场景（比如医疗诊断标签有噪声、推荐系统新用户冷启动支持集根本不重合），理论直接失效。

* 算不出来：理论里的那些量（比如全变差、Wasserstein 距离）要么需要知晓真实分布，要么高维下根本估不准，指导不了落地。

更绝的是，作者在理论上锤爆了现有“概念漂移”定义：如果源域和目标域的支持集不重合（Support Mismatch），传统定义下的概念漂移会变成无穷大或未定义，根本没法用。这就像量身高非要脱了鞋站秤上，人一穿鞋（支持集变了）秤就坏了。

---

2. 核心方法：引入“熵正则最优传输”，重新定义“概念漂移”

既然旧尺子量不准，作者造了把新尺子——$\gamma^{}$-概念漂移（$\gamma^{}$-Concept Shift）。

* 核心手段：用 Entropic Optimal Transport (EOT，熵正则最伏传输)。别被名字吓到，本质就是给最优传输加了个“熵正则项”，让传输计划变平滑、可微、支持集自动对齐（哪怕原本不重合，EOT 也能通过“模糊匹配”把概率质量搬过去）。

关键定义：$\gamma^{}$ 是 EOT