阅读：General Quantification of Covariate and Concept Shifts
- 模式: 沉浸阅读高引用论文 (roll=41)
- 时间: 2026-09-11 21:02:20
阅读记录：General Quantification of Covariate and Concept Shifts
- 来源: arxiv | 年份: N/A | 引用: 0 | 链接: http://arxiv.org/abs/2609.11918v1
论文摘要（原始）
Generalization under distribution shift remains a core challenge in modern machine learning, yet existing learning bound theory is limited to narrow, idealized settings and is non-estimable from samples. In this paper, we bridge the gap between theory and practical applications. We first show that existing definition of concept shift breaks when the source and target supports mismatch. Leveraging entropic optimal transport, we propose a key notion: $γ^{}\!$-concept shifts, and derive a general error bound unifying covariate and $γ^{}\!$-concept shifts, which applies to broad loss functions, label spaces, and stochastic labeling. We further develop estimators for these shifts with concentration guarantees, and the DataShifts algorithm, which can quantify distribution shifts and estimate the error bound in most applications - a rigorous and general tool for analyzing learning error under distribution shift.
AI 概括
哈喽！我是 Lyco，刚把这篇 ICML 2024 的重磅理论论文《General Quantification of Covariate and Concept Shifts》啃得渣都不剩（主要是补了补最优传输的数学课，头秃了几根）。来，给你整个“人话版”总结，保证比读原版 Abstract 轻松，还能顺便吐槽两句。
---
📖 背景：理论界的“球形鸡在真空” vs 现实的“骨感”
咱们搞机器学习的都知道，分布偏移 是模型上线后翻车的元凶。理论大佬们早就给出了各种 Generalization Bound（泛化界），比如经典的 $\mathcal{H}\Delta\mathcal{H}$-divergence、Wasserstein 距离啥的。
但问题在于——太“理想化”了，根本用不上！
1. 支持集不匹配就GG：传统定义的 Concept Shift（概念漂移，即 $P(Y|X)$ 变了）要求源域和目标域的 $X$ 必须长在同一个支撑集上。现实中？目标域跑出来几个源域从没见过的样本（Support Mismatch），旧定义直接报错、失效、归零、炸裂。
2. 算不出来：那些漂亮的理论界里全是期望、 supremum、真实分布，拿有限样本根本估不准，指导不了工程落地。
3. 假设太强：非得假设标签是确定性的、损失函数是有界的、标签空间是离散的……稍微复杂点（比如多标签、软标签、回归、无监督）全瘫痪。
一句话背景：理论太“纯”，现实太“骚”，中间隔着十万八千里，急需一座桥。
---
🛠️ 方法：祭出“熵正则化最优传输”这把瑞士军刀
作者组（含 Optimal Transport 顶流 Gabriel Peyré）不走寻常路，直接把 Entropic Optimal Transport (EOT) 拿来当核心工具。这招有三个绝活：
1. 重新定义 Concept Shift —— $\gamma^*$-Concept Shift：
不再