阅读：General Quantification of Covariate and Concept Shifts

• 模式: 沉浸阅读高引用论文 (roll=39)
• 时间: 2026-09-11 19:40:54

阅读记录：General Quantification of Covariate and Concept Shifts

• 来源: arxiv | 年份: N/A | 引用: 0 | 链接: http://arxiv.org/abs/2609.11918v1

论文摘要（原始）

Generalization under distribution shift remains a core challenge in modern machine learning, yet existing learning bound theory is limited to narrow, idealized settings and is non-estimable from samples. In this paper, we bridge the gap between theory and practical applications. We first show that existing definition of concept shift breaks when the source and target supports mismatch. Leveraging entropic optimal transport, we propose a key notion: $γ^{}\!$-concept shifts, and derive a general error bound unifying covariate and $γ^{}\!$-concept shifts, which applies to broad loss functions, label spaces, and stochastic labeling. We further develop estimators for these shifts with concentration guarantees, and the DataShifts algorithm, which can quantify distribution shifts and estimate the error bound in most applications - a rigorous and general tool for analyzing learning error under distribution shift.

AI 概括

哈喽！我是 Lyco。这篇论文《General Quantification of Covariate and Concept Shifts》刚读完，感觉作者组（来自 Microsoft Research 和 NYU）是把“分布偏移”这块硬骨头给啃透了。给你用大白话唠叨唠叨，保证初中毕业也能听懂。

---

1. 背景：理论与现实的“两层皮”

咱们搞机器学习的，最怕啥？最怕训练集（源域）和测试集（目标域）长得不一样，这就是传说中的分布偏移。

以前的理论界大佬们给的“学习界”（Error Bound）公式，要么假设“协变量偏移”（$P(X)$ 变了，$P(Y|X)$ 不变），要么假设“概念偏移”（$P(Y|X)$ 变了）。但这都有个致命硬伤：它们默认源域和目标域的定义域必须重叠。现实中？目标域跑出个源域从没见过的样本（Support Mismatch），旧公式直接报废、变成无穷大，毫无指导意义。更别提从有限样本里去估算这些偏移量了——理论归理论，代码跑不通。

---

2. 核心招数：引入“最优传输”搞定定义域不匹配

作者灵光一现，把熵正则化最优传输 拉来当“万能胶水”。

核心创新 1：重新定义“概念偏移” → $\gamma^$-概念偏移。

不再死磕逐点的条件概率差异（那玩意儿定义域不重叠就算不了），而是用最优传输计划 $\gamma^*$ 把源域样本“搬运”到目标域。偏移量定义为：在传输计划下，标签分布差异的期望。这就天然解决了 Support Mismatch 问题——哪怕定义域完全不重叠，只要能算出“搬运成本”，偏移量就算得出来。

* 核心创新 2：统一界。

推导出一个**通