模型预估打分对运筹跟踪的影响
Swift Lv6

在uplift建模中,模型离线指标(QINI、AUUC)提升并不意味着在线A/B实验的收益,因为在线运筹还需要$\lambda$约束。如果模型打分不满足单调增且roi边际递减,那么$\lambda$运筹求解会非常不稳定,导致线上发券偏高,毛利无法兜住。

下面用 两个数值化示例 直观对比:

示例 1:$p_i$ 单调增但不满足边际递减 ⇒ $\lambda$ 搜索不稳定

  • 样本数:5

  • 成本:全部 $c_i=1$

  • 预算:$B=3$

  • 打分 $p_i$(严格单调增,但 $\Delta p_i$ = $p_i - p_{i-1}$ 不递减/有重复):

i 1 2 3 4 5
$p_i$ 0.10 0.20 0.40 0.40 0.50
$\Delta p_i$ 0.10 0.20 0.00 0.10
  • 阈值集 $\{p_i/c_i\}=\{0.10,0.20,0.40,0.40,0.50\}$。
  • 当 $\lambda$ 越过 0.40 时,会同时将样本 3、4 都剔除,令选中数 $C(\lambda)$ 从 3 直接跳到 1,形成大阶梯。

二分搜索行为

  • 在 $[0.20,0.40)$ 内,任意 mid 都命中 $C=3$,算法只能不断逼近 0.40,永远无法见到$C<3$的分支判定,也就卡在边界来回,无法稳定收敛到唯一解。

示例 2:$p_i$ 单调增且满足边际递减 ⇒ $\lambda$ 搜索稳定

  • 样本数:5

  • 成本:全部 $c_i=1$

  • 预算:$B=3$

  • 打分 $p_i$(严格单调增 且 $\Delta p_i$ 递减):

$i$ 1 2 3 4 5
$p_i$ 0.10 0.18 0.24 0.28 0.30
$\Delta p_i$ 0.08 0.06 0.04 0.02
  • 阈值集 $\{0.10,0.18,0.24,0.28,0.30\}$,且每次跨过一个阈值,只会剔除一个样本。

二分搜索行为

  • 目标:$C(\lambda)=3$。
  • 初始区间 $[0.10,0.30]$,mid=0.20 → $C(0.20)=3$ → 收缩右端 → $[0.10,0.20]$。
  • mid=0.15 → $C=4>3$ → 收缩右端 → $[0.10,0.15]$。
  • … 依次剔除第2号、第3号样本,每次跨过一个阈值,$C$ 变化为 4→3→2…,二分能稳定地一步步逼近恰好使 $C=3$ 的 $\lambda$。

核心对比

条件 阶梯跳变 二分稳定性
示例1:边际不递减或重复值 大阶梯(一次掉多个) 卡在大跳点来回
示例2:边际严格递减 小阶梯(一次掉一个) 逐次逼近,稳定收敛
  • 只有当每次 $\lambda$ 触碰一个阈值,就只影响一个样本时,累积成本 $C(\lambda)$ 曲线才近似“单调平滑”,二分才能一步步稳定逼近目标预算。
  • 如果一次跨越多个阈值(示例1),或阈值间距极小/重复(前例),则会出现“跳变过大”或“可行区间过窄”,导致二分收敛失灵或来回摆动。
Powered by Hexo & Theme Keep
Unique Visitor Page View