这篇文章的核心立场是:LLM 可以给推荐系统带来增量,但不能把推荐系统改造成 LLM 本身。 作者强烈反对把大模型里的 Scaling Law、自回归生成、文本 I/O、慢思考等范式机械搬到推荐场景,认为很多所谓“大模型推荐”是论文好看、工程难落、业务不划算。
文章把当前 LLM × 推荐系统的做法分成两类:
- 坏姿势:盲目照搬 LLM 范式,牺牲推荐系统最重要的实时性、低延迟、快速反馈。
- 好姿势:把 LLM 用在离线增强、蒸馏、特征理解上;线上仍保留轻量、实时、面向候选打分的推荐架构。
作者的基本判断
作者认为,LLM 和推荐系统虽然都用 Transformer、Embedding、Attention,但底层问题完全不同:
| 维度 | LLM | 推荐系统 |
|---|---|---|
| 学习目标 | 语言、代码、逻辑等相对稳定的规律 | 预测人心和即时兴趣 |
| 输入完整性 | 答案线索大多在 Prompt/上下文里 | 很多关键因素不在日志里 |
| 反馈速度 | 可慢思考、长推理 | 必须秒级/分钟级更新 |
| 业务成本 | 一次回答贵但任务重 | 每次曝光都极低成本、高并发 |
| 可迁移性 | 自然语言任务较通用 | 各业务数据分布差异极大 |
所以作者反对“拿着 LLM 这把锤子,看推荐系统到处都是钉子”的思路。
四个“坏姿势”
1. 强求推荐系统的 Scaling Law
作者认为,推荐系统很难复刻 LLM 的 Scaling Law。
原因是推荐要预测用户兴趣,但大量决定兴趣的变量不可观测,比如用户突然不买东西可能是因为失业,突然不看某类视频可能是因为失恋,这些都不在点击日志里。
传统推荐系统真正的优势不是“想得更深”,而是反应更快:通过流式训练、在线更新,几分钟甚至几秒内捕捉兴趣漂移。
作者批评几种做法:
- 把重推理模型放到离线召回,算力浪费且结果容易过期。
- 生搬 LLM 的 KV Cache,但推荐模型权重在线频繁更新,缓存容易和当前模型版本错位。
- Semantic ID 把物品编码成离散 ID,遇到新物品和码本更新时会出现 ID 含义漂移,下游模型要重学。
作者给出的正解是:大模型可以离线当 Teacher,线上用小 Student 模型承接,通过蒸馏传递知识。
2. 把推荐输入输出全改成自然语言,再微调通用 LLM
作者认为这条路“信息密度太低”。
比如一个商品“10 元的红色玩具小汽车”,结构化特征只要价格、颜色、Item ID 几个字段;但改成自然语言后会被切成很多 Token,线上推理成本和延迟都爆炸。
更尴尬的是:
- 如果保留完整自然语言,太啰嗦。
- 如果压缩成“推荐专用黑话”,通用 LLM 原本的语言理解能力又发挥不出来。
- 如果混入 Semantic ID,对 LLM 来说就是“火星文”,还要额外预训练让它认这些 token。
所以作者认为这是为了蹭通用 LLM,主动背上自然语言低信息密度的包袱。
3. 用自回归一次性生成整个推荐 Session
作者重点批评“让模型像 LLM 写文章一样,一次吐出一整屏 5~10 个物品”的做法。
问题在于训练和推理分布不一致:
- 训练时,用户历史序列通常只保留点击、购买等正反馈。
- 推理时,模型生成第一个物品后,会把它拼回上下文继续生成第二个。
- 但第一个生成物品并没有真实用户反馈,不能等同于正样本。
- 于是错误会一步步累积,越往后越离谱。
自然语言自回归能成立,是因为训练语料和生成结果都来自真实自然文本分布;推荐序列却被人工筛成正反馈,天然不等价。
作者还提到,某些工作为了分布一致,把真实曝光但未点击的坑位也放进训练目标,虽然形式上自洽,但业务上等于教模型主动推用户不喜欢的物品,并不合理。
4. 迷信 Reasoning,把“慢思考”搬进推荐
作者认为推荐系统通常不需要 LLM 式长链条推理。
原因是:
- 推荐单次决策很轻,推错了用户一划就走。
- 推荐最值钱的是快速试探、快速反馈、快速纠偏。
- 让模型在线先“思考几秒”,会直接伤害用户体验和延迟。
作者把推荐里的隐式 Reasoning 拆穿为:本质更像课程学习或多任务辅助监督。
也就是训练时让模型多走几步中间监督,帮助主任务收敛;但线上没必要真的执行这些推理步骤。
作者认可的做法是:
多步推理只在训练阶段用,训练完把推理模块丢掉,线上只跑轻量解码或蒸馏后的 Student。
作者认可的“好姿势”:少自嗨,多做 Cross-Attention
文章最后给出一个正面方向:不要迷信长历史全局 Self-Attention,而是用候选 Item 作为 Query,对用户历史做 Cross-Attention。
这其实接近推荐系统里经典的 DIN / Target Attention 思路,只是做成多层、现代化版本。
为什么作者认可:
算力更合理
用户历史可能很长,Self-Attention 是序列长度平方级复杂度;Cross-Attention 用少量候选 Item 去查长历史,复杂度更可控。更符合推荐本质
推荐排序的关键不是用户历史内部互相看来看去,而是“当前候选物品”和“用户历史兴趣”之间的匹配。天然支持千物千面
同一个用户面对不同候选 Item,会从历史里 attend 到不同片段,得到不同的兴趣表征。
作者总结的标准结构是:
- 用少量 Candidate / Profile / 实时行为作为 Query;
- 对长用户历史做多层 Cross-Attention;
- 少量 Query 内部再做轻量交互;
- 多层堆叠,逐层抽取与当前候选相关的兴趣。
这套思路被认为是对 Transformer 的“扬弃”:吸收注意力机制,但不盲从 LLM 的全自回归、全 Self-Attention、全文本化路线。
结论
- LLM 不是推荐系统的替代品,而是推荐系统的组件。
- 推荐系统最稀缺的不是模型容量,而是实时性、反馈闭环和工程可控性。
- 不要把 LLM 的 Scaling Law、文本 I/O、自回归 Session 生成、慢思考机械搬过来。
- LLM 更适合做离线知识增强、内容理解、Teacher 模型、蒸馏来源。
- 线上排序仍应是轻量、低延迟、面向候选打分的架构,Cross-Attention/Target Attention 比全局 Self-Attention 更接地气。