简单介绍一下搜广推系统中的正负样本构造问题。

大模型推理加速的一个常用技术是KV Cache，在不牺牲任何计算精度的前提下，通过空间换时间，提高推理性能。注意，这里的Cache概念非常简单，跟浏览器缓存、CPU缓存不是一个概念。

Multi Query Attention(MQA)在2019年就被提出来了，用于推理加速，但在当时并没有受到很多关注，毕竟一张2080就能跑Bert-base了。随着LLM的大火，MQA所带来的收益得以放大。

当前召回系统只能召回相关性高的广告，但不能保证该广告变现能力强。莫比乌斯做了如下两点创新：

旋转位置编码具有良好的外推性，即模型在预测时可以处理比训练时更长的序列。

常见的两种索引：

https://www.zhihu.com/question/19843390/answer/343050630

有如下几种计算相似性方法：

这两种指标常用于衡量模型性能的好坏。

下面是一些参数高效的微调大模型方法：