当前召回系统只能召回相关性高的广告,但不能保证该广告变现能力强。莫比乌斯做了如下两点创新:
-
旋转位置编码
旋转位置编码具有良好的外推性,即模型在预测时可以处理比训练时更长的序列。
-
正排索引&倒排索引
常见的两种索引:
-
常见冷启动解决方法
https://www.zhihu.com/question/19843390/answer/343050630 -
常见的相似性度量方法
有如下几种计算相似性方法:
-
AUC & GAUC
这两种指标常用于衡量模型性能的好坏。
-
PEFT
下面是一些参数高效的微调大模型方法:
-
布隆过滤器误判率计算
记录一下布隆过滤器误判率的计算过程:
-
InstructGPT
ChatGPT背后的技术原理:
-
Transformer输入长度受限的改进方案
汇总一下解决Transformer输入长度受限这一问题的相关工作: