一直对稀疏专家网络好奇,有些专家没被选中,那么梯度是否为0,这一轮被选中有梯度,下一轮没被选中无梯度,模型可以训练收敛吗?
-
千卡GPU训练难点
没吃过猪肉,但也要见识下猪跑:你的真实姓名的回答 千卡训练经验的含金量:Frossmann的回答 -
常见金融术语
https://m.cfa.cn/cfa/2413.html -
DSSM双塔特征交互
传统的DSSM双塔无法在早期进行user和item侧的特征交互,这在一定程度上降低了模型性能。我们想要对双塔模型进行细粒度的特征交互,同时又不失双塔模型离线建向量索引的解耦性。下面介绍两篇这方面的工作。
-
Learn To Rank
在信息检索中,给定一个query,搜索引擎召回一系列相关的Documents,然后对这些Documents进行排序,最后将Top N的Documents输出。
-
两种神经网络参数初始化方法
重点介绍一下Xavier和Kaiming初始化:
-
LLM Inference Performance Engineering
https://www.databricks.com/blog/llm-inference-performance-engineering-best-practices -
LLaMA2详解
LLaMA2的模型结构拆解:
-
GPU利用率
英伟达官方的GPU利用率的定义如下:
-
Attention Sink
论文发现自回归LLM存在的一个有趣现象:对于输入文本最靠前的少量几个token,无论它们在语义上与语言建模任务的相关性如何,大量的注意力分数都会分配给他们,如下图所示: