U-Net是医疗领域进行语义分割的利器，随着AIGC的爆火，U-Net已成为Diffusion Model的backbone，有必要详细记录下。

一直对稀疏专家网络好奇，有些专家没被选中，那么梯度是否为0，这一轮被选中有梯度，下一轮没被选中无梯度，模型可以训练收敛吗？

没吃过猪肉，但也要见识下猪跑：你的真实姓名的回答 千卡训练经验的含金量：Frossmann的回答

https://m.cfa.cn/cfa/2413.html

传统的DSSM双塔无法在早期进行user和item侧的特征交互，这在一定程度上降低了模型性能。我们想要对双塔模型进行细粒度的特征交互，同时又不失双塔模型离线建向量索引的解耦性。下面介绍两篇这方面的工作。

在信息检索中，给定一个query，搜索引擎召回一系列相关的Documents，然后对这些Documents进行排序，最后将Top N的Documents输出。

重点介绍一下Xavier和Kaiming初始化：

https://www.databricks.com/blog/llm-inference-performance-engineering-best-practices

LLaMA2的模型结构拆解：

英伟达官方的GPU利用率的定义如下：

$$GPU Util rate = \frac{number \ of \ active \ SM}{number \ of \ total \ SM} \times 100\%$$