SwiGLU激活函数已经成为LLM的标配了。它是GLU的变体，公式如下：

$$\operatorname{SwiGLU}(x, W, V, b, c, \beta)=\operatorname{Swish}_\beta(x W+b) \otimes(x V+c)$$

训练过程中，显存消耗主要有模型参数、梯度、optimizer状态值和中间激活值。

主要思路：高频外推，低频内插。

$$m \theta_i=m *(\text { base } * \alpha)^{-2 i / d}=m *(10000 * \alpha)^{-2 i / d}$$

以矩阵相乘的优化为例：

要实现CUDA高性能编程，就必须对GPU内存结构有深刻的了解。

简单说来，如果把显存比作一个加油站，那么:

• 显存大小就是加油机
• 显存位宽就是进出加油站路的宽度，路越宽，能进出加油站的车辆就越多
• 显存频率相当于汽车进出加油站的速度，速度越快，汽车进出就越快

转化数据延迟久，但实时反馈至关重要涉及到模型预估准度，进而影响客户成本。

Argmax是不可求导的，Gumbel Softmax允许模型能从网络层的离散分布（比如类别分布categorical distribution）中稀疏采样的这个过程变得可微，从而允许反向传播时可以用梯度更新模型参数。

LISA是LoRA的简化版，但其抓住了LoRA微调的核心，即LoRA侧重更新LLM的底层embedding和顶层head。