以矩阵相乘的优化为例：
-
现代GPU内存分级结构
要实现CUDA高性能编程，就必须对GPU内存结构有深刻的了解。
-
显存大小&显存位宽&显存频率
简单说来，如果把显存比作一个加油站，那么:
- 显存大小就是加油机
- 显存位宽就是进出加油站路的宽度，路越宽，能进出加油站的车辆就越多
- 显存频率相当于汽车进出加油站的速度，速度越快，汽车进出就越快
-
延迟预估
转化数据延迟久，但实时反馈至关重要涉及到模型预估准度，进而影响客户成本。
-
Gumbel Softmax
Argmax是不可求导的，Gumbel Softmax允许模型能从网络层的离散分布（比如类别分布categorical distribution）中稀疏采样的这个过程变得可微，从而允许反向传播时可以用梯度更新模型参数。
-
PEFT-LISA
LISA是LoRA的简化版，但其抓住了LoRA微调的核心，即LoRA侧重更新LLM的底层embedding和顶层head。
-
大模型融合方法-DARE
LLM在SFT之后会产生大量的冗余参数(delta参数)，阿里团队提出DARE方法来消除delta参数，并将其合并到PRE模型中，从而实现多源模型能力的吸收。 DARE无需GPU重新训练，其思路非常简单，就跟dropout类似： \begin{ga... -
多标签分类新建模方法
常见的多标签分类方法是同时生成多个标签的logits，然后接一个sigmoid激活函数做二分类。该方法简单直接，但忽略了标签之间的相关性。虽然业界针对该问题提出了很多解决思路，但大多是任务特定，通用性不强，也不够优雅。
Transformer decoder倒是可以序列输出多个标签，但却加入了位置偏差。而标签之间是没有位置关系的，谁先谁后无所谓，只要输出全就行。这样也导致数据集不好构造。
-
GPT的实现细节
关于GPT的代码细节，这里梳理了一下：
-
描述秋天美景的诗句
https://baijiahao.baidu.com/s?id=1776646546359667213&wfr=spider&for=pc