记录一些古诗:
-
古诗句
-
Knowledge Distillation
知识蒸馏是将训练好的大模型包含的知识蒸馏到小模型中。在线上部署的时候,我们使用小模型即可。
-
GAN,VAE,Diffusion对比
对比下三种主流图片生成模型的优缺点:
-
SRU解读
该篇论文实现了隐藏层维度的并行计算,但并没有解除时间步上的依赖。不过这样的改进,在模型训练和推理加速上的收益已经非常大了。
-
扩散原理详解与实战
学习一下扩散模型的数学原理。
-
古代万物称呼究竟可以有多美?
古代万物称呼究竟可以有多美? -
LightGCL解读
传统的基于图的对比学习范式容易丢失结构信息,LightGCL通过SVD分解邻接矩阵构造了正样本图,并最大程度保留了原图全局结构信息:
-
CVR预估中的多任务学习
介绍一下阿里巴巴在CVR领域多任务学习的三篇论文:
-
搜广推场景下的长序列建模问题
用户序列长度跟模型AUC有直接正相关性,模型能处理的序列长度越长,AUC就越高。但长序列对于样本处理和模型训练非常不友好,耗时长且显存占用大。更重要的是线上预估服务的约束,必须要在规定时间内完成推算。针对长序列的建模,出现了如下代表性工作:
-
curl发送post请求存在变量转义的问题
最近在使用
curl
发送post请求的时候,需要带上自定义的变量,示例如下:1
2
3
4
5name="Tom"
age=18
msg="my name is ${name}, age is ${age}"
echo ${msg}
curl -X POST "http://xxx.com" -H "Content-Type:application/json" -d "{\"message\":{\"header\":{\"body\":[{\"type\":\"TEXT\",\"content\":\"${msg}\"}]}}"