汇总一下解决Transformer输入长度受限这一问题的相关工作：

记录一些古诗：

知识蒸馏是将训练好的大模型包含的知识蒸馏到小模型中。在线上部署的时候，我们使用小模型即可。

对比下三种主流图片生成模型的优缺点：

该篇论文实现了隐藏层维度的并行计算，但并没有解除时间步上的依赖。不过这样的改进，在模型训练和推理加速上的收益已经非常大了。

学习一下扩散模型的数学原理。

传统的基于图的对比学习范式容易丢失结构信息，LightGCL通过SVD分解邻接矩阵构造了正样本图，并最大程度保留了原图全局结构信息：

介绍一下阿里巴巴在CVR领域多任务学习的三篇论文：

用户序列长度跟模型AUC有直接正相关性，模型能处理的序列长度越长，AUC就越高。但长序列对于样本处理和模型训练非常不友好，耗时长且显存占用大。更重要的是线上预估服务的约束，必须要在规定时间内完成推算。针对长序列的建模，出现了如下代表性工作：