LLM在SFT之后会产生大量的冗余参数(delta参数)，阿里团队提出DARE方法来消除delta参数，并将其合并到PRE模型中，从而实现多源模型能力的吸收。 DARE无需GPU重新训练，其思路非常简单，就跟dropout类似： \begin{ga...

常见的多标签分类方法是同时生成多个标签的logits，然后接一个sigmoid激活函数做二分类。该方法简单直接，但忽略了标签之间的相关性。虽然业界针对该问题提出了很多解决思路，但大多是任务特定，通用性不强，也不够优雅。

关于GPT的代码细节，这里梳理了一下：

https://baijiahao.baidu.com/s?id=1776646546359667213&wfr=spider&for=pc

现在的LLM都集中在卷上下文长度了，最新的Claude3已经支持200K的上下文，见：cost-context。下面是一些提升LLM长度外推能力的方法总结：

YOLO是最经典的一阶目标检测框架，记录一下v1思路。

之前只看了ViT的大概结构，具体的模型细节和代码实现知之甚少。随着ViT逐渐成为CV领域的backbone，有必要重新审视下。

keep主题4.x新增了很多功能配置，在升级的过程中遇到了一些问题，在此记录一下：

参照数学坐标系，grid的规格是 $(4,3)$ ，block的规格是 $(3,2)$

这篇paper的核心是胶囊网络，该网络采用了动态路由算法自动对用户历史行为序列进行聚类，提取出多个兴趣向量，代表用户的不同兴趣。当用户再有新的交互时，通过胶囊网络，还能实时的改变用户的兴趣表示向量，做到在召回阶段的实时个性化。