传统的图方法都是直推式(transductive)的,学习到的是结构固定的图模型,一旦有新的节点加入,便需要重新训练整个图网络,泛化性不强。GraphSAGE是归纳式(inductive)的,它学习一种映射:通过采样和聚合邻居节点信息来生成当前节点的表征。GraphSAGE可扩展性更强,对于节点分类和链接预测问题的表现也十分突出。
-
DIN解读
传统的Embedding&MLP架构将用户特征编码进一个固定长度的向量。当推出一个商品时,该架构无法捕捉用户丰富的历史行为中的多样性兴趣与该商品的关联。阿里妈妈团队提出了DIN网络进行改进,主要有如下两点创新:
-
MoCo解读
MoCo方法由何凯明团队提出,是无监督对比学习的代表作。经过MoCo预训练的视觉表征迁移到各种下游任务时,其效果超过了有监督预训练模型。
-
date命令基本使用
在维护一些定时脚本任务的时候,经常需要使用该命令。在此做一个记录:
-
shell并发编程
实际上
&
符号就表示将程序放入后台执行,从而实现多个程序并行。但由于机器资源有限,我们需要控制并发数量。下面是解决方案: -
git tag使用
git tag主要用来标记某个提交,用法非常简单。
-
thread_local用法
C++11 thread_local用法 -
拉取测试别人的PR
有的时候别人的pr很简单,那么可以直接合并。如果复杂的话,需要我们拉取到本地测试一下,再合并。下面是具体的流程:Checking out pull requests locally -
git合并多个commit
有时候为了开发一个新的功能,进行了多次commit,从而导致整个git提交历史显得很冗余。在此记录一下如何合并多个commit: Git 多次提交合并成一次提交 注意:如果是ubuntu系统,默认编辑器为nano。个人在编辑commit信息的时候很不... -
A BetterTransformer for Fast Transformer Inference
PyTorch 1.12版本对
torch.nn.TransformerEncoder
进行了专项优化,用户无须调整模型结构即可大幅提升Transformer推理性能。具体介绍如下: