记录一下BERT变体的比较。

CRF考虑到了输出层面的关联性，如下图所示：

记录一下逻辑回归的参数求解推导过程：

BERT的模型结构如下图所示：

记录一下常见的Transformer面试要点：

这道题题目描述很简单，但却是leetcode hard难度。如果用传统的二分查找方法来做，那么边界情况将非常多。

记录一下二分查找的变形场景：

expand 和 repeat 都是对张量进行扩维，这里记录下使用区别。

本文主要记录一下PyTorch里面的二分类及多分类交叉熵损失函数的使用。

最近两周断断续续学习了GCN有关的知识，在此主要记录一下GCN状态更新的公式推导。