【随手记】一些关于GCN踩坑

比较有内容的链接：

• 2020年，我终于决定入门GCN 有示例代码
• GCN图卷积网络入门详解 基本上是下面链接的翻译整合
• GRAPH CONVOLUTIONAL NETWORKS 论文作者写的
• 何时能懂你的心——图卷积神经网络（GCN）
• https://www.experoinc.com/post/node-classification-by-graph-convolutional-network

这个更好些：https://zhuanlan.zhihu.com/p/107162772

---

定义图：$G=<V, E>$，那么相关的有：

• $A$: 邻接矩阵，表示每个节点之间的连接关系。无向图的邻接矩阵是对称的，有向图是不对称的。
• $D$: 度矩阵，是一个对角矩阵，其中对角元素$D_{ii}=\sum_j{A_{ij}}$
• $X$: 特征矩阵，表示每个节点的特征

我们的目的是学习出新的特征，即：

$$H^{(k+1)}=f(H^{(k)}, A)=\sigma(AH^{(k)} W^{(k)})$$

其中，$H^{(0)}=X$，$H^{(L)}=Z$，$W{(k)}$为k层的神经网络

如何通过邻居节点得到其他节点的特征值？

---

那么，上述加法规则还有一些缺陷，下面给出缺陷和解决方法：

1. 在计算的时候考虑了除了自身外的所有节点
   给每个节点增加自连接，即：$\tilde{A}=A+\lambda I_N$，论文中取$\lambda =1$，也可以把它当作可训练的参数

2. 对于度较大的节点在计算几次后会越来越大

   对邻接矩阵进行归一化使$A$每行和为1。

   1. 按行，乘以度矩阵的逆矩阵：$D^{-1}\tilde{A}$，得到：

      $$H^{(k+1)}=f(H^{(k)}, A)=\sigma(D^{-1}\tilde{A}H^{(k)} W^{(k)})$$

      

   2. 同样地，按列进行归一化

      $$H^{(k+1)}=f(H^{(k)}, A)=\sigma(D^{-\frac{1}{2}}\tilde{A}D^{-\frac{1}{2}}H^{(k)} W^{(k)})$$

      

      注：这里为什么从$-1$改成了$-\frac{1}{2}$，是因为归一化了两次。

   ---

   GCN in papers

   HiAGM

   TODO

   Representing Schema Structure with Graph Neural Networks for Text-to-SQL Parsing

   TODO

   Global Reasoning over Database Structures for Text-to-SQL Parsing

   TODO