从深度学习到图神经网络：模型与实践

参考资料

9.6 本章小结

9.5.6 模型预测

9.5.5 半监督的节点分类

9.5.4 绘图NetworkX图

9.5.3 邻接矩阵与坐标格式

9.5.2 数据导入与探索

9.5.1 Karate Club数据集

9.5 Karate Club图卷积分类实践

9.4.4 基于一阶切比雪夫网络的GCN

9.4.3 基于切比雪夫网络截断的多项式参数化的GCN

9.4.2 多项式参数化的GCN

9.4.1 频率响应参数化的GCN

9.4 基于谱域GCN的演进

9.3.3 基于谱的图滤波器设计

9.3.2 谱域图卷积

9.3.1 图卷积理论

9.3 谱域视角下的图卷积

9.2.3 特征值与图信号频率之间的关系

9.2.2 图傅里叶变换简介

9.2.1 什么是图信号

9.2 图傅里叶变换

9.1.3 向量分解与信号过滤

9.1.2 感性认识傅里叶变换

9.1.1 傅里叶变换背后的方法论

9.1 傅里叶变换

第9章 谱域图卷积神经网络

参考资料

8.7 本章小结

8.6.6 嵌入表示的可视化

8.6.5 训练模型

8.6.4 训练参数配置

8.6.3 定义模型

8.6.2 构造正负样本

8.6.1 Cora数据探索

8.6 基于GraphSAGE的实践

8.5.6 权值参数训练

8.5.5 特征信息聚合

8.5.4 邻居节点采样

8.5.3 GraphSAGE的框架

8.5.2 GraphSAGE所为何来

8.5.1 归纳式学习与直推式学习

8.5 GraphSAGE

8.4.5 模拟一个分类输出

8.4.4 添加激活函数

8.4.3 考虑权值影响的信息聚合

8.4.2 传递规则的实现

8.4.1 图数据的生成

8.4 图卷积节点分类实践

8.3.2 层次化表达

8.3.1 局部连接性

8.3 GCN与CNN的关联

8.2 MPNN模型

8.1.2 图卷积神经网络的框架

8.1.1 图卷积神经网络的诞生

8.1 图卷积神经网络概述

第8章 空域图卷积神经网络

参考资料

7.5 本章小结

7.4 初代图神经网络的局限性

7.3.4 图神经网络模型的训练

7.3.3 压缩映射实现的条件

7.3.2 不动点理论

7.3.1 图中节点的信息更新

7.3 初代GNN的工作原理

7.2.2 图中的消息传递

7.2.1 GNN的本质

7.2 GNN中的数据聚合

7.1 初代图神经网络的诞生

第7章 初代图神经网络

参考资料

6.7 本章小结

6.6.2 基于Meta-path的随机游走

6.6.1 异构图的定义与问题

6.6 Metapath2vec

6.5.3 Node2vec的工作原理

6.5.2 同质性与结构性

6.5.1 Node2vec的由来

6.5 Node2vec

6.4.3 二阶相似度

6.4.2 一阶相似度

6.4.1 LINE模型的发展背景

6.4 LINE模型

6.3.6 DeepWalk的应用领域

6.3.5 模型的保存与加载

6.3.4 利用Word2vec实现DeepWalk

6.3.3 构建随机游走节点序列

6.3.2 图的构建

6.3.1 数据准备

6.3 基于DeepWalk的维基百科相似网页检测

6.2.5 分层Softmax

6.2.4 负采样

6.2.3 跳元模型训练阶段

6.2.2 随机游走阶段

6.2.1 DeepWalk的基本思想

6.2 DeepWalk的原理

6.1 图嵌入概述

第6章 面向图数据的嵌入表示

参考资料

5.7 本章小结

5.6.5 词向量可视化：t-SNE

5.6.4 相似性度量

5.6.3 模型构建与训练

5.6.2 数据预处理

5.6.1 读取数据集

5.6 词嵌入实战

5.5.3 跳元模型

5.5.2 Word2vec的核心思想

5.5.1 词嵌入

5.5 嵌入表示与Word2vec

5.4.6 变分自编码器

5.4.5 降噪自编码器

5.4.4 正则化自编码器

5.4.3 欠完备自编码器

5.4.2 从信息瓶颈看自编码器的原理

5.4.1 自编码器的工作原理

5.4 自编码器中的表示学习

5.3.2 深度学习中的“End-to-End”表示学习

5.3.1 神经网络是一种分布式表示

5.3 分布式表示与神经网络

5.2 离散表示与独热编码

5.1.2 为何需要表示学习

5.1.1 符号表示与向量表示

5.1 表示学习的背景

第5章 神经网络中的表示学习

参考资料

4.7 本章小结

4.6.2 丢弃法

4.6.1 批归一化处理

4.6 防止过拟合

4.5 不可或缺的全连接层

4.4.2 汇聚层实例

4.4.1 汇聚层原理

4.4 降维减负的汇聚层

4.3.5 卷积层的4个核心参数

4.3.4 用PyTorch实现特定卷积

4.3.3 多通道卷积

4.3.2 卷积核的工作机理

4.3.1 卷积核

4.3 可圈可点的卷积层

4.2.2 神经网络中“层”的本质

4.2.1 卷积神经网络的整体结构

4.2 卷积神经网络

4.1 深度学习时代的兴起

第4章 深度学习基础

参考资料

3.9 本章小结

3.8.2 优化算法面临的挑战

3.8.1 优化算法的派系

3.8 优化算法的分类

3.7.2 基于梯度的优化流程

3.7.1 优化算法的意义

3.7 神经网络的训练

3.6.2 交叉熵损失函数

3.6.1 普通的损失函数

3.6 损失函数

3.5.4 Softmax函数

3.5.3 ReLU函数

3.5.2 Tanh函数

3.5.1 Sigmoid函数

3.5 不可或缺的激活函数

3.4 更强表征能力的多层感知机

3.3.3 备受启发的支持向量机

3.3.2 历久弥新的感知机

3.3.1 人工神经元的本质

3.3 感知机模型与前馈神经网络

3.2.2 通用近似定理的应用

3.2.1 通用近似定理

3.2 神经网络的第一性原理

3.1 人工神经网络的缘起

第3章 神经网络学习与算法优化

参考资料

2.4 本章小结

2.3.4 拉普拉斯矩阵的归一化

2.3.3 拉普拉斯矩阵的谱分解

2.3.2 拉普拉斯矩阵的性质

2.3.1 拉普拉斯矩阵的来源

2.3 谱图论基础

2.2.13 节点的中心性

2.2.12 图的连通性

2.2.11 图的途径、迹与路

2.2.10 图的同构与异构

2.2.9 图的遍历

2.2.8 符号图

2.2.7 二分图

2.2.6 度数矩阵

2.2.5 邻域和度

2.2.4 邻接矩阵与关联矩阵

2.2.3 权值图

2.2.2 无向图与有向图

2.2.1 图的表示

2.2 图论基础

2.1.11 正定矩阵和半正定矩阵

2.1.10 特征分解

2.1.9 矩阵的平方分解

2.1.8 特征值与特征向量

2.1.7 逆矩阵与行列式

2.1.6 矩阵乘法的三种视角

2.1.5 矩阵的本质

2.1.4 矩阵与张量

2.1.3 向量的夹角与余弦相似度

2.1.2 向量范数

2.1.1 标量与向量

2.1 矩阵论基础

第2章 图神经网络的数学基础

参考资料

1.7 本章小结

1.6.2 图神经网络的分类

1.6.1 图神经网络的常见模块

1.6 图神经网络的模块与分类

1.5.4 图卷积的简化

1.5.3 图表示学习

1.5.2 图卷积神经网络的提出

1.5.1 早期的图神经网络

1.5 图神经网络的发展简史

1.4.3 图预测

1.4.2 边预测

1.4.1 节点预测

1.4 图神经网络的应用层面

1.3.4 图数据不符合独立同分布

1.3.3 图可视化难理解

1.3.2 图表达无固定格式

1.3.1 欧氏空间难表示图

1.3 图数据处理面临的挑战

1.2.2 图神经网络的本质

1.2.1 图与图像大不同

1.2 图神经网络时代的来临

1.1.2 人工智能的底层逻辑

1.1.1 深度学习的发展

1.1 人工智能与深度学习

第1章 图上的深度学习

符号表

前言

内容简介

作者简介

版权信息

封面

封面

版权信息

作者简介

内容简介

前言

符号表

第1章 图上的深度学习

1.1 人工智能与深度学习

1.1.1 深度学习的发展

1.1.2 人工智能的底层逻辑

1.2 图神经网络时代的来临

1.2.1 图与图像大不同

1.2.2 图神经网络的本质

1.3 图数据处理面临的挑战

1.3.1 欧氏空间难表示图

1.3.2 图表达无固定格式

1.3.3 图可视化难理解

1.3.4 图数据不符合独立同分布

1.4 图神经网络的应用层面

1.4.1 节点预测

1.4.2 边预测

1.4.3 图预测

1.5 图神经网络的发展简史

1.5.1 早期的图神经网络

1.5.2 图卷积神经网络的提出

1.5.3 图表示学习

1.5.4 图卷积的简化

1.6 图神经网络的模块与分类

1.6.1 图神经网络的常见模块

1.6.2 图神经网络的分类

1.7 本章小结

参考资料

第2章 图神经网络的数学基础

2.1 矩阵论基础

2.1.1 标量与向量

2.1.2 向量范数

2.1.3 向量的夹角与余弦相似度

2.1.4 矩阵与张量

2.1.5 矩阵的本质

2.1.6 矩阵乘法的三种视角

2.1.7 逆矩阵与行列式

2.1.8 特征值与特征向量

2.1.9 矩阵的平方分解

2.1.10 特征分解

2.1.11 正定矩阵和半正定矩阵

2.2 图论基础

2.2.1 图的表示

2.2.2 无向图与有向图

2.2.3 权值图

2.2.4 邻接矩阵与关联矩阵

2.2.5 邻域和度

2.2.6 度数矩阵

2.2.7 二分图

2.2.8 符号图

2.2.9 图的遍历

2.2.10 图的同构与异构

2.2.11 图的途径、迹与路

2.2.12 图的连通性

2.2.13 节点的中心性

2.3 谱图论基础

2.3.1 拉普拉斯矩阵的来源

2.3.2 拉普拉斯矩阵的性质

2.3.3 拉普拉斯矩阵的谱分解

2.3.4 拉普拉斯矩阵的归一化

2.4 本章小结

参考资料

第3章 神经网络学习与算法优化

3.1 人工神经网络的缘起

3.2 神经网络的第一性原理

3.2.1 通用近似定理

3.2.2 通用近似定理的应用

3.3 感知机模型与前馈神经网络

3.3.1 人工神经元的本质

3.3.2 历久弥新的感知机

3.3.3 备受启发的支持向量机

3.4 更强表征能力的多层感知机

3.5 不可或缺的激活函数

3.5.1 Sigmoid函数

3.5.2 Tanh函数

3.5.3 ReLU函数

3.5.4 Softmax函数

3.6 损失函数

3.6.1 普通的损失函数

3.6.2 交叉熵损失函数

3.7 神经网络的训练

3.7.1 优化算法的意义

3.7.2 基于梯度的优化流程

3.8 优化算法的分类

3.8.1 优化算法的派系

3.8.2 优化算法面临的挑战

3.9 本章小结

参考资料

第4章 深度学习基础

4.1 深度学习时代的兴起

4.2 卷积神经网络

4.2.1 卷积神经网络的整体结构

4.2.2 神经网络中“层”的本质

4.3 可圈可点的卷积层

4.3.1 卷积核

4.3.2 卷积核的工作机理

4.3.3 多通道卷积

4.3.4 用PyTorch实现特定卷积

4.3.5 卷积层的4个核心参数

4.4 降维减负的汇聚层

4.4.1 汇聚层原理

4.4.2 汇聚层实例

4.5 不可或缺的全连接层

4.6 防止过拟合

4.6.1 批归一化处理

4.6.2 丢弃法

4.7 本章小结

参考资料

第5章 神经网络中的表示学习

5.1 表示学习的背景

5.1.1 符号表示与向量表示

5.1.2 为何需要表示学习

5.2 离散表示与独热编码

5.3 分布式表示与神经网络

5.3.1 神经网络是一种分布式表示

5.3.2 深度学习中的“End-to-End”表示学习

5.4 自编码器中的表示学习

5.4.1 自编码器的工作原理

5.4.2 从信息瓶颈看自编码器的原理

5.4.3 欠完备自编码器

5.4.4 正则化自编码器

5.4.5 降噪自编码器

5.4.6 变分自编码器

5.5 嵌入表示与Word2vec

5.5.1 词嵌入

5.5.2 Word2vec的核心思想

5.5.3 跳元模型

5.6 词嵌入实战

5.6.1 读取数据集

5.6.2 数据预处理

5.6.3 模型构建与训练

5.6.4 相似性度量

5.6.5 词向量可视化：t-SNE

5.7 本章小结

参考资料

第6章 面向图数据的嵌入表示

6.1 图嵌入概述

6.2 DeepWalk的原理

6.2.1 DeepWalk的基本思想

6.2.2 随机游走阶段

6.2.3 跳元模型训练阶段

6.2.4 负采样

6.2.5 分层Softmax

6.3 基于DeepWalk的维基百科相似网页检测

6.3.1 数据准备

6.3.2 图的构建

6.3.3 构建随机游走节点序列

6.3.4 利用Word2vec实现DeepWalk

6.3.5 模型的保存与加载

6.3.6 DeepWalk的应用领域

6.4 LINE模型

6.4.1 LINE模型的发展背景

6.4.2 一阶相似度

6.4.3 二阶相似度

6.5 Node2vec

6.5.1 Node2vec的由来

6.5.2 同质性与结构性

6.5.3 Node2vec的工作原理

6.6 Metapath2vec

6.6.1 异构图的定义与问题

6.6.2 基于Meta-path的随机游走

6.7 本章小结

参考资料

第7章 初代图神经网络

7.1 初代图神经网络的诞生

7.2 GNN中的数据聚合

7.2.1 GNN的本质

7.2.2 图中的消息传递

7.3 初代GNN的工作原理

7.3.1 图中节点的信息更新

7.3.2 不动点理论

7.3.3 压缩映射实现的条件

7.3.4 图神经网络模型的训练

7.4 初代图神经网络的局限性

7.5 本章小结

参考资料

第8章 空域图卷积神经网络

8.1 图卷积神经网络概述

8.1.1 图卷积神经网络的诞生

8.1.2 图卷积神经网络的框架

8.2 MPNN模型

8.3 GCN与CNN的关联

8.3.1 局部连接性

8.3.2 层次化表达

8.4 图卷积节点分类实践

8.4.1 图数据的生成

8.4.2 传递规则的实现

8.4.3 考虑权值影响的信息聚合

8.4.4 添加激活函数

8.4.5 模拟一个分类输出

8.5 GraphSAGE

8.5.1 归纳式学习与直推式学习

8.5.2 GraphSAGE所为何来

8.5.3 GraphSAGE的框架

8.5.4 邻居节点采样

8.5.5 特征信息聚合

8.5.6 权值参数训练

8.6 基于GraphSAGE的实践

8.6.1 Cora数据探索

8.6.2 构造正负样本

8.6.3 定义模型

8.6.4 训练参数配置

8.6.5 训练模型

8.6.6 嵌入表示的可视化

8.7 本章小结

参考资料

第9章 谱域图卷积神经网络

9.1 傅里叶变换

9.1.1 傅里叶变换背后的方法论

9.1.2 感性认识傅里叶变换

9.1.3 向量分解与信号过滤

9.2 图傅里叶变换

9.2.1 什么是图信号

9.2.2 图傅里叶变换简介

9.2.3 特征值与图信号频率之间的关系

9.3 谱域视角下的图卷积

9.3.1 图卷积理论

9.3.2 谱域图卷积

9.3.3 基于谱的图滤波器设计

9.4 基于谱域GCN的演进

9.4.1 频率响应参数化的GCN

9.4.2 多项式参数化的GCN

9.4.3 基于切比雪夫网络截断的多项式参数化的GCN

9.4.4 基于一阶切比雪夫网络的GCN

9.5 Karate Club图卷积分类实践

9.5.1 Karate Club数据集

9.5.2 数据导入与探索

9.5.3 邻接矩阵与坐标格式

9.5.4 绘图NetworkX图

9.5.5 半监督的节点分类

9.5.6 模型预测

9.6 本章小结

参考资料