今晚九点图网络读书会直播 | HSIC瓶颈原理: 替代反向传播的深度学习
直播主题:
HSIC瓶颈原理:
替代反向传播的深度学习
本文介绍了一种采用希尔伯特-施密特准则训练神经网络的方法,替代传统的反向传播。这种方法利用信息瓶颈原理,将损失函数设为计算隐藏层和标签层的最大互信息,同时最小化隐藏层和输入层的相关性。由于连续变量的最大信息难以计算,本文采用了替代指标,即HSIC。利用HSIC组成的网络学得了数据良好的表示,绕过了梯度反向传播,避免了梯度下降和梯度爆炸,并且效果不逊于传统的梯度反向传播方法。
论文题目: The HSIC Bottleneck : Deep Learning without Back-Propagation 论文地址: https://arxiv.org/abs/1908.01580
集智图网络线上读书会公开招募
编辑:张爽
往期论文解读
-
第十六期图网络论文解读 -
时间:6 月24日 周一 -
主讲人:张章 -
论文题目: Weight Agnostic Neural Networks -
论文地址: https://arxiv.org/abs/1906.04358 -
视频回放: -
第十八期图网络论文解读 -
时间:7 月8日 周一 -
主讲人:高飞 -
论文题目: How Powerful are Graph Neural Networks? -
论文地址: https://arxiv.org/pdf/1810.00826 -
视频回放: -
第二十二期图网络论文解读 -
时间:8 月5日 周一 -
主讲人:王硕 -
论文题目: Spatiotemporal Multi-Graph Convolution Network for Ride-hailing Demand Forecasting (基于时空多图卷积网络的网约车需求量预测) -
论文地址: http://www-scf.usc.edu/~yaguang/papers/aaai19_multi_ graph_convolution.pdf -
视频回放:
◆◆◆
加入“没有围墙的研究所”
让苹果砸得更猛烈些吧!
原文始发于微信公众号(集智俱乐部):集智