今晚九点图网络读书会直播 | HSIC瓶颈原理: 替代反向传播的深度学习-集智俱乐部
直播预告
10月7日(周一)21:00-21:40,集智图网络线上读书会将进行新一期的论文分享直播,欢迎感兴趣的朋友参与。

直播主题:

HSIC瓶颈原理:

替代反向传播的深度学习

本文介绍了一种采用希尔伯特-施密特准则训练神经网络的方法,替代传统的反向传播。这种方法利用信息瓶颈原理,将损失函数设为计算隐藏层和标签层的最大互信息,同时最小化隐藏层和输入层的相关性。由于连续变量的最大信息难以计算,本文采用了替代指标,即HSIC。利用HSIC组成的网络学得了数据良好的表示,绕过了梯度反向传播,避免了梯度下降和梯度爆炸,并且效果不逊于传统的梯度反向传播方法。

论文题目:
The HSIC Bottleneck : Deep Learning without Back-Propagation
论文地址:
https://arxiv.org/abs/1908.01580

主讲人:胡乔
直播地址集智俱乐部 B 站直播间

👀关注B站主播“集智俱乐部
不错过每一场集智重磅直播

今晚九点图网络读书会直播 | HSIC瓶颈原理: 替代反向传播的深度学习-集智俱乐部
直播地址:
https://live.bilibili.com/8091531
直播时间 :21:00-21:40

集智图网络线上读书会公开招募

图神经网络是深度学习领域的前沿热点议题,尤其是图网络(GraphNetworks)提出以来,深度学习有了实现因果推理的潜力。为了持续追踪相关领域的前沿进展,集智俱乐部联合北师大系统科学学院张江课题组,组织了以图网络为主题的线上读书会,研讨最新论文,孕育研究思路。
每一期线上读书会由一位成员主讲,形式为论文分享,时间为每周一21:00-21:40。加入读书会群需报名审核,原则上参与者应有能力独立完成一次线上分享。如果你也正在从事图网络与深度学习方面的研究工作或技术实践,或者对该领域有强烈的学习意愿,欢迎填写报名表,申请加入“集智图网络论文分享小组”!
报名请点击下方小程序,填写报名表。填表之后会有入群方式。


今晚九点图网络读书会直播 | HSIC瓶颈原理: 替代反向传播的深度学习-集智俱乐部

编辑:张爽

往期论文解读

  • 第十六期图网络论文解读
    • 时间:6 月24日 周一
    • 主讲人:张章
    • 论文题目:
      Weight Agnostic Neural Networks
    • 论文地址:
      https://arxiv.org/abs/1906.04358
    • 视频回放:
    http://campus.swarma.org/play/coursedetail?id=10934

  • 第十八期图网络论文解读
    • 时间:7 月8日 周一
    • 主讲人:高飞
    • 论文题目:
      How Powerful are Graph Neural Networks?
    • 论文地址:
      https://arxiv.org/pdf/1810.00826
    • 视频回放:
    http://campus.swarma.org/play/coursedetail?id=10936
  • 第二十二期图网络论文解读
    • 时间:8 月5日 周一
    • 主讲人:王硕
    • 论文题目:
      Spatiotemporal Multi-Graph Convolution Network for Ride-hailing Demand Forecasting (基于时空多图卷积网络的网约车需求量预测)
    • 论文地址:
      http://www-scf.usc.edu/~yaguang/papers/aaai19_multi_
      graph_convolution.pdf
    • 视频回放:
    http://campus.swarma.org/play/coursedetail?id=10960


今晚九点图网络读书会直播 | HSIC瓶颈原理: 替代反向传播的深度学习-集智俱乐部
集智俱乐部QQ群|877391004
商务合作及投稿转载|swarma@swarma.org

搜索公众号:集智俱乐部

加入“没有围墙的研究所”

今晚九点图网络读书会直播 | HSIC瓶颈原理: 替代反向传播的深度学习-集智俱乐部

让苹果砸得更猛烈些吧!

原文始发于微信公众号(集智俱乐部):集智