比特如何成为数字时代的语言?信息论领域发展回顾丨周日直播·因果涌现读书会第四季第二期
导语

分享内容简介
分享内容简介
在本期读书会中,我们将首先回顾信息论诞生的历史背景,从早期信息概念到克劳德·香农的开创性工作。之后,我们将关注信息熵、信道和噪声等基本概念,了解比特如何成为数字时代的语言。在此基础之上,我们将追踪后香农时代信息论的发展,了解 Wiener 和 Weaver 对信息论的推广工作,探索信息论从通信、计算机科学到生物、社会学等更加广泛场景中的应用。最后我们会展望信息论的当代应用和未来趋势,简单介绍信息论在现代技术、人工智能等领域的作用,引出本季读书会后续主题——整合信息论与信息分解。
内容大纲
内容大纲
-
信息论概述
-
历史背景
2.1. 早期概念和基础
2.2 现代信息论的出现
-
信息论的发展
-
当代应用和趋势
-
结论与未来展望
核心概念
核心概念
-
信息熵 Information Entropy:衡量一组可能结果的不确定性或不可预测性,对于理解信息内容至关重要。
-
比特 Bit:信息论中信息的基本单位,代表两个同等可能性的选择之间的选择。
-
数据压缩 Data Compression:减少表示信息所需的数据量的技术,强调信息编码的效率。
-
互信息 Mutual Information
-
信道容量 Channel Capacity: 通过通信信道可靠传输信息的最大速率。
-
噪声 Noise:信号在传输或处理过程中发生的任何不需要的改变,影响通信的质量和可靠性。
参考文献
参考文献
书籍:
学习资料推荐
学习资料推荐
MIT课程:
主讲人简介
主讲人简介

直播信息
直播信息

新信息论:从分解到整合
因果涌现读书会第四季招募中
什么是意识?意识能否度量?机器能否产生意识?对于意识问题,人们可能即将迎来一个大的突破,各种有关意识的理论正如雨后春笋般展现出勃勃生机。其中神经科学家 Giulio Tononi 的整合信息论(IID)被认为是最有前景的意识理论之一。如果说意识是大脑神经活动的一种涌现结果,那么刻画涌现便成为理解意识过程中一个重要环节。因果涌现理论目前发展出两个派别,除了 Erik Hoel 的有效信息因果涌现框架,还有一个是 Rosas 的信息分解(PID)框架,此后 Rosas 基于此进一步提出融合整合信息论的信息分解框架 ΦID,尝试构建新的意识理论。
一边是信息整合(IIT),一边是信息分解(PID),看似分裂,实际上都是对香农经典信息论的进一步发展。因果涌现读书会第四季「新信息论:从分解到整合」由北京师范大学系统科学学院教授、集智俱乐部创始人张江老师领衔发起,旨在梳理信息论领域的发展脉络,从香农的经典信息论开始,重点关注整合信息论和信息分解这两个前沿话题,及其在交叉领域的应用。希望通过对这些“新信息论”度量指标的深入探讨,帮助我们理解什么是意识,什么是涌现,并找到不同学科,不同问题背后的统一性原理。

因果涌现社区