“集智百科精选”是一个长期专栏，持续为大家推送复杂性科学相关的基本概念和资源信息。作为集智俱乐部的开源科学项目，集智百科希望打造复杂性科学领域最全面的百科全书，欢迎对复杂性科学感兴趣、热爱知识整理和分享的朋友加入！

今天分享物理学领域里面熵这一主题。大家都知道热力学第二定律，熵也在各个领域有着不同的应用。本文将介绍熵的基本概念，有哪些好玩的案例，知名的研究者、一些入门的学习资源。

一、什么是熵？

二、熵增原理

三、熵与信息论

四、知名学者推介

五、相关资源推介

六、集智百科词条志愿者招募

一、什么是熵？

我们小时候玩玩具，如果没有家长管着，一定是搅得屋子里天翻地覆、无从下脚，并且乐此不疲。如果把玩具看作元素，所有的玩具看作一个系统，则系统从整齐变成了混乱。这时候，要想找到某个心爱的玩具就变得非常困难，因为它可能出现在任何角落。这个场景就蕴含了熵增加的原理。

通俗地来讲，熵表示一个系统内所有元素的状态总和。对于同一个系统来说，“有序”反映了各元素所处的状态相对简单，容易被掌握，熵较低。反之，“无序”则反映了各元素所处的状态复杂，不易掌握，熵较高。

下图体现了类似“玩玩具”的过程：当分子排列整齐时，能够轻松定位每个分子。而他们散得越开，越难把握分子的位置和运动状态。这是个熵增加的过程。

图1：熵增加的过程，分子排列从有序变成无序

熵最初在热力学中被提出，其概念来源于克劳修斯对卡诺热机的研究。后来，熵在信息论、天体物理、生命科学、计算机科学等领域均有重要应用。在不同的学科中，根据具体情境，引申出了相适应的定义。可以说，在各个领域，熵都是一个必备知识点。

二、熵增原理

现实生活中，为了能喝到温水，我们会把开水兑到凉白开里，这样整杯水都是温的。但是，为什么不会发生“热者更热，凉者更凉”的现象呢？这不违反热力学第一定律——能量守恒，因为热量只是从凉的地方转移到热的地方，并无增减。如果能够自发地“热者更热，凉者更凉”，我们完全可以使海水变凉一小点儿，然后得到用之不竭的能量。

图2：热量从温度高的地方转移到温度低的地方

理想很丰满，现实很骨感。热力学第二定律堵死了这条路。该定律指出：热量无法自发地从低温物体转移到高温物体。这是为什么呢？玻尔兹曼从微观分子层面给出了解释：高温物体分子动能较大，低温物体分子动能较小。他们相互接触时产生碰撞，在所有碰撞后产生的可能结果中，绝大部分是分子间动能趋向一致，极少数是分子间动能差异性更大。所以理论上来说，是存在“热者更热，凉者更凉”的可能性的，但是发生的概率小到完全可以忽略不计，现实生活中无法发生。

上述过程经简单物理推导可知，系统的熵是增加的。由此引出热力学第二定律的另一表述：孤立系统（不与外界进行能量交换，例如“保温杯”）的熵永远不会自发减少。熵在可逆过程中不变，在不可逆过程中增加。这就是“熵增原理”。根据熵增原理，宇宙作为一个孤立系统，随着时间推移，熵会增加。即宇宙中所有元素的状态总体上会更加复杂。

图3：宇宙中的熵不断增加

注：热力学第三定律——绝对零度不可达到

三、熵与信息论

1948年，香农将热力学中的熵引入到信息论。在信息论中，熵用来测量事件结果的不确定性。例如，抛一枚正反面相同的硬币，那么结果是确定的，熵为零。抛一枚正常硬币，结果可能为正或为负，具有不确定性，熵大于零。如果将硬币正反面当做信息比特 (bit) “1”和“0”的话，那么比特位数越大，包含信息量越大，不确定性越高，熵越大。