《信息简史》读书笔记

读书笔记

先提出问题：

我们要在一个字段里保存人的血型，问这个字段的平均长度是多少（各种血型的比例）。

热力学第二定律，第二类永动机，熵，热力熵和信息熵

有些人认为，齐拉特的论文为麦克斯韦妖的棺材钉上了最后一根钉子。但这并不是麦克斯韦妖的结束——还远远没有。要想彻底解决该问题，驱走这个妖，要求我们更为深入地理解一个与热力学相隔甚远的领域：机械计算。正如彼得·兰兹伯格所写的：“麦克斯韦妖，死于莱奥·齐拉特的一篇论文发表之时，享年六十二岁。但它又化身为了一个顽皮而可爱的鬼魂，继续在物理学城堡里阴魂不散，时时作响。
[美]詹姆斯·格雷克, 信息简史 (图灵新知), loc. 5239-5242

• 熵越大，能做的功也越低，熵是能量退化的指标，
• 熵也用来计算一个系统中的失序现像，即混乱程度。
• 热力学第二定律：孤立系统自发的朝着热力学平衡的方向--最大熵状态--演化。

重头戏：信息熵

• 1948年 香农
• 熵越大，信息越随机，这里的随机程度对应热力学中的无序程度
• 熵越大，传输的信息越多。
• 熵越大，冗余越少
• 熵越大，越难预测
• 压缩后的信息熵更高
• 8个比特表示的英文字母，熵其实只有4.7比特（对于英文，我们总能预测，q后面大部分时候就是u，而不是其它字母

延伸：鸽巢原理

• 一个文件的压缩必然伴随着其它文件的增大
• 哈希表必然会存在重复
  

  若有n个笼子和n+1只鸽子，所有的鸽子都被关在鸽笼里，那么至少有一个笼子有至少2只鸽子。

问题的解答

1989年，惠勒提出了他最后一个流行语：万物源自比特。这是种极端的观点，完全不唯物：信息第一性，物质第二性。 换言之，任何事物（任何粒子、任何力场，甚至时空连续统本身），其功能、意义和存在本身都完全（即便在某些情境中是间接地）源自……比特。[5]
[美]詹姆斯·格雷克, 信息简史 (图灵新知), loc. 6548-6552

遗忘需要能量

麦克斯韦妖在观察或选择一个分子时无需付出熵的代价；只有在消除记录，也就是在妖擦除上一次观察的结果，为下一次观察腾出空间时，熵增加才会发生。 遗忘需要功。
[美]詹姆斯·格雷克, 信息简史 (图灵新知), loc. 6640-6642

爱因斯坦对此深恶痛绝，他后来写道：“空间 B 的实际状态不应该取决于在空间A进行了何种测量。”[25]在原论文的末尾，他也坚决地写道：“这种现象不可能在任何合理定义的现实中发生。”他还给这种现象取了一个难以磨灭的名字——“鬼魅似的超距作用”。
[美]詹姆斯·格雷克, 信息简史 (图灵新知), loc. 6715-6717

量子计算和RSA加密算法

数学背景知识

• 互质：在数论顺，如果两个或两个以上的整数的最大公约数是1，则称它们是互质。7，10，13互质。8与10不互质，因他们最大公约数是2
• 欧拉函数φ(n)：在数论中，指小于或等于n的正整数中与n互质的数的数目。例如φ(8)=4，因为1，3，5，7均和8互质

这也是破解目前使用最广泛的加密算法的关键，特别是RSA加密算法。[32]全球Internet电子商务的安全都仰赖于此。在实际应用中，大数是用以加密讯息的公钥。而窃听者只要找出该大数的素因子（这也是个大数），就能破解讯息。
loc. 6772-6774

“信息疲劳”一词便在2009年被OED收录：“由于暴露在过量信息当中而引致的漠然、冷淡或心力交瘁，尤指（在晚近用法中）由于试图从媒体、Internet或工作中吸收过量信息而引致的压力。”有时，信息焦虑会与无聊感同时出现，一种相当令人困惑的组合。戴维·福斯特·华莱士给这种现代处境起了一个更不祥的名字：全噪声（Total Noise）。
loc. 7422-7425

艾略特就接着写道：“我们在生存中失落的生活在哪里？/我们在知识中失落的智慧在哪里？/我们在信息中失落的知识又在哪里？”
loc. 7429-7430

然而，计算的热力学表明，昨天的旧报纸会占用麦克斯韦妖用来接收今天新报纸的宝贵空间，并且现代社会的经验也证明了这一点。遗忘曾被视为一种失效、一种浪费以及一个老之将至的信号。而现在，遗忘是需要付出代价才能做到的事情。遗忘也许与记忆一样重要。
loc. 7485-7487

获取事实的代价曾经非常昂贵，现如今则已十分廉价。
loc. 7487-7488

当然，各种应对策略也随之出现。方法多种多样，但归根结底，本质上可归为两类：要么是过滤，要么是搜索。
loc. 7530-7531

现在我们知道，真正造就大脑的并不是知识量，甚至也不是知识的分布，而是其中的互连通性。当
loc. 7662-7663