《临界：智能的设计原则（自选集 知乎「盐」系列）》读后感4500字
有一天, 一个无书不看无曲不听的好友突然跟我感慨:
我发现, 但凡你能想到的问题, 基本都至少有一个PhD写过一篇paper.
.
最近也听人说, 一个做AI的公司如果半年搞不出成果来, 只能怪其HR招不来善读paper的人才.
本书作者(开始以为笔名)在这方面堪称行家. 如果站巨人肩上能看远点, 此子脚底下的巨人也忒tmd多了..
~
[symmetry breaking / 对称破缺]
有序跟对称性, 不是一回事.
.
液体和气体谁更有序?
答案是液体. 能量越高, 无序度越高, 即混乱. 这是热2定律告诉我们的.
.
气体 和 晶体, 谁的对称性更高?
答案是气体. 因为从个方向观察是无差别的.
因此当气体凝结, 对称被打破, 即对称破缺. 原本的无差别中出现差别, 混乱(熵)中产生信息(负熵), 可能性集中.
.
就像一根原本立在桌上的铅笔, 向一方倒下(或者当一个无尽可能的干细胞选择成为骨细胞, 或者当你在志愿表做出选择, 或者当你在十字路口迈出左腿), 原本无数可能坍缩成唯一历史. 确定发生, 时间前行, 信息或负熵被创造.
.
所以, 虽然从温度最低态到最高, 是无序的增加. 但对称和信息(负熵)却是在中间达到极值. (极高温和极低温, 都是信息的缺乏.) 这也是为什么生命产生于一个(离恒星)不远不近, 温度不高不低的蓝色小球上的原因.
.
因为信息 与 有序 不是一回事, 热2定律只与时间箭头有关, 而与生命无关.
..
.
[self-similarity / 自相似]
分型是自相似的.
所有与尺度无关 的现象, 都会形成分型模式.
如: 元素的衰变(在任何范围内, 概率相同); 还有其它类型的相变; 植物的生长, etc.
..
.
[phase change / 相变] / [critical / 临界]
从一态到另一态(比如无序到有序, 混乱到信息)的转变, 即相变. 其的边界, 即临界 — 比如水的气化, 或从固态变为液态模式的雪崩, 甚至是Escher版画中的 鸟变蜥蜴, 侏罗纪公园中的性变.
影响水气化的关键因素是热量(温度不变), 影响爬行动物性别的是温度(公园通过控制温度限制雌恐龙的出现), 而雪崩的关键因素是由重量带来的剪切力.
.
Ising模型 本来用于处理电磁问题, 却发现其动物群行为的普适– 一些电影特效也是如此制作.
.
鸟群或鱼群之间, 根据相对的距离(实际还包括其它因素, 如等级), 局部 调整彼此的距离和前进方向. 当群的密度(相对于实际影响距离的间距)超过一个界限, 即发生对称性的破缺– 相变. 当一个外界输入(掠食者, 高空坠物, 或者一阵风)会快速在全群中传播, 从而影响群体的行为.
于是整个群体 像是 eactive(有反应的), 甚至像是 在做决策 (意识) — 即使其中并没有一个 了解全部信息 的 决策中枢.
.
相似的, 以信息传播速度 衡量的人类市场也符合同样逻辑– 跨过了临界密度的市场, 发生相变 — 一个扰动, 迅速影响整个与之相连的金融系统.
.
正因为临界是无序和有序的边界, 于是有个霸气的名字: edge of chaos, 复杂性甚至 智能 即由此而生.
..
.
[connection / 连接]
链接和传递, 是一个相对的概念. 比如, 当1980s, 金融交易普遍电子化以后, 信息和市场情绪的传播速度明显加快; 又比如, 我们通过往水里加入电解质, 改变其相变发生的温度.
.
其中有3个影响因素:
1 影响范围::
2 温度:: (磁体的温度, 鸟群的背景噪声, 金融领域的流动性)
3 整体规模:: 更大的鸟群, 会有更紧密的间距倾向.
.
关联长度, 是指, 信息传播的相关性为0的距离.
而临界, 即关联长度覆盖整个群体. 这解释了为什么更大的规模, 会要求鸟群更紧密, 因为这在不改变 影响范围下, 增加了关联长度.
.
孤岛 是能够连续传播的边界. 在林区, 是能够阻隔火势蔓延的隔离带. 当各个金融领域都高度相关互连, 就像森林中缺乏隔离带一样, 会增加系统的强韧 (小的危机得以传递而化解), 而大的危机(书中称 爆炸渗流)也将无所不至.
.
因此一个由大量单元链接的体系, 会因其链接状态呈现3中模式:
1 sub-critical (亚临界) ~ 信息有限传播,
2 critical (临界) ~ 融化, 气化, 雪崩, 核电站.
3 super-critical (超临界) ~ 核武器中的指数链式反应, 就是超临界, 因此是剧烈的.
.
大脑在多数情况下是临界的. 但在一些情况下(比如发育未完全的儿童突然接受高频视觉刺激), 会引发癫痫, 触发超临界模式. 因其信息是扩大链式传播, (与核保类似), 其结果就是宕机 (送医院).
.
亚临界在多数系统中是普遍的, 但对于一个 智能整体 来说, 亚临界会造成反应迟缓, 甚至无法响应 — 即 呆. 老年痴呆实际上就是因为连接的缺失, 造成记忆提取障碍.
..
[social group / 社群]
集体行为中的, 层级化, 模仿, 博弈等特征, 可以更快推动系统达到临界. 其精髓都是扩大 关联长度.
而与分形和自相似相关的层级化, 与意识的抽象理解相关– 每高一级, 就是更加抽象的理解. (可对照书 On Intelligence)
.
实际的动物群落并非平等的, 而是有等级差异. 即不同角色在群体中的影响力 (关联长度) 是不同的.
.
社群中天然具有三种决策力量:
1 听自己的(比如发现天敌, 开始跑路, 其它成员没看见) 2 听邻居的(邻居发现天敌, 跟着邻居一起跑路) 3 听领导的(领导说, sb那就是个无人机!)
有趣的是, 当群体中加入一些对等级观念不明所以的 愣头青, 会减小群体的盲从, 更趋向民主.
.
而, 相同社群, 在不同目标下, 模式也不同.
采蜜模式 下的集飞工蜂群, 处于临界的 eactive状态, 会对天敌, 目标进行集体决策和反应.
而在 筑巢模式 下, 目标明确, 工蜂不需要应对外部信息, 或互相交流, 则是高度分工和等级化的工作方式, 集中力量办大事 — 因为效率是主要驱动.
.
前几天一个朋友跟我反思 敏捷开发 是否普适. 答案当然否, 取决你需要多快速的整体应对变化.
..
[AI & feature]
机器学习的目标是, 找到mRMR(最小冗余最大相关特征). 即: 几个能够足够区分却相互垂直的向量, 将目标问题撑 的足够开的框架.
.
问题是, 特征(feature)是描述性的(descriptive), (就像猫的孕期和腿数目), 并非决定性的因果关系(causal). 因此即使对特定问题有很好的预测效果, 也会在其它问题中失效.
.
这也是为什么, 更加 general 的解决方案, 会带来更深入的洞见.
..
.
[power-law distribution / 幂率]
幂率是临界的重要标志 — 即在双对数坐标下的线性.
.
这是大自然之间的普遍规律.
一个著名的(或许也是最早的)幂率发现是, 单词的词频vs.排名.
此外, 还有, 森林火灾的发生频率vs.间隔时间, 地震, 太阳耀斑, 人的财富分布, 畅销书排名, 社交中的沟通频率(看看你微信就知道), 甚至会计数字(甚至是质数)首位数字的分布(难道不该是随机均布的嘛!)– 当真难以理解且反直觉.
.
而当我们还在以bell-curve 正态分布, 及其对应的 平均值 来评估其风险时, 问题来了. (正态分布产生于平衡态, 而幂率分布存在与相变的临界, 是非平衡的耗散系统.)
.
若是以 频度vs强度的幂率, 比如金融领域, 则必然预示着 黑天鹅 的存在 — 因为强度再大的衰落, 也有一大于0的概率. 况且, 随着系统流动性和脆弱性的增加, 这条直线是会移动的– 即风险的增加.
.
但并非所有的现象都发生在临界. 比如, 发生在以色列的恐袭(频度vs伤亡) — 因为其有效反恐, 曲线是一条下弯的曲线– 低频恐袭伤亡并不大.
..
.
[生命]
我们知道, 相变发生在耗散系统, 而并非平衡系统 — 如我们烧一锅水, 热量始终是流动的.
而维持一个系统在相变的临界, 并不容易 — 如果没人看着, 面条很快就会煮坨, 干锅, 甚至金属都燃烧氧化殆尽.
而生命就是这样一个非常难以维持的耗散系统. 维持生命, 即是在 edge of chaos边界玩高难度平衡.
.
进化 选择 了临界, 是因为, 这是最有效的, 创造和积累负熵的方式.
.
对于一个系统, 过于有序, (rigidity) 则无法应对变化; 过于无序, 则会陷入混乱(chaos).
这也是 有序vs.无序, 稳定vs.可塑的边界.
.
因而, 临界被自然选择为最强适应性. 因为信息(负熵), 有自我加强的天然属性 — 就像你爱看书, 我爱吃肉, 都是在吸纳负熵. 因此, 负熵的积累, 即为生命的方向.
当生命结束, 身体重回 chaos.
..
.
[大脑]
信息(负熵)产生于对称的破缺.
而信息, 在大脑中, 是 记忆/预测 组合和闭环, 产生了 适应, (通过卷入更多能量)吸纳了更多的负熵.
大脑是临界的. 稳定vs.可塑, 即记忆vs.学习.
不够稳定, 则无法形成长期记忆, 就像一个无硬盘无内存的电脑; 反之则僵化不能学习新知识, 这正是人衰老的征兆.
之前有朋友兴奋与器官再生带来的 永生, 我怀疑它能否重启脑的连接再生.
~
..
.
[consciousness, intelligence / 意识, 智能]
意识 的出现, 也是达到(并维持在) 临界的系统.
意识的特征是: 反应. 但并不必然需要记忆.
.
智能 是不同的东西. 智能的核心是 记忆 + 预测. 其衡量是预测的效果.
虽然意识和智能在我们已知的所有生物钟, 是共同存在的, 但并不完全重合.
.
智能并不必然发生在临界. 在书 Guns, Germs & Steel 中提到被驯化的马的等级制度. 显然, 动物的智能是其解决生存问题的能力; 而意识(尤其是自我意识), 产生于临界, 以应对外界刺激, 和处理彼此关系.
.
所以, 在不久的将来, 我很乐观看到更多 智能 甚至 超级智能 的出现– 它们能解决很复杂的问题, 提出精准的预测, 却没有意识.
..
.
[分析派]
股票是随机的么?
一些系统虽然看似随机(完全随机映射 与 logistic映射), 其内部机制完全不同– 后者是高度自相关的.
比如, 质数首位数字的频度, 就满足幂率分布, 而非0~9均匀分布. 虽然我们无法发现其中规律, 但并不代表上帝不能.
金融的波动, 同理. 这也是金融分析永远有人干的原因. 黑天鹅 可以被预警么? 鬼知道.
此外, 我们可以用 自相关性 来衡量对象的维度.
..
.
[反思 与 警醒]
critical, 既是批判, 也是临界.
.
之前在看Taleb (无疑是世界上最爱批判的人之一) 喋喋不休却又不明所以的抨击 bell-curve和正态分布的时候, 我就在想, 究竟是什么造成了正态分布, 什么造成了幂率分布呢?
.
显然, 掷硬币, 人的身高分布满足正太分布– 我更倾向于相信(虽然没有深入分析), 凡是分布只能是正数的 正态分布, 都是对数正态 (比如身高) — 即, 肥尾(fat-tail).
而单词频率/排名, 人类财富分布, 符合幂率.
(正态分布产生于平衡态, 而幂率分布存在与相变的临界, 是非平衡的耗散系统.)
.
幂率成因? 或许是马太效应(Matthews Effect)是其中之一 — 强者愈强.
或许我错了, 亦或还有其它机制, 如果你知道, 请告诉我.
.
本书作者在最后一章, 反复(且深刻的)提醒我们:
(归纳法)总结出规律可能只是结果, 或表象, 或 解, 或(用作者话说) 走的人多了出现的路, 并非内在驱动原因 或 需求 或 意志 或无论你管它叫什么. 所以, 如果有一个畅销书作者写了一本 What xxx Want? 的书, 你要当心, 它可能仅适用于此前的输入条件, 而当这些条件变化了, 归纳的规律 将烟消云散.
.
用Taleb比喻来说, 就是烤一个装着一千只耗子的桶而最后活下来那只. 对于我们的宇宙也是一样– 我们所视为 规律 的那些基本参数, 可能只是1e1000个宇宙中偶然出现的一组 既成事实, 再来一遍(如果可以), 或其它宇宙 很可能完全不是这个样子, 连规律都不一样 — 这算是强人择的一个表述吧.
.
有点函数常识的人都知道, 任何一组有限数据(只要n<无穷), 都可以构造一个函数把他们 串连 起来, 并称之为 规律. 而实际上, 这是 过度拟合 (over-fitting). 毫无意义, 因为它并不涉及生成机制. 如果你用一个Markov链过渡拟合了一本书, 你基本可以做到 完全预测 (任何一段文字, 精准预测 下一个单词), 但这并不是因为你的AI 理解 了作者并具备创作思维, 而是因为它把全文背下来了. 于是我们发现, 规律的探索, 也存在 僵化vs.混乱 的平衡艺术– 是的, 进化是一门艺术, 高明的.
.
作者提醒我们, 并不能因为两种图景形式上的相似(比如幂率分布), 就认定其有共同起源. (就像引力和电场力公式, 仅仅只是形式相同而已, 各有成因.) 换句话说, 我们在不同领域发现了类似的 模式 或 形态, 并不能代表我们发现了更深层次的规律– 除非我们已经获知其内在机制和因果链条.
.
作者提出理解的三步骤:
1) 问是不是 2) 问什么条件下才是 3) 问为什么是. 任何跳过1而直接出3结论, 都是耍流氓! 这个需要我们谨记!
.
Feynman说过, whatever i can NOT create, i do not understand. 的确, Karl Popper也无数次的警告我们, 归纳法从来都不是我们获得知识的方式.
.
Intelligence, 是一个集 建模创造(特征提取, 框架建立, 因果链条), 预测, 理解 和 记忆于一身的过程. 这几件事是同一过程的不同侧面.
但是, 作者还是提醒我们, 绝不要把模型等同于现实– 霍金也警告过. 因为除非我们真的彻底洞悉了事件的发生机制 及 因果链条, 我们 学习 到的任何规则, 都是基于 描述特征, 而非 原因 的, 而理论上, 我们永远不可能获知因果, 而且我们永远 只能证伪, 而不能证明/证实. 所以, 理论上, 我们的所 相信的任何理论, 都有失效的可能.
(比如,我们对碳基生命的理解, 比如量子力学物理定律, 都是基于描述特征的, 我们并不知道, 速度, 时间, 是否基于我们的局限才人为创造的概念.)
.
所以, 不要相信总结, 归纳, 被提炼的 纯知识, 不要相信任何形式的意识形态或哲学 — 除非你清楚的知道其真实的运行机制 (因果链条), 甚至能亲手把它造出来.
.
的确, 对于任何运算力有限, 内存有限(基本上包括所有)的人来说, 提纯的知识 似乎都是难以抗拒的 — 就像坐怀会乱一样, 这是生物本能. 但, 你只需要做到一点, 即: 学会区分 发生机制 和 归纳知识, 你将会看到未来.
.
~
.
这是一本小书, 却浓缩着作者以及无数大师的思考与智慧.
因为作者脚底下踩着一群巨人的三角肌后束, 此书 中圣, 当之无愧.
~~
~