大脑的自由能假说-兼论认知科学与机器学习
如果大脑如何运作的机理可以和热力学一样系统完整完美解释, 那这个理论将是物理学家的终究梦想。而有一篇神文险些胜利。这套理论可以叫自由能大法,如果你通读此文, 也会感觉到一种脑科学, 人工智能, 物理学, 甚至经济学都打通的感觉,然而, 估计99%的物理系读者都很难读通此文(The free-energy principle: a unified brain theory)
什么是物理里的自由能法则? 一句话说就是: 任何处于平衡状态的自组织系统均趋于自由能极小的状态。 这话是什么意思? 自由能又是什么? 自由能和大脑有啥关系?
自由能是什么? 自由能的物理公司E-TS极为简洁,E是能量 ,S是熵。 统计物理说, 与外界具备能量交换的系统(一杯放在桌上的热水,底下放着一块冰糖)处于平衡状态下,则自由能最小(水温下降,冰糖扩散), 指的是一个能量尽可能小熵尽可能大的状态。 当水温下降到室温, 冰糖均匀扩算, 此时水分子和外界环境的整体所能够取得的微观状态数最多, 也就是最大概然状态,或者说稳态。好比一个教室里没有老师,学生就逐渐的变得乱遭遭的,这个乱遭遭的状态就是稳态。 自由能最小是热力学第二定律下系统与外界环境相互作用的法则。
生物系统呢? 生物系统和水这种系统恰好相反,因为它们是开放的非平衡耗散系统,它们所遵守的法则是趋于有序和结构确定的状态, 相当于一个严厉的老师管制下的教室, 同学工作井井有条(这样的状态需要外界输送能量,如老师的工资)。所以我们经常说生物遵守反方向的热力学第二定律-即产生和维持秩序,而紧闭大多数自由状态。 如果某个时刻你开始控制不住自己, 那也就是衰老的起点。刚刚好,生物系统也可以被一个形式类型自由能最小的定律结合。表现在认知系统,就是学习过程! 你读过之后就会立刻发现它和机器学习的联系。
简单的看,你可以把你的脑子想成刚才说的那杯水,外部环境和这杯水具有一种能量交互关系,正好对应你的脑子通过眼睛和耳朵这样的东西采集外部的信息(感知)。这杯水会越来越趋于室温, 你的脑子像这杯水一样与外界交换能量和信息, 只是, 这个过程中,你的脑子对外界的信息越来越丰富, 它不仅是被动的采纳,还要主动的预测和做出行为。
那么看看我们通常说的大脑对外界信息处理过程包含以下几个方面,感知(sensation)决定计入哪些数据, cognition(认知)对这些数据进行处理如分类, action(行为)一个由cognition的分类导致的决策, motion(运动),一系列的行为组成motion。
我们来看看这个过程是怎么发生的。 首先, 这一切行为的综治是为了最大化生存可能性(maximize existence), 外部世界充满危险, 如果把生物所有的行为可能性做成一个状态空间, 那么只有极少数是可以保证生存的, 生物越能够绑定在这极少数状态里, 生存机会就越大, 这也是生物需要抵抗热力学第二定律的理由。那么如何不跑偏呢?
一方面我们有基因编码(genetic encoding),使得我么的表现型(phenotype)只能在一个有限的范围里(由一个条件概率函数P(pIg) 描述),这套编码已经在我们的祖辈自然选择里被遗传下来,去掉了大部分不适宜生存的可能, 比如长出三头六臂。
另一方面,作为具有认知能力的动物,能够保证对生存最有利的状态的办法就是学习,整个对大脑外界信号的处理都可以通过"学习”来认识, 请看下图(请始终想着机器学习)。
大脑的自由能最小定律说, 学习的状态就是使得 1,通过不断调整行为得到符合大脑预期的感知状态(Accuracy) 2, 大脑内部的状态能够更加准确的匹配外部世界的变化 ,不至于出现没有预期到的状况(Divergence)。 两部分何在一起使得上图定义的大脑的自由能函数最小。这个原则的威力是巨大的, 它可以告诉你如此多你为什么要这么想, 这么看,尽管你平时从未知觉。 比如为什么你看到你想看的, 为什么你想到的东西又总在随时客观情景调整。
注: 第一项D中p是已知生物的感知得到某种外部世界状态的概率, q是已知大脑内部状态生物猜测到某外部世界状态的概率 , D是p和q两个概率分布函数的距离, 指的是大脑猜测的真实之间的距离。 第二项是对数项内的p是已知外部世界的变化得到某种感知状态的概率。
外界的信息是无穷多的,我们的脑子就那么多, 选择哪些信息录入,就显得特别重要。 感知的过程, 就是一个数据采样的过程, 机器学习的同学都知道, 开始录入什么样的特征对机器学习是具有决定性的一步,而感知也一样, 生物要做到的是要取样哪些数据。 所以感知绝非被动的过程。
这里的关键是要把感知,认知和行为放在一个循环里理解。这里理解的框架就是贝叶斯决策。贝叶斯公式把事物之间的联系表现为一系列的条件概率关系, 并根据新的证据不停调整条件概率,最终我们要优化我们想得到的结果,, 比如此处的生存机会, 就是通常生物系统优化的量, 为了优化生存机会,我们只有少数几个想要达到的结果, 我们需要产生一个使得这一系列结果机会最大的决策机制(所谓我们不是为思考而思考,而是为生存而思考), 这一切决定了感知和认知的过程。
那么我们是如何通过学习来找到这个机制的呢? 其实你会发现,这就是一个模型选择过程(model selection)恰恰符合机器学习的本质。所谓认知,即找到一个预测性模型使得感知得到的信号可以预测出未来外界物体的运动, 从而趋利避害。 所谓感知,就是寻找最能够提供给这一模型预测效力的有用证据(feature engineering)。一句话说,世界很大, 我只要最和我的游戏相关的。