机器学笔记
1哥德尔的“魅影”
奥本海默不仅开启了核爆时代，也开启了智能机器时代。他的头号数学主管约翰·冯·诺伊曼，就是现代计算机架构的奠基人，并且在曼哈顿计划后期，实际上已经开始引入可编程的机电计算机，以进行数量庞大的运算。
电影《奥本海默》可以有很多诠释的视角，伦理的、政治的、科学的，而我个人最大的兴趣点，则来自一个很可能被大多数人忽视的细节。这个细节的前因因为进入了预告片，实际上很引人注目：爱德华·泰勒——后来的“氢弹之父”——的计算结果显示，核爆有可能引发大气层的链式反应，从而瞬间毁灭地球。奥本海默带着巨大的问号飞去普林斯顿，征询爱因斯坦的意见。此时，爱因斯坦正与一个黑衣人在林中散步，他随口向奥本海默介绍：这是库尔特·哥德尔。哥德尔应了句很飘忽的话：树木可以带来灵感。奥本海默随即将爱因斯坦拉到一边谈起了正事，而哥德尔被晾在了镜头外。哦不，在此以前专门给了他一个镜头：哥德尔微微抬头望着树梢若有所思。这是这部节奏极快的电影里，除了主人公之外，那么多角色（他们都是科学史上举足轻重的人物）里唯一给予一个抒情性镜头的人物，虽然只是惊鸿一瞥。
为什么哥德尔必须在这里出现?仅仅为了展示一下晚年爱因斯坦的朋友圈，以及奥本海默对数学不那么在行（如泡利所说，他的计算几乎总是错的），所以忽略了在世最伟大的数学家和数理逻辑学家（我怀疑要不要加上之一）?
当然不是，哥德尔必须出现，是因为哥德尔不完备性定理，它和海森堡（也就是电影里反复提到的纳粹德国核计划领导人）的不确定性原理一起，分别从数学和物理学上颠覆了牛顿的线性宇宙。
核爆有可能引发大气层链式反应这件事，实际上最终也没有解决——直到按下试爆按钮前那一刻，格莱夫斯还半开玩笑地恳请奥本海默“最好别把地球炸掉”——只是重新计算之后，发现这种可能性“近乎零”，于是人们选择忽略它。但显然，“近乎零”不等于零，再微乎其微的可能性依然是可能性。这里实际上已经触及了现代科学世界观的核心：世界的实在是统计学意义上的，而非确定性意义上的，换句话说，一切都基于概率。
奥本海默的事业，本质上是制造受控核裂变，但问题是，核裂变在多大的概率上是受控的——计算无法排除它最终失控的可能性。对确定性的渴求，是奥本海默飞向爱因斯坦的原因，因为面对自己开创的量子力学及其导致的不确定性，爱因斯坦曾痛苦却坚决地表示：上帝不会掷骰子。奥本海默需要爱因斯坦给予他信心，但爱因斯坦已经给不出了，因为他身边多了一位黑衣的靡菲斯特——哥德尔。哥德尔从数学基础上，比海森堡更雄辩地向爱因斯坦证明了那个可以从一套公理系统出发完全彻底地加以研究并予以证明的客观宇宙并不存在，确定性的世界就此分崩离析。
2左翼与确定性
奥本海默战后之所以受到麦卡锡主义的噬咬，其中很大一个原因是身边几乎被曾经的共产党人所环绕：妻子、弟弟、弟媳、前女友兼后来的情人、关系密切的好友、看重的学生……青年时代的奥本海默本人当然也是个左翼愣头青，虽没入党，但至少是美共所代表的激进左翼的“同路人”——当然美共所谓激进在苏共看来根本是小菜一碟，完全可以给他们戴顶“右倾机会主义”的帽子。
奥本海默的“左”，显然与对底层阶级的同情无关（最鲜明的例子是他对女招待出身的弟媳的蔑视），而是与他对确定性的追寻分不开的。电影一开始集中描绘的，就是青年时代的他对可见世界之外那个“隐秘的宇宙”的惶惑甚至恐惧，这是他狂热地投入科学探索的根本动力。
那个时代，对科学界影响最大的思潮，是源于维特根斯坦和维也纳小组的逻辑实证主义，而有趣的是，曾被苏联大批特批“资产阶级哲学”的逻辑实证主义，其成员实际上多是激进左派——作为“先知”的维特根斯坦，后期哲学受其挚友、英国马克思主义经济学家保罗·斯拉法的影响颇大；至于维也纳小组，其核心成员的政治立场，用卡尔纳普的话来说，“大多数人，包括我自己，都是社会主义者”，比如奥托·纽拉特，维也纳小组创始人之一，1919年曾在德国革命中担任巴伐利亚苏维埃共和国政府经济部长，所以他们也被称作“左翼维也纳学派”。像石里克、哥德尔——对，爱因斯坦身边那位“靡菲斯特”也曾是维也纳小组的一员——这种温和中间派虽然受尊重，但对大多数成员的激进倾向也无可奈何。而且哥德尔虽然不参与激进运动，但也表达过对社会主义理想的同情——这是他和爱因斯坦散步时的话题之一，爱因斯坦在政治上可比哥德尔激进多了。
哲学上对逻辑分析的推崇，到底是通过怎样的途径，导向政治上的社会主义信仰的?关键就在于对确定性的追求。
众所周知，海德格尔在希特勒上台后一度对纳粹输诚。但这段时间为期很短，很快他就辞去了大学校长的职务，转而集中火力狠批以“计算/算计”为核心特征的技术至上主义，从而在思想上将纳粹德国、苏联和美国——以及被视作它们的历史先导的罗马和犹太——一网打尽。因此海德格尔一再被人诟病的反犹主义，底色其实是反“世界图像时代”、反技术霸权。最晚自1940年代初开始，其反犹就是反罗马、反苏、反美以至隐蔽地反纳粹德国的“近义词”。这是他与卡尔纳普在哲学上就逻辑地位所进行的激烈争论的政治根源。
与海德格尔正相反，卡尔纳普、纽拉特等人对数理逻辑的极端推崇，很大程度上是建立在20世纪早期欧美社会主义运动对技术的政治经济后果的近乎盲目的乐观主义之上的——可以对比意大利未来主义对技术的崇拜与他们的法西斯倾向之间的关系。逻辑的必然性和社会主义的计划性，是一个确定性的世界的一体两面。技术的高度发展使得计划经济成为可能，而计划经济正是建立在确定性之上——没有对未来的确定的预测，如何预先制订可信又可行的计划？
而与维也纳小组针锋相对的，正是另一个以维也纳为中心舞台的学派，即经济学上著名的“奥派”——奥地利学派。暂且不论奥派中更“大牌”的老门格尔、庞巴维克、米塞斯等人，单以其中最有名的“小字辈”哈耶克为例，他之所以激烈反对计划经济，根本理由是：只有将经济体系的一切数据信息都汇集到中央计划者的计算之中，才可能做出恰当的决策，但这一数据信息收集的任务已大大超出人类的能力；即便收集到了这么多数据，每一个具体的决策，实际上都要根据一堆联立微分方程的解来做出，就算是对当时最先进的技术手段，包括早期的通用计算机，这都是不可能完成的任务——就像奥本海默和他帐下全世界最优秀的数学家们都无法对核爆究竟受控还是失控的问题求出确定的解。
当然，从另一个角度说，哈耶克的责难尽管理论上颇为有力，但从实践上看，其条件性限定未免太严苛了，奥本海默可以在无法求出确定的解的时候，凭借概率来赌一把运气，并且赌赢了；计划经济同样可以像著名的波兰经济学家奥斯卡·兰格在反驳米塞斯的时候指出的，通过一系列的试错——本质上就是一个个小赌局——来模拟市场价格机制，从而部分地分摊中央计划者不堪的重负。这大概是最早关于“社会主义市场经济”可能性的论述了。
但无论如何，至少在当时——20世纪中叶——的技术条件下，哈耶克是更雄辩的那一个。确定性的世界观正在各个领域崩溃，即便社会主义苏联也无法否认这一点——“冷战”这种前所未有、似是而非、极其微妙、对双方来说都波诡云谲前途叵测的战争形式，正是其最宏观的展示。奥本海默这个顽固的确定性的追寻者——即便他是在一场赌局中完成了“三位一体”试验——成为冷战的第一批牺牲品，可以说是魔鬼找对了人。
有人认为奥本海默坚持出席必输无疑的听证会，是为了在十字架上自我救赎，这种伦理/宗教解读有一定的道理，但我更认为，他恰恰是想用直面最激烈的、最不友善的质疑来获得更强的自我确认，在核爆后全然不同的、完全失控的世界（他所赌对的原子弹本身的受控，相比之下只是一个微不足道的小Case）中，为自身重新赢取一个稳固的锚位，虽然这注定是不可能完成的目标。
3亨普尔的悖论
哥德尔的不完备性定理，至少其中的第一定理，可以看作是对2000多年前古希腊人提出的那个著名的“说谎者悖论”（用最简单的“人话”来说，就是：如果我说“我在说谎”，那么我是在说谎吗？悖论在于：如果我说谎了，我就没在说谎；如果我没说谎，那么我就在说谎）进行的严格的形式化——事实上，引发第三次数学危机的罗素悖论，同样是说谎者悖论在集合论上的形式化。
那么悖论仅仅是纯逻辑问题吗？或者扩大一些范围，仅仅是认识论问题吗?如果仅仅是逻辑问题，那么总归有一定程度的解法，就像数学家们用正则公理去消解罗素悖论；那样的话，晚年爱因斯坦也不至于如此气馁，说自己之所以还留在普林斯顿，“只是为了有幸陪哥德尔一起散步”。
悖论的实质，是通过揭示一组预设中的内在矛盾，来提醒我们，我们并不像我们以为的那样理解这些预设；这些预设不过是我们试图用来捕捉和驯服那远远超越于我们的不可掌控的力量的极度简化的模型。悖论不只是逻辑难题，它应该首先被视作一种隐喻，一种揭示人类在理解和应对事物时的天然局限性的方法。
就在核爆之后不久，1946年，著名的分析哲学家卡尔·G.亨普尔——他曾在维也纳大学求学，深受维也纳小组影响，并且和哥德尔等人一样，也是在纳粹上台之后移居美国——提出了“乌鸦悖论”。这个悖论给予在近代科学中长期居于统治地位的经验归纳法相当有力的一击。大意是这样的：
对于命题“天下乌鸦一般黑”，传统的归纳法当然是通过所见每一只乌鸦都是黑的，来一次次“证实”这一命题；比较新的波普尔的“证伪法”，则反过来，只要找到一只红乌鸦，就推翻这个命题了，而在找到赤橙黄绿青蓝紫乌鸦以前，我们可以暂且认该命题为真。但亨普尔指出，在逻辑上，“天下乌鸦一般黑”等价于“所有非黑之物皆非乌鸦”——如果所有乌鸦都是黑的，那么任何颜色非黑的东西当然不可能是乌鸦。这在逻辑学上称为“换质位法”，即一个命题经过换质位，得到的新命题与原命题在意义上等价。但是怪事发生了。命题“所有非黑之物皆非乌鸦”是极容易验证的，比“天下乌鸦一般黑”容易得多，每当你见到一件颜色非黑之物，而且证实它不是乌鸦，这个命题就被证实一次。我们不再需要到处去找乌鸦，只要找那些非黑并且不是乌鸦的东西就行了，这范围可比乌鸦大太多了，一只绿孔雀、一条红鲤鱼、一把蓝色的伞，甚至一张白纸，都可以“证实”这个命题，这显然是荒谬的。更荒谬的是，比如绿孔雀或红鲤鱼，也能用几乎同样的方法来证实“天下乌鸦一般白”。如果这时候搬出三段论的形式，就变成：
红鲤鱼证实天下乌鸦一般黑
红鲤鱼证实天下乌鸦一般白
因此，黑即是白。证毕。
对于黑乌鸦，传统的归纳逻辑如果要达到普遍必然性，就要使用穷举法，上天入地找出每一只存在的乌鸦，如果它们全都是黑的，那么可以证得“天下乌鸦一般黑”，但这显然超出人的能力，所以人在使用归纳法时，只是权且一用，并没有确然性的保证。而证伪法，表面看上去要比归纳法省力，你只要能举出一个反例，事情就结束了。但问题是，反例会不会出现以及何时出现都是不确定的，如果一直不出现，你就要像归纳法一样一直找下去，最终可能你还是要像神一样，上天入地遍历一切地方，去找有没有赤橙黄绿青蓝紫乌鸦。换质位之后的那个等价命题，实际上是把原命题所隐含的悖论性质以颠倒后放大无数倍的荒谬形式，更清晰地展现在我们面前。这也就是所谓“超级任务”，即一个过程需要无穷多的行动，而如果断定某件事需要无穷多的行动，实际上就意味着此事根本不可知——若宇宙如我们通常所认为的是无限的，那么“天下乌鸦一般黑”（或“不存在非黑色的乌鸦”）就是这样一个需要无穷多的观察记录的命题。顺便说一句，穷举和遍历，今天已经是很常用的计算机术语了，指向的都是人力不能及，连计算机都要靠蛮力去做的事情。
虽然没有证据，但我觉得可以把亨普尔（在1946年）提出“乌鸦悖论”，看作核爆在哲学家心中投下的阴影的某种反映。亨普尔认识到，科学非常依赖的归纳，本质上就隐含了悖论，它试图依靠有限的观察、思考、计算，跳跃到必然的结论；但这一形式上的必然，实际上只是具有较大的或然性罢了，它真正指向的是概率，而非普遍。用同样参与了曼哈顿计划的著名物理学家、后来的黑洞命名者约翰·惠勒的话来说，“大自然是用或然性建立了必然性”——紧接着他又发问：“对每条物理定律推而至极，是否也都会发现它们具有热力学第二定律的特征，即它们只是统计性的，近似的，而不是数学上的那样理想和精确？物理是否将终结于‘没有定律的定律’这句质朴性的至理名言？”
所以说，奥本海默所遭遇的根本困惑，既是道德性的，也是科学逻辑内在的。并且道德的悖论和科学逻辑的悖论，最终指向的都是人类为自己争得的越来越强的力量，与根本上不可掌控的、远远超出我们的力量之间的鸿沟；我们拥有的力量越强大，这条鸿沟就越深不可测。
用普罗米修斯来喻示奥本海默，因此极为传神。人们受浪漫主义的影响（比如雪莱著名的长诗《解放了的普罗米修斯》），通常视普罗米修斯为盗火给人类的英雄，其“副作用”，只是局限在火也可以引发火灾、制造武器的意义上——这当然很方便地可以引申到核武恐慌，就像尼尔斯·玻尔在电影里对奥本海默所说的那样。
但古希腊神话比这种简单的引申要复杂深刻得多：几乎可以把普罗米修斯和潘多拉视为一体两面，因为奥林匹斯诸神为了报复普罗米修斯对他们的蔑视，每一位都赐予工匠之神赫淮斯托斯造出的世上第一个女人潘多拉一样“礼物”（潘多拉的意思就是“所有礼物”），然后把她嫁给普罗米修斯的兄弟埃庇米修斯；当她打开著名的装满“礼物”的“潘多拉之匣”，按赫西俄德的说法，盒子（或罐子）里所装的种种罪恶就散逸到了人间，只有一样东西被留在里面：希望。这里存在一个“阅读理解”上的巨大分歧：希望被留下，意味着人类的确还有希望（因为它还完好地存在那里），还是意味着人类已经完全没有希望（因为跟罪恶不同，它根本没有来到世上）？
无论如何，普罗米修斯之火和潘多拉之匣共同构成了一个道德悖论，并且对人类来说是一个永恒的核心悖论——
人永远在试图掌控远远超出自己能力的力量，因为这是生存所必需的。在远古时代，这意味着要去猎杀几乎不可战胜的猛犸象，以获取食物；在1940年代，则意味着必须跑赢纳粹的核计划，以避免盟国的集体毁灭。但远远超出自己的能力，就意味着你不可能真的掌控住它。一切真正的道德悖论皆源于此，并且是无解的。
4作为救赎的机器
非常有意思的一件事情是，哥德尔不完备性定理的一个推论，是计算机器的局限性，因为根据该定理，任何算法都有盲点，反而人类倚重直觉的思维方式可以绕过或覆盖这些盲点——某些无法证明的真命题可以直观呈现，这和维特根斯坦及胡塞尔的想法若合符节。但哥德尔恰恰在理论计算机领域影响巨大（比如他在与冯·诺伊曼的通信中首次提出的Pvs.NP问题——这个至今未能解决的难题关系到计算机运算能力的限度），该领域的最高奖就被命名为“哥德尔奖”。
无独有偶，不完备性定理发表6年后，比哥德尔小6岁的艾伦·图灵也在1937年发表了论文《论可计算数及其在判定问题中的应用》，这是他最重要也影响最大的论文之一，用《泰晤士报》为他写的讣告中的话来说：“这一使图灵在数理逻辑中获得永久地位的发现……证明（与当时希尔伯特及他所代表的哥廷根学派的流行观点正相反）：存在着这样一类数学问题，它们不可能通过固定的和有限的过程而得到解决。”这里所谓“有限的过程”，图灵自己的解释，等价于“可以由一台自动机完成的过程”，而这台想象中的自动机，就是作为现代通用计算机的最初构想的“图灵机”的由来了。
这样，尽管哥德尔和图灵这两位数学和数理逻辑的天才，从不同的方向都证明了机器的“算法”必有盲点，但吊诡的是，恰恰为了证明盲点的存在，他们都对计算机，或者更准确地说，智能自动机的诞生与最初的成长作出了重大贡献。最关键的一点是，哥德尔的不完备性和图灵的可计算数，最终都可以被归结到递归论上，而递归（简单说就是反复自我调用的函数）恰恰是机器能够“自动”的关键，递归和反馈（后者是诺伯特·维纳在控制论中研究的重点）实际上是所有机器学习问题的核心。
但是哥德尔和图灵（至少在前期），基于他们对数理逻辑中基本的不可能性的理解，并不相信机器运算可以胜过人类思维。比如“无穷”，就是人的思维可以想象甚至可以进行某种运算的，因为人可以凭借直觉跃过比如自然数的集合与无穷之间的断裂。但机器无法面对无穷，它一直没完没了算下去就只能死机了（所以我们现在普遍使用的计算机都很明智地做成“图灵不完备”的系统，达到设定的限度就强制停机）。相比之下，反而年龄大一些的冯·诺伊曼和维纳，在对智能自动机潜力的想象上，显得更大胆一些。
作为曼哈顿计划首席数学家的冯·诺伊曼，在同时参与原子弹和通用计算机研究之余，竟然还有空和经济学家奥斯卡·摩根斯坦（他是孤僻之极的哥德尔在普林斯顿除爱因斯坦之外最好的朋友）合作出版了现代博弈论奠基之作《博弈论与经济行为》（1944年），并进一步提出VNM效用函数（即冯·诺伊曼-摩根斯坦效用函数），建立了不确定条件下对理性人选择进行分析的框架；虽没参与曼哈顿计划，但对火控雷达系统的研究做出关键贡献，并对现代计算机提出原创性构想的维纳，则在二战结束不久（1948年）就提出了控制论。
博弈论在回避善恶对错问题的基础上研究最佳策略，可以看作是对类似核爆这样的事件所可能引发的道德困境提供了一种纯技术性解法，类似于用正则公理去解罗素悖论；控制论则一向被“望文生义”（包括狠批它的海德格尔），以为它是要用一整套技术去加强对原本不可掌控之物的“控制”。但维纳远远不是这么浅薄和自以为是，他很清楚不可掌控之物本质上就是不可掌控的。
控制论的本名是cybernetics，什么意思？其实就是指基于信息反馈控制的智能自动机。在我看来，其深层潜台词是：当我们确认那些最重要的事物、力量，是我们出于人的有限性永远无法掌控的，一旦僭越就会自陷深渊，那么我们应该清醒地、坦然地将决定权交出去，交给注定会远远超越于我们的自动机器，由它们去做出更好的决策——控制论（它源于希腊词“舵手”）将在这个意义上深度结合博弈论，去驾驭这艘颠簸于汹涌波涛中的航船，而将人类彻底甩到海滩上，成为或闲适或忧心忡忡的旁观者。维纳经典名著《控制论》的通俗科普版，叫《人有人的用处》，你细品品其中微妙的意味。
