knowledge-vault/sources/reading-notes/概率/概率(Probability)的本质是什么?.md

40 KiB
Raw Permalink Blame History

概率Probability的本质是什么

曹天元

恭喜,当你思考起关于“概率”的问题,并发出疑惑时,你应该已经开始认识到,这绝不是一个简单的事情了。事实上,如果你展开探究的话,最终会发现这是一个深不见底的大坑。直到今天,科学家和哲学家们仍然在为这个问题苦苦思索。

什么是“概率”?如果你去问数学家的话,他们会抛出一连串晦涩的名词,诸如样本空间、σ函数、勒贝格积分或者概率测度之类,不过,我们在这里不需要深入细节,只需要知道这个东西在数学上有着完善的定义即可。

但问题是数学上定义良好的东西未必在现实里存在。比方说数学上可以定义一个完美的正圆但它显然并不存在于物理世界。从历史上看“概率”的概念起源于赌场里的经验我们无法预测一颗骰子投掷的具体结果但直觉告诉我们可以把它分成6种“均等的可能性”。因此不妨假设每种可能性的“概率”都是1/6。基于这种简单的理念卡尔达诺、帕斯卡、费马、伯努利、棣莫弗等人前仆后继为概率的数学理论打下了基础最终由拉普拉斯集而大成建立起了古典概率论的完整大厦。

然而,我们的核心问题仍然没有得到回答。所谓“均等的可能性”,究竟是真实存在的,还只是因为我们的能力不足,不得已而采取的一种假设呢?

有趣的是在拉普拉斯看来答案无疑是后者。拉普拉斯生活在18世纪当时正是牛顿力学一统天下的时代在牛顿的世界里整个宇宙就像是环环相扣的精密时钟每一个粒子都要严格地遵循物理定律运转根本没有任何“随机”的空间。很明显如果我们能知道每次扔骰子的全部信息那么理论上所有结果都是可以精确计算出来的根本用不着什么“概率”。

因此,在他的巨著《概率论的哲学探究》一书中,拉普拉斯写下了一段名扬天下的话:

我们可以把宇宙现在的状态视为其过去的果以及未来的因。如果一位智者知道在某一时刻宇宙里所有的力,以及所有组成自然物体的位置。并且他也能对这些数据进行分析,那么,在整个宇宙里,从最大的物体到最小的粒子,它们的运动就都会包含在一条简单的公式之中。对于这位智者来说,没有任何事物是不确定的,未来会像过去一样,清晰地出现在他眼前。

这就是鼎鼎大名的拉普拉斯妖。它让整个概率论都笼罩在一种悲剧式的色彩当中:从出生的那一刻起,其嫡亲的创始人竟然就宣称“概率”其实只是一个虚拟的概念,不过是由于我们人类知识不足而导致的幻觉而已。而对于无所不知的“上帝”来说,物理世界是早就“决定好的”,根本不存在什么“概率”。

然而概率论并没有因此而消沉它很快就茁壮地成长起来并迅速成为数学领域里一门最复杂和最有活力的学科。到了19世纪末它“复仇”的时刻终于到来了麦克斯韦、玻尔兹曼、吉布斯等人把“概率”重新引入了物理领域并在其基础上创立了一门新的学科——热力学。人们突然发现诸如气体的膨胀、温度的传导、能量和压力的分布乃至化学反应的方向这些再“客观”不过再“物理”不过的现象其实都可以从“概率”出发严格地推导出来。由此总结出的热力学定律尤其是第二定律其威力一点也不逊色于牛顿力学甚至很多人开始认为其实热力学定律才是宇宙中最坚实最不可违背的规律。著名科学家爱丁顿就说过“如果你的理论违反了牛顿定律那也许是牛顿错了但如果你的理论违反了热力学第二定律那不好意思你没指望了唯一的出路就是丢脸和下台。”

而进入20世纪20年代之后新的物理学革命又开始爆发给我们带来了量子理论。这一次“概率”更是在物理学当中扮演起了核心角色以玻尔的哥本哈根派为代表整整一代物理学家都开始坚信我们的世界就是建立在不确定建立在概率的基础之上的。

有了物理学的背书之后,人们开始转而相信,“概率”其实是一种真实存在的东西,它是确定的,来源于自然界的内秉属性,不随人的意志而改变。为此,当现代统计学开始重建的时候,学者们开始努力地试图将概率定义成一种客观的事物,就像大小、重量、温度等物理量一样“天然存在”。于是,现代统计学的奠基者们——以高尔顿、皮尔逊、费雪、奈曼、冯·米赛斯等人为代表——建立起了所谓的频率学派,并影响了整个统计学的基本观点,直至今天。

简单而言频率学派认为“概率”是一个客观上确定的值是天然存在的。比方说如果你扔一枚硬币那么正面朝上的“概率”一定是50%。但是怎么证明呢统计学家说你可以不停地扔次数扔得越多正面所占的比例就会越接近一半。最后当你扔的次数趋向于无穷正面的比例就会精确地收敛到50%,而这个“极限频率”就是硬币扔出正面的“概率”。

听上去似乎很容易理解但如果稍微深入思考一下的话你就会产生许多疑惑。首先这似乎是一个耍无赖的定义因为现实中当然不可能把任何事情重复“无限次”。我们可以想象如果你真的扔了100次硬币正面出现了48次那正面的概率是48%吗频率主义者会说不是因为你扔得还不够多。那好我扔了1万次正面比例是49.32%仍然不是50%但频率主义者永远会重复说那是因为你扔得还不够多。显然这就变成了一个完全无法证伪的问题。我们也可以反过来问谁能证明扔到无穷次之后正面出现的“频率”就一定是精确的50%一点不多一点不少如果我坚持说正面的概率其实是49.9999%,一旦扔了“无穷次”硬币之后,你就会发现其“频率”无限趋向这个数字,请问你又如何证明我说的是错的?

其次就算不考虑无穷的问题如果我们仔细琢磨的话会发现任何用“实验”来证明概率“客观存在”的尝试其实都是不靠谱的。无论是历史上著名的布丰投针实验还是现代量子力学实验本质上都在做某种循环论证即我们必须先入为主先验地假定某个“概率”存在然后才能去“验证”它。比方说扔硬币如果我扔了N次硬币发现正面出现的频率不是一半而是60%,你会怎么看?你肯定要说:不可能!一定是你扔的方式不对,你的手法不够“随机”。

那请问什么才叫“随机”呢如果你说只有当硬币扔出的结果是一半对一半时才叫做“随机”显然这就是之前说的循环论证或者叫做“同义反复”tautology。本质上你无非是在说

为什么硬币正面的概率是50%因为当我“随机”地扔硬币时正面会以50%的频率出现。

那请问什么才叫“随机”地扔硬币只有当正面出现的频率为50%时,这个实验才是“随机”的。

这是典型的“没有真正苏格兰人”谬误即只要实验没有扔出50%的结果你永远都可以声称它“不真正随机”。反过来如果我扔一枚“不均匀”的硬币结果正面占60%你又会怎么想呢你是否会很高兴地觉得实验已经“证明”了这枚硬币有着60%的“正面概率”但这一次为什么你就不质疑我的手法可能“不随机”呢想想看如果硬币实际上的正面概率是70%而我用某种偏差的手法扔出了60%,这是完全可能的。但你光凭实验结果,根本无法分辨我扔的到底是“随机”还是“不随机”。归根到底,你对于概率的认知并不是来源于实验,而是出自某种先验的信念。

第三,“无穷频率”的定义完全不适用于“单一事件”。比方说,如果我们问:明天下雨的概率是多少?应该怎么回答呢?是要假设在未来无穷个日子里,雨天在其中所占的相对频率吗?然而这显然不对,因为问的是“明天”下雨的概率,所以就算你知道后天、大后天是否下雨,这跟问题也没关系。按照严格的定义,你必须把“明天”重复无穷次,然后同时进行观察才行,但显然这没有任何的可操作性。

所以频率学派不得不强调说单一事件是没有概率的。如果你问巴西队获得3026年世界杯的概率是多少这是一个无意义的问题。一个特定的事件只能发生一次巴西队到时候要么夺冠要么不夺冠你无法谈论此事发生的“概率”。

但是如果我们真要“咬文嚼字”的话任何事情其实都是“单一事件”。好比如果现在你拿起一枚硬币“它投出正面的概率会是多少”那你事实上是在问“我在X年X月X日X点X时X分X秒在特定的X地点以特定的X方式投掷一枚特定的硬币X出现正面的概率是多少

显然这也是一个“单一事件”它如何能“重复”呢按照频率学派的方法假设把硬币每隔1秒投掷1次重复无穷次正面的比例就是此次投掷的“概率”但是为什么1秒或者N秒后投掷的硬币可以作为“此次”投掷的参考 难道它们不是两个“不同的事件”吗事实上我们可以刨根问底地质疑为什么连续投掷N个硬币这必须被看成“一件事情重复了N次”而不是“N个不同的单一事件先后发生”如何任何事情其实都“不可重复”的话那么“频率”的定义自然也就无从谈起了。

最后当我们考虑到连续和无穷的问题时情况就变得更加复杂了。我们知道古典概率论建立在有限的基础之上。它默认问题可以被分割成M种“等可能事件”然后符合条件的有N种那么N/M就是所谓的“概率”。但是如果M和N都是无穷大呢这时候古典概率论就无能为力了。比方说在线段[0,1]上随机取一个点它小于0.5的概率是多少呢直觉也许告诉我们应该是50%但具体如何计算难道我们能把一条线段上的点全部“数出来”再去计算其中小于0.5的比例吗?

为了解决无穷带来的困难20世纪初在数学大师柯尔莫果洛夫等人的努力下现代概率论终于建立起来了。如本文开头所说的这是一个关于“测度”的理论它在很大程度上可以处理和无穷相关的问题。然而和康托尔当初带来的冲击一样把无穷引入概率论也会带来不少“反直觉”的结论。

还是拿上面的例子,在线段[0,1]上随机取一个点我们问它“正好”等于0.5的概率是多少回答是概率为0。请注意是“严格等于0”而不是“比0稍微大一点点”或者“无穷小”。你也许会觉得奇怪这是否意味着取到0.5是不可能的它是“可能”的只不过概率正好为0而已。本质上这跟“0.9循环是否等于1”其实是类似的问题你需要从头理解实数和测度的基础概念否则就总是会钻到牛角尖里。

但是,这有现实意义吗?或者说,这种奇怪的数学是否真的反应了现实世界的真实情况?我们可以想象一个粒子的波函数在[0,1]上均匀分布那么当“观测”它的时候这个粒子会“正好”出现在0.5的位置上吗如前所述理论上粒子出现在任何一个“精确”的位置其概率都应该严格为0这在现实中真的可能发生吗还是说其实在真实世界里粒子并不会“绝对精确”它的实际位置其实是一个微小的区间从而使得其“概率”是一个虽小但终究不为0的数字

反过来有些日常听起来“很合理”的问题概率论却无法从数学上回答。比方说“从所有的自然数里随机取出一个发现它是偶数的概率是多少”你也许会直觉地认为答案应该是1/2但其实这个问题本身存在前提错误因为自然数和实数不一样它是可数集我们无法在它上面构造出一个合法的、均匀的概率空间。通俗地说你无法做到将所有的自然数都取相同概率然后全体加起来还能正好等于1。所以从全体自然数里面“随机”地取一个数这件事本身就是不可能的。

当然我们也可以换一种问法比如说“在所有自然数里面偶数所占的比例是多少”为了绕开概率的定义困难我们可以采用类似于频率学派的方式就是把所有自然数一一列举出来并观察偶数在其中的“相对频率”。最后让列出的自然数数量趋向于无穷就能得到偶数的“极限频率”是1/2。

但是,无穷数列有一种神奇的属性,就是你可以通过改变排列顺序来“稀释”某些元素的比例。比方说,我们可以把自然数先分成奇数和偶数,然后将两个数列重新组合起来,不过这次不是一个奇数跟一个偶数,而是两个奇数才跟一个偶数。具体来说,就是:

1325749116……

这个数列同样可以表示全体自然数只不过稍微改变了顺序而已。请注意我们没有漏掉任何一个数字每个偶数X都仍然在这个数列当中无非现在是跟在奇数2X-1后面而不是传统的X-1后面。但是如果观察这个数列的前N项偶数所占的“频率”就该是1/3而不是1/2哪怕让N趋向无穷也是如此。

换句话说,如果你想通过观察“频率”的方式来确定比例,那么,“偶数在自然数中所占的比例”是没有一个客观、标准答案的。它实际上取决于你如何排列这些数字,或者说,取决于你选择什么样的“测度”。通过不同的选择,你可以得出任何想要的答案。

有趣的是,这个问题在现实中也同样存在,一个典型的例子就是宇宙学里著名的“测度问题”。如果空间在永恒地发生暴胀,那么它会创造出无穷多个不同的宇宙,在这其中,有一部分适合诞生星系和生命,但无穷的一部分仍然是无穷。所以,如果我们想要计算生命诞生的“概率”,就不得不用无穷大去除无穷大,但这是没有意义的。实际上,你必须选择某种特定的测度,或者说,你必须人为地强行规定某种归一化的概率密度,才能“数出”有生命宇宙在全体可能宇宙中所占的比例,然而这个结果又能代表什么呢?它似乎根本不是宇宙本身的某种性质,而只能反映你“计算概率”的方式。只要换一种不同的测度,你就能得到不同的答案。

但讽刺的是暴胀理论本身就是为了解决概率问题而诞生的。问题的起源在于我们发现可观测宇宙接近于完全平坦这很不“自然”。意思是说理论上空间曲率可以是任何数但它偏偏极其接近于0如果你仅仅把这归结于“巧合”的话那概率就太小了。所以暴胀理论的本意是想给出一种解释证明在一个典型的观测者看来暴胀结束后空间接近完全平直是一个“大概率事件”。然而如果我们无法定义什么才是“客观概率”的话那这个目的就会变成一场彻底的空谈。无怪乎有人会说“测度问题”是如今宇宙学面临的最大危机。

总而言之你想得越多就越会发现概率作为一种“客观的频率”在很大程度上是无法自圆其说的。于是不知不觉间拉普拉斯的鬼魂又再次降临另一派学者又开始重新思考起“概率的本质”。从凯恩斯到德·菲尼蒂从H.杰弗里斯到E.T.杰尼斯,一种被称为“贝叶斯观点”的思潮在悄悄崛起。本质上,这种观点认为:概率其实就是人的主观信念,是我们在信息有限的条件下对某个命题的综合判断,自然,它也会随着我们的认识变化而发生改变,不管怎么说,世界上压根就不存在“客观的”、“永恒不变的”概率。

这种想法最早可以追溯到牛顿时代的英国牧师贝叶斯因此便以他而得名不过将其真正筑造成完整思想体系的还是归功于伟大的拉普拉斯本人大名鼎鼎的“贝叶斯公式”实际上也是出自其手。总之从血统来看虽然该理论曾一度被主流学界排斥甚至被称为“贝叶斯异端”Bayesian Heresy但论起“根正苗红”其实它比任何对手都不遑多让。

关于贝叶斯学派的主要理念和思考方式以前回答过一个问题可以参考。当然篇幅所限我在这里简化了贝叶斯理论的描述实际上该理论分成许多不同的流派各学者之间的观点也颇有不同有些人会更倾向于“客观”甚至频率描述想要更详细的了解可以参考Weatherford所著Philosophical Foundations of Probability Theory。

还需要强调的是贝叶斯学派虽然认为概率是“主观”的但也并不是说可以随便异想天开胡乱推测。具体而言贝叶斯理论中的“主观部分”一般体现在先验概率和元模型的选择上而之后当你获得更多信息时如何“合理”地调整信念使得新的后验概率成为在新信息下的“最佳判断”这仍然需要符合传统的概率论。因此贝叶斯方法不但不“虚浮”反而有着巨大的可验证的实际应用。近年来机器学习和AI领域的巨大进步在很大程度上就是依靠贝叶斯方法取得的。

当我们带着贝叶斯的眼光去看待“自然”的时候一切都变得不一样了。正如当年休谟所质疑的那样我们其实从来都无法确定有一种终极的“物理定律”存在。但是反过来我们也并不是完全“一无所知”。拉普拉斯曾经做过一个著名断言如果连续N天观测到太阳从东边升起那么能不能断言它明天还会继续升起呢答案是不能然而我们可以合理预测它继续升起的“概率”。假定先验均匀分布的话答案应该是(N+1)/(N+2)。换句话说如果我们之前连续1万天观察到太阳升起那么可以“合理预测”它明天继续升起的“概率”是99.990002%。

在贝叶斯派看来世界永远都是“不确定”的我们不能100%保证任何事情甚至也不能肯定一个事情的“概率”究竟是多少。但是我们可以依赖从经验得到的证据来随时调整对某个问题的“信心”。得到的证据越多相应的信心也会越大。但无论如何证据不可能达到100%的置信度,我们也永远没有办法彻底“证明”或者“证伪”任何东西。

因此,“概率”就是我们对世界最好的,也是唯一的描述方式,它本质上是基于当前所有证据进行的“最合情推理”。我不关心,也不必真的知道硬币或者量子是不是本质上“随机”的,如果它们之前表现得像随机,我就对实验结果安排一个随机的概率预测。反之,如果哪天它们突然变得“有规律”了,我也会因此而调整我的信念,相应更改预测的数值。拿牛顿的名言来说:“我不立任何假设”。事情有几分证据,我就给出几分的“概率”。至于它“本质上”是真是假,这是一个没有意义的问题。

不过很遗憾贝叶斯学派也并不能一劳永逸地解决我们对于“概率”的终极疑问。如果概率只是人的主观信念那建立在概率之上的物理学呢一团气体的压力一个封闭系统的熵一次观测后的量子态“坍塌”这些难道都不是客观存在而是“主观”的吗再说了也许我们没法把硬币扔上无数次也说不清楚究竟什么才叫“随机扔”但如果走进一间陌生的赌场真金白银地去和庄家赌大小我恐怕还是宁愿先默认硬币是五五开而不是凭“主观”认定正面只有10%。道理很简单,当我对某个硬币没有任何知识的时候,它的正面和反面是完全“对称”的,我没有任何理由去“偏向”某一面,因此,“一视同仁”就是我的“最佳策略”,这也被称为“无差别原则”。

但是,这种原则真的是最合理的吗?还是某种经不起检验的幻觉?如果现在老板告诉你:这个赌场里采用的实际上是某种不均匀的硬币,它某个面朝上的概率要大大高于另一个面。这时候你应该如何“调整”自己的信念呢?如果按照无差别原则,虽然你已经知道硬币不是五五开,但对方并没有具体说明哪一面更高,此时正面和反面对你而言,仍然是“对称”的,你仍然没有理由偏好任何一边。所以,你应该在明知硬币不对称的情况下,继续坚持五五开的信念吗?如果不是,又该如何选择呢?

其次,对于同一个事件,我们也仍然面临类似于“测度”的问题,即我们可以通过不同方式来为特定对象指定不同的“概率”。著名的贝特朗悖论告诉我们,很多时候光说“随机”是没有意义的,你必须从很多可能的方案中选择某一种特定的“随机”。同样,对于任何单独的事件,你空谈它“本身的概率”也是没有意义的,你必须先把这个事件指定到某个“参考类”下面,然后才能谈论其概率。从某种程度上讲,概率其实是“参考类”的属性,而不是某个单独事件的属性。

举个例子张三是一位30岁的中国男性住在北京职业是老师。出于好奇他想知道自己明年不幸身亡的“概率”究竟是多少。为此他找来一张最新的生命统计表表上显示就目前状况而言所有31岁的中国男性每年会有0.1007%的人因各种原因身故。张三心想自己明年也到31岁了所以死亡的“概率”自然就是0.1007%。

但是等等他很快发现生命表上还有一栏“男女合计”的数字也就是如果不分男女的话那么所有“31岁的中国人”每年死亡率是0.0778%。张三有些疑惑他心想我明年当然也是“31岁的中国人”那我的死亡概率到底是0.1007%还是0.0778%呢?

按这个思路推理下去张三发现其实他可以把自己指定到任何一种可能的“类别”下面。如果他认定自己是“31岁的中国人”那死亡概率就是0.0778%如果他认定自己是“31岁的中国男人”那死亡概率就是0.1007%。同样他还可以认定自己是“31岁的北京人”、“31岁的老师”或者干脆把年龄去掉认定自己是“北京老师”、“中国的男老师”……等等。对于任何一个类别理论上都可以统计出其全体成员每年的死亡率这些数字或许相差不大但肯定也不会一模一样。但是张三明明是同一个人他到底应该采用哪个数字作为自己真正的“死亡概率”呢

回答是所有的数字都是对的但它们并不针对张三这个“个人”而言而是针对某个“参考类”而言的。作为一个“单独事件”正如前文所述张三本人的“死亡概率”是没有意义的因为你无法把他明年的经历“重复实验”无数次。但是你可以把张三“主观指定”到某一个“类别”下面或者是“男人”或者是“中国人”等等。对于一个类别而言其全体下属成员就有了统计意义可以谈论“概率”了。因此当张三作为“31岁中国人”中的一员时他的死亡概率就是0.0778%而当他作为“北京男老师”的一员时死亡概率也许就是0.0932%,等等。这些数字并不彼此矛盾,它们只是反应了张三在不同“分类”下的不同“属性”。

有意思的是这种“分类”可以变得十分任意比方说你甚至可以把张三指定为“哺乳动物”中的一员或者“多细胞生物”中的一员甚至是“碳基生命”中的一员。这时候算出来的“死亡概率”可能就会非常夸张。绝大多数的碳基生物应该都是微生物之类很可能根本活不到一年因此如果非要把张三算作“碳基生命”的话那他明年的“死亡概率”可能高达99%以上!

你也许要质疑:这样的分类是否真的有意义?但也有学者坚持认为,所谓“概率”本身就是由我们主观视角而指定的,不存在一个“合理”的标准。关键在于,就跟相对论下我们不能脱离参考系而谈论“绝对时间”一样,我们也不能脱离参考类而谈论“绝对概率”。一个事件本身并没有概率,概率取决于你如何对它进行“分类”!

在物理学里,我们通常把某个参考类称为“系综”。因此,在量子力学里,有一种“系综解释这种解释认为空谈某一个粒子的“随机性”是没有意义的有意义的只有整个“系综”的统计属性。因此我们只能说如果我们准备一个实验让N个粒子通过非均匀磁场斯特恩-格拉赫实验那么在这个特定实验的“系综”里有一半粒子会偏向上面另一半会偏向下面。以50%的概率向上这是N个参与实验的“全体粒子”的属性。

但是,我们不能脱离实验设置,把其中的某个粒子单独拿出来,去空谈它的“随机性”。因为在系综解释看来,所谓“概率”,是“参与特定实验的全体粒子”的性质,而不是某个粒子单独的性质。当然,这只是量子论五花八门的解释之一,不过如果你接受这一点,就再一次证明“概率”并不是某种客观的属性,而是由主观指定的。

最后,如果概率真的是一种主观认定的话,那么“主观者自身”会对概率评估产生怎样的影响呢?事实证明,这个问题竟然是最富争议,也是概率哲学里最深的大坑之一,由此引申出了无数“悖论”和“怪谈”,至今仍在科学界和哲学界辩论不休。

典型的例子是所谓的“自我采样假设”它的意思是说当我们判断某件事情的概率时应该假设自己只是在所有可能的观察者中随机采样出来的一个。好比所有人去买彩票其中只有1%的人中奖那你去买的时候中奖的概率当然就是1%,你必须假定自己只是“所有人”中普通的一个,而不能毫无理由地幻想自己是“天选之子”。

这听上去似乎理所当然。但在某些情况下无条件应用该原则似乎就会导致一些奇怪的结论。比方说如果有两个可能的宇宙A宇宙有1亿人B宇宙有99亿人那么你认为自己“更可能”生存在哪个宇宙

如果你坚持认为自己只是这100亿人中间“随机”抽取出来的一个那你应该回答我有99%的概率生活在B宇宙而只有1%的概率生活在A宇宙。但照此推论的话你会发现宇宙里的人“越多越好”。如果我们相信在永恒暴胀中所有的宇宙都是“可能”的话那你应该100%地坚信,自己其实生活在一个无穷多人的宇宙里。

换句话说,我可以不需要任何实际的观测证据,光凭“概率推理”就能知道自己宇宙的某些特征,这是可能的吗?

1983年宇宙学家布兰登·卡特根据“自我采样假设”提出了著名的“末日论证”引起了无穷的争论。卡特的想法很简单假设“我”是在“所有人类”这个集合当中被“随机抽取”出来的话那么通过我在集合中的“序号”就能对“人类总数”做出一个概率判断。

打个比方一个盒子里有若干小球总数未知但每个小球都按照顺序编号。现在我们随机抽取一个球发现是10号那我们完全可以通过这个信息来“倒推”球的总数有多少。计算也很简单如果小球总数是N个在[0, N]区间进行随机采样得到结果x那x应该有5%的概率落在[0, N/20]区间95%的概率落在[N/20, N]区间。换句话说x<N/20的概率为5%x>N/20的概率则为95%。现在已知x=10不等式两边再各乘20就得到N>200的概率为5%N<200的概率则为95%。

也就是说随机抽出一个小球发现是10号我们可以从中得出结论盒子里的小球总数N有95%的概率不超过200个。

类似的抽样估计在历史上曾经有过很实际的应用,著名的“德国坦克问题”就是典型的例子。二战期间,通过对缴获坦克零件上的序号分析,盟军对德国坦克的总产量做出了非常准确的估计。因此可以说,这种方法是完全有效的。

同样我们可以假设人类从诞生到最终灭亡总共会产生N个人N当然是未知的。但是如果“我”是一个典型的观察者是从“所有人类”当中“随机抽取”出来的那就和抽小球是一个道理。假设我发现自己是人类中的第x号就可以得出结论人类总数N<20x的概率为95%。

卡特和后来的一些学者估计作为一个现代人你大约是有史以来的第600亿号。因此可以预言人类总数有95%的概率不超过1.2万亿50%的概率不超过1200亿。

“末日论证”自发表以来,引起了广泛的争论,也产生了众多变体,至今仍未达成共识。有人会说,如果我们真的认为自己应该是“所有观察者”中的随机一员,那这些“观察者”不仅仅应该只包括人类,或许还有外星智慧生命等等。甚至我们可能会啼笑皆非地推论出,自己其实有极大的概率不是“真实人类”,而应该是玻尔兹曼大脑涨落出的幻觉或者虚拟世界当中的信息。

但不管怎样采样假设毕竟提出了一个有趣的问题通过观察有限的样本是否能够从中得到关于其“概率空间”的某些信息比方说我们的宇宙年龄大约是138亿年这也是我们能观察的唯一样本。但如果真的有N种“可能的平行宇宙”其年龄分布是否应该在大致同等的数量级上不然的话如果绝大多数宇宙都有几亿亿亿亿亿年的寿命那我们的宇宙年龄就会“不合情理”地短换句话说我们的宇宙将以很大的标准差远离“宇宙全集”的均值变成一个“极其小概率的事件”。这就需要额外的理论来“解释”而不能视为理所当然。

同样物理学中的各种无量纲常数比方说原子光谱中的“精细结构常数”α它的倒数等于137.03599084……但这个数字究竟是怎么来的?历史上,不知有多少物理学家曾经想尽办法,试图通过某种基本原理将其推导出来,但都无功而返。今天,大多数人不得不承认,这个数字其实“没有原因”,它可能就是纯属偶然。

但“偶然”究竟是什么意思是说α的值其实有一个概率分布而我们宇宙的α是按照某个特定的测度“坍缩”出来的吗然而这种逃避并不能解决问题我们仍然需要解释为什么这个概率分布正好在137附近。当然你也可以假设它其实不在甚至可以取任意大的值但这就又绕回来了那样的话我们宇宙的α又会变成一个“小概率事件”还是需要解释。

对此,一个有趣的回答是所谓的“人择原理”,即我们的存在本身限制了某些变量的取值。在所有可能的宇宙里,也许绝大部分都不适合生命诞生,但这些宇宙根本不会被观察到。反过来,所有能被观察到的宇宙,自然首先必须得保证生命存在。因此,任何有意义的概率其实都是“条件概率”,前提是你必须先有个观察者!

不过,人择原理是否能够解释所有的“精细调节疑难”?这仍是一个问题。毕竟我们对“宇宙观察者”有哪些几乎一无所知,只能以我们熟悉的生命形式去推测它们生存的环境。但或许,真的有某些奇特的智慧生命,他们能在看似不可能的物理常数组合下生存,谁又能知道呢?根本问题仍在于,当我们“自我采样”的时候,真的应该把这些“可能存在”的观察者考虑进来吗?这样的“概率”真的合理,甚至有意义吗?

关于人择原理末日论证自我采样假设等问题有兴趣的同学可以参考阅读Nick Bostrom的著作Anthropic Bias。

除了自我采样之外,一个更令人困惑的问题是“自我定位”。想象以下的实验:某疯狂科学家告诉你,他不久后会将你催眠,然后扔一枚公平的硬币。如果扔出正面,他就会把你送到“蓝岛”上,关进一间房子里,其他什么也不做。反之,如果扔出反面,他就会把你送到“红岛”上,在那里,他会先将你克隆出一个“复制品”,然后把你们俩关进两间不同的房子。注意,这个复制品同样有思想有记忆,跟你本人一模一样,他完全无法意识到自己其实是复制的。

第二天,催眠效果过去,现在你苏醒了。疯狂科学家发问:你觉得我昨天扔硬币,是扔出了正面还是反面?两者的概率分别是多少?

关于这个问题有人会做如下推理醒来时我可能是蓝岛上的那个我也可能是红岛上的我还可能是红岛上的“复制品”。但因为完全无法分辨我只能认为这三种情况都是“同样可能”的。所以总共3种可能性其中1种是在蓝岛上而2种是在红岛上。以此反推我只能认为科学家昨天抛出正面的概率是1/3反面则是2/3。

也有人强烈反对既然已经告诉你硬币是“公平”的那抛出正面的概率自然是1/2。如果在实验开始的时候就问你你肯定也会这样说。问题是之后从被催眠到醒来这过程当中你也没有得到任何新的信息啊。你从一开始就知道不管结果如何肯定是会苏醒的。那么为什么苏醒之后你就会突然改变看法呢不管怎样硬币正面的概率应该维持1/2不变。

这个问题的原型其实就是著名的“睡美人悖论”我在这里只是稍微改动了一下以便更好地突出重点。围绕这个悖论过去几十年间已经产生了难以计数的文章和争论基本上1/3派和1/2派至今仍然各执一词。这个问题的奇特之处在于在一堆可能的“我”中间“主观视角”不知道究竟应该如何给自己“定位”是这种不确定性影响了对概率的判断吗更重要的是如果确实如此我们是否可以进一步大胆推测其实“自我定位”问题就是宇宙里所有“概率”的根本起源

为了让事情更加清楚在以上的思想实验中我们其实完全可以取消“扔硬币”那一环。这一次科学家直接将你催眠然后克隆出2个复制品连你本人一共3个。接下来他把你放到蓝岛2个复制品放到红岛。那么第二天当“你”醒来时你会认为自己是在蓝岛还是红岛

现在没有了扔硬币环节两派的争论基础本来已经消失了但是此时在“你”看来概率却仍然存在。因为你无法分辨自己“究竟是哪一个”所以你仍然不得不认为自己在蓝岛的概率为1/3在红岛的概率为2/3。但是请注意这只是从你的“主观视角”来看的而在疯狂科学家的眼里整个实验却是完全确定的每一步都按照计划进行压根就没有任何“概率”存在。所以概率究竟来自哪里很明显是因为你无法在所有可能的复制品当中准确地“自我定位”。你丧失了一部分关于“自我”的信息。

近年来,越来越多的科学家开始认为,量子论的“概率”本质,很可能也是出自相同的原因。量子论本身,即薛定谔方程其实是完全“确定”的,和牛顿理论并没有任何本质不同。奇怪的是所谓的“坍缩”假设,即每次观察,量子态都会按照波恩法则,以确定的概率坍缩到某一个本征态上。这个过程其实跟量子论本身是矛盾的,完全是为了解释观测结果而生硬地附加到理论之上。

一种想法是,我们应该彻底否定任何“坍缩”的存在,坚持整个宇宙始终严格按照量子论进行幺正演化,这其实就是埃弗莱特的“多世界”理论。宇宙的波函数可以被分解为无数个不同“世界”的叠加,每个世界都是希尔伯特空间中的一个投影,而我们的各种“分身”则存在于不同的世界当中。随着波函数的演化过程,绝大多数世界都彼此退相干了,只有在极小的尺度上仍然产生明显的量子干涉和叠加。这样,从“上帝”的视角来看,整个宇宙仍然是确定的,完全可预测的。

那么“概率”又是从哪里来的呢只能从我们的主观视角产生。从客观上来看“我们”其实是所有世界中的总体叠加但在“主观”上我们却只能认知到其中的某一个世界。问题是任何一个“主观的我”都无法准确地进行自我定位不知道自己位于哪一个具体的“世界”于是就跟前面例子里的克隆人一样在“我”的眼里概率出现了。比方说在世界A当中“1号我”看到薛定谔的猫死去而在世界B当中“2号我”则看到薛定谔的猫活着。薛定谔的猫其实没有概率它只是严格按照量子论方程演化而已概率在于“我”不知道自己究竟是1号还是2号。这是我的问题而不是猫的问题。

所以你发现,多世界中的“概率”,本质上其实就是量子版的睡美人问题。很多科学家都在尝试,是否能从自我定位的假设出发,不附加任何条件,自动推导出量子论的玻恩法则,乃至所有的概率论原则。这样的话,我们就可以彻底抛弃“波函数坍缩”的假设了。然而,因为睡美人悖论本身仍然争论激烈,究竟如何“合理”地判定主观概率仍然是一个悬而未决的问题。如果概率是可以主观随意指定的,那何以玻恩法则却是一个客观的规律?在这个问题上,也许争论还会长期继续下去。

对这个问题感兴趣的同学可以进一步参考Charles Sebens和Sean Carroll的文章Self-Locating Uncertainty and the Origin of Probability in Everettian Quantum Mechanics

好了,在回顾了那么多关于“概率”的论述和争议之后,我们对这个概念的理解变得更清晰了吗?遗憾的是,似乎并没有,反而愈加扑朔迷离了。概率是否真实存在?它是主观还是客观的?它究竟如何产生和变化?它的赋值存在唯一的合理方式,还是可以任意指定?世间万物都有“概率”吗?还是说,只能对于某些特殊的事件谈论概率?所有这些问题,我们似乎都还没有完全弄清楚,在可见的未来,各种激烈的争论还会继续。

然而,几百年来,我们早已在数学中定义了概率,我们早已在物理中引进了概率,我们已经不知有多少次把它应用到实践当中,并发现它能够令人惊讶地预测未来。如果概率其实并不存在,为什么它会有用呢?这是一个值得思考的问题。就像诺贝尔物理学奖得主维格纳所说,数学在自然科学当中发挥出了不可思议的有效性,而我们却不知道这是为什么。也许,这个谜团本身就是自然界最大的魅力所在。