Featured image of post 金版计划·18|数据不会自己说话,是你在替它说

金版计划·18|数据不会自己说话,是你在替它说

月底那张电费单涨了一倍,家里三种说法都能说得通。温伯格在《系统化思维导论》里说,这不是谁在狡辩——对任何一批有限的观察,说得通的解释本来就有无限个;数据不会替你裁决,挑哪一个,说的是你自己。

金版计划|温伯格《系统化思维导论》领读·第 18 篇

向谦备忘录,启发小进步,我是徐向谦。

月底账单来了,电费比往常多出一倍。

家里立刻有了三种说法。一个说是新装的那台空调,一个说是孩子房间的灯从来不关,还有一个说是电表老化,该找物业看看。三种说法都能把多出来的那笔钱说圆,谁也驳不倒谁。你心里还冒出过第四种说法:会不会就是这个月天热,下个月自己就回去了。

有意思的是,每个人给出的那个解释,都恰好把自己摘了出去。

你想让那个数字自己说句公道话。可它就是一个数字,你翻来覆去地看,它对每一种说法都点头,对每一种都不反对。凭什么某一个解释就该胜出?

温伯格给的答案一开始听着有点泄气:不是哪个解释更对,是有人替它做了主。这一篇要说清楚的,是解释为什么天生不止一个,以及你其实是按什么在挑。

坐标在原书第 4 章第 4 节「函数符号与简化思想」和第 5 节「不完全与过于完全」。这两节连着做一件事:前一节教你把“这件事取决于什么”说清楚,后一节告诉你,说清楚之后为什么还是定不下来。本篇另借了第 3 节里两个例子,用到的地方会标出来。

一、你说“这事取决于什么”,就是在当众划一个圈

温伯格先给前面那只黑箱补了一句。黑箱这个模型把观察讲得太被动,好像观察者只能在箱子外面干等,既不许动箱子,也不许动自己。可实际情况里,观察者有两件事必须自己定:看多宽,看多细——原书管这两样叫观察的范围和粒度。这两样定下来,你能看见什么也就跟着定了,所以这一步不能一挥手带过去。

当你选定一个观察范围,你其实是在宣布:框在里面的这些东西是重要的——至少是我能观察到的那些里头最重要的。

数学给这个动作备了一个很省事的记号,叫函数符号。写出来是这样:

z = f(a, b, x)

读作“z 是 a、b、x 的函数”,或者干脆读成“z 取决于 a、b 和 x”。本篇的数学只有这一个记号,它也不要求你算任何东西。它只要求你把一句话说清楚,而这句话的全部重量,压在一个没写出来的字上:只。 z 取决于这三样,而且就我知道的、我关心的而言,也只有这三样。写下它的那一刻,别的所有东西都被你推到圈外去了。

这个记号最值钱的地方,是允许你在还不知道答案时就先开口。英国物理学家牛顿在写出万有引力定律之前,本可以先写下 F = f(M, m, r)——引力只取决于两个物体的质量和它们之间的距离,怎么个取决法暂时不知道。可走到这一步,剩下的活儿就好办多了。

还可以更诚实一点。如果连“还有什么没算进来”你都说不清,函数符号允许你在括号里留一串省略号:f(a, b, …)。意思是,我知道它还依赖别的东西,现在说不上来,打算回头再来。这三个点是本篇最该学走的那个小动作。

第 12 篇那支温度计,在原书里正是拿来演这件事的。第一版模型说:读数取决于水温。发现读数是慢慢爬上去的,模型变成:取决于水温、下水前的气温和下水多久。最后再添一个变量,描述水银和玻璃的差别。每加一个变量,都是一次公开改口:我原先说不相干的东西,现在算数了。

今天最省事的一种划圈,是把一堆日志丢给一个系统,让它自己找规律。可它能看见的,仍然只有你喂进去的那几样。

这一节的题词是经济学家肯尼斯·伯丁的一句话:“数学在所有应用领域中都是个出色的仆人,但是个糟糕的主人。”温伯格把它摆在开头是有防备的:记号让你省事,省着省着,你会忘了当初圈掉过什么。

二、数字跟你的说法对不上,你有三条岔路可走

先说件扫兴的事。“T 取决于 a”看着挺像个结论,其实什么都没说死。它可以代表 T = a,可以代表 T = a + 1,也可以代表一堆你写不完的式子里的任何一个——含 a 的方程有无数个,函数符号把这无数个揉成了一个记号。这正是第 17 篇那条揉团定律在干的事,只是这回揉的不是状态,是解释。

那怎么才能说这样一句话“错了”?只有一条路:盯着 T 和 a 的行为看。

温伯格摆了个极简的推演。你观察到 a 是 7.5 时,T 是 10;过一阵又撞见一次,还是 7.5 配 10,到这里都对得上。可接下来你看到:a 是 7.5,T 却是 25。

有哪儿不对了。要么 T 还依赖某个你根本没在看的东西,要么是你把 a 或者 T 量错了。摆在面前的是三条岔路:扩大观察范围,承认还有别的变量,把说法改写成 T = f(a, …);或者提高测量的精细程度,怀疑是自己量得不够准;或者把这次测量当成错的,扔掉。

温伯格接着说了本篇最扎人的一句:选哪一条,“首先取决于我们对 T = f(a) 的信心有多强”。

不是取决于那个数字。那个数字三条路都支持。

我也在这个岔路口站过。我做过一条视频,是模仿别人一条已经火了的视频做的,播放量比我自己原创的那些多出一大截。我当场给它配好了解释:跟着本来就火的视频做,就能分到流量。这就是我的“T 取决于 a”。

接着我照这个解释又做了很多条。只有极少数播得不错,多数平平无奇——a 还是模仿,T 却一条接一条不是那个数了。可我没在第二条、第三条就改口,一直做下去才换了做法。让我迟迟不换的,不是后面那些数字,是我对第一条那个解释的信心。

换了做法,有一样没改:接着发。发得多了,总会偶尔冒出几条播得不错的,用哪种做法都一样。回头再看第一条,它很可能也只是偶尔冒出来的那一条。我没看见的那个变量不在圈外很远的地方,就是我天天在做、却从没当成变量的那件事——发了多少条。第 05 篇引过德摩根那句老话:凡是可能发生的,只要我们试的次数够多,就会发生。

我最后走的是第一条,只是走得晚。第三条岔路上翻车翻得最壮观的,是做学问的人。拿古代天文学家留下的观测记录推算时间,那些观测今天已经无法重做,挑挑拣拣就格外方便。给一条可疑的记录标上时间和地点,美国物理学家罗伯特·牛顿(跟前面那位牛顿没有关系)管这套动作叫“识别游戏”。他还漂亮地演示了一遍:靠这套动作,哪怕“原始”数据只是一堆随机数,照样能凑出一个“经典”的结果。

比这更糟的是走过场的观察,把所有跟理论不符的结果都当成伪造的扔掉。温伯格讲了个很好笑的例子:维也纳的女士们喝茶前总要先称体重,轻了一公斤,就多吃一块蛋糕;重了一公斤,就说体重秤出了毛病,还是多吃一块蛋糕。(这两处在原书第 4 章第 3 节)换成今天的说法:数据支持就说“数据说话了”,不支持就说“口径有问题,再跑一遍”——跑到支持为止。每一步都站得住,结论从头到尾一动没动。

三、两个解释都说得通,你挑的那个说的是你自己

还有反过来的一种毛病,温伯格管它叫“过于完全”:a 从 0 变到 7.5 再变到负 578,T 一直是 10,那就别看 a 了,看它是浪费时间。麻烦的是中间那一档。你猜 T 取决于 a、b、c 三样,记下三组观察,T 每次都是 10——这到底是因为 a 根本不相干,还是因为在你看得到的范围里,几样东西刚好互相抵消了?

“对于任何有限的观察集合,解释集合都是无限的。” 原书在这里画了两个公式,都能解释那同样三条观察,一个带 a,一个不带。哪个更好?已有的观察分辨不了,只能由你来挑。这是一只黑箱,第 15、16 两篇那只箱子的老问题又回来了。

真正有意思的是他给的挑选依据:你的能力。多看一眼容易、脑子里算起来吃力的人,会挑变量多、公式简单的那个;算得快、看得费劲的人会挑变量少的,用原书的说法,“多些思考,少些观察”。第 16 篇那根跷跷板在这儿又出现了一次——这一回它决定的不是你能看见什么,是你会信哪个解释。

“不打开箱子,我们就不知道里面到底是齿轮还是电路,或是一只受过训练的猴子在摇动摇杆。”

两个模型要是都符合你手上全部的观察数据,温伯格管它们叫同构,也就是“相同的形状”。他的建议挺反直觉:逻辑上最好的办法是找出一组都符合观察的同构模型——是一组,不是挑一个出来当真相。

读到这里你可能想拍桌子:照这么说怎么解释都行,那还较什么真?不是这个意思。说得通的解释有无限个,站得住的还是得一条条筛;温伯格要你别做的,是装作那个选择是数据替你做的。他自己列了一串真实的挑选理由,几乎每一条你都在会上听过:因为 b 不好观察;因为没注意到少一个变量也够用;因为注意到了,可就是不喜欢那个公式;因为我们是搞物理的,知道“物理系统不会有那样的行为”;还有最实在的一种,顽固地认为“无论如何,都要包含 b”。

机器学习那边有个现成的对照,叫过拟合:模型把手上这批数据的每个疙瘩都解释得严丝合缝,换一批就露馅。这一行的解法接着温伯格往下走:旧观察分辨不了,就造新的——留一份数据不给模型看,专门当裁判。你家那张电费单,没有这样一份留出来的数据。

你以为自己在挑哪个解释是对的,其实你在挑哪个解释你付得起——多看一眼便宜,还是多想一层便宜;旧说法留着便宜,还是推翻它便宜。数据不替你付这笔账,它只是站在那儿,对每一种说法都点一次头。

金版批注

温伯格写下“不打开箱子就不知道里面是什么”这句话时,后面跟着一条退路:所谓打开箱子,就是再往下分解一层。这条退路今天失效了一半。有一类箱子如今本来就是敞开的——参数全在那儿,每一个数都能打印出来,每一步计算都能复现,分解到了不能再细;可你照样说不出它到底取决于什么,照样答不上它这一次为什么这么答。于是有了一门学问叫可解释性,整门都在替这句话找补。失效的不是他的判断。他说观察本身没法在同构的模型之间裁决,这句话今天只会更成立。失效的是他留的那条退路:他那个年代,分解到底总归能看见齿轮;如今分解到底,看见的还是一整面墙的数字。

这一篇,你带走什么

黑板报

  1. 说一句“这件事取决于什么”,就是在当众划一个圈:圈里的算数,圈外的不算。这句话能被检验,也能被推翻,比“影响因素很多”有用得多。
  2. 同一批数字摆在那里,说得通的解释不止一个,是无限个。数据没法在它们之间裁决,它对每一种都点头。
  3. 数字跟你的说法对不上时,你有三条岔路:承认有没看到的变量、怀疑自己量得不准、把它当错的扔掉。你走哪一条,暴露的是你对旧说法还剩多少信心,不是那个数字的性质。

本篇金句

“对于任何有限的观察集合,解释集合都是无限的。”(温伯格)

思考题(温伯格亲自出题,4.7 之 3)

靠考古重建过去,处处是“有选择地忽略”的机会。原书举过南伊利诺伊州一处遗址,挖过好几次,始终没发现更早时期的房屋遗迹——研究者只在碎陶器多的地点下铲。设想一下:将来有人挖到你住的这座城市,只在饮料瓶碎片密集的地方下铲,他会还原出一个什么样的我们?换几拨不同的观察者来挖,又会还原出几个我们?

收束

回到月底那张电费单。那个数字不会改口,也不会替谁站台,家里三种说法它都点头。能做的只有一件小事:下次你说“这次多出来的电费是因为空调”,在后面添上三个点——“是因为空调,还有一些我还没搞清的东西”。这三个点替你省不下一分钱,可它是你日后回头找补的唯一入口。把话说死的人,是不会回头的。

下一篇

第 19 篇讲另一种说不到一块儿去。这一篇里定不下来,是因为解释太多、数据挑不出;下一篇里,两个人看见的都是真的,只是从两处看的,谁也归约不成谁——温伯格从物理学借了个词,叫互补性。

向谦备忘录,愿你每篇都有收获,我们下篇见。