Interpretable-Machine-Learning

1.1 故事时间

本节将分享一些小故事。不可否认，故事都会存在夸张成分，但它们无一不说明可解释机器学习是多么重要。如果你很忙，你可以跳过这些故事。如果你想轻松一下或者了解为什么要搞可解释的机器学习，请继续阅读本节。

这一部分的灵感来源于Jack Clark发表在AI时事通讯上的科幻小说。如果你喜欢这类故事或者对AI感兴趣，我建议你上去看看。

闪电从未打过2次

“这绝不是最糟糕的死法!”Tom总结说。他从静脉中拔出针管，试图从这场悲剧中找到一些积极信号。

“他死的不明不白。”莉娜补充道。

“还有错误的吗啡针孔！只是给我们增加工作负担！”Tom一边退下针管一边抱怨。取下所有针头后，他将盘子放在一旁。他将一条网线插入到诊断端口。

“你不只是在抱怨工作量，对嘛？”莉娜嘲笑到。

“当然不是。永不。”他带着讽刺的声音喊道。

他启动了电脑。

莉娜把网线的另一端插入她的笔记本电脑。“好了，诊断开始运行”，她说，“我很好奇到底是哪出了问题。”

“高浓度的吗啡。正常情况下注射仪打进去的吗啡都很少的，但是，这一针打太多了。”Tom解释道。

“我知道。你不说我也知道…Hey，看看那个。”莉娜指向了电脑。“你看到这儿的低谷嘛？这个是混合止痛药的效力。看！这条线展示了参考水平。这个可怜的家伙，他的血液中检测到了止痛药，而剂量足够杀死他17次。”

“我们的AI-输液器在这时注入。并且这儿…“她刷了一下，“这儿是病人最终死亡的那一刻。”

“因此，到底发生了什么呢，老板？”Tom 问他的军师。

“唔…传感器看上去一切正常。心跳速率，氧气水平，葡萄糖，…收集到的数据都很正常。在血氧数据中有一些缺失值，但这一点儿也不奇怪。看这，传感器还检测到患者心率减慢和由吗啡及其他止痛药导致的极低的皮质醇水平。”她边继续扫描诊断报告边说。

Tom开始盯着屏幕看。这是他头一次检查设备故障。

“好了，这是我们对这一谜团的初步调查。系统未能向医院的通信设备中发送警报。警告已经出发，但在网络协议这被拒绝。这可能是我们的错，但也可能是医院的错。请把日志发送给IT团队吧。”莉娜告诉tom。

Tom点了点头，但他的眼睛仍然盯在屏幕上。

莉娜继续说：“这很古怪。警报系统应该导致输液停止。但显然并没有。这儿一定有个bug。有些场景被测试团队漏掉了。也许它和网络协议出问题有关。”

“也就是说，输液器的警报系统不知道什么原因坏了，但为什么AI-输液器会给这个人注射这么多的止痛药呢？”汤姆说出了他的疑问。

“好问题。你是对的。撇开协议故障不谈，AI-输液器根本不该给注射这么多的止痛药。考虑到皮质醇和其他警告信号都非常低，该算法本应该更早地自行停止，”莉娜解释道。

“也许是什么坏运气，比如百万分之一，比如被闪电击中导致？”汤姆问她。

“不，Tom。如果你读了我发你的文档，你就应该知道这款AI-输液器先在动物实验中训练，然后才在人身上实验。AI-输液器会根据传感器的输入来学习并注射适量的止痛药。虽然输液器的算法可能是不透明的而且复杂，但它又不是随机的。这意味着如果出现相同情况下，输液器的行为会完全相同，如果有病人还会死掉。一定是算法中传感器输入出现了意料之外的情况，才触发了AI-输液器的错误行为。这就是为什么我们必须深入挖掘这里究竟怎么了，”莉娜解释道。

“我懂了…”Tom回答，陷入了沉思，“那个病人不是很快就会死了么？因为癌症或者其他什么的？”

莉娜边读分析报告边点头。

Tom站起身来，走到窗前。他向外望去，他的眼睛盯着远处的一个点。“也许机器帮了他一个忙，让他从痛苦中解脱出来。没有更多的痛苦，也许他做的是对的。像一个闪电，但你懂的，是个好闪电。我意思是像彩票，但不是随机的。应该会有个原因，如果我是输液器，我也会这么做。”

她终于抬起头来看着他。

他一直看着外面的东西。

两人都沉默了一会儿。

莉娜又低下头继续分析。“不,汤姆。这是一个bug……只是一只该死的bug。”

信任危机

她匆匆赶往璧山地铁站，而她的思绪已经在工作上了。新神经结构的测试现在应该已经完成了。她领导了政府“个体税收信任预测系统”的重新设计，该系统可以预测一个人是否会向税务局隐瞒资金。她的团队完成了一项浩大的工程。如果成功，该系统不仅可以为税务机关服务，还可以用于其他系统，如反恐警报系统和工商系统。有朝一日，政府甚至可以将这些预测整合到公民信任分中。公民信任分评估一个人有多值得信任。这一估计会影响到你日常生活的方方面面，比如贷款或者你需要等多久才能拿到新护照。当她走下电梯时，她想象着她的团队的系统集成到公民信任分系统中会是什么样子。

她照例刷了卡，却没有减慢走路的速度。她的脑子里满是想法💡，压根没想到门根本没有开。

太晚了。

她的鼻子先撞到地铁入口大门，一屁股坐在了地上。门应该开着，但是它没有开。她目瞪口呆地站起来，看着门口的屏幕。“请下次再试。”屏幕上一个友好的笑脸提示道。一个人从她身边走过，没有理睬她，刷了卡。门开了，他走了进去。门又关上了。她擦了擦鼻子。它很疼，但至少没有流血。她想开门，但又被拒绝了。很奇怪。也许她的公交账户没有足够的钱。她看了看智能手表，想查看下账户余额。

“拒绝登录。请与民政局联络!”她的手表告诉她。

她感到一阵恶心，就像拳头打在肚子上一样。她怀疑发生了什么事。为了证实她的猜测，她启动了手机游戏“狙击手公会”，一个射击游戏。app被直接自动关闭，证实了她的猜测。她头晕目眩，又坐在地板上。

只有一个可能的解释:她的公民信任分下降了很多。一个小的下降意味着一些小的不便，如无法得到头等舱席位或需要等待更久的正式许可。低信任分是很少见的，这意味着你被归类为对社会存在威胁。对付这些人的措施之一是让他们远离公共场所，如地铁。政府限制了公民信任分低的受试者参与金融交易。他们还开始积极监控你在社交媒体上的行为，甚至限制某些内容，比如暴力游戏。公民信任分越低，增加公民信任分的难度就越大。得分很低的人通常永远无法恢复。

她想不出分数下降的任何理由。这个分数是基于机器学习得出的。公民信任分系统就像一个运转良好的社会引擎。信任分系统的性能一直受到密切监视。自本世纪初以来，机器学习已经进步了许多。它变得如此有效，以至于由信任分系统做出的决定不再有争议。真是一个可靠的系统！

她绝望地笑了。居然是可靠的系统。这个系统很少失败。但它失败了。她一定是那种特殊的情况：系统错误。从现在起，她将成为一个弃儿。没有人敢质疑这个体系。它已经融入了政府，融入了社会本身，不容置疑。在仅存的几个民主国家，禁止组织反民主运动，不是因为这些运动本身具有恶意，而是因为它们会破坏现行信任分系统的稳定。同样的逻辑也适用于现在更为常见的基于算法的舆论检测系统。由于政府对系统稳定的诉求，甚至对信任分算法的批评都是明令禁止的。

算法信任是社会秩序的基础。为了共同的利益，人们默默地接受了极少发生的信任分错误。具体到她，她的信任分已经输入到了数以百计的其他预测系统和数据库中，使得压根无法知道是什么导致了她的分数下降。她感到一个大黑洞在她身下不断地打开。她惊恐地望着天空。

她的个体税收信任预测系统最终被纳入公民信任评分系统，但她将永远不得而知。

费米的诗

“历史课真无聊，”萝拉小声对她的朋友说。萝拉，一个蓝头发的女孩，懒洋洋地用左手追着房间里嗡嗡作响的无人机。“历史课很重要，”老师看着两个女孩，非常生气地说。萝拉脸红了。她没有料到老师会听到她的话。

“萝拉，你刚刚学到了什么?”老师问她。“是说远古人类用光了地星上所有的资源，然后就灭绝了?”她小心地问。“不是。它们让气候变热，不是人，而是电脑和机器。另外，这是地球，而不是地星。”另一个女孩林补充到。带着一丝骄傲，老师微笑着点点头。“你们说的都对。但你知道背后的原因吗?”“因为人们目光短浅，贪婪吗?”Xola问道。“人们无法停止他们的机器!“林脱口而出。

“再说一遍，你们都是对的，”老师说，“但事情要复杂得多。当时大多数人并不知道发生了什么。有些人看到了剧烈的变化，但无法逆转。这一时期最著名的作品是一位无名作家的一首诗。它充分地反映了当时发生的事情。仔细听!”

老师按了个按钮。十几架小型无人机在孩子们面前重新定位，开始将视频直接投射到他们的眼睛里。照片显示，一个穿着西装的人站在森林里，只剩下树桩。他开始说话:

机器在计算;机器在预测。

我们前进，因为我们是机器的一部分。

我们训练有素，追求最优解。

最优解是一维的、局部的、无约束的。

硅和肉，追逐指数。

成长是我们的心态。

当所有的奖励都收齐后，

和被忽视的副作用;

当所有的金币都被开采，

自然已经落后了;

我们会有麻烦，

毕竟，指数增长是一个泡沫。

公地悲剧正在上演，

爆炸,

在我们眼前。

冷酷的算计和冰冷的贪婪，

让地球越来越热。

一切都在枯亡,

而我们正在循规蹈矩。

就像戴着眼罩的马，我们与自己创造的种族赛跑，

走向文明的大过滤器。

所以我们坚持不懈地前进。

因为我们是机器的一部分。

拥抱熵。

“黑暗的记忆，”老师说着打破了房间里的寂静。“它将被上传到你的图书馆。你的家庭作业是下周把它背出来。“萝拉叹了口气。她设法抓住了一只小无人机。CPU和引擎给无人机带来了温暖。索拉喜欢它温暖她的手。