微软的机器学习程序 Tay，在 twitter 上装少女，和用户互动，并基于搜索和语义识别，进行自学习式的互动交流，然而，很可惜，没太久时间，这个程序就暴露出了非常严重的种族主义言论和其他一些非常不健康的言论。

其实，程序员很无辜，从对话信息去翻吧，都是在互动中，被用户教坏的。

我们为什么担心人工智能？其实人工智能本无好坏一说，我们可以教育出好的，也可以教育出坏的，然而，可怕的是，教育出好的人工智能，你需要极度认真，逻辑严谨，持续不断的给予正向的信息反馈，并对可能的风险和误区给予严密的防护策略；而教育出坏的人工智能，可能一个负反馈，一个系统 bug，或者一个逻辑上的不严谨，就出事了，而且一旦人工智能掌握了远超过人类的能力的时候，这个事情真就可能没法收场了。所以，我们担心的，其实是我们自己，是不是真的已经准备好，迎接这样的人工智能。

所以，我这里做个风险预警，在迎接未来更广泛的人工智能或信息决策应用场景的时候，策略决策者，或者拥有决策权的管理者，一定不要用那些没逻辑的人！然而现实中，那些没逻辑的人往往深受大众欢迎！

不用想的太遥远，就是现在这个阶段，当前信息应用场景里，一个系统逻辑 bug 或缺陷可能导致的风险和威胁已经足够大了。从医疗健康，到交通运输管控，到金融系统，等等等等，前几天新闻，日本一个交易系统的 bug，导致某知名交易机构一天损失几百亿。中国最近抓的所谓俄罗斯的量化交易团队，那个从中国股市薅几十亿的神奇团队，有知情人说据称其实也是抓了我们证券交易系统的漏洞。幸运的是，现在我们所面临的系统问题，还都属于人类可控的范畴。

不仅仅是系统，人工智能，变坏比变好更容易，我们人类自己其实也是，很多电影，电视剧里，某些隐藏的邪恶 Boss，一开始也是好人，辛辛苦苦做好人做了几十年，然后一个不小心，或者被社会欺负的，发现好人没法做，逼到绝路，毅然变坏，其实，在日常场景中，这种事情也挺常见的。

做好人，需要不断的克制，坚持，以及控制自己过度的欲望和需求。

而做坏人，很多时候，也许只要随性就可以了。

幸好，在人类社会中，我们还有一些中间的选择，不苛求做圣人，做完美无缺，一言一行，一举一动皆合于情，止于理，这忒难了，但我们可以给自己留一点底线，有哪些事情是不能做，有哪些错误是不能犯的。保留底线的基础上，酌情力所能及的做一点好事，我认为这就可以了。

回到机器，深度学习，系统，我们也许做不到无比的严谨，无比的逻辑正确，以及无比的完美无瑕，是的，必须承认缺陷是必然存在的，问题是必然会有的，在这个基础上，我们要给系统的设计留一条底线，就是错误发生的时候，有一条救命的规则，可以让它不要滑向无尽深渊，可以尽可能在一个边界点止损。

就好比，我们做数据库 DBA 的常识，第一，你肯定要程序员小心不要 SQL 注入，肯定要把密码设计的够复杂，肯定要限制链接数据库的 ip，肯定不允许前段程序用 root 登录，肯定要做一系列这样的防护，但是这样就够了么？这些都做了，你依然会担心这里存在风险；所以，第二，要做热备，不间断备份数据，防止前面各种意外风险的发生。但这样就够了么？ 第三，还要做冷备，就是不管你前面多严谨，都要担心说，万一真的逻辑不严谨被人家 SQL 注入会不会一个 drop table 或 delete * from table where 1 直接把你线上和热备分分钟全干掉。这时候你只能靠冷备救命，这玩意肯定不能全恢复，但就是给你止损的。

这个冷备就是 DBA 系统设计的底线；我们做 IT 系统的时候，这个思路也是非常常见的，太多系统都必须有一个非常紧急的恢复和救命的设计，设计师希望一辈子都不要看到这个设计生效，但一旦出大事了这个设计可能真的可以给系统救命。

一个好的系统，需要持续不断的用心维持，用心控制，以及不断用正确严谨的策略来优化和更；一个坏的系统，随便哪个环节有个疏漏就会出现，都不一定需要坏人来控制。

我们无法杜绝系统变化，我们可以做的，就是真的发现它坏的时候，我们还能约束它，控制它。

不管是人，还是系统，变坏真的很容易。 

架构师大会快开了，其实以后希望有心人可以搞个专题，系统灾难救命策略设计。其实很多大公司的系统都有这种设计，但没有人专门拎出来，面对人工智能和其他新的玩意（比如生物基因，你们知道么，这个领域最近这些年突破太大了！ 黑科技越来越多，我也在恶补中。），我认为这个课题的价值越来越大。