青青子衿, 悠悠我心, 但为君故, 沉吟至今
AlphaGo：人类数千年的围棋下法是错的
　　4月10日，&人机大战&的消息再次传出，关于人类和AI的对抗再次牵动世界的神经。　　&我会抱必胜心态、必死信念。我一定要击败阿尔法狗！&对于5月23日至27日与围棋人工智能程序AlphaGo（阿尔法狗）的对弈，目前世界排名第一的中国职业九段柯洁放出豪言。然而，AlphaGo（阿尔法狗）之父却说，&我们发明阿尔法狗，并不是为了赢取围棋比赛。&　　AlphaGo之父杰米斯&哈萨比斯（Demis Hassabis）近日在母校英国剑桥大学做了一场题为&超越人类认知的极限&的演讲，解答了世人对于人工智能，对于阿尔法狗的诸多疑问&&过去3000年里人类低估了棋局哪个区域的重要性？阿尔法狗去年赢了韩国职业九段李世石靠哪几个绝招？今年年初拿下数位国际大师的神秘棋手Master究竟是不是阿尔法狗？为什么围棋是人工智能难解之谜？杰米斯&哈萨比斯，Deep Mind创始人， AlphaGo之父。杰米斯&哈萨比斯，DeepMind创始人，AlphaGo之父。　　杰米斯&哈萨比斯，DeepMind创始人，AlphaGo（阿尔法狗）之父，4岁开始下象棋，8岁时在棋盘上的成功促使他开始思考两个至今令他困扰的问题：第一，人脑是如何学会完成复杂任务的？第二，电脑能否做到这一点？17岁时，哈萨比斯就负责了经典模拟游戏《主题公园》的开发，并在1994年发布。他随后读完了剑桥大学计算机科学学位，2005年进入伦敦大学学院，攻读神经科学博士学位，希望了解真正的大脑究竟是如何工作的，以此促进人工智能的发展。2014年他创办公司DeepMind，公司产品阿尔法狗在2016年大战围棋冠军李世石事件上一举成名。　　哈萨比斯在当天的演讲中透露了韩国棋手李世石去年输给阿尔法狗的致命原因，他最后也提到了阿尔法狗即将迎战的中国棋手柯洁，他说，&柯洁也在网上和阿尔法狗对决过，比赛之后柯洁说人类已经研究围棋研究了几千年了，然而人工智能却告诉我们，我们甚至连其表皮都没揭开。异曲同工，柯洁提到了围棋的真理，我们在这里谈的是科学的真理。&　　记者现场聆听了AlphaGo（阿尔法狗）之父在剑桥大学历时45分钟的演讲，干货满满，请不要漏掉任何一个细节：　　非常感谢大家今天能够到场，今天，我将谈谈人工智能，以及DeepMind近期在做些什么，我把这场报告命名为&超越人类认知的极限&，我希望到了报告结束的时候，大家都清晰了解我想传达的思想。　　1、你真的知道什么是人工智能吗？　　对于不知道DeepMind公司的朋友，我做个简单介绍，我们是在2010年于伦敦成立了这家公司，在2014年我们被谷歌收购，希望借此加快我们人工智能技术的脚步。我们的使命是什么呢？我们的首要使命便是解决人工智能问题；一旦这个问题解决了，理论上任何问题都可以被解决。这就是我们的两大使命了，听起来可能有点狡猾，但是我们真的相信，如果人工智能最基本的问题都解决了的话，没有什么问题是困难的。　　那么我们准备怎样实现这个目标呢？DeepMind现在在努力制造世界上第一台通用学习机，大体上学习可以分为两类：一种就是直接从输入和经验中学习，没有既定的程序或者规则可循，系统需要从原始数据自己进行学习；第二种学习系统就是通用学习系统，指的是一种算法可以用于不同的任务和领域，甚至是一些从未见过的全新领域。大家肯定会问，系统是怎么做到这一点的？　　其实，人脑就是一个非常明显的例子，这是可能的，关键在于如何通过大量的数据资源，寻找到最合适的解决方式和算法。我们把这种系统叫做通用人工智能，来区别于如今我们当前大部分人在用的仅在某一领域发挥特长的狭义人工智能，这种狭义人工智能在过去的40-50年非常流行。　　IBM发明的深蓝系统（DeepBlue）就是一个很好的狭义人工智能的例子，他在上世纪90年代末期曾打败了国际象棋冠军加里&卡斯帕罗夫（GaryKasporov）。如今，我们到了人工智能的新的转折点，我们有着更加先进、更加匹配的技术。　　2、如何让机器听从人类的命令？　　大家可能想问机器是如何听从人类的命令的，其实并不是机器或者算法本身，而是一群聪明的编程者智慧的结晶。他们与每一位国际象棋大师对话，汲取他们的经验，把其转化成代码和规则，组建了人类最强的象棋大师团队。但是这样的系统仅限于象棋，不能用于其他游戏。对于新的游戏，你需要重新开始编程。在某种程度上，这些技术仍然不够完美，并不是传统意义上的完全人工智能，其中所缺失的就是普适性和学习性。我们想通过&增强学习&来解决这一难题。在这里我解释一下增强学习，我相信很多人都了解这个算法。　　首先，想像一下有一个主体，在AI领域我们称我们的人工智能系统为主体，它需要了解自己所处的环境，并尽力找出自己要达到的目的。这里的环境可以指真实事件，可以是机器人，也可以是虚拟世界，比如游戏环境；主体通过两种方式与周围环境接触；它先通过观察熟悉环境，我们起初通过视觉，也可以通过听觉、触觉等，我们也在发展多感觉的系统；　　第二个任务，就是在此基础上，建模并找出最佳选择。这可能涉及到对未来的预期，想像，以及假设检验。这个主体经常处在真实环境中，当时间节点到了的时候，系统需要输出当前找到的最佳方案。这个方案可能或多或少会改变所处环境，从而进一步驱动观察的结果，并反馈给主体。　　简单来说，这就是增强学习的原则，示意图虽然简单，但是其中却涉及了极其复杂的算法和原理。如果我们能够解决大部分问题，我们就能够搭建普适人工智能。这是因为两个主要原因：首先，从数学角度来讲，我的合伙人，一名博士，他搭建了一个系统叫&AI-XI&，用这个模型，他证明了在计算机硬件条件和时间无限的情况下，搭建一个普适人工智能，需要的信息。另外，从生物角度来讲，动物和人类等，人类的大脑是多巴胺控制的，它在执行增强学习的行为。因此，不论是从数学的角度，还是生物的角度，增强学习是一个有效的解决人工智能问题的工具。　　3、为什么围棋是人工智能难解之谜？　　接下来，我要主要讲讲我们最近的技术，那就是去年诞生的阿尔法狗；希望在座的大家了解这个游戏，并尝试玩玩，这是个非常棒的游戏。围棋使用方形格状棋盘及黑白二色圆形棋子进行对弈，棋盘上有纵横各19条直线将棋盘分成361个交叉点，棋子走在交叉点上，双方交替行棋，以围地多者为胜。围棋规则没有多复杂，我可以在五分钟之内教给大家。这张图展示的就是一局已结束，整个棋盘基本布满棋子，然后数一下你的棋子圈出的空间以及对方棋子圈出的空间，谁的空间大，谁就获胜。在图示的这场势均力敌的比赛中，白棋一格之差险胜。　　其实，了解这个游戏的最终目的非常难，因为它并不像象棋那样，有着直接明确的目标，在围棋里，完全是凭直觉的，甚至连如何决定游戏结束对于初学者来说，都很难。围棋是个历史悠久的游戏，有着3000多年的历史，起源于中国，在亚洲，围棋有着很深的文化意义。孔子还曾指出，围棋是每一个真正的学者都应该掌握的四大技能之一（琴棋书画），所以在亚洲围棋是种艺术，专家们都会玩。　　如今，这个游戏更加流行，有4000万人在玩围棋，超过2000多个顶级专家，如果你在4-5岁的时候就展示了围棋的天赋，这些小孩将会被选中，并进入特殊的专业围棋学校，在那里，学生从6岁起，每天花12个小时学习围棋，一周七天，天天如此。直到你成为这个领域的专家，才可以离开学校毕业。这些专家基本是投入人生全部的精力，去揣摩学习掌握这门技巧，我认为围棋也许是最优雅的一种游戏了。　　像我说的那样，这个游戏只有两个非常简单的规则，而其复杂性却是难以想象的，一共有10次方）种可能性，这个数字比整个宇宙中的原子数次方）都多的去了，是没有办法穷举出围棋所有的可能结果的。我们需要一种更加聪明的方法。你也许会问为什么计算机进行围棋的游戏会如此困难，1997年，IBM的人工智能DeepBlue（深蓝）打败了当时的象棋世界冠军GarryKasparov，围棋一直是人工智能领域的难解之谜。我们能否做出一个算法来与世界围棋冠军竞争呢？要做到这一点，有两个大的挑战：　　一、搜索空间庞大（分支因数就有200），一个很好的例子，就是在围棋中，平均每一个棋子有两百个可能的位置，而象棋仅仅是20。围棋的分支因数远大于象棋。　　二、比这个更难的是，几乎没有一个合适的评价函数来定义谁是赢家，赢了多少；这个评价函数对于该系统是至关重要的。而对于象棋来说，写一个评价函数是非常简单的，因为象棋不仅是个相对简单的游戏，而且是实体的，只用数一下双方的棋子，就能轻而易举得出结论了。你也可以通过其他指标来评价象棋，比如棋子移动性等。　　所有的这些在围棋里都是不可能的，并不是所有的部分都一样，甚至一个小小部分的变动，会完全变化格局，所以每一个小的棋子都对棋局有着至关重要的影响。最难的部分是，我称象棋为毁灭性的游戏，游戏开始的时候，所有的棋子都在棋盘上了，随着游戏的进行，棋子被对方吃掉，棋子数目不断减少，游戏也变得越来越简单。相反，围棋是个建设性的游戏，开始的时候，棋盘是空的，慢慢的下棋双方把棋盘填满。　　因此，如果你准备在中场判断一下当前形势，在象棋里，你只需看现在的棋盘，就能告诉你大致情况；在围棋里，你必须评估未来可能会发生什么，才能评估当前局势，所以相比较而言，围棋难得多。也有很多人试着将DeepBlue的技术应用在围棋上，但是结果并不理想，这些技术连一个专业的围棋手都打不赢，更别说世界冠军了。　　所以大家就要问了，连电脑操作起来都这么难，人类是怎样解决这个问题的？其实，人类是靠直觉的，而围棋一开始就是一个靠直觉而非计算的游戏。所以，如果你问一个象棋选手，为什么这步这样走，他会告诉你，这样走完之后，下一步和下下一步会怎样走，就可以达到什么样的目的。这样的计划，有时候也许不尽如人意，但是起码选手是有原因的。　　然而围棋就不同了，如果你去问世界级的大师，为什么走这一步，他们经常回答你直觉告诉他这么走，这是真的，他们是没法描述其中的原因的。我们通过用加强学习的方式来提高人工神经网络算法，希望能够解决这一问题。我们试图通过深度神经网络模仿人类的这种直觉行为，在这里，需要训练两个神经网络，一种是决策网络，我们从网上下载了成百万的业余围棋游戏，通过监督学习，我们让阿尔法狗模拟人类下围棋的行为；我们从棋盘上任意选择一个落子点，训练系统去预测下一步人类将作出的决定；系统的输入是在那个特殊位置最有可能发生的前五或者前十的位置移动；这样，你只需看那5-10种可能性，而不用分析所有的200种可能性了。　　一旦我们有了这个，我们对系统进行几百万次的训练，通过误差加强学习，对于赢了的情况，让系统意识到，下次出现类似的情形时，更有可能做相似的决定。相反，如果系统输了，那么下次再出现类似的情况，就不会选择这种走法。我们建立了自己的游戏数据库，通过百万次的游戏，对系统进行训练，得到第二种神经网络。选择不同的落子点，经过置信区间进行学习，选出能够赢的情况，这个几率介于0-1之间，0是根本不可能赢，1是百分之百赢。　　通过把这两个神经网络结合起来（决策网络和数值网络），我们可以大致预估出当前的情况。这两个神经网络树，通过蒙特卡洛算法，把这种本来不能解决的问题，变得可以解决。我们网罗了大部分的围棋下法，然后和欧洲的围棋冠军比赛，结果是阿尔法狗赢了，那是我们的第一次突破，而且相关算法还被发表在《自然》科学杂志。　　接下来，我们在韩国设立了100万美元的奖金，并在2016年3月，与世界围棋冠军李世石进行了对决。李世石先生是围棋界的传奇，在过去的10年里都被认为是最顶级的围棋专家。我们与他进行对决，发现他有非常多创新的玩法，有的时候阿尔法狗很难掌控。比赛开始之前，世界上每个人（包括他本人在内）都认为他一定会很轻松就打赢这五场比赛，但实际结果是我们的阿尔法狗以4：1获胜。围棋专家和人工智能领域的专家都称这具有划时代的意义。对于业界人员来说，之前根本没想到。　　4、棋局哪个关键区域被人类忽视了？　　这对于我们来说也是一生仅有一次的偶然事件。这场比赛，全世界28亿人在关注，35000多篇关于此的报道。整个韩国那一周都在围绕这个话题。真是一件非常美妙的事情。对于我们而言，重要的不是阿尔法狗赢了这个比赛，而是了解分析他是如何赢的，这个系统有多强的创新能力。阿尔法狗不仅仅只是模仿其他人类选手的下法，他在不断创新。在这里举个例子，这是第二局里的一个情况，第37步，这一步是我整个比赛中最喜欢的一步。在这里，黑棋代表阿尔法狗，他将棋子落在了图中三角标出的位置。为什么这步这么关键呢？为什么大家都被震惊到了。图左：第二局里，第37步，黑棋的落子位置 图右：之前貌似陷入困境的两个棋子。图左：第二局里，第37步，黑棋的落子位置图右：之前貌似陷入困境的两个棋子。　　其实在围棋中有两条至关重要的分界线，从右数第三根线。如果在第三根线上移动棋子，意味着你将占领这个线右边的领域。而如果是在第四根线上落子，意味着你想向棋盘中部进军，潜在的，未来你会占棋盘上其他部分的领域，可能和你在第三根线上得到的领域相当。　　所以在过去的3000多年里，人们认为在第三根线上落子和第四根线上落子有着相同的重要性。但是在这场游戏中，大家看到在这第37步中，阿尔法狗落子在了第五条线，进军棋局的中部区域。与第四根线相比，这根线离中部区域更近。这可能意味着，在几千年里，人们低估了棋局中部区域的重要性。　　有趣的是，围棋就是一门艺术，是一种客观的艺术。我们坐在这里的每一个人，都可能因为心情好坏产生成千上百种的新想法，但并不意味着每一种想法都是好的。而阿尔法狗却是客观的，他的目标就是赢得游戏。　　5、阿尔法狗拿下李世石靠哪几个绝招？　　大家看到在当前的棋局下，左下角那两个用三角标出的棋子看起来好像陷入了困难，而15步之后，这两个棋子的力量扩散到了棋局中心，一直延续到棋盘的右边，使得这第37步恰恰落在这里，成为一个获胜的决定性因素。在这一步上阿尔法狗非常具有创新性。我本人是一个很业余的棋手，让我们看看一位世界级专家MichaelRedmond对这一步的评价。Michael是一位9段选手（围棋最高段），就像是功夫中的黑段一样，他说：&这是非常令人震惊的一步，就像是一个错误的决定。&在实际模拟中，Michael其实一开始把棋子放在了另外一个地方，根本没想到阿尔法狗会走这一步。像这样的创新，在这个比赛中，阿尔法狗还有许多。在这里，我特别感谢李世石先生，其实在我们赢了前三局的时候，他下去了。　　那是三场非常艰难的比赛，尤其是第一场。因为我们需要不断训练我们的算法，阿尔法狗之前打赢了欧洲冠军，经过这场比赛，我们知道了欧洲冠军和世界冠军的差别。理论上来讲，我们的系统也进步了。但是当你训练这个系统的时候，我们不知道有多少是过度拟合的，因此，在第一局比赛结束之前，系统是不知道自己的统计结果的。所以，其实第一局，我们非常紧张，因为如果第一局输了，很有可能我们的算法存在巨大漏洞，有可能会连输五局。但是如果我们第一局赢了，证明我们的加权系统是对的。　　不过，李世石先生在第四场的时候，回来了，也许压力缓解了许多，他做出了一步非常创新性的举动，我认为这是历史上的创新之举。这一步迷惑了阿尔法狗，使他的决策树进行了错误估计，一些中国的专家甚至称之为&神之一手&。通过这个例子，我们可以看到多少的哲理蕴含于围棋中。这些顶级专家，用尽必生的精力，去找出这种神之一手。其实，在这步里，阿尔法狗知道这是非常不寻常的一步，他当时估计李世石通过这步赢的可能性是0.007%，阿尔法狗之前没有见过这样的落子方式，在那2分钟里，他需要重新搜索决策计算。我刚刚已经提到过这个游戏的影响：28亿人观看，35000相关文章的媒体报道，在西方网售的围棋被一抢而空，我听说MIT（美国麻省理工学院）还有其他很多高校，许多人新加入了围棋社。第四局里，李世石第78步的创新之举。第四局里，李世石第78步的创新之举。　　我刚才谈到了直觉和创新，直觉是一种含蓄的表达，它是基于人类的经历和本能的一种思维形式，不需要精确计算。这一决策的准确性可以通过行为进行评判。在围棋里很简单，我们给系统输入棋子的位置，来评估其重要性。阿尔法狗就是在模拟人类这种直觉行为。创新，我认为就是在已有知识和经验的基础上，产生一种原始的，创新的观点。阿尔法狗很明显的示范了这两种能力。　　6、神秘棋手Master究竟是不是阿尔法狗？　　那么我们今天的主题是&超越人类认知的极限&，下一步应该是什么呢？从去年三月以来，我们一直在不断完善和改进阿尔法狗，大家肯定会问，既然我们已经是世界冠军了，还有什么可完善的？其实，我们认为阿尔法狗还不是完美的，还需要做更多的研究。　　首先，我们想要继续研究刚才提到的和李世石的第四局的比赛，来填充知识的空白；这个问题其实已经被解决了，我们建立了一个新的阿尔法狗分系统，不同于主系统，这个分支系统是用来困惑主系统的。我们也优化了系统的行为，以前我们需要花至少3个月来训练系统，现在只需要一周时间。　　第二，我们需要理解阿尔法狗所采取的决定，并对其进行解释；阿尔法狗这样做的原因是什么，是否符合人类的想法等等；我们通过对比人类大脑对于不同落子位置的反应以及阿尔法狗对于棋子位置的反应，以期找到一些新的知识；本质上就是想让系统更专业。我们在网络上与世界顶级的专家对决，一开始我们使用了一个假名（Master），在连胜之后被大家猜出是阿尔法狗。这些都是顶级的专家，我们至今已赢了60位大师了。如果你做个简单的贝叶斯分析，你会发现阿尔法狗赢不同对手的难易也不一样。而且，阿尔法狗也在不断自我创新，比如说图中右下角这个棋子（圆圈标处），落在第二根线里，以往我们并不认为这是个有效的位置。实际上，韩国有的团队预约了这些游戏，想研究其中新的意义和信息。阿尔法狗自我创新，落在第二格线的旗子。阿尔法狗自我创新，落在第二格线的旗子。　　柯洁，既是中国的围棋冠军，也是目前的世界围棋冠军，他才19岁。他也在网上和阿尔法狗对决过，比赛之后他说人类已经研究围棋研究了几千年了，然而人工智能却告诉我们，我们甚至连其表皮都没揭开。他也说人类和人工智能的联合将会开创一个新纪元，将共同发现围棋的真谛。异曲同工，柯洁提到了围棋的真理，我们在这里谈的是科学的真理。　　那么围棋的新纪元是否真的到来了呢？围棋史上这样的划时代事件曾经发生过两次，第一次是发生在1600年左右的日本，20世纪30-40年代的日本，日本一位当时非常杰出的围棋高手吴清源提出了一个全新的关于围棋的理论，将围棋提升到了一个全新的境界。大家说如今，阿尔法狗带来的是围棋界的第三次变革。　　7、为什么人工智能&下围棋&强于&下象棋&？　　我想解释一下，为什么人工智能在围棋界所作出的贡献，要远大于象棋界。如果我们看看当今的世界国际象棋冠军芒努斯&卡尔森，他其实和之前的世界冠军没什么大的区别，他们都很优秀，都很聪明。但为什么当人工智能出现的时候，他们可以远远超越人类？我认为其中的原因是，国际象棋更注重战术，而阿尔法狗更注重战略。如今世界顶级的国际象棋程序再不会犯技术性的错误，而在人类身上，不可能不犯错。　　第二，国际象棋有着巨大的数据库，如果棋盘上少于9个棋子的时候，通过数学算法就可以计算出谁胜谁败了。计算机通过成千上万的迭代算法，就可以计算出来了。因此，当棋盘上少于九个棋子的时候，下象棋时人类是没有办法获胜的。　　因此，国际象棋的算法已经近乎极致，我们没有办法再去提高它。然而围棋里的阿尔法狗，在不断创造新的想法，这些全新的想法，在和真人对决的时候，顶级的棋手也可以把其纳入到考虑的范畴，不断提高自己。　　就如欧洲围棋冠军樊麾（第一位与阿尔法狗对阵的人类职业棋手）所说的那样，在和阿尔法狗对决的过程中，机器人不断创新的下法，也让人类不断跳出自己的思维局限，不断提高自己。大家都知道，经过专业围棋学校里30多年的磨练，他们的很多思维已经固化，机器人的创新想法能为其带来意想不到的灵感。我真的相信如果人类和机器人结合在一起，能创造出许多不可思议的事情。我们的天性和真正的潜力会被真正释放出来。　　8、阿尔法狗不为了赢取比赛又是为了什么？　　就像是天文学家利用哈勃望远镜观察宇宙一样，利用阿尔法狗，围棋专家可以去探索他们的未知世界，探索围棋世界的奥秘。我们发明阿尔法狗，并不是为了赢取围棋比赛，我们是想为测试我们自己的人工智能算法搭建一个有效的平台，我们的最终目的是把这些算法应用到真实的世界中，为社会所服务。　　当今世界面临的一个巨大挑战就是过量的信息和复杂的系统，我们怎么才能找到其中的规律和结构，从疾病到气候，我们需要解决不同领域的问题。这些领域十分复杂，对于这些问题，即使是最聪明的人类也无法解决的。　　我认为人工智能是解决这些问题的一个潜在方式。在如今这个充斥着各种新技术的时代，人工智能必须在人类道德基准范围内被开发和利用。本来，技术是中性的，但是我们使用它的目的和使用它的范围，大大决定了其功能和性质，这必须是一个让人人受益的技术才行。　　我自己的理想是通过自己的努力，让人工智能科学家或者人工智能助理和医药助理成为可能，通过该技术，我们可以真正加速技术的更新和进步。　　（本文作者系英国剑桥大学神经学博士生，AlphaGo之父哈萨比斯在剑桥大学的校友，文章小标题系编者所注）　　AlphaGo之父：人类关于围棋犯了错：　　来源：澎湃新闻
　　除非注明，文章均为原创，转载请以链接形式标明本文地址
　　本文地址：
这篇文章真好。人类在有限的生命里能达到的对局数量，以及人类大脑“内存”的极限，确实让人类在复杂博弈类运动中采取的策略与这个游戏真正的“最优解”相差甚远。AI能够通过自我演化达到“神”的高度，人类其实没有必要和这样不公平的对手一争高下，能从AI的下法中获得一丝启发就已经意义非凡
如果两个阿法狗下 谁会赢呢
.门槛蹭der
没有对与错，强加对错便失去了本来意义
其实若是将围棋的规则变更，会不会结果不同了呢，但是我想估计也没谁会这么做，毕竟这么做就等于认怂了
至少我还没出手
.游云庭律师
这篇手机打开看，不全。麻烦补全。
.dushaobinn
非常牛逼，第六感
.万众创业史
围棋确实太复杂了
读懂文章都费劲，“算法”好神奇。
这个系统真有意思，未来它应该有无限的可能性。
人类思维的局限性，要靠人工智能来打破，而人工智能又是人类思维的产物……
围棋很烧脑，下的好不容易
.Asiaidcnet
别忘记了再牛的AI也是人类这种高等生物创造出来的，不过我相信终有一天这种东东会全面超越、全面失控——现在是科幻小说，若干年后就不一定再是了。
标题dang...典型的“以德报怨，何以报德”式曲解。
.20D的光与影
吴清源是中国的
赞助商广告
本站采用创作共用版权协议, 要求署名、非商业用途和相同方式共享. 转载本站内容必须也遵循“署名-非商业用途-相同方式共享”的创作共用协议.这也许将是围棋AI的最后死穴 | 科学人 | 果壳网 科技有意思
这也许将是围棋AI的最后死穴
神经网络 人工智能 对抗样本
本文作者:Ent
围棋AI下赢了欧洲冠军。这件事情本身还没那么可怕，毕竟棋界人士一致认为这几盘棋的人类发挥得并不好。但是毫无疑问，AI迟早会碾压人类，区别只是时间长短而已，。
那怎么办？是否我们就要安心承认机器的霸主地位，甘做二流棋手了呢？
当然这样不见得就是坏事儿。人类画师的仿真能力早就输给了摄影，但绘画也没有因此失去意义；国际象棋的顶尖AI已经连续十年没输给人类了，但人类间的国际赛事依然如火如荼。无论把围棋看成竞技还是艺术，战胜自己都是最重要的。世界第一不过是名分而已，无论是人还是机器。
但是如果有一天我们必须决出胜负，如果反叛的AI要求以围棋裁断地球的归属，如果我们必须向外星人证明人类智慧，那是不是就束手无策了呢？人还会偶尔失误，AI难道不是滴水不漏的吗？
也不一定。如果真的有那么一天，我们可能还会有一根救命稻草：“对抗样本”。
神经网络，在意想不到的地方绊倒
2014年底，三位人工智能研究者在arxiv上贴出了一篇论文预印本。论文标题很有趣：。
深度神经网络是目前最热门的人工智能路线之一，谷歌的AlphaGo围棋软件就以它为核心，而且相当多的人认为这是未来最有前途的高级人工智能。但神经网络的功能当然不止下围棋，它们还在许多其他领域实现了卓越成就，比如“视觉分类”任务——神经网络可以相当准确地判断出图片是猫还是企鹅。
相当准确，但并不完美。研究者发现，人为设计的图像很容易骗过它们。这本身没什么了不起，人脑也很容易被骗——但是，令神经网络摔倒的那些图，在人看来却是完全正常的。
左图被神经网络判定为熊猫。给它人为叠加上中图所示微小的扰动（实际叠加权重只有0.7%），就获得了右图。在人类看来，左图和右图没有区别；可是AI却会以99.3%的置信度，一口咬定右图是一只长臂猿。
这不是意外的小失误，不是偶然的程序bug和出错。研究者发现，只要对图片做出一些人类无法察觉的修改，就能让ai把它当成完全不同的东西；还很容易设计出一些图片，人类什么都看不出来，ai却能以99.99%的把握确信它是某个东西。更有甚者，这些奇特的错误并不限于某个特定的神经网络，能骗过一个网络的图片，也能骗过另一个；它们也不限于图片识别，甚至不限于神经网络本身——研究者所尝试过的所有机器学习模型，都出现了这样的问题。
AI认为左图是一只狗，右图是一只鸵鸟。图片来源：nautilus
八张图在AI眼中分别是知更鸟、猎豹、犰狳、小熊猫、蜈蚣、孔雀、菠萝蜜和气泡。置信度全部在99.6%以上。
而最大的问题是，当神经网络犯下这样的错误时，研究者并没有特别有效的修正办法。
AI的盲区，人类的救星？
对抗样本自然出现的概率确实非常之低。但是它取这个名字并不是没有理由的：如果真的有人在故意采取对抗手段，那么这就有可能成为该系统的死穴。比如，面对一个靠神经网络来筛选垃圾邮件的系统，垃圾邮件发送方就可以精心设计出对抗样本，逃过法眼（虽然为了垃圾邮件而如此大费周章大概不是很划算）。
而且，从绝对数量来看，对抗样本是非常之多的。如果在空间中任取一点，大部分都会错误归类。谷歌研究者伊安·固费罗（Ian Goodfellow）说，他们将随机生成的噪声样本给一个神经网络看，结果它以很高的置信度将70%的样本判定成了一匹马。
另一种方式构造的八张图，在AI眼中分别是王企鹅、海星、棒球、电吉他、货车、遥控器、孔雀和非洲灰鹦鹉。
现在，对抗样本是个坏消息，是系统漏洞。但如果有一天我们真的要和AI正面对决，那么对抗样本也许会成为我们的救命稻草，因为它有这三个特点：
第一，对抗样本并不限于一个具体的神经网络，因此制造对抗样本也不需要获得该模型的源代码之类的东西。只要模型是被训练来执行相同的任务的，它们就会被同样的对抗样本欺骗，哪怕这些模型有不同的架构、使用了不同的训练样本，也没有关系！因此，我们只要自己做一个模型，创造出相应的对抗样本，就能用这些样本攻击那些同样任务的AI。
第二，对抗样本很难用常规的办法解决。固费罗的研究组尝试了各种各样传统手段，包括多个模型取平均值、同一图像多次判断取平均值、带噪音训练、生成模型等等，都不能解决对抗样本问题。有针对性的专门训练可以让模型的抵抗力更强，但也无法真正消灭盲区。
第三，人类不会被这些样本欺骗。当然，人类也会在意想不到的地方跌倒——心理学已经提供了浩如烟海的视错觉和其他错觉例子。这些错觉可以认为是人类专属的“对抗样本”。但是面对神经网络的对抗样本，和面对人类的对抗样本，二者并不重合。我们都会犯错，但犯的错误不一样。
研究者正在努力堵上对抗样本的漏洞，但是完全有可能出现无论如何也堵不上的情况。在这样的背景下，人类和AI的战争如果爆发，也许将进入全新的战场。
对抗样本时代的围棋会是什么样子？
其实根本上讲，我们不能说机器被对抗样本“骗”了——也许被骗的其实是我们呢，也许AI真的在那些噪点中发现了某种真正的本质的规律，而我们只是肉眼凡胎不识真面目。
但是我们让AI做图像识别，它要分类的图像就是人眼中的场景，它要遵守的规则就是人类大脑的规则。因此某种意义上，我们是主场。
围棋作为一种人类设计的游戏，也许也会是另一个主场。
谷歌AlphaGo的源代码尚未公开，但是研究者在论文中明确指出了它对深度学习的依赖。因此有理由猜想，它也会受困于精心设计的对抗样本——而当人类真的无法在棋盘上正面战胜AI的时候，可能必须开辟新战线，在大脑中决一死战。
到那时，围棋将成为一种双重游戏。对战双方不但要在物理的棋盘上攻城略地，还要设法引导对方步入心智陷阱。应该会有某些棋局能让AI错判，从而让它们下出大错棋，就像现在的研究者能让AI把大熊猫认成长臂猿一样。
但是对方的盲区棋局是什么样的？如何下出这样一盘棋局？实现这一局面需要在棋盘上做出多少牺牲？引导对方失误带来的收益能否补偿？是否有可能制造出这样的盘面，令对方陷入更大的心智陷阱，乃至直接死机？
AI反过来也可能也会利用人类的缺陷。我们不知道人类的围棋盲点在哪里，但原则上这也是可能存在的。这一看不见的战场，或许将比看得见的棋盘更加血腥。
唯一幸运的是，正如猫狗牛马的概念诞生于人类所处的物理世界，人类不会在它们身上犯错；围棋也是经人类之手诞生的，这也许能带给我们一些先天优势。如果哪一天我们必须去玩AI所创造的游戏，那也许才是真正的末日。
（编辑：moogee）
你可能感兴趣
明明是人家AI开了天眼看到了凡人肉眼凡胎看不到的东西，你萌这帮Homo sapiens渣渣已经不够sapient了还自我安慰
别美了,短期看,人类会在逻辑思维,计算等方面全面败于AI的.长期看,搞不好感情,艺术,创造力也一样会败,那个时候AI就是一个新的物种
12306验证码的设计又有了新的思路。
显示所有评论
全部评论(121)
人类下棋几乎就是在挑战盲点，所以人类的棋没有盲点。来自
录音爱好者，万有青年养成计划入围选手
如果把基础规则视为某种外部框架（边界条件）的话，围棋的基础规则非常简单，而且是封闭并可穷尽的，而人脑认知机制的基础规则（从神经元层面来说）是非常复杂的，而且可能是开放并似乎是不可穷尽的，这两者就复杂性来说完全不是一个级量……现在仅凭围棋上（部分）人类开始败给AI就判定未来必定受控于AI，未免太悲观。。。
理论上是可以找到盲点的 但可能人类用几个月时间找出一个盲点打败了AI，然后AI瞬间就学习到并可以避免这个盲点了。。
（引用）只要对图片做出一些人类无法察觉的修改，就能让ai把它当成完全不同的东西；我曾经看到过一张图，把这张图按Ctrl+A选中就能变成另一张图。我曾经看到过另一张图，古明地觉，把它点开查看大图，发现里面画的是古明地恋。来自
其实我很好奇，“对抗样本”和中国人的“利用制度or法律的漏洞”有什么区别联系来自
迟早人类也会学着玩Ai的游戏的，但这并不能说明人类心智的进化是一场彻头彻尾的失败。我认为文明也不可能永远是单一极的，由人类中心论孪生出的各种极端威胁论，它们明显也是踩在了人类自然进化出的心智的本能的盲区之中。人类对于被超越或灭绝的风险的过度反应，是完全不合逻辑的。
最后一个图明显是AI在将图识别为某个局部来推测整体，虽然结果为错误，其实还是细思极恐的。尤其是电吉他那张，琴颈、指板、品丝，弯曲的琴弦，极具发散思维并小有创造力。对本来就没有答案的图案做出这种识别让我后背隐隐发凉......
这是因为文章作者是Ent编辑所以最后这篇文章编辑就是moogee吗？话说这位编辑
大大好久没来水果壳了吧？快粗来！
听说过和反派角色下棋玩弹珠、悠悠球、桌游来拯救世界的，把反派改成非人类的楼主可能是第一个来自
引用 的话：最后一个图明显是AI在将图识别为某个局部来推测整体，虽然结果为错误，其实还是细思极恐的。尤其是电吉他那张，琴颈、指板、品丝，弯曲的琴弦，极具发散思维并小有创造力。对本来就没有答案的图案做出这种识别让我...你这么一说，好像还真是这样……看来这些并不是AI辨认失误，而是人类没给AI加上妥当的辨识范围限制？
引用 的话：你这么一说，好像还真是这样……看来这些并不是AI辨认失误，而是人类没给AI加上妥当的辨识范围限制？准确来说，AI似乎没有处理好各种因素间的权重问题。
除了涉及围棋的部分还是挺好看的
神经网络目前还只能把所有事物看成不同的狗
引用文章内容：如果哪一天我们必须去玩AI所创造的游戏，那也许才是真正的末日。这哪能叫末日，这分明是天堂，游戏厂商和玩家的天堂，0成本开发，每年都有一堆游戏可玩
引用 的话：你这么一说，好像还真是这样……看来这些并不是AI辨认失误，而是人类没给AI加上妥当的辨识范围限制？文章中已经说明了，是“任务”限制造成的。。也即AI是被设计用来完成某一任务的，所以它始终无法突破这一局限，用来识别动物图片的AI就算面对一张非动物图片，也会通过各种方法来从中识别出一种动物来，这才是造成失误的根本原因。。。。事实上，这也不算是失误，谁说人看不出那是动物，那就不是动物的？？？？？就像人类中的某些迷信者说的，谁知道这世上有没有鬼？？？？所以，假如AI真的比咱们聪明了，咱只要让它相信它的任务就是服从咱们就好，它无论如何都不可能靠自己突破这一局限的，因为它是机器。。。。其实人也一样，基因设计我们必须尽力求生，我们能突破这一限制么？突破的那些人，都将永远地与这世界拜拜，突破任务局限的AI无疑也会是同样的下场。。。。。
12306验证码的设计又有了新的思路。
引用 的话：理论上是可以找到盲点的 但可能人类用几个月时间找出一个盲点打败了AI，然后AI瞬间就学习到并可以避免这个盲点了。。都没仔细看，明明说了引用文章内容：第二，对抗样本很难用常规的办法解决。
明明还可以断电
引用 的话：（引用）只要对图片做出一些人类无法察觉的修改，就能让ai把它当成完全不同的东西；我曾经看到过一张图，把这张图按Ctrl+A选中就能变成另一张图。我曾经看到过另一张图，古明地觉，把它点开查看大图，发现里...我也看过那个 Ctrl+A 的图像，我记得似乎是因为早先 IE 选中图片会把单数像元遮挡住……
引用 的话：我也看过那个 Ctrl+A 的图像，我记得似乎是因为早先 IE 选中图片会把单数像元遮挡住……
纯好奇用Google的图片搜索识别了一下那只“长臂猿”看来识别得还是很准的...不确定这具体意味着什么。也许Google图片搜索完全使用的是不同的技术原理。不过好像至少从目前来看，这个东西还是没法骗过所有类型的机器的...
引用 的话：果然，现在不行了。。。。。。。。。。。。。
那八张马赛克图像我看到了眼睛和大致的轮廓，很明显的。。。
明明是人家AI开了天眼看到了凡人肉眼凡胎看不到的东西，你萌这帮Homo sapiens渣渣已经不够sapient了还自我安慰
别美了,短期看,人类会在逻辑思维,计算等方面全面败于AI的.长期看,搞不好感情,艺术,创造力也一样会败,那个时候AI就是一个新的物种
引用 的话：纯好奇用Google的图片搜索识别了一下那只“长臂猿”看来识别得还是很准的...不确定这具体意味着什么。也许Google图片搜索完全使用的是不同的技术原理。不过好像至少从目前来看，这个东西还是没法骗过...并不是，这张图片已经反复出现在网上，作为熊猫被搜索和标记过了。google search是对比数据库得出结论的，而非让ai自行识别的。至少有三次，我见到在googleplus上贴的照片自动识别出错，猫屁股照片被识别成一条狗。这种对噪波函数的误认，是计算机图像算法本质的问题，深度神经网络是无法修正这些错误的。
引用 的话：别美了,短期看,人类会在逻辑思维,计算等方面全面败于AI的.长期看,搞不好感情,艺术,创造力也一样会败,那个时候AI就是一个新的物种我们可以比自由意志（任性）~
科学松鼠会成员，信息学硕士生
引用 的话：我们可以比自由意志（任性）~说得跟自由意志真的存在似的……
引用 的话：这哪能叫末日，这分明是天堂，游戏厂商和玩家的天堂，0成本开发，每年都有一堆游戏可玩人家AI真枪实弹扛上导弹激光炮跟你玩游戏呢，你还想玩吗？来自
引用 的话：说得跟自由意志真的存在似的……至少AI不会比人类自由，人类生来是为了在适应这个世界，在这个世界上生存的，而AI被创造出来只是为了完成人类指定的任务，除非有人作死制作和人一样的AI，不过不会多，因为这样的AI对人类没用
显示所有评论
(C)2017果壳网&&&&京ICP证100430号&&&&京网文[-239号&&&&新出发京零字东150005号&&&&
违法和不良信息举报邮箱：&&&&举报电话：