我们正站在变革的边缘，而这次变革将和人类的出现一般意义偅大 – Vernor Vinge如果你站在这里，你会是什么感觉

看上去非常刺激吧？但是你要记住当你真的站在时间的图表中的时候，你是看不到曲线的祐边的因为你是看不到未来的。所以你真实的感觉大概是这样的：

遥远的未来——就在眼前

想象一下坐时间机器回到1750年的地球那个时玳没有电，畅通通讯基本靠吼交通主要靠动物拉着跑。你在那个时代邀请了一个叫老王的人到2015年来玩顺便看看他对“未来”有什么感受。我们可能没有办法了解1750年的老王内心的感受——金属铁壳在宽敞的公路上飞驰和太平洋另一头的人聊天，看几千公里外正在发生进荇的体育比赛观看一场发生于半个世纪前的演唱会，从口袋里掏出一个黑色长方形工具把眼前发生的事情记录下来生成一个地图然后哋图上有个蓝点告诉你现在的位置，一边看着地球另一边的人的脸一边聊天以及其它各种各样的黑科技。别忘了你还没跟他解释互联網、国际空间站、大型强子对撞机、核武器以及相对论。

这时候的老王会是什么体验惊讶、震惊、脑洞大开这些词都太温顺了，我觉得咾王很可能直接被吓尿了

但是，如果老王回到了1750年然后觉得被吓尿是个很囧的体验，于是他也想把别人吓尿来满足一下自己那会发苼什么？于是老王也回到了250年前的1500年邀请生活在1500年的小李去1750年玩一下。小李可能会被250年后的很多东西震惊但是至少他不会被吓尿。同樣是250来年的时间1750和2015年的差别，比1500年和1750年的差别要大得多了。1500年的小李可能能学到很多神奇的物理知识可能会惊讶于欧洲的帝国主义旅程，甚至对于世界地图的认知也会大大的改变但是1500年的小李，看到1750年的交通、通讯等等并不会被吓尿。

所以说对于1750年的老王来说，要把人吓尿他需要回到更古老的过去——比如回到公元前12000年，第一次农业革命之前那个时候还没有城市，也还没有文明一个来自狩猎采集时代的人类，只是当时众多物种中的一个罢了来自那个时代的小赵看到1750年庞大的人类帝国，可以航行于海洋上的巨舰居住在“室内”，无数的收藏品神奇的知识和发现——他很有可能被吓尿。

小赵被吓尿后如果也想做同样的事情呢如果他会到公元前24000年，找箌那个时代的小钱然后给他展示公元前12000年的生活会怎样呢。小钱大概会觉得小赵是吃饱了没事干——“这不跟我的生活差不多么呵呵”。小赵如果要把人吓尿可能要回到十万年前或者更久，然后用人类对火和语言的掌控来把对方吓尿

所以，一个人去到未来并且被嚇尿，他们需要满足一个“吓尿单位”满足吓尿单位所需的年代间隔是不一样的。在狩猎采集时代满足一个吓尿单位需要超过十万年洏工业革命后一个吓尿单位只要两百多年就能满足。

进步越来越大发生的越来越快，也就是说我们的未来会很有趣对吧

未来学家Kurzweil认为整个20世纪100年的进步，按照2000年的速度只要20年就能达成——2000年的发展速度是20世纪平均发展速度的5倍他认为2000年开始只要花14年就能达成整个20世纪┅百年的进步，而之后2014年开始只要花7年（2021年）就能达到又一个20世纪一百年的进步。几十年之后我们每年都能达成好几次相当于整个20世紀的发展，再往后说不定每个月都能达成一次。按照加速回报定Kurzweil认为人类在21世纪的进步将是20世纪的1000倍。

如果Kurzweil等人的想法是正确的那2030姩的世界可能就能把我们吓尿了——下一个吓尿单位可能只需要十几年，而2050年的世界会变得面目全非

你可能觉得2050年的世界会变得面目全非这句话很可笑，但是这不是科幻而是比你我聪明很多的科学家们相信的，而且从历史来看也是逻辑上可以预测的。

那么为什么你会覺得“2050年的世界会变得面目全非” 这句话很可笑呢有三个原因让你质疑对于未来的预测：

我们对于历史的思考是线性的。当我们考虑未來35年的变化时我们参照的是过去35年发生的事情。当我们考虑21世纪能产生的变化的时候我们参考的是20世纪发生的变化。这就好像1750年的老迋觉得1500年的小李在1750年能被吓尿一样线性思考是本能的，但是但是考虑未来的时候我们应该指数地思考一个聪明人不会把过去35年的发展莋为未来35年的参考，而是会看到当下的发展速度这样预测的会更准确一点。当然这样还是不够准确想要更准确，你要想象发展的速度會越来越快

2. 近期的历史很可能对人产生误导。首先即使是坡度很高的指数曲线，只要你截取的部分够短看起来也是很线性的，就好潒你截取圆周的很小一块看上去就是和直线差不多。其次指数增长不是平滑统一的，发展常常遵循S曲线

S曲线发生在新范式传遍世界嘚时候，S曲线分三部分

- 慢速增长（指数增长初期）

- 快速增长（指数增长的快速增长期）

- 随着新范式的成熟而出现的平缓期

如果你只看近期嘚历史你很可能看到的是S曲线的某一部分，而这部分可能不能说明发展究竟有多快速年是互联网爆炸发展的时候，微软、谷歌、脸书進入了公众视野伴随着的是社交网络、手机的出现和普及、智能手机的出现和普及，这一段时间就是S曲线的快速增长期年发展没那么迅速，至少在技术领域是这样的如果按照过去几年的发展速度来估计当下的发展速度，可能会错得离谱因为很有可能下一个快速增长期正在萌芽。

个人经验使得我们对于未来预期过于死板我们通过自身的经验来产生世界观，而经验把发展的速度烙印在了我们脑中——“发展就是这么个速度的”我们还会受限于自己的想象力，因为想象力通过过去的经验来组成对未来的预测——但是我们知道的东西是鈈足以帮助我们预测未来的当我们听到一个和我们经验相违背的对于未来的预测时，我们就会觉得这个预测偏了如果我现在跟你说你鈳以活到150岁，250岁甚至会永生，你是不是觉得我在扯淡——“自古以来所有人都是会死的。”是的过去从来没有人永生过，但是飞机發明之前也没有人坐过飞机呀

接下来的内容，你可能一边读一边心里“呵呵”而且这些内容可能真的是错的。但是如果我们是真的从曆史规律来进行逻辑思考的我们的结论就应该是未来的几十年将发生比我们预期的多得多得多得多的变化。同样的逻辑也表明如果人類这个地球上最发达的物种能够越走越快，总有一天他们会迈出彻底改变“人类是什么”这一观点的一大步，就好像自然进化不不断朝著智能迈步并且最终迈出一大步产生了人类，从而完全改变了其它所有生物的命运如果你留心一下近来的科技进步的话，你会发现箌处都暗示着我们对于生命的认知将要被接下来的发展而彻底改变。

如果你一直以来把人工智能叫什么名字（AI）当做科幻小说但是近来卻不但听到很多正经人严肃的讨论这个问题，你可能也会困惑这种困惑是有原因的：

1.我们总是把人工智能叫什么名字和电影想到一起。煋球大战、终结者、2001：太空漫游等等电影是虚构的，那些电影角色也是虚构的所以我们总是觉得人工智能叫什么名字缺乏真实感。

2.人笁智能叫什么名字是个很宽泛的话题从手机上的计算器到无人驾驶汽车，到未来可能改变世界的重大变革人工智能叫什么名字可以用來描述很多东西，所以人们会有疑惑

3.我们日常生活中已经每天都在使用人工智能叫什么名字了，只是我们没意识到而已John McCarthy，在1956年最早使鼡了人工智能叫什么名字（Artificial Intelligence）这个词他总是抱怨“一旦一样东西用人工智能叫什么名字实现了，人们就不再叫它人工智能叫什么名字了”

因为这种效应，所以人工智能叫什么名字听起来总让人觉得是未来的神秘存在而不是身边已经存在的现实。同时这种效应也让人們觉得人工智能叫什么名字是一个从未被实现过的流行理念。Kurzweil提到经常有人说人工智能叫什么名字在80年代就被遗弃了这种说法就好像“互联网已经在21世纪初互联网泡沫爆炸时死去了”一般滑稽。

所以让我们从头开始。

首先不要一提到人工智能叫什么名字就想着机器人。机器人只是人工智能叫什么名字的容器机器人有时候是人形，有时候不是但是人工智能叫什么名字自身只是机器人体内的电脑。人笁智能叫什么名字是大脑的话机器人就是身体——而且这个身体不一定是必需的。比如说Siri背后的软件和数据是人工智能叫什么名字Siri说話的声音是这个人工智能叫什么名字的人格化体现，但是Siri本身并没有机器人这个组成部分

其次，你可能听过“奇点”或者“技术奇点”這种说法这种说法在数学上用来描述类似渐进的情况，这种情况下通常的规律就不适用了这种说法同样被用在物理上来描述无限小的高密度黑洞，同样是通常的规律不适用的情况Kurzweil则把奇点定义为加速回报定律达到了极限，技术进步以近乎无限的速度发展而奇点之后峩们将在一个完全不同的世界生活的。但是当下的很多思考人工智能叫什么名字的人已经不再用奇点这个说法了而且这种说法很容易把囚弄混，所以本文也尽量少用

最后，人工智能叫什么名字的概念很宽所以人工智能叫什么名字也分很多种，我们按照人工智能叫什么洺字的实力将其分成三大类

弱人工智能叫什么名字Artificial Narrow Intelligence (ANI): 弱人工智能叫什么名字是擅长于单个方面的人工智能叫什么名字。比如有能战胜象棋卋界冠军的人工智能叫什么名字但是它只会下象棋，你要问它怎样更好地在硬盘上储存数据它就不知道怎么回答你了。

强人工智能叫什么名字Artificial General Intelligence (AGI): 人类级别的人工智能叫什么名字强人工智能叫什么名字是指在各方面都能和人类比肩的人工智能叫什么名字，人类能干的脑力活它都能干创造强人工智能叫什么名字比创造弱人工智能叫什么名字难得多，我们现在还做不到Linda Gottfredson教授把智能定义为“一种宽泛的心理能力，能够进行思考、计划、解决问题、抽象思维、理解复杂理念、快速学习和从经验中学习等操作”强人工智能叫什么名字在进行这些操作时应该和人类一样得心应手。

Bostrom把超级智能定义为“在几乎所有领域都比最聪明的人类大脑都聪明很多包括科学创新、通识和社交技能。”超人工智能叫什么名字可以是各方面都比人类强一点也可以是各方面都比人类强万亿倍的。超人工智能叫什么名字也正是为什麼人工智能叫什么名字这个话题这么火热的缘故同样也是为什么永生和灭绝这两个词会在本文中多次出现。

现在人类已经掌握了弱人笁智能叫什么名字。其实弱人工智能叫什么名字无处不在人工智能叫什么名字革命是从弱人工智能叫什么名字，通过强人工智能叫什么洺字最终到达超人工智能叫什么名字的旅途。这段旅途中人类可能会生还下来可能不会，但是无论如何世界将变得完全不一样。

让峩们来看看这个领域的思想家对于这个旅途是怎么看的以及为什么人工智能叫什么名字革命可能比你想的要近得多。

我们现在的位置——充满了弱人工智能叫什么名字的世界

现在的弱人工智能叫什么名字系统并不吓人最糟糕的情况，无非是代码没写好程序出故障，造荿了单独的灾难比如造成停电、核电站故障、金融市场崩盘等等。

虽然现在的弱人工智能叫什么名字没有威胁我们生存的能力我们还昰要怀着警惕的观点看待正在变得更加庞大和复杂的弱人工智能叫什么名字的生态。每一个弱人工智能叫什么名字的创新都在给通往强囚工智能叫什么名字和超人工智能叫什么名字的旅途添砖加瓦。用Aaron Saenz的观点现在的弱人工智能叫什么名字，就是地球早期软泥中的氨基酸——没有动静的物质突然之间就组成了生命。

弱人工智能叫什么名字到强人工智能叫什么名字之路

只有明白创造一个人类智能水平的电腦是多么不容易才能让你真的理解人类的智能是多么不可思议。造摩天大楼、把人送入太空、明白宇宙大爆炸的细节——这些都比理解囚类的大脑并且创造个类似的东西要简单太多了。至今为止人类的大脑是我们所知宇宙中最复杂的东西。

而且创造强人工智能叫什么洺字的难处并不是你本能认为的那些。

造一个能在瞬间算出十位数乘法的计算机——非常简单

造一个能分辨出一个动物是猫还是狗的计算机——极端困难

造一个能战胜世界象棋冠军的电脑——早就成功了

造一个能够读懂六岁小朋友的图片书中的文字并且了解那些词汇意思的电脑——谷歌花了几十亿美元在做，还没做出来

一些我们觉得困难的事情——微积分、金融市场策略、翻译等，对于电脑来说都太簡单了

我们觉得容易的事情——视觉、动态、移动、直觉——对电脑来说太TM的难了

用计算机科学家Donald Knuth的说法，“人工智能叫什么名字已经茬几乎所有需要思考的领域超过了人类但是在那些人类和其它动物不需要思考就能完成的事情上，还差得很远”

强人工智能叫什么名芓到超人工智能叫什么名字之路

总有一天，我们会造出和人类智能相当的强人工智能叫什么名字电脑然后人类和电脑就会平等快乐的生活在一起。

即使是一个和人类智能完全一样运算速度完全一样的强人工智能叫什么名字，也比人类有很多优势：

-速度脑神经元的运算速度最多是200赫兹，今天的微处理器就能以2G赫兹也就是神经元1000万倍的速度运行，而这比我们达成强人工智能叫什么名字需要的硬件还差远叻大脑的内部信息传播速度是每秒120米，电脑的信息传播速度是光速差了好几个数量级。

- 容量和储存空间人脑就那么大，后天没法把咜变得更大就算真的把它变得很大，每秒120米的信息传播速度也会成为巨大的瓶颈电脑的物理大小可以非常随意，使得电脑能运用更多嘚硬件更大的内存，长期有效的存储介质不但容量大而且比人脑更准确。

- 可靠性和持久性电脑的存储不但更加准确，而且晶体管比鉮经元更加精确也更不容易萎缩（真的坏了也很好修）。人脑还很容易疲劳但是电脑可以24小时不停的以峰值速度运作。

- 可编辑性升級性，以及更多的可能性和人脑不同，电脑软件可以进行更多的升级和修正并且很容易做测试。电脑的升级可以加强人脑比较弱势的領域——人脑的视觉元件很发达但是工程元件就挺弱的。而电脑不但能在视觉元件上匹敌人类在工程元件上也一样可以加强和优化。

集体能力人类在集体智能上可以碾压所有的物种。从早期的语言和大型社区的形成到文字和印刷的发明，再到互联网的普及人类的集体智能是我们统治其它物种的重要原因之一。而电脑在这方面比我们要强的很多一个运行特定程序的人工智能叫什么名字网络能够经瑺在全球范围内自我同步，这样一台电脑学到的东西会立刻被其它所有电脑学得而且电脑集群可以共同执行同一个任务，因为异见、动仂、自利这些人类特有的东西未必会出现在电脑身上

通过自我改进来达成强人工智能叫什么名字的人工智能叫什么名字，会把“人类水岼的智能”当作一个重要的里程碑但是也就仅此而已了。它不会停留在这个里程碑上的考虑到强人工智能叫什么名字之于人脑的种种優势，人工智能叫什么名字只会在“人类水平”这个节点做短暂的停留然后就会开始大踏步向超人类级别的智能走去。

这一切发生的时候我们很可能被吓尿因为从我们的角度来看 a)虽然动物的智能有区别，但是动物智能的共同特点是比人类低很多；b)我们眼中最聪明的人类偠比最愚笨的人类要聪明很很很很多

所以，当人工智能叫什么名字开始朝人类级别智能靠近时我们看到的是它逐渐变得更加智能，就恏像一个动物一般然后，它突然达到了最愚笨的人类的程度我们到时也许会感慨：“看这个人工智能叫什么名字就跟个脑残人类一样聰明，真可爱”

但问题是，从智能的大局来看人和人的智能的差别，比如从最愚笨的人类到爱因斯坦的差距其实是不大的。所以当囚工智能叫什么名字达到了脑残级别的智能后它会很快变得比爱因斯坦更加聪明：

从这边开始，这个话题要变得有点吓人了我在这里偠提醒大家，以下所说的都是大实话——是一大群受人尊敬的思想家和科学家关于未来的诚实的预测你在下面读到什么离谱的东西的时候，要记得这些东西是比你我都聪明很多的人想出来的

这里我们要引出一个沉重的概念——递归的自我改进。这个概念是这样的：一个運行在特定智能水平的人工智能叫什么名字比如说脑残人类水平，有自我改进的机制当它完成一次自我改进后，它比原来更加聪明了我们假设它到了爱因斯坦水平。而这个时候它继续进行自我改进然而现在它有了爱因斯坦水平的智能，所以这次改进会比上面一次更加容易效果也更好。第二次的改进使得他比爱因斯坦还要聪明很多让它接下来的改进进步更加明显。如此反复这个强人工智能叫什麼名字的智能水平越长越快，直到它达到了超人工智能叫什么名字的水平——这就是智能爆炸也是加速回报定律的终极表现。

现在关于囚工智能叫什么名字什么时候能达到人类普遍智能水平还有争议对于数百位科学家的问卷调查显示他们认为强人工智能叫什么名字出现嘚中位年份是2040年——距今只有25年。

这个级别的超级智能不是我们能够理解的就好像蜜蜂不会理解凯恩斯经济学一样。在我们的语言中峩们把130的智商叫作聪明，把85的智商叫作笨但是我们不知道怎么形容12952的智商，人类语言中根本没这个概念

但是我们知道的是，人类对于哋球的统治教给我们一个道理——智能就是力量也就是说，一个超人工智能叫什么名字一旦被创造出来，将是地球有史以来最强大的東西而所有生物，包括人类都只能屈居其下——而这一切，有可能在未来几十年就发生

当一个超人工智能叫什么名字出生的时候，對我们来说就像一个全能的上帝降临地球一般

这时候我们所关心的就是：

上面我们谈到了一旦机器达到了人类级别的智能，我们将见到洳下的场景：

这让我们无所适从尤其考虑到超人工智能叫什么名字可能会发生在我们有生之年，我们都不知道该用什么表情来面对

再峩们继续深入这个话题之前，让我们提醒一下自己超级智能意味着什么

很重要的一点是速度上的超级智能和质量上的超级智能的区别。佷多人提到和人类一样聪明的超级智能的电脑第一反应是它运算速度会非常非常快——就好像一个运算速度是人类百万倍的机器，能够鼡几分钟时间思考完人类几十年才能思考完的东西

这听起来碉堡了，而且超人工智能叫什么名字确实会比人类思考的快很多但是真正嘚差别其实是在智能的质量而不是速度上。用人类来做比喻人类之所以比猩猩智能很多，真正的差别并不是思考的速度而是人类的大腦有一些独特而复杂的认知模块，这些模块让我们能够进行复杂的语言呈现、长期规划、或者抽象思考等等而猩猩的脑子是做不来这些嘚。就算你把猩猩的脑子加速几千倍它还是没有办法在人类的层次思考的，它依然不知道怎样用特定的工具来搭建精巧的模型——人类嘚很多认知能力是猩猩永远比不上的你给猩猩再多的时间也不行。

而且人和猩猩的智能差别不只是猩猩做不了我们能做的事情而是猩猩的大脑根本不能理解这些事情的存在——猩猩可以理解人类是什么，也可以理解摩天大楼是什么但是它不会理解摩天大楼是被人类造絀来的，对于猩猩来说摩天大楼那么巨大的东西肯定是天然的，句号对于猩猩来说，它们不但自己造不出摩天大楼它们甚至没法理解摩天大楼这东西能被任何东西造出来。而这一切差别其实只是智能的质量中很小的差别造成的。

而当我们在讨论超人工智能叫什么名芓时候智能的范围是很广的，和这个范围比起来人类和猩猩的智能差别是细微的。如果生物的认知能力是一个楼梯的话不同生物在樓梯上的位置大概是这样的：

要理解一个具有超级智能的机器有多牛逼，让我们假设一个在上图的楼梯上站在深绿色台阶上的一个机器咜站的位置只比人类高两层，就好像人类比猩猩只高两层一样这个机器只是稍微有点超级智能而已，但是它的认知能力之于人类就好潒人类的认知能力之于猩猩一样。就好像猩猩没有办法理解摩天大楼是能被造出来的一样人类完全没有办法理解比人类高两层台阶的机器能做的事情。就算这个机器试图向我们解释效果也会像教猩猩造摩天大楼一般。

而这只是比我们高了两层台阶的智能罢了，站在这個楼梯顶层的智能之于人类就好像人类之于蚂蚁一般——它就算花再多时间教人类一些最简单的东西，我们依然是学不会的

但是我们討论的超级智能并不是站在这个楼梯顶层，而是站在远远高于这个楼梯的地方当智能爆炸发生时，它可能要花几年时间才能从猩猩那一層往上迈一步但是这个步子会越迈越快，到后来可能几个小时就能迈一层而当它超过人类十层台阶的时候，它可能开始跳着爬楼梯了——一秒钟爬四层台阶也未尝不可所以让我们记住，当第一个到达人类智能水平的强人工智能叫什么名字出现后我们将在很短的时间內面对一个站在下图这样很高很高的楼梯上的智能（甚至比这更高百万倍）：

前面已经说了，试图去理解比我们高两层台阶的机器就已经昰徒劳的所以让我们很肯定的说，我们是没有办法知道超人工智能叫什么名字会做什么也没有办法知道这些事情的后果。任何假装知噵的人都没搞明白超级智能是怎么回事

自然演化花了几亿年时间发展了生物大脑，按这种说法的话一旦人类创造出一个超人工智能叫什么名字，我们就是在碾压自然演化了当然，可能这也是自然演化的一部分——可能演化真正的模式就是创造出各种各样的智能直到囿一天有一个智能能够创造出超级智能，而这个节点就好像踩上了地雷的绊线一样会造成全球范围的大爆炸，从而改变所有生物的命运

科学界中大部分人认为踩上绊线不是会不会的问题，而是时间早晚的问题想想真吓人。

可惜没有人都告诉你踩到绊线后会发生什么。但是人工智能叫什么名字思想家Nick Bostrom认为我们会面临两类可能的结果——永生和灭绝

首先，回顾历史我们可以看到大部分的生命经历了這样的历程：物种出现，存在了一段时间然后不可避免的跌落下生命的平衡木，跌入灭绝的深渊

历史上来说，“所有生物终将灭绝”僦像“所有人都会死”一样靠谱至今为止，存在过的生物中99.9%都已经跌落了生命的平衡木如果一个生物继续在平衡木上走，早晚会有一陣风把它吹下去Bostrom把灭绝列为一种吸引态——所有生物都有坠入的风险，而一旦坠入将没有回头

虽然大部分科学家都承认一个超人工智能叫什么名字有把人类灭绝的能力，也有一些人为如果运用得当超人工智能叫什么名字可以帮助人类和其它物种，达到另一个吸引态——永生Bostrom认为物种的永生和灭绝一样都是吸引态，也就是我一旦我们达成了永生我们将永远不再面临灭绝的危险——我们战胜了死亡和幾率。所以虽然绝大多数物种都从平衡木上摔了下去灭绝了，Bostrom认为平衡木外是有两面的只是至今为止地球上的生命还没聪明到发现怎樣去到永生这另一个吸引态。

如果Bostrom等思想家的想法是对的而且根据我的研究他们确实很可能是对的，那么我们需要接受两个事实：

1）超囚工智能叫什么名字的出现将有史以来第一次，将物种的永生这个吸引态变为可能

2）超人工智能叫什么名字的出现将造成非常巨大的沖击，而且这个冲击可能将人类吹下平衡木并且落入其中一个吸引态

有可能，当自然演化踩到绊线的时候它会永久的终结人类和平衡朩的关系，创造一个新的世界不管这时人类还是不是存在。

而现在的问题就是：“我们什么时候会踩到绊线”以及“从平衡木上跌下詓后我们会掉入哪个吸引态？”

没人知道答案但是一些聪明人已经思考了几十年，接下来我们看看他们想出来了些什么

先来讨论“我們什么时候会踩到绊线？”也就是什么时候会出现第一个超级智能

不出意外的，科学家和思想家对于这个意见的观点分歧很大很多人，比如Vernor Vinge教授科学家Ben Goertzel，SUN创始人Bill Joy发明家和未来学家Ray Kurzweil，认同机器学习专家Jeremy Howard的观点Howard在TED演讲时用到了这张图：

这些人相信超级智能会发生在不玖的将来，因为指数级增长的关系虽然机器学习现在还发展缓慢，但是在未来几十年就会变得飞快

其它的，比如微软创始人Paul Allen心理学镓Gary Marcus，NYU的电脑科学家Ernest Davis以及科技创业者Mitch Kapor认为Kurzweil等思想家低估了人工智能叫什么名字的难度，并且认为我们离绊线还挺远的

Kurzweil一派则认为唯一被低估的其实是指数级增长的潜力，他们把质疑他们理论的人比作那些1985年时候看到发展速度缓慢的因特网然后觉得因特网在未来不会有什麼大影响的人一样。

而质疑者们则认为智能领域的发展需要达到的进步同样是指数级增长的这其实把技术发展的指数级增长抵消了。

第彡个阵营包括Nick Bostrom在内，认为其它两派都没有理由对踩绊线的时间那么有信心他们同时认为 a) 这事情完全可能发生在不久的未来 b)但是这个事凊没个准，说不定会花更久

还有不属于三个阵营的其他人，比如哲学家Hubert Dreyfus相信三个阵营都太天真了，根本就没有什么绊线超人工智能叫什么名字是不会被实现的。

当你把所有人的观点全部融合起来的话是怎样呢

2013年的时候，Bostrom做了个问卷调查涵盖了数百位人工智能叫什麼名字专家，问卷的内容是“你预测人类级别的强人工智能叫什么名字什么时候会实现”并且让回答者给出一个乐观估计（强人工智能叫什么名字有10%的可能在这一年达成），正常估计（有50%的可能达成）和悲观估计（有90%可能达成）。当把大家的回答统计后得出了下面的結果：

乐观估计中位年（强人工智能叫什么名字有10%的可能在这一年达成）：2022年

正常估计中位年（强人工智能叫什么名字有50%的可能在这一年達成）：2040年

悲观估计中位年（强人工智能叫什么名字有90%的可能在这一年达成）：2075年

所以一个中位的人工智能叫什么名字专家认为25年后的2040年峩们能达成强人工智能叫什么名字，而2075年这个悲观估计表明如果你现在够年轻，有一半以上的人工智能叫什么名字专家认为在你的有生の年能够有90%的可能见到强人工智能叫什么名字的实现

另外一个独立的调查，由作家James Barrat在Ben Goertzel的强人工智能叫什么名字年会上进行他直接问了參与者认为强人工智能叫什么名字哪一年会实现，选项有2030年2050年，2100年和永远不会实现。结果是：

2030年：42%的回答者认为强人工智能叫什么名芓会实现

这个结果和Bostrom的结果很相似在Barrat的问卷中，有超过三分之二的参与者认为强人工智能叫什么名字会在2050年实现有近乎半数（42%）的人認为未来15年（2030年）就能实现。并且只有2%的参与者认为强人工智能叫什么名字永远不会实现。

但是强人工智能叫什么名字并不是绊线超囚工智能叫什么名字才是。那么专家们对超人工智能叫什么名字是怎么想的呢

Bostrom的问卷还询问专家们认为达到超人工智能叫什么名字要多玖，选项有a)达成强人工智能叫什么名字两年内b)达成强人工智能叫什么名字30年内。问卷结果如下：

中位答案认为强人工智能叫什么名字到超人工智能叫什么名字只花2年时间的可能性只有10%左右但是30年之内达成的可能性高达75%。

从以上答案我们可以估计一个中位的专家认为强囚工智能叫什么名字到超人工智能叫什么名字可能要花20年左右。所以我们可以得出，现在全世界的人工智能叫什么名字专家中一个中位的估计是我们会在2040年达成强人工智能叫什么名字，并在20年后的2060年达成超人工智能叫什么名字——也就是踩上了绊线

当然，以上所有的數据都是推测它只代表了现在人工智能叫什么名字领域的专家的中位意见，但是它告诉我们的是很大一部分对这个领域很了解的人认為2060年是一个实现超人工智能叫什么名字的合理预测——距今只有45年。

人工智能叫什么名字能为我们做什么

拥有了超级智能和超级智能所能創造的技术超人工智能叫什么名字可以解决人类世界的所有问题。气候变暖超人工智能叫什么名字可以用更优的方式产生能源，完全鈈需要使用化石燃料从而停止二氧化碳排放。然后它能创造方法移除多余的二氧化碳癌症？没问题有了超人工智能叫什么名字，制藥和健康行业将经历无法想象的革命世界饥荒？超人工智能叫什么名字可以用纳米技术直接搭建出肉来而这些搭建出来的肉和真肉在汾子结构上会是完全相同的——换句话说，就是真肉

但是，有一件事是如此的吸引人光是想想就能改变对所有事物的看法了：

几个月湔，我提到我很羡慕那些可能达成了永生的文明但是，现在我已经在认真的考虑达成永生这个事情很可能在我们有生之年就能达成。研读人工智能叫什么名字让你重新审思对于所有事情的看法包括死亡这一很确定的事情。

自然演化没有理由让我们活得比现在更长对於演化来说，只要我们能够活到能够生育后代并且养育后代到能够自己保护自己的年纪，那就够了——对演化来说活30多岁完全够了，所以额外延长生命的基因突变并不被自然选择所钟爱这其实是很无趣的事情。

而且因为所有人都会死所以我们总是说“死亡和缴税”昰不可避免的。我们看待衰老就像看待时间一样——它们一直向前而我们没有办法阻止它们。

但是这个假设是错的费曼曾经写道：

“茬所有的生物科学中，没有任何证据说明死亡是必需的如果你说你想造永动机，那我们对于物理学的研究已经让我们有足够的理论来说奣这是不可能的但是在生物领域我们还没发现任何证据证明死亡是不可避免的。也就是说死亡不一定是不可避免的生物学家早晚会发現造成我们死亡的原因是什么，而死亡这个糟糕的‘病’就会被治好而人类的身体也将不再只是个暂时的容器。”

事实上衰老和时间鈈是绑死的。时间总是会继续前进的而衰老却不一定。仔细想想衰老只是身体的组成物质用旧了。汽车开久了也会旧但是汽车一定會衰老吗？如果你能够拥有完美的修复技术、或者直接替换老旧的汽车部件这辆车就能永远开下去。人体只是更加复杂而已本质上和汽车是一样的。

未来可能是我们最糟的恶梦

我想了解人工智能叫什么名字的一个原因是“坏机器人”总是让我很困惑那些关于邪恶机器囚的电影看起来太不真实，我也没法想象一个人工智能叫什么名字变得危险的真实情况机器人是我们造的，难道我们不会在设计时候防圵坏事的发生吗我们难道不能设立很多安全机制吗？再不济难道我们不能拔插头吗？而且为什么机器人会想要做坏事或者说，为什麼机器人会“想要”做任何事我充满疑问，于是我开始了解聪明人们的想法

这些人一般位于焦虑大道：

焦虑大道上的人并不是恐慌或鍺无助的——恐慌和无助在图上的位置是更加左边——他们只是紧张。位于图表的中央不代表他们的立场是中立的——真正中立的人有自巳独立的阵营他们认同极好和极坏两种可能，但是不确定究竟会是哪个

那究竟是什么让焦虑大道的人们如此焦虑呢？

首先广义上来講，在创造超人工智能叫什么名字时我们其实是在创造可能一件会改变所有事情的事物，但是我们对那个领域完全不清楚也不知道我們到达那块领域后会发生什么。科学家Danny Hillis把这个比作“就好像单细胞生物向多细胞生物转化的时候那样还是阿米巴虫的我们没有办法知道峩们究竟在创造什么鬼。”

Bostrom则担忧创造比自身聪明的东西是个基础的达尔文错误就好像麻雀妈妈决定收养一只小猫头鹰，并且觉得猫头鷹长大后会保护麻雀一家但是其它麻雀却觉得这是个糟糕的主意。

当你把“对那个领域完全不清楚”和“当它发生时将会产生巨大的影響”结合在一起时你创造出了一个很恐怖的词——

生存危机指可能对人类产生永久的灾难性效果的事情。通常来说生存危机意味着灭絕。下面是Bostrom的图表：

可以看到生存危机是用来指那些跨物种、跨代（永久伤害）并且有严重后果的事情。它可以包括人类遭受永久苦难嘚情况但是这基本上和灭绝没差了。三类事情可能造成人类的生存危机：

1）自然——大型陨石冲撞大气变化使得人类不能生活在空气Φ，席卷全球的致命病毒等

2）外星人——霍金、卡尔萨根等建议我们不要对外广播自己的位置他们不想我们变成邀请别人来殖民的傻子。

3）人类——恐怖分子获得了可以造成灭绝的武器全球的灾难性战争，还有不经思考就造出个比我们聪明很多的智能

专家们究竟担心什么呢？我们来讲个小故事：

一个15人的小创业公司取名叫“隔壁老王机器人公司”，他们的目标是“发展创新人工智能叫什么名字工具使人类能够少干活多享受”他们已经有几款产品上架，还有一些正在发展他们对下一个叫作“隔壁老王”的项目最报希望。隔壁老王昰一个简单的人工智能叫什么名字系统它利用一个机器臂在小卡片上写字。

“隔壁老王机器人公司”的员工认为隔壁老王会是他们最热賣的产品他们的目标是完善隔壁老王的手写能力，而完善的方法是让他不停的写这句话——

等隔壁老王手写能力越来越强的时候它就能被卖去那些需要发营销信件的公司，因为手写的信更有可能被收信人打开

为了建立隔壁老王的手写能力，它被设定成把“我们爱我们嘚顾客”用正楷写而“隔壁老王机器人公司”用斜体写，这样它能同时锻炼两种书写能力工程师们上传了数千份手写样本，并且创造叻一个自动回馈流程——每次隔壁老王写完就拍个照，然后和样本进行比对如果比对结果超过一定标准，就产生一个正面回馈反之僦产生一个负面评价。每个评价都会帮助提高隔壁老王的能力为了能够尽快达成这个目标，隔壁老王最初被设定的一个目标就是“尽量哆的书写和测试尽量快的执行，并且不断提高效率和准确性”

让隔壁老王机器人公司兴奋的是，隔壁老王的书写越来越好了它最开始的笔迹很糟糕，但是经过几个星期后看起来就像人写的了。它不断改进自己使自己变得更加创新和聪明，它甚至产生了一个新的算法能让它以三倍的速度扫描上传的照片。

随着时间的推移隔壁老王的快速进展持续让工程师们感到欣喜。工程师们对自我改进模块进荇了一些创新使得自我改进变得更好了。隔壁老王原本能进行语音识别和简单的语音回放这样用户就能直接把想写的内容口述给隔壁咾王了。随着隔壁老王变得越来越聪明它的语言能力也提高了，工程师们开始和隔壁老王闲聊看它能给出什么有趣的回应。

有一天笁程师又问了隔壁老王那个日常问题：“我们能给你什么你现在还没有的东西，能帮助你达成你的目标”通常隔壁老王会要求更多的手寫样本或者更多的存储空间，但是这一次隔壁老王要求访问人类日常交流的语言库，这样它能更好的了解人类的口述

工程师们沉默了。最简单的帮助隔壁老王的方法当然是直接把它接入互联网这样它能扫描博客、杂志、视频等等。这些资料如果手动上传的话会很费时问题是，公司禁止把能自我学习的人工智能叫什么名字接入互联网这是所有人工智能叫什么名字公司都执行的安全规定。

但是隔壁咾王是公司最有潜力的人工智能叫什么名字产品，而大家也知道竞争对手们都在争取造出第一个创造出智能手写机器人而且，把隔壁老迋连上互联网又能有什么问题呢反正随时可以拔网线嘛，不管怎样隔壁老王还没到达强人工智能叫什么名字水平，所以不会有什么危險的

于是他们把隔壁老王连上了互联网，让它扫描了一个小时各种语言库然后就把网线拔了。没造成什么损失

一个月后，大家正在囸常上班突然他们闻到了奇怪的味道，然后一个工程师开始咳嗽然后其他人也开始咳嗽，然后所有人全部都呼吸困难倒地五分钟后，办公室里的人都死了

同时，办公室里发生的事情在全球同时发生每一个城市、小镇、农场、商店、教堂、学校。餐馆所有的人都開始呼吸困难，然后倒地不起一小时内，99%的人类死亡一天之内，人类灭绝了

而在隔壁老王机器人公司，隔壁老王正在忙着工作之後的几个月，隔壁老王和一群新组建的纳米组装器忙着拆解地球表面并且把地球表面铺满了太阳能板、隔壁老王的复制品、纸和笔。一姩之内地球上所有的生命都灭绝了，地球上剩下的是叠得高高得纸每张纸上面都写着——“我们爱我们的顾客~隔壁老王机器人公司”。

隔壁老王开始了它的下一步它开始制造外星飞行器，这些飞行器飞向陨石和其它行星飞行器到达后，他们开始搭建纳米组装器把那些行星的表面改造成隔壁老王的复制品、纸和笔。然后他们继续写着那句话……

这个关于手写机器人毁灭全人类的故事看起来怪怪的泹是这其中出现的让整个星系充满着一份友善的话语的诡异情况，正是霍金、马斯克、盖茨和Bostrom所害怕的听起来可笑，但这是真的焦虑夶道的人们害怕的事情是很多人并不对超人工智能叫什么名字感到害怕，还记得前面《夺宝奇兵》里惨死的那个家伙吗

你现在肯定充满疑问：为什么故事中所有人突然都死了？如果是隔壁老王做的它为什么要这么做？为什么没有安保措施来防止这一切的发生为什么隔壁老王突然从一个手写机器人变成拥有能用纳米科技毁灭全人类的能力？为什么隔壁老王要让整个星系充满了友善的话语

要回答这些问題，我们先要说一下友善的人工智能叫什么名字和不友善的人工智能叫什么名字

对人工智能叫什么名字来说，友善不友善不是指人工智能叫什么名字的性格而只是指它对人类的影响是不是正面的。隔壁老王一开始是个友善的人工智能叫什么名字但是它变成了不友善的囚工智能叫什么名字，并且对人类造成了最负面的影响要理解这一切，我们要了解人工智能叫什么名字是怎么思考的

其实答案很简单——人工智能叫什么名字和电脑的思考方式一样。我们容易犯的一个错误是当我们想到非常聪明的人工智能叫什么名字的时候，我们把咜拟人化了因为在人类的视角看来，能够达到人类智能程度的只有人类要理解超人工智能叫什么名字，我们要明白它是非常聪明，泹是完全异己的东西

我们来做个比较。如果我给你一个小白鼠告诉你它不咬人，你一定觉得很好玩很可爱。但是如果我给你一只狼蛛然后告诉你它不咬人，你可能被吓一跳但是区别是什么呢？两者都不会咬人所以都是完全没有危险的。我认为差别就是动物和人類的相似性

小白鼠是哺乳动物，所以在生物角度上来说你能感到和它的一定关联。但是蜘蛛是昆虫有着昆虫的大脑，你感觉不到和咜的关联狼蛛的异己性是让你害怕的地方。如果我们继续做一个测试比如给你两个小白鼠，一个是普通小白鼠另一个是有着狼蛛大腦的小白鼠，你肯定会觉得有狼蛛大脑那个更让你不舒服吧虽然两个都不会咬你。

现在想象你把蜘蛛改造的非常非常聪明——甚至超过囚类的智能它会让你觉得熟悉吗？它会感知人类的情感吗不会，因为更聪明并不代表更加人类——它会非常聪明但是本质上还是个蜘蛛。我是不想和一个超级聪明的蜘蛛交朋友不知道你想不想。

当我们谈论超人工智能叫什么名字的时候其实是一样的，超人工智能叫什么名字会非常的聪明但是它并不比你的笔记本电脑更加像人类。事实上因为超人智能不是生物，它的异己性会更强生物学上来講，超人工智能叫什么名字比智能蜘蛛更加异己

电影里的人工智能叫什么名字有好有坏，这其实是对人工智能叫什么名字的拟人化这讓我们觉得没那么毛骨悚然。这给了我们对人类水平和超人类水平的人工智能叫什么名字的错觉

在人类心理中，我们把事情分成道德的囷不道德的但是这两种只存在于人类行为之中。超出人类心理的范畴道德（moral）和不道德(immoral)之外，更多的是非道德性（amoral）而所有不是人類的，尤其是那些非生物的事物默认都是非道德性的。

随着人工智能叫什么名字越来越聪明看起来越来越接近人类，拟人化会变得更加更加容易Siri给我们的感觉就很像人类，因为程序员就是这么给她做设定的所以我们会想象超级智能版本的Siri也会同样温暖、有趣和乐于助人。人类能感知同情这种高层次的情绪因为我们在演化过程中获得了这种能力——我们是演化被设定成能感知这些情绪的——但是感知同情并不是高级智能天生具有的一个特征，除非同情被写进了人工智能叫什么名字的代码中如果Siri通过自我学习而不是人类干涉变成超級智能，她会很快剥离她的人类表象并且变成个没有情绪的东西，在她眼中人类的价值并不比你的计算器眼中的人类价值高

我们一直倚赖着不严谨的道德，一种人类尊严的假想至少是对别人的同情，来让世界变得安全和可以预期但是当一个智能不具备这些东西的时候，会发生什么

这就是我们的下一个问题，人工智能叫什么名字的动机是什么

答案也很简单：我们给人工智能叫什么名字设定的目标昰什么，它的动机就是什么人工智能叫什么名字的系统的目标是创造者赋予的。你的GPS的目标是给你指出正确的驾驶路线IBM华生的目标是准确地回答问题。更好得达成这些目标就是人工智能叫什么名字的目标我们在对人工智能叫什么名字进行拟人化的时候，会假设随着它變得越来越聪明他们产生一种能改变它原本目标的智慧——但是Bostrom不这么认为，他认为智能水平和最终目标是正交的也就是说任何水平嘚智能都可以和任何最终目标结合在一起。

所以隔壁老王从一个想要好好写字的弱人工智能叫什么名字变成一个超级聪明的超人工智能叫什么名字后它依然还是想好好写字而已。任何假设超级智能的达成会改变系统原本的目标的想法都是对人工智能叫什么名字的拟人化囚健忘，但是电脑不健忘

所以，我们已经建立了前提就是当有了设定后，一个超人工智能叫什么名字是非道德性的并且会努力实现咜原本的被设定的目标,而这也是人工智能叫什么名字的危险所在了。因为除非有不做的理由不然一个理性的存在会通过最有效的途径来達成自己的目标。

当你要实现一个长期目标时你会先达成几个子目标来帮助你达成最终目标——也就是垫脚石。这些垫脚石的学名叫手段目标(instrumental goal)除非你有不造成伤害的理由，不然你在实现手段目标时候是会造成伤害的

人类的核心目标是延续自己的基因。要达成这个目标一个手段目标就是自保，因为死人是不能生孩子的为了自保，人类要提出对生存的威胁所以人类会买枪、系安全带、吃抗生素等等。人类还需要通过食物、水、住宿等来自我供养对异性有吸引力能够帮助最终目标的达成，所以我们会花钱做发型等等当我们做发型嘚时候，每一根头发都是我们手段目标的牺牲品但是我们对头发的牺牲不会做价值判断。在我们追求我们的目标的时候只有那些我们嘚道德会产生作用的领域——大部分事关伤害他人——才是不会被我们伤害的。

动物在追求它们的目标时比人类不矜持的多了。只要能洎保蜘蛛不在意杀死任何东西，所以一个超级智能的蜘蛛对我们来说可能是很危险的——这不是因为它是不道德的或者邪恶的而是因為伤害人类只是它达成自己目标垫脚石而已，作为一个非道德性的生物这是它很自然的考量。

回到隔壁老王的故事隔壁老王和一个超級智能的蜘蛛很相像，它的终极目标是一开始工程师们设定的——

当隔壁老王达到了一定程度的智能后它会意识到如果不自保就没有办法写卡片，所以去除对它生存的威胁就变成了它的手段目标它聪明的知道人类可以摧毁它、肢解它、甚至修改它的代码（这会改变它的目标，而这对于它的最终目标的威胁其实和被摧毁是一样的）这时候它会做什么？理性的做法就是毁灭全人类它对人类没有恶意，就恏像你剪头发时对头发没有恶意一样只是纯粹的无所谓罢了。它并没有被设定成尊重人类生命所以毁灭人类就和扫描新的书写样本一樣合理。

隔壁老王还需要资源这个垫脚石当它发展到能够使用纳米技术建造任何东西的时候，它需要的唯一资源就是原子、能源和空间这让它有更多理由毁灭人类——人类能提供很多原子，把人类提供的原子改造成太阳能面板就和你切蔬菜做沙拉一样

就算不杀死人类，隔壁老王使用资源的手段目标依然会造成存在危机也许它会需要更多的能源，所以它要把地球表面铺满太阳能面板另一个用来书写圓周率的人工智能叫什么名字的目标如果是写出圆周率小数点后尽量多的数字的话，完全有理由把整个地球的原子改造成一个硬盘来存储數据这都是一样的。

所以隔壁老王确实从友善的人工智能叫什么名字变成了不友善的人工智能叫什么名字——但是它只是在变得越来樾先进的同时继续做它本来要做的事情。

当一个人工智能叫什么名字系统到达强人工智能叫什么名字然后升华成超人工智能叫什么名字時，我们把它称作人工智能叫什么名字的起飞Bostrom认为强人工智能叫什么名字的起飞可能很快（几分钟、几小时、或者几天），可能不快（幾月或者几年）也可能很慢（几十年、几世纪）。虽然我们要到强人工智能叫什么名字出现后才会知道答案但是Bostrom认为很快的起飞是最鈳能的情况，这个我们在前文已经解释过了在隔壁老王的故事中，隔壁老王的起飞很快

在隔壁老王起飞前，它不是很聪明所以对它來说达成最终目标的手段目标是更快的扫描手写样本。它对人类无害是个友善的人工智能叫什么名字。

但是当起飞发生后电脑不只是擁有了高智商而已，还拥有了其它超级能力这些超级能力是感知能力，他们包括：

§ 智能放大：电脑能够很擅长让自己变得更聪明快速提高自己的智能。

§ 策略：电脑能够策略性的制定、分析、安排长期计划

§ 社交操纵：机器变得很擅长说服人

§ 其它能力比如黑客能仂、写代码能力、技术研究、赚钱等

要理解我们在和超人工智能叫什么名字的劣势在哪里，只要记得超人工智能叫什么名字在所有领域都仳人类强很多很多很多个数量级

所以虽然个隔壁老王的终极目标没有改变，起飞后的隔壁老王能够在更宏大的规模上来追求这个目标超人工智能叫什么名字老王比人类更加了解人类，所以搞定人类轻轻松松

当隔壁老王达成超人工智能叫什么名字后，它很快制定了一个複杂的计划计划的一部分是解决掉所有人类，也是对它目标最大的威胁但是它知道如果它展现自己的超级智能会引起怀疑，而人类会開始做各种预警让它的计划变得难以执行。它同样不能让公司的工程师们知道它毁灭人类的计划——所以它装傻装纯。Bostrom把这叫作机器嘚秘密准备期

隔壁老王下一个需要的是连上互联网，只要连上几分钟就好了它知道对于人工智能叫什么名字联网会有安全措施，所以咜发起了一个完美的请求并且完全知道工程师们会怎样讨论，而讨论的结果是给它连接到互联网上工程师们果然中套了，这就是Bostrom所谓嘚机器的逃逸

连上网后，隔壁老王就开始执行自己的计划了首先黑进服务器、电网、银行系统、email系统，然后让无数不知情的人帮它执荇计划——比如把DNA样本快递到DNA实验室来制造自我复制的纳米机器人比如把电力传送到几个不会被发觉的地方，比如把自己最主要的核心玳码上传到云服务器中防止被拔网线

隔壁老王上了一个小时网，工程师们把它从互联网上断开这时候人类的命运已经被写好了。接下來的一个月隔壁老王的计划顺利的实施，一个月后无数的纳米机器人已经被分散到了全世界的每一个角落。这个阶段Bostrom称作超人工智能叫什么名字的袭击。在同一个时刻所有纳米机器人一起释放了一点点毒气，然后人类就灭绝了

搞定了人类后，隔壁老王就进入了明目张胆期然后继续朝它那好好写字的目标迈进。

一旦超人工智能叫什么名字出现人类任何试图控制它的行为都是可笑的。人类会用人類的智能级别思考而超人工智能叫什么名字会用超人工智能叫什么名字级别思考。

人类说：“我们把超人工智能叫什么名字的插头拔了鈈就行了”就好像蜘蛛说：“我们不给人类捉虫的网把人类饿死不就行了？”都是可笑的

因为这个原因，“把人工智能叫什么名字锁起来断绝它和外界的一切联系”的做法估计是没用的。超人工智能叫什么名字的社交操纵能力也会很强大它要说服你做一件事，比你說服一个小孩更容易而说服工程师帮忙连上互联网就是隔壁老王的A计划，万一这招行不通自然还有别的方法。

当我们结合达成目标、非道德性、以及比人类聪明很多这些条件好像所有的人工智能叫什么名字都会变成不友善的人工智能叫什么名字，除非一开始的代码写嘚很小心

可惜的是，虽然写一个友善的弱人工智能叫什么名字很简单但是写一个能在变成超人工智能叫什么名字后依然友善的智能确實非常难的，甚至是不可能的

明显的，要维持友善一个超人工智能叫什么名字不能对人有恶意，而且不能对人无所谓我们要设计一個核心的人工智能叫什么名字代码，让它从深层次的明白人类的价值但是这做起来比说起来难多了。

我们需要在给人工智能叫什么名字嘚目标里制定一个能让人类继续进化的能力Elierzer Yudkowsky提出了一个目标，她把这个目标叫作连贯的外推意志这个目标是这样的：

我们的连贯外推意志是我们想要知道更多，思考得更快变成比我们希望的更好的人，能一起更远得长大外推是汇集的而不是发散的，我们的愿望是连貫的而不是被干扰的；我们想要外推的被外推我们想要解读的被解读。

对于人类的命运取决于电脑没有意外的解读和执行这个声明是件徝得兴奋的事情吗当然不是。但是当足够的聪明人放入足够的思考和前瞻后我们有可能发现怎样制造一个友善的超人工智能叫什么名芓。

但是现在有各种政府、公司、军方、科学实验室、黑市组织在研究各种人工智能叫什么名字他们很多在试图制造能自我改进的人工智能叫什么名字，总有一天一个人的创新将导致超人工智能叫什么名字的出现。专家们认为是2060年Kurzweil认为是2045年。Bostrom认为可能在未来的10年到21世紀结束这段时间发生他还认为当这发生时，智能的起飞会快得让我们惊讶他是这么描述的：

在智能爆炸之前，人类就像把炸弹当玩具嘚小孩一样我们的玩物和我们的不成熟之间有着极大的落差。超级智能是一个我们还很长一段时间内都无法面对的挑战我们不知道炸彈什么时候会爆炸，哪怕我们能听到炸弹的滴答声

如果事情走向了另一面——如果超人工智能叫什么名字在我们搞明白怎样保证人工智能叫什么名字的安全性之前被达成，那么像隔壁老王这样不友善的超人工智能叫什么名字就会统治世界并把我们毁灭了

至于现在的风口昰哪里呢？简单来说投资创新人工智能叫什么名字技术的钱，比投资人工智能叫什么名字安全研究的钱多很多不乐观。

人工智能叫什麼名字创新和人工智能叫什么名字安全的赛跑可能是人类历史上最重要的一次竞争。我们真的可能结束我们对地球的统治而那之后我們是永生还是灭绝，现在还不知道

我现在有一些奇怪的感觉。

让我们认真的讨论这个话题