如上题。谢谢啦
提问人：游客
您还没有登录，请后进行评论。
强化骷髅比尸灵要厉害的多了．．．
您还没有登录，请后进行评论。
其他回答 (共
学了强化骷髅&&&赶尸就没用了&&&强化比尸灵强多了&&回答人：
如果您发现有违反规则的内容和用户，请您积极举报！
举报对象：
举报类型：
含有反动色情等内容
含有危害国家安全等内容
漫骂与诽谤等
无意义灌水
抄袭别人的回答
举报内容：503 Service Temporarily Unavailable
503 Service Temporarily Unavailable「模仿学习」很强大，但和「强化学习」有什么关系
原文来源：Stats and Bots
作者：Vitaly Kurin
「机器人圈」编译：嗯~阿童木呀、多啦A亮
在本文中，Statsbot团队请教计算机科学家Vitaly Kurin简要介绍模仿学习，并概述强化学习的基本知识。
生物有机体是及其复杂的。即使是诸如苍蝇或蠕虫这样相对简单的生物也是如此。他们不仅能够在现实世界中成功生存，而且对环境的变化有着极强的适应力。人类可以提前计划，亦可以根据新的信息改变我们的计划，我们还可以与他人合作，以便更有效地执行我们的计划。
科学以及诸如欧洲核子研究组织（CERN）或阿雷西沃天文台的巨大无线电望远镜等这样的项目都是人类协作和规划的艺术的完美印证。
所有试图创造一个具有更小的自主权的人造有机体的尝试都表明，多年的进化过程并不是徒劳的，而建立这样的有机体是一项艰巨的任务。
不错，我们承认，我们现在可以在国际象棋或围棋中击败最优秀的选手，我们可以在Atari 2600的视频弹球中获得近似疯狂的分数，甚至，我们可以在扑克赛中挑战人类，从而使其破产。那么我们是否能打开一瓶香槟庆祝胜利？恐怕不能。
是的，机器学习最近取得了突破性进步。新的深度学习理念与旧版本的结合使我们能够在诸如计算机视觉、语音识别和文本翻译等许多领域得以进步。
强化学习也从它与深度学习的结合中受益匪浅。而对于深度强化学习的成功，想必你也早有耳闻，例如在Atari 2600比赛中取得超越人类的成绩，战胜围棋高手，以及让机器人学习跑酷（parkou）。
来源：statsbot博客
但是，我们不得不承认，在现实世界中的成功运作要比玩游戏或太空入侵要困难得多。许多任务比这要难得多。想象一下，一个孩子在拥挤的市中心中间骑着自行车，或者一个人以每小时200英里的时速开着保时捷飞奔在高速公路上。面对这样的现实，我们必须承认，距离目标的实现，我们还有很远的路要走。
为什么我们还没有实现目标呢？
典型的机器学习方法是从头开始对模型进行训练。给它一百万张图片和一些时间，从而对其进行识别。给它一个星期，让它玩太空入侵者，直到它能够达到一个可以接受的分数。而我们，作为人类，与其有着不同的诉求。
当一个人开始玩一个他从未见过的游戏时，他已经拥有了大量的预先信息。在“蒙特祖玛的复仇”这款游戏中，如果他看到了一扇门，他就会意识到，在某个地方应该会有一把钥匙，他需要找到钥匙。当他找到钥匙的时候，他记得那扇关着的门是在他曾穿过的两个房间的后面，然后他会返回从而打开那扇门。而当他看到一个梯子时，他意识到可以爬上去，因为他已经做了几百次这样的事情了。如果我们可以以某种方式将人类对世界的了解转移给智能体将会怎样呢？我们该如何提取所有的这些相关信息呢？我们该如何创建一个基于此的模型呢？这时候就出了这样一种方式，我们称之为模仿学习。
模仿学习并不是唯一一个利用人类数据的好方法。一些研究人员也称之为“学徒学习”（apprenticeship learning），而另外一些研究人员将其称为“从演示中学习”（Learning from Demonstration）。从我们的角度来看，所有这些标题之间并没有实质性的区别，我们将从现在开始称其为模仿学习。
为了引入模仿学习，我们首先需要了解强化学习的基础知识。
其实要得到强化学习的基本概念并不难。有一些智能体，我们希望这个智能体能够学习一些任务。假设，我们有一个Atari 2600控制台，智能体可以访问操纵杆，可以看到屏幕上发生了什么。
假设，我们以每秒60次的速度给予智能体一个屏幕截图，并问它想要按什么按钮。如果我们的智能体表现出色，它可以看到它的分数在增加（正强化），否则我们可以给它一个惩罚作为负奖励（负强化）。渐渐地，通过尝试和错误，智能体开始明白，它最好避免去做一些行为，而做一些能给它带来奖励的事情。
常用强化学习的设置
我们可以以更为正式的数学方式描述上面的过程：我们可以描述上述的强化学习框架（观察—动作—获得奖励和下一个状态）作为马尔可夫决策过程（MDP）：
S是一组状态，
A是一套动作，
R是奖励函数，
T是转换函数，
γ是贴现因子，权衡当前奖励和长远奖励之间的平衡。有一种普遍的观点认为，相较于遥远的未知，人类更喜欢当前的奖励，尽管有一些人认为这种观点是基于数学环境得出应该有所偏差。
我们还需要对用于下一节的策略函数进行定义，Policy是一个函数，它返回一个给定状态的动作：
而实际上，实际上，在解决MDP时我们的最终目标是学习这样一种策略，以便最大化我们的智能体的奖励。
举一个MDP的例子，圆圈代表状态，带有绿色标签的箭头是动作，红色标签是动作的奖励，而方块是终端状态。绿色数字标签是转换概率。
图片来源：David Silver的强化学习课程的幻灯片，第二讲
我们的学生现在从蓝色圆圈开始，学习对他来说，很难而且有些无聊。他决定打开一个Facebook应用程序，一旦他进入此状态，他可以退出或继续留在当前位置。然后，他学习越来越多的知识，最后决定去酒吧。
这个状态是一个更小的圆圈，因为现在有一个随机性的元素，基于学生在去过酒吧后忘记的知识量。然后，他可以学习更多知识，通过考试（+10的奖励），或者现在他可以选择睡觉并完成MDP。
DQN算法（深度Q网络）
由于我们将来会使用DQN和以及相关思想，接下来，我们来简单了解一下。
整个方法建立在近似于所谓的Q函数的基础上，并基于此建立智能体的行为。Q函数的概念如下：它返回给你一个关于特定的行为和特定状态的整个预期的贴现奖励流，给定从下一个状态开始，我们将遵循策略π。它回答了这样一个问题:“在此状态下按此按钮究竟有何好处”？
Q函数遵循贝尔曼方程（Bellman equation）：
最后，贝尔曼的最优性原则如下：不能总是回顾过去，我们应该始终采取最高Q以最大化奖励流：
但是你可能会问，我们该怎么得到这样的Q函数呢？让我们来看一个例子：想象一下，你想要一杯咖啡（+20的奖励）和一台自动售货机里的巧克力（+10的奖励）。你的总奖励不能超过30。而且，如果你已经喝了咖啡，从现在起，它就不能超过10（对巧克力的奖励）。
想法是这样的：当前步骤和操作的Q值=下一个状态的最大Q值（因为我们的行为是最优的）+转换的奖励。二次目标函数的值变成:
Q-learning本身并不新鲜。使用神经网络作为函数近似值的Q-learning也不新鲜（例如，神经适应型q迭代）。有关DQN的论文是第一个使用深度卷积网络来解决这一类型问题的文章，并引入了一些新颖的方法，使得训练过程更加稳定。
首先，回放经验。Vanilla Q-learning 的想法是一步一步操作，从而获得奖励和下一个状态，然后根据这个转换更新近似函数参数。DQN的想法是进行转换，并将其保存在“重放内存”中——这是一个数组，用于存储最后10^6（&插入任何大数字&）个转换期间有关奖励的信息、转换前后的状态，以及判别事件是否已达到终端（游戏结束）或否。
有了回放经验，我们可以随机采样mini-batch，更有效地学习。
第一，每个转换可能潜在地用于几个权重更新，并且更有效地使用数据。
第二，通过随机抽样，我们打破了样本之间的相关性，从而减少了权重更新的方差。
使算法更稳定的另一件事是DQN使用两个神经网络：第一个计算当前状态的Q值，第二个计算下一个状态的Q值。
你可以从具有目标的方程式中看出：两个不同的Q函数分别使用θ和θ'。每10000步，从学习参数θ复制参数θ'，这有助于提高稳定性。
这里使用一个函数的出现的问题是，当我们更新权重时，Q（s,a）和Q（s',a'）都会增加，这可能会导致振荡或策略散度。使用两个单独的网络在目标Q值的更新和计算之间增加了延迟，并减少这种情况。如果你对这些现象感兴趣，请阅读 DQN Nature paper中的“方法”部分。
好的，上面描述的一切听起来都很简单。如果还有一些你不明白的东西，请看David Silver的讲座，他完美地解释了这一切！
了解了这些，我们现在可以建立一个True AI吗？对不起，但我们不能。
强化学习的挑战
有几个问题阻碍我们建立一个能够在星际争霸II上击败ByuN（Hyun Woo，韩国的一位星际争霸选手）的智能体，使自动驾驶汽车早日问世，以及给你的奶奶买个午餐后为她洗碗的机器人。
其中一个问题是，我们的智能体最后获得的奖励可能非常少。假设你下国际象棋，如果你输了，你怎么知道什么时候下的死招？此外，很有可能没有死招，而是几个平常的棋子挪动。
奖励稀疏性是阻碍我们击败“蒙提祖玛的复仇”游戏的一个问题，这是一个非常难的Atari 2600游戏，尚未得到破解。
与前一个密切相关的另一个问题是样本效率问题。或者，更坦率地讲，是样本效率低下问题。即使掌控一个简单的游戏，如太空侵略者（Space Invaders），都可能需要几天的游戏时间。由于我们可以利用模拟器，所以在游戏中加速学习过程是很容易的，但是如果我们想在现实生活中学习一些东西呢？不幸的是，物理学还达不到，而且我们不能加速时间。
插图来源（http://toyoutheartist.co.uk/technique/imitation/）
有一种方法可以解决这些问题，以及其他问题——模仿学习。正如我们在这篇文章开头提到的那样。像我们所说，人类很少学习一些没有任何先前信息的东西。我们现在使用这个数据，我们应该做什么？
什么是模仿学习？
模仿学习是通过在某种意义上模仿人类行为来暗示给予智能体关于世界的先前信息。
模仿学习不仅有助于我们解决样本效率低下或计算可行性问题，还可能使训练过程更加安全。 我们不能把一辆自动驾驶汽车放在街道的中间，让它做任何它想要做的事情。我们不希望它危害周围的人，摧毁某人的财产或设备。对人类演示的数据进行预处理可能会使训练过程更快，避免不好的情况发生。
说了上面所有的一切，我们忘了一件事——数据。
训练模型需要一些数据。 训练深度学习模型需要更多的数据。 训练深度强化学习模型需要...好的，你明白了。
所以，这一系列文章只是部分描述我们可以用演示数据做什么。所有这一切的要点是要求人类演示数据集，不幸的是，到目前为止我们没有很多办法。
好的，内容就到这里。这篇文章的要点是：
机器学习还远远没有建立一个能够解决或多或少复杂的现实世界任务的自主智能体;
模仿学习是使这些智能体更接近的可能解决方案之一;
我们还概述了强化学习的基础知识，特别是详细描述了强化算法之一的DQN。
想进一步了解，欢迎阅读以下内容：
Andrew Sutton和Andrew Barto的强化学习圣经
David Silver在伦敦大学学院的强化学习课程
DQN原文报告：NIPS workshop, Nature
原始DQN torch代码
有关强化学习的优秀系列Medium文章，由Athur Juliani撰写并附代码。
责任编辑：
声明：本文由入驻搜狐号的作者撰写，除搜狐官方账号外，观点仅代表作者本人，不代表搜狐立场。
今日搜狐热点贵阳市大营坡附近有哪些学校_百度知道
贵阳市大营坡附近有哪些学校
大营坡一带有哪些学校？只要指小学
我有更好的答案
在鹿冲关路要是小学在大营路有一个云岩一小，和23中：大学有财经学院正确的回答：看你要找的是大学还是中学等等。要是你找电脑培训学校，在大营路紫金庄园哪里有一个，现代经济学校电脑培训中心
大营路有北郊小学 ，贵乌路有贵乌路小学，茶店有茶店小学，都是公立小学
公立就应该是北郊小学吧，就在大营路上，很好找~
为您推荐：
您可能关注的内容
换一换
回答问题，赢新手礼包
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。郑州友谊妇科医院体检价格_【好医帮】
郑州友谊妇科医院体检价格_【好医帮】_郑州静脉血栓的病理变化郑州友谊妇科医院体检价格,郑州静脉血栓的病理变化,郑州妇科病医院怎么样友 谊 医 院 是 经 郑 州 市 卫 生 行 政 部 门 批 准 认 证 的 医 疗 机 构 ， 是 一 所 集 医 疗 、 预 防 、 保 健 、 康 复 、 体 检
医 疗 服 务 为 一 体 的 综 合 性 医 院 。 地 处 郑 州 经 济 开 发 区 经 开 第 二 大 街 与 经 北 三 路 交 叉 口 ， 环 境 优 美 ， 交 通 便 利 ， 服 务 设 施 齐 全 。
您所在的位置：
郑州友谊妇科医院体检价格
来源：国际在线
01-05 08:03
郑州友谊妇科医院体检价格,郑州静脉血栓的病理变化,郑州妇科病医院怎么样,不用力时候不痛,郑州经脉曲张能治好吗,郑州大腿青筋明显怎么回事,郑州冠心病医院哪所好,郑州治疗静脉炎最好的医院,妇科病郑州医院,郑州康复医院治疗静脉曲张效果如何,郑州晚上小腿胀痛要吃什么药最好,郑州妇科彩照那个医院好
　　蔚来汽车李斌给2B企业有何启示？｜观点
　　 07:15　来源: B2B新势力
　　B2B新势力2018年第1篇原创观点
　　12月27日晚，广汽集团发布公告，宣布经董事会会议决议，广汽集团、广汽新能源与上海蔚来汽车及湖北长江蔚来新能源产业发展基金将共同出资设立广汽蔚来新能源汽车有限公司。在这之前，蔚来已经与江淮、长安达成了合作。
　　1、跨界合作，保持谦卑之心
　　尽管蔚来汽车本身是一个新能源电动车品牌，所冲击的也是传统汽车品牌。但是却主动与传统汽车品牌合作，借助跨界力量。
　　如果蔚来汽车自建厂房需要大笔资金，但是李斌的胸怀让他很好借助江淮、广汽等供应链伙伴。
　　SaaS、云计算企业冲击的是传统IT厂商，然而在接下来的日子，必须和传统IT厂商共同搭建生态圈，share线下渠道。例如，今年4月9日蔚来与长安的公告中，提到双方将成立合资公司，展开研发、生产、销售、服务等全产业领域的合作。
　　这种合作要警惕两个方面：保证沟通效率；合作伙伴的名声是否会影响自身产品形象。
　　2、超强大融资能力
　　如图，这是截止目前蔚来汽车的融资轮次。可以看出融资特点有三：第一、战略和财务并重。马化腾、雷军、刘强东等大佬都是李斌的支持者。IDG、联想、愉悦等VC身影也时常可见。
　　对比其他电动汽车融资，蔚来汽车融资额最多，超17亿美元，背后投资人高达56家。而李斌自己本人从2014年至今，以易车、蔚来资本为依托，还投资了32家互联网汽车服务公司，如有摩拜、优信二手车、车和家、首汽约车、嘀嗒拼车等独角兽。
　　李斌之所以做到这一点，与他之前创立了上市公司相关。他是一个靠谱，让投资人新任的创始人。大家相信他的人品。
　　2B行业越来越多在得到资本的认可。随着2C红利将近，2B要学会争取smart money，钱的背后意味着资源。整合资源，才能产生无限的业务联想。
　　3、强大宣传能力
　　日，以“蔚来已来”为主题的“NIO Day”（蔚来日）活动在北京举行。这次活动上，蔚来ES8车型正式上市并开启预定，其补贴前售价区间为44.8万元-54.8万元。
　　车企发布会向来是所有发布会中最时尚的。李斌在此之上，将这场发布会演变成一场社会营销话题。并在发布会尾声中请来梦龙乐队。并在第二天举办了蔚来日专访。
　　此前，B2B新势力总结了《蔚来汽车李斌：不做汽车界的小米，服务是挑战｜清单》
　　李斌在接受采访时说：大家都知道我有放牛娃的梗，但是不代表我现在土呀。人都是在进步的嘛，这是比较简单的，我们要回到常理去解决问题。我每天都在进步嘛，我也不是在往下走。虽然我已经40多岁了，但是我还是年轻的心态。
　　可以看出这是一个双商非常高的创始人，他给足了媒体提问的时间。并且非常擅于驾驭媒体。李斌曾经有担任记者的经历
　　热门推荐
　　奋斗好多年，卖了大众迈腾，提了人生的第三量车奔驰E300L
　　E300L是第三辆车，是第一次发作业2007年结婚+女儿出生+装修小窝，本来的梦想是帕萨特，可是几件事情赶一起了，只能选择了自己第一个否定的车--凯越（关键那时候沪牌上不起），凯越怎么评价？就两个字-......
　　来源：我爱我车
　　 06:15
　　荣威RX3，既有颜值又是实力派
　　自从荣威推出了RX5之后，“互联网汽车”的概念便被广泛的推广开来。上汽荣威也在“互联网汽车”的道路上越走越远，就在不久之前又推出以款全新的互联网SUV--RX3。荣威RX3是上汽荣威推出的一款全新的互......
　　来源：来玩车
　　 06:14
　　二手车“54321”估价方法
　　“54321”法是对二手车行驶里程的剩余价值的一种估算方法。具体推算方法是将一量车的有效行驶里程，等分为5份。然后将已行驶里程对比到5等分的哪一段，最后带入公式计算。例1：一辆新车价值30万元，有效寿......
　　来源：叶落飞舞泣
　　 04:02
　　他和李小龙齐名，30年前就混黑社会开兰博基尼，如今低调做人
　　陈惠敏，一个内地的朋友估计不怎么熟悉的名字，但是如果你看过《古惑仔》的话，里面的东星骆驼就是他饰演的。陈慧敏是香港14K的大佬，在他年轻的时候，社会上曾有“拳有陈惠敏，腿有李小龙”的说法。陈老大30多......
　　来源：小马私家车
　　 04:02
　　本田发动机技术有多牛？看看4S店打出的霸气广告，德系车自叹不如
　　说起汽车的核心部分，那不得不说起三大件之一的发动机，而在日系车阵营中，凭借着发动机而闻名世界的本田在全球范围内吸粉无数，本田对于发动机的钻研与造诣更是一种企业的文化精神，本田的创始人：本田宗一郎毕其一......
　　来源：神州车讯
　　 04:02
　　汽车方向盘抖动咋回事？
　　方向盘是一辆车的主要组成部分，操控性能的完美诠释！同时也是汽车安全的保障之一！殊不知，有时候方向盘能够提醒你，你的爱车有问题了！那如何去判断呢？故障表现：汽车行驶时速在80公里至90公里之间时，出现方......
　　来源：别克如皋长江
　　 06:21
　　查看更多精彩
　　精彩推荐
　　2018年这些车，你会选择买吗？
　　下线车――不懂车请勿轻易入手
　　进口17款丰田塞纳宽趟空间心灵释放的好地方今天最新报价
　　皮实耐X空间大又省油！这3款12万落地合资品牌家用轿车值得推荐！
　　卖不掉的车就往中国扔？三款国外停产靠中国养活的车，卖得还很火
　　续航里程500km, 丰田氢动力轿车发布，豪华感超奔驰
　　热门车型
　　马自达CX-5
　　厂商指导价(万)：16.98-24.58万
　　级别：紧凑型SUV
　　保修：3年或10万公里
　　变速箱：手动|自动
　　排量(L)：2.0L|2.5L
　　油耗(L)：6.6-7.7L/100km
　　进入车系
　　哈弗H6
　　厂商指导价(万)：8.88-14.68万
　　级别：紧凑型SUV
　　保修：3年或6万公里
　　变速箱：手动|自动|双离合
　　排量(L)：1.3T|1.5T|2.0T
　　油耗(L)：6.8L/100km
　　进入车系
男子遇交警检查跳河逃逸续：下河救援辅警遗体被找到
　责任编辑：　
相关新闻：
? 01-05 08:03
? 01-05 08:03
? 01-05 08:03
? 01-05 08:03
? 01-05 08:03
版权和免责声明：