文章导航PC6首页软件下载单机游戏安卓资源苹果资源

pc软件新闻网络操作系统办公工具编程服务器软件评测

安卓新闻资讯应用教程刷机教程安卓游戏攻略tv资讯深度阅读综合安卓评测

苹果ios资讯苹果手机越狱备份教程美化教程ios软件教程mac教程

单机游戏角色扮演即时战略动作射击棋牌游戏体育竞技模拟经营其它游戏游戏工具

网游cf活动dnf活动lol周免英雄lol礼包

手游最新动态手游评测手游活动新游预告手游问答

您的位置:首页单机游戏角色扮演 → 怪物猎人世界新装备介绍 怪物猎人世界新装备新系统一览

基金202005

深度强化学习中的好奇心

    本文是AI研究所编写的一个技术博客。最初的标题是《深层强化中的好奇心》。

    本文是AI研究所编写的一个技术博客。最初的标题是:

    深度强化学习的好奇心

    作者|迈克尔·克莱尔

    翻译|缩写2018

    校对|酱梨涂饰|菠萝女孩

    链接到原始文本:

    Http://towardsdata..com/holio.-in-.-.ment-.-.-.-network-.llation-747b322e2403

    深度强化学习中的好奇心

    早期密集学习的困难任务之一,Montezuma的复仇,在探索随机网络蒸馏方面取得了重大突破(来源:Parker兄弟博客)。

    Atari游戏是深层强化学习(RL)算法的一个流行的基准任务。Atari很好地平衡了简单性和复杂性:一些游戏(如Pong)是如此简单,以至于它们可以通过基本算法(如一般策略梯度)来解决,而其他游戏则足够复杂以至于可以击败甚至最先进的算法。

    在最简单和最复杂的游戏之间的一系列有用的任务已经成为许多深入加强学习研究论文的核心。

    来自OpenAI博客。

    前者“未解决”的阿塔里游戏,蒙提祖马的复仇,最近已经解决了一个算法(在某种程度上),可以在得分上超过人类表现。研究人员可以鼓励代理人在1级探索不同的房间,这是赢得游戏积分的好方法。

    通过好奇心探索

    人类在玩冒险游戏时有一种内在的探索欲望,比如蒙提祖玛的复仇。游戏设计者构建这样的游戏来鼓励这种行为,通常需要玩家在继续游戏之前进行探索。这就是为什么冒险游戏很有趣。(问任何喜欢玩天空游戏的人。)

    像Montezuma的《复仇》或《天空》这样的冒险游戏充分利用了玩家探索的自然欲望,使得探索成为游戏任务的关键部分。

    深度强化学习算法执行“探索”的典型方法是通过随机策略:从神经网络提供的动作似然分布中随机采样动作。因此,特别是在早期阶段(当策略没有时间收敛时),它是随机行动的明显选择。

    这种方法在某些情况下是有效的。例如,Pong的解决方案是随机旋转桨并观察结果。幸运的是,球偏转可以启动优化。

    在像蒙特祖马的复仇游戏中,这种方法是不可行的。想象一下,从游戏的开始,化身随机地左右移动,随机地跳跃。结果,化身掉进熔岩中或直接进入敌人而没有获得点数。没有积分或奖励,算法无法得到优化的信号。

    那你会随便甩一甩吗?祝你好运。

    好奇

    重点放在寻找更好的探索方法上。基于好奇心的探索可以看作是激发人类玩家好奇心的一种尝试。

    但是,我们如何创建一个好奇的代理呢?

    有很多方法可以实现这个想法。其中之一,甚至使用下一个状态预测,由于其简单性和可伸缩性而很有趣。

    其基本思想是同时培养独立的预测模型和策略模型。预测模型输入所观测到的当前状态和所选择的动作,并对下一次观测进行预测。

    为了探索足够的轨迹,我们假设损失很小(因为我们通过监督学习不断开发预测模型);对于探索不足的轨迹,我们假设损失很大。

    那么,我们能做的就是创建一个新的奖励函数(称为“内在奖励”),它提供与预测模型的损失成比例的奖励。因此,当探索新的轨迹时,代理接收到强烈的奖励信号。

    (a)一级学习探索(b)二级快速探索

    使用马里奥模拟器任务(来源)中的下一个预测,学习探索从第一级的好奇心转移到第二级的快速探索。

    这项技术在超级马里奥模拟器中产生了一些令人鼓舞的结果。

    拖延症代理人:电视问题

    这项技术并不完美。一个已知的问题是代理被环境中的随机或噪声元素所吸引。这种时钟情况有时被称为“白噪声”问题或“电视问题”;也称为“拖延”。

    为了证明这种效果,设想一个代理人通过观察他所看到的像素来学习在迷宫中导航。

    下一状态预测引起代理人学习成功导航迷宫的好奇心。

    代理人很好地完成了任务;他开始寻找迷宫中未被探索的部分,因为他有能力在探险丰富的地区做出好的预测(或者换句话说,他不能在未开发地区做出好的预测)。

    现在在迷宫的墙上放一个“电视”,快速连续地显示随机选择的图像。由于图像的随机来源,代理不能准确预测接下来会出现什么图像。该预测模型将产生高损耗,从而为代理商提供高“内在”回报。最终的结果是,特工们倾向于停止看电视,而不是继续探索迷宫。

    在环境(源)中,当代理人面对电视或随机噪声源时,下一个状态预测引起代理人的好奇心,最终导致“拖延”。

    为了避免延误,采用随机网络蒸馏。

    OpenAI的一些优秀人员最近发表了一篇论文,提出了噪声电视问题的解决方案,探讨了随机网络蒸馏(RND)。

    这里的新思想是将类似的技术应用到下一个状态预测方法,但是消除对先前状态的依赖。

    下一状态预测相对于RND(源)的概述。

    RND并不预测下一个状态,而是观察下一个状态并试图预测下一个状态。这是一个非常微不足道的预测,不是吗?

    RND随机网络的目的是采用这种小的预测任务,并将其转化为硬预测任务。

    使用随机网络

    这是一个聪明但违反直觉的解决方案。

    其思想是我们使用随机初始化神经网络将观测值映射到潜在的观测向量。函数本身的输出并不重要;重要的是,我们有一些未知的确定性函数(随机初始化的神经网络),以某种方式转换观测值。

    因此,我们的预测模型的任务不是预测下一个状态,而是预测给定观测状态的未知随机模型的输出。我们训练该模型使用随机网络输出标签。

    当代理处于熟悉的状态时,预测模型应该能够很好地预测随机网络的期望输出。当智能体对状态不熟悉时,预测模型会对随机网络的输出做出较差的预测。

    通过这种方式,我们可以定义一个内在的奖励函数,它再次与预测模型的损失成比例。

    内部报酬计算的概念概述。只使用下一个观察状态。

    这可以解释为“新奇性检测”方案,其中当进行新的观测或不熟悉的观测时,预测模型具有较高的计算损失。

    作者使用MNIST作为这个概念的证明。在本实验中,他们通过随机初始化神经网络提供MNIST样字符。然后,在给定的输入条件下,它们训练并行网络来预测随机网络的输入。如预期,当目标类的训练样本数量增加时,它们将看到目标类被并行网络丢失。

    数据2:MNIST上的新奇性检测:预测器网络模拟随机初始化的目标网络。训练数据包括不同比例的图像和目标类别与“0”类别。每个曲线都表示MSE测试显示的目标类的训练用例的数量(对数)。

    论文对MNIST概念进行了验证。

    这样,当代理看到随机噪声源时,它不会被卡住。它不需要试图预测屏幕上下一个不可预测的帧,只需要知道这些帧是如何通过随机网络转换的。

    探寻蒙太祖玛的复仇

    由于解决方法不佳,以往的状态预测的好奇机制并不能解决蒙台梭玛的复仇问题,但RND似乎已经克服了这些问题。

    好奇心驱使的代理人探索房间,学习收集钥匙,这样他们就可以打开新房间。

    尽管取得了这样的成功,但是代理仅“偶尔”通过了一级。这是因为通过最后一道门来完成检查点,需要严格管理密钥的使用。需要内部状态模型(如LSTM)来克服这一障碍。

    因此,虽然RND已经允许代理人在得分上超过一般人的表现,但是在掌握游戏之前还有很长的路要走。

    这是关于深度强化学习算法的实验的一系列文章的一部分。查看本系列以前的一些帖子:

    理解演进的战略梯度。

    感谢卢多维奇·本尼斯坦特。

    要继续查看本文的链接和参考资料吗?

    长时间点击链接打开或点击底部[好奇心在深度强化学习]:

    Http://ai.yanxishe.com/page/Text./1363

    AI协会每天更新精彩内容,观看更多精彩内容:雷锋网、雷锋网和雷锋网。

    五大CNN架构

    深度强化学习中的好奇心

    使用Pytorch进行深度学习(第一部分)手柄:使用PyTorch实现图像分类器(第二部分)

    等待您翻译:

    如何为初学者聚类混沌数据以使用Keras进行迁移学习增强学习:对于情绪行为系统,如果你想学习数据科学,这七个资源不能错过

当前文章:http://www.backwashkids.com/8jqyae/111096-226972-29671.html

发布时间:11:24:09

广州设计公司  广州产品设计  广州工业设计  广州设计  广州外观设计  广州外观设计  产品设计  广州工业设计  广州工业设计  广州产品设计  广州设计公司  

{相关文章}

蒂姆·杜伊:特朗普可能对美联储造成了永久性的损害。

    特朗普对美联储加息意愿的不满随着美国股市的震荡而增加。总统计划解雇他的主席鲍威尔的消息也很响亮,引起了市场的猜测。

    蒂姆杜伊是美联储的著名观察员,也是俄勒冈大学的教授。他指出,特朗普现在认为鲍威尔是“肉中刺”,并且认为他必须把它拔掉。但如果特朗普真的解雇鲍威尔,市场可能就会一团糟。

    在杜伊看来,市场参与者的最佳方案如下:

    鲍威尔辞去美联储主席一职,不再担任董事会成员,取而代之的是现任副主席理查德克莱达。到那时,股市将急剧交通资讯网_今日资讯新闻网下跌,甚至可能自由下跌,美国国薄纱时装秀_深圳阿里巴巴网债将急剧上升。

    克拉里达和其他美联储成员在2019年1月联邦公开市场委员会(FOMC)货币政策会议上降息,甚至可能召开紧急会议提前降息。股市随后反弹,如果过渡足够快,经济将不会受到金融市场波动的影响。

    最糟糕的情况是:

    美联储坚持战斗到底。为了维护中央蜀道难 教案_国家公务员局网网银行的独立性,它选择将鲍威尔的解雇提上法庭。

    这个过程可能会无限期地延迟,导致金融市场继续规避风险,最终对经济整体造成足够损害,并“伤害”无辜的普通公众。

    但杜伊还表示,即使在最好的情况下,美联储也会成为,或者已经变成另一个受到损害的机构。现在的风险是,美联储安抚市场或经济的任何举措似乎都屈服于特朗普的要求。

    简而言之,在特朗普的“反复无常”之后,美联储必须权衡其反应,以便其独立性可能不存在。

    Duy的结论是,不管发生什么,市场目前处于一个未知的危险区域。市场不知道政府是否能够有效地应对金融危机,这意味着美联储的角色今天比上一次危机更重要。

    但现在,特朗普已经“伤害”了美联储,而母亲的影响力将会下降。因此,特朗普在引发危机的同时似乎正在摧毁处理危机的机构。每次他大发雷霆,推特上的股票市场和其他风险资产的风险就会继续下降,引发更糟糕的情况也会上升。

    特朗普最近推出的“愤怒”美联储是在十几个小时前的圣诞前夜。

    特朗普最近抱怨美联储的货币政策,他说:“我们经济的唯一问题是美联储。他们没有市场意识。他们不了解贸易摩擦,也不了解美元甚至民主党关闭边境的必要性。

    在此之前,彭博社援引四位知情人士的话说,特朗普在美联储最近一次加息和美国股市崩盘几个月后讨论了解雇鲍威尔的问题。

    两位知情人士说,特朗普在过去几天里曾多次私下讨论此事。特朗普一直认为美联储应该停止加息。就在本周美联储会议召开前一节日短信_菊粉清除率网周,他已经四次向媒体表示,或者发起了美联储的“不加息”。

    然而,美联储在本周的会议上继续加息,这大大增加了特朗普的沮丧情绪,也增加了鲍威尔的不满。

    据知情人士透露,一些顾问警告特朗普,解雇鲍威种植眉毛需要多少钱_玉米收割机的价格网尔将是一场灾难性的行动,削弱了投资者对美联储在没有政治干预的情况下驾驭经济的能力的信心,并对金融市场造成了破坏性的连锁反应。

 &n上海家电维修_初一英语试题网bsp;  然而,值得注意的是,美国总统是否具有解雇美联储主席的法律权力令人怀疑。

    联邦储备系统规定,美国总统有权提名联邦储备委员会主席,但一旦主席被确认,总统无权解雇他,除非联邦储备委员会主席犯有违法行为(这可能是解雇联邦储备委员会主席的唯一方法)。发球)。

    在美联储100年的历史中,总统从未解雇过任何一位主席。

    *这篇文章来自华尔街(Wechat ID:Wallstreetcn)。开放华尔街VIP会员,立即获得金融市场系统服务。*

相关阅读 回首2018丨重习经典诺基亚的兴衰史:从木材加工厂起家到被收购,现在靠5G打了翻身仗外国媒体:华为在贸易战中作为“人质”|孟万州|华为|加拿大基金投资智商与情商:正确框架与适度自控——新浪基金投资财经11位闪电侠:战神门票再次跳转:在开发过程中有许多出乎意料的错误手动怒赞!首张拒收现金罚单怎么回事?网友:商家再敢这样怕是要凉凉了天文学家与阿里一起寻找第二地球,距离地球39光年,或者有生活条件。铁路“备用购票”值得期待

文章评论
发表评论

热门文章 破解济阳街道居民的幸福密码今年新增铁路营业里程4000公里,其中高速铁路2600公里,投资新浪财经uuuuuu完成。警惕!这三种疾病在山东人疾病负担中排名前三运动变成现实!以色列军用飞机对首都的大规模空袭

最新文章 视频视频视频视频视频视频视频视频视频视频视频视频视频视频视频视频视频视频视频视频视频视频视频视频视频视频视频视频我们刚刚赶走了美军,土耳其转向了俄罗斯。在那之后,我们在叙利亚有了最后的发言权。 附加食品:失控酱油外商投资贴现内部控制制度无新浪财经uuuuuuuuu为什么MySpace输给了Facebook?资讯科技新闻执法检查报告:全面改善中国海域水质沪指2500点拉锯跌0.26% 创投股卷土重来

人气排行 陈叶翠入选山东省庆祝改革开放40周年感动山东人物北斗一年有18颗卫星,但只有一颗GPS卫星?美国被这家公司毁了。为什么MySpace输给了Facebook?山东体彩2017年度社会责任报告发布会在济南召开真相曝光震惊了!龙凤胎举办婚礼怎么回事?亲生父母之举原因详情迅雷Mac 3.3.0官方发行版:删除内置播放器组件今天,公安部队正式集体退休!LG电子加入苹果英特尔阵营 支持FTC对高通处以9亿美元罚款

http://4xx9.com/out.php?id=7http://4xx9.com/out.php?id=5http://4xx9.com/out.php?id=4http://4xx9.com/out.php?id=2http://4xx9.com/articlelist-422.htmlhttp://4xx9.com/articlelist-402.htmlhttp://4xx9.com/articlelist-395.htmlhttp://4xx9.com/articlelist-385.htmlhttp://4xx9.com/articlelist-384.htmlhttp://4xx9.com/articlelist-383.htmlhttp://4xx9.com/articlelist-377.htmlhttp://4xx9.com/articlelist-376.htmlhttp://4xx9.com/articlelist-389.htmlhttp://4xx9.com/articlelist-400.htmlhttp://4xx9.com/articlelist-342.htmlhttp://4xx9.com/articlelist-341.htmlhttp://4xx9.com/articlelist-368.htmlhttp://4xx9.com/articlelist-363.htmlhttp://4xx9.com/articlelist-350.htmlhttp://4xx9.com/articlelist-391.htmlhttp://4xx9.com/articlelist-421.htmlhttp://4xx9.com/articlelist-373.htmlhttp://4xx9.com/articlelist-356.htmlhttp://4xx9.com/articlelist-353.htmlhttp://4xx9.com/articlelist-442.htmlhttp://4xx9.com/articlelist-437.htmlhttp://4xx9.com/articlelist-435.htmlhttp://4xx9.com/articlelist-434.htmlhttp://4xx9.com/articlelist-431.htmlhttp://4xx9.com/articlelist-430.htmlhttp://4xx9.com/articlelist-426.htmlhttp://4xx9.com/articlelist-425.htmlhttp://4xx9.com/articlelist-427.htmlhttp://4xx9.com/articlelist-403.htmlhttp://4xx9.com/articlelist-330.htmlhttp://4xx9.com/articlelist-331.htmlhttp://4xx9.com/articlelist-407.htmlhttp://4xx9.com/articlelist-399.htmlhttp://4xx9.com/baoma.htmlhttp://4xx9.com/out.php?id=7http://4xx9.com/out.php?id=4http://4xx9.com/out.php?id=2http://4xx9.com/articlelist-395.htmlhttp://4xx9.com/articlelist-368.htmlhttp://4xx9.com/articlelist-350.htmlhttp://4xx9.com/articlelist-373.htmlhttp://4xx9.com/articlelist-435.htmlhttp://4xx9.com/articlelist-425.htmlhttp://4xx9.com/articlelist-403.htmlhttp://4xx9.com/baoma.htmlhttps://www.chinactwh.comhttps://www.chinactwh.com/xiuzhenxiaoshuo/https://www.chinactwh.com/kehuanxiaoshuo/https://www.chinactwh.com/72_72776/https://www.chinactwh.com/72_72772/https://www.chinactwh.com/72_72747/https://www.chinactwh.com/72_72743/https://www.chinactwh.com/72_72740/https://www.chinactwh.com/72_72736/https://bbs.mlxcchina.com/https://bbs.mlxcchina.com/forum-98-1.htmlhttps://bbs.mlxcchina.com/forum-104-1.htmlhttps://bbs.mlxcchina.com/forum-110-1.htmlhttps://bbs.mlxcchina.com/forum-112-1.htmlhttp://www.ak186.com/cp/clist-6.htmlhttp://www.ak186.com/cp/clist-29.htmlhttp://www.ak186.com/cp/clist-15.htmlhttp://www.my-summit.com/qynews/http://cn.damuzzz.com/yuntui/http://www.todaytoy.com/xiejp/http://www.todaytoy.com/xiejp/clist-28.htmlhttp://www.todaytoy.com/xiejp/clist-11.htmlhttp://www.todaytoy.com/xiejp/clist-8.htmlhttp://www.todaytoy.com/xiejp/clist-10.htmlhttp://www.todaytoy.com/xiejp/clist-3.htmlhttp://www.todaytoy.com/xiejp/clist-6.htmlhttp://www.wuweiwang.cn/?p=116189http://www.wuweiwang.cn/?p=116187http://www.wuweiwang.cn/?p=116175http://www.ak186.com/cp/http://www.ak186.com/cp/p1125775.htmlhttp://www.ak186.com/cp/p1071156.htmlhttp://www.010bus.net/Shop/show.asp?75xr/4uYDZY.htmlhttp://www.nspco.com.tw/admin/show.php?QmqB/dExim9.htmlhttp://www.lins-books.com.tw/show.php?6inJ/fqoK7D.htmlhttp://www.lins-books.com.tw/model/show.php?LNgM/AFlBEn.htmlhttps://10000sc.com/plus/show.php?rwoQ/CoXA3X.htmlhttp://xiangshunbags.com/lunch_bag/show.php?cIPq/HxBSuY.htmlhttp://www.weishangshijie.com/yangsheng/392880.htmlhttp://www.ak186.com/cp/p1070816.htmlhttp://www.ak186.com/cp/p1070124.htmlhttps://www.chinactwh.com/72_72772/https://www.chinactwh.com/72_72740/https://bbs.mlxcchina.com/forum-110-1.htmlhttp://www.my-summit.com/qynews/http://cn.damuzzz.com/yuntui/http://www.todaytoy.com/xiejp/clist-28.htmlhttp://www.todaytoy.com/xiejp/clist-11.htmlhttp://www.todaytoy.com/xiejp/clist-3.htmlhttp://www.ak186.com/cp/p1070124.html