闂傚倸鍊搁崐鎼佸磹閹间礁纾归柟闂寸绾剧懓顪冪€n亝鎹i柣顓炴閵嗘帒顫濋敐鍛婵°倗濮烽崑鐐烘偋閻樻眹鈧線寮撮姀鈩冩珖闂侀€炲苯澧板瑙勬礋瀹曠兘顢橀悩纰夌闯濠电偠鎻紞鈧柛瀣€块獮瀣攽閸愨晝鈧椽姊虹紒妯忣亪宕㈤弽顐e床闁糕剝绋掗悡蹇涙煕椤愶絿绠撻柍褜鍓欓幉锛勭矉瀹ュ绠氱憸婊冦€掓繝姘厪闁割偅绻堥妤€霉濠婂嫮绠樼紒杈ㄥ笧閹风娀鎳犻鈧埅鐢告⒑闂堟稒顥欑紒鈧笟鈧崺銏℃償閵娿儳顔掗梺鍝勵槹閸ㄥ爼鎮块崨瀛樷拻濞撴埃鍋撴繛浣冲泚鍥敇閵忕姷锛熷┑鐐叉▕娴滄粓鎮為崹顐犱簻闁瑰搫绉堕崝宥団偓瑙勬礀閺堫剟骞堥妸锔剧瘈闁告劏鏂傛禒銏ゆ⒑鐠団€虫灓闁稿繑锚椤曪綁鎳滈崹顐㈠妳闂佸湱鍋撳ḿ娆撴儊闁秵鈷掗柛灞剧懆閸忓本銇勯姀鐙呭伐闁宠绉瑰鎾閻樻鍞堕梻浣哄帶椤洟宕愬Δ鍛剹濠㈣埖鍔栭悡娆撴煟閹寸伝顏堟倶瀹ュ鐓曟い鎰靛亗闁垶鏌$仦鍓ф创妞ゃ垺娲熸俊鍫曞川椤旈敮鍋撴繝姘拺闂侇偆鍋涢懟顖涙櫠椤曗偓閺岋綀绠涢弬鍨懙闂侀潧妫楅崯瀛樹繆閻戣棄鐓涢柛灞惧焹閸嬫捇鎮滈懞銉у幘缂佺偓婢樺畷顒勫储閹间焦鐓i煫鍥ㄦ崌閸欏嫭鎱ㄦ繝鍛仩闁归濞€瀹曪絾寰勫畝濠冪倞婵犵數鍋涢悺銊у垝閻樺磭顩叉い蹇撳閸ゆ洟鎮归崶銊с偞婵℃彃鐗撻弻鏇$疀閺囩倫銉╂煕濡粯鍊愭慨濠呮缁瑩骞愭惔銏″闂備焦鎮堕崐鏇㈡煀閿濆鏄ラ柍褜鍓氶妵鍕箳瀹ュ浂妲紓浣广亞閸涱垳锛滈柡澶婄墑閸斿苯霉椤斿浜滈柕蹇ョ磿閹冲懘鏌熼崣澶嬪唉鐎规洜鍠栭、妤呭磼濮樿京袪闂傚倸鍊搁崐宄懊归崶褜娴栭柕濞炬櫆閸婂潡鏌ㄩ弴鐐测偓鍝ョ不閺屻儲鐓曢柕澶樺枛婢ь噣鏌$€b晝绐旈柡宀€鍠栧畷婊嗩槾閻㈩垱鐩弻锟犲川椤旇棄鈧劙鏌$仦璇插闁诡喓鍊濆畷鎺戔槈濮楀棔绱� 闂傚倸鍊搁崐鎼佸磹閹间礁纾归柟闂寸绾惧綊鏌i幋锝呅撻柛銈呭閺屾盯骞橀懠顒夋М闂佹悶鍔嶇换鍐Φ閸曨垰鍐€妞ゆ劦婢€缁墎绱撴担鎻掍壕婵犮垼娉涢鍕崲閸℃稒鐓忛柛顐g箖閸f椽鏌涢敐鍛础缂佽鲸甯¢幃鈺呮濞戞帗鐎伴梻浣告惈閻ジ宕伴弽顓犲祦闁硅揪绠戠粻娑㈡⒒閸喓鈯曟い鏂垮濮婄粯鎷呴崨濠傛殘婵烇絽娲﹀浠嬫晲閻愭潙绶為柟閭﹀劦閿曞倹鐓曢柡鍥ュ妼閻忕娀鏌涘Δ鍕彧濞e洤锕俊鍫曞磼濮橆偄顥氭繝鐢靛仜閻°劎鍒掑澶婄?閻庡湱濮锋禍娆撴⒒娴h櫣甯涢柨鏇樺灩宀h儻顦崇紒鍌涘笒楗即宕熼埡鈧花濠氭⒑閻熸壆鎽犵紒璇茬Т鍗遍柛娑樓规禍婊堟煛閸ユ湹绨界紒瀣吹缁辨帡宕掑☉妯碱儌闂侀€炲苯澧剧紓宥呮閸┾偓妞ゆ帒顦獮鎰版煛閸涱垰鈻堢€殿喖顭峰鎾偄妞嬪海鐛繝纰樻閸ㄦ娊宕曢妶澶嬪€剁€广儱鎷嬪〒濠氭煏閸繂鏆欓柛鏃€纰嶆穱濠囶敃閿濆洨鐣靛銈庡亜缁绘帞妲愰幒鎳崇喓鎷犲顔瑰亾閹惧绠鹃柟鐐綑閸ゎ剟鏌涢妸鈺€鎲剧€殿噮鍋婇、娑橆潩閸忕厧鐦滈梻渚€娼ч悧鍡椢涘▎鎾村殐闁绘ḿ绮悡鏇熺箾閹存繂鑸归柡瀣洴楠炴牠寮堕幋顖濆惈闂佸搫鐭夌徊楣冨箚閺冨牜鏁嶆繝濠傛啗閿濆鈷戦柛娑橈攻鐏忔壆绱掔€n偅灏甸柛鎺撳笚缁绘繂顫濋鍌滄綁闂備礁澹婇崑鍡涘窗閹捐鍌ㄩ柛妤冨亹閺€浠嬫煟閹邦厽缍戦柣蹇嬪劤閳ь剝顫夊ú锕傚礈閻斿鍤曢柟闂寸劍閸嬪嫰鎮樿箛搴e妽闁哄倵鍋撳┑锛勫亼閸婃牕顫忔繝姘柧妞ゆ劧闄勯崕妤呮煙閻戞﹩娈曢柣鎾寸洴閹﹢鎮欐0婵嗘婵犳鍠栭崐鍧楀蓟閻旂⒈鏁婇柛婵嗗閸嬫挸鈹戦崱娆愭闂佸湱鍎ら崹鐔肺i崼鐔稿弿婵°倐鍋撴俊顐f⒒濡叉劙鏁撻敓锟� 闂傚倸鍊搁崐鎼佸磹閹间礁纾归柟闂寸绾惧綊鏌i幋锝呅撻柛銈呭閺屻倝宕妷锔芥瘎婵炲濮靛銊ф閹捐纾兼繛鍡樺笒閸橈紕绱撴笟鍥ф珮闁搞劏娉涢悾鐤亹閹烘垹顦繛杈剧悼閹虫挻鎯旀繝鍌楁斀闁绘劖娼欓悘锕傛煟閻旀繂鎳庢慨顒勬煃瑜滈崜鐔奉潖閾忓湱鐭欐繛鍡樺劤閸撳灚绻濆▓鍨灁闁稿﹥绻堥獮鍡涘礋椤栵絾鏅梺缁樺姇瀵爼鎮楅鍕拺闁荤喐婢橀埛鏃傜磼椤曞懎鐏︾€殿喗鐓¢獮鏍ㄦ媴閸︻厼寮抽梻浣虹帛濞叉牠宕愰崷顓涘亾濮樼偓瀚�

AlphaGo人肉臂黄士杰首度公开演讲 Zero未达极限

2017年11月10日16:30 新浪综合
黄士杰出席11月10日的台湾人工智能年会

  来源:DeepTech深科技  作者: 詹子娴

  Google DeepMind研究科学家、《星际争霸》AI计划负责人 Oriol Vinyals将在EmTech China全球新兴科技峰会(2018年1月28-30日)发表主题演讲。

  2016 年,Google 旗下 DeepMind 公司开发的 AlphaGo 击败了韩国职业九段棋士李世石。今年 5 月,AlphaGo 以三战全胜的纪录赢了名列世界第一的棋王柯洁。隔了五个月后,DeepMind 公布了 AlphaGo Zero,它再度让人类感到震撼。

  “我没有想过一个名词能获得所有人的认同,从政治人物、科学家、企业家、到学生甚至是小孩,都觉得这件事明天会发生,这场完美风暴的引爆点是 AlphaGo,黄士杰可能自己都没想过,他那只帮机器下棋的手,改变这个世界:让大家相信或者忧虑机器会超越人类”,Google 台湾董事总经理简立峰说。

  人工智能,是简立峰口中的完美风暴,AlphaGo 则是这一波 AI 风潮的最佳代言人,那么,黄士杰呢?相信 DeepTech 的读者们已经对这个名字并不陌生,他是 DeepMind 资深研究员,是与人类顶尖棋手对弈时代 AlphaGo 执棋的“人肉臂”,更重要的是,他还是开发这个神秘大脑的关键人物之一

  11 月 10 日,黄士杰应台湾人工智能年会之邀来台演讲,演讲主题是“AlphaGo—— 深度学习与强化学习的胜利也是他首次公开演讲

  不久前,在 DeepMind 发表了《Mastering the game of Go without human knowledge》的最新论文后,黄士杰曾在 Facebook 写下: AlphaGo Zero 是完全脱离人类知识的 AlphaGo 版本。这也就是取名为 AlphaGo Zero 的原因——AlphaGo 从零开始。

  在今天的演讲上,他强调,DeepMind 的目标是要做出一个通用人工智能,也就是强人工智能,但他也认为,对 DeepMind 来说,强人工智能还是很遥远,现在最强的学习技能仍然在人类大脑内,有人说强人工智能要到 2045 年,有人说至少还要 100 年,黄世杰的回答是:“大家不要太担心,电影还是电影。”

  从 DeepMind 为什么开始做围棋一直到最新的 AlphaGo Zero,见证了这一切的他称“这几年好像在做梦”。

  以下为演讲内容整理(原文略有删改):

  “人因梦想而伟大”,是我加入(DeepMind)五年之后最大的体会,这段经历对我个人最大的影响就是整个人对 AI 的认识不断加深。DeepMind 团队卧虎藏龙,精神非常强,当 AlphaGo 结束时,我的老板过来跟我说:“Aja(黄士杰英文名),AlphaGo 已经完成所有一切我们希望它该完成的任务,所以我们要再往前迈进”。这群高手都有一个清楚的远大目标,就是做出通用人工智能——解决 A I,把世界变得更好

  我从小就喜欢下棋,棋艺业余六段,再往上就是职业等级。回顾加入 DeepMind 这五年及 AlphaGo 的发展历史,有四件事对我意义非常大,第一件是在韩国赢了李世石,那天 Demis Hassabis(DeepMind 的 CEO)在推特上写着:“赢了,AlphaGo 登上月球”。我们最初没想过会做出这么强的 AlphaGo,当初是抱持着“探索”的心理开始的。开发过程很辛苦,连过圣诞节时,AlphaGo 都还在自我对弈,同事也都还在工作。所以对我们来说,AlphaGo 赢了就像阿姆斯特朗登上月球一样:“这是我的一小步,却是人类的一大步。”

  第二件是操作 AlphaGo Master 在网络 取得 60 连胜,第三是在中国乌镇比赛打赢柯洁。我参加了两次人机大战,两次的气氛都非常不一样。在韩国时,我们都可以深深感受到李世石的巨大压力,感觉他是为人类而战,第二次在乌镇的气氛倒是满愉快,大家是一种建设性而不是对抗性的气氛。

  第四件事就是 AlphaGo Zero 诞生,DeepMind 把所有人类围棋知识抛弃掉,只给规则让它从头开始学。我回想起我在师大念博士班开发 Erica 围棋电脑程序,每天写程序、解 Bug 、做测试到半夜的日子,但 AlphaGo Zero 把我之前做的这些事全部取代,完全不需要我的协助。

  于是有同事问我,AlphaGo Zero 把你过去十几年在计算机上做的研究一点一点的拿掉,还远远超越你,你有什么感觉?一开始我心情有点复杂,但后来想想这是“趋势”。如果我让 AlphaGo 有所阻碍的话,那我确实应该被拿掉,AlphaGo 99% 的知识经我之手,它到达这一步其实是我从事计算机围棋研究的非常好的收尾,我已经非常满足了。

  开发 Erica,获邀加入 DeepMind

  AlphaGo 怎么开始的?其实是三组人马走在一起、串起来的结晶,第一条线是 Demis Hassabis 和 DeepMind AlphaGo 项目负责人 David Silver,第二条线是我,第三条线是 Google Brain 的两位人员 Chris Maddison 和 Ilya Sutskever。

  Demis Hassabis 和 David Silver 是在剑桥大学的同学,他们一起创业。他们为什么想做围棋呢?当年 IBM 深蓝赢了西洋棋世界冠军卡斯巴罗夫,就只剩下围棋是人工智能最大的挑战。因此他们一直就希望做出很强的围棋程序,这是他们的梦想。一开始,研究人员是将西洋棋的技术放进围棋,但这失败了,2006 年蒙特卡洛树出来之后,围棋程序提升到业余三段,但离职业水平还是有极大的差距。

  当我开发出的 Erica 在 2010 年的计算机奥林匹亚获得 19 路围棋的冠军时,我使用的硬件是 8 cores,Zen 用了 6 台 PC,美国的 Many Faces of GO 是用 12 cores,其他对手都是用大机器,但小虾米却赢了大鲸鱼。不久,Demis Hassabis 就写了一封信问我要不要加入,面试时他们告诉我,他们的梦想就是强人工智慧。隔年我就加入 DeepMind。当我们开始做 GO Project 时,大家都有一个共识——不复制 Erica,因为没有意义,我们决定要把深度学习应用进来。

  AlphaGo 的成功是深度学习与强化学习的胜利

  我们怎么判断深度学习可能可以用在围棋呢?如果说,人看一个棋盘,几秒内大概可以知道下这里、下那里会是好棋,这种任务神经网络就办得到,但如果要想好几分钟后怎么走,那神经网络就可能办不到。当初我们就有这 么一个直觉:要以深度学习建构策略网络

  AlphaGo 的主要突破是价值网络,有一天,David Silver 跟我说他有这样一个想法,当时我还有点质疑。我们把策略网络做出来后,胜率就提高到 70~80%,后来加入了 David Silver 提出的价值网络,要让机器进行不断左右互搏的自我学习,一开始不太成功,过了一个月我们克服 over fitting 的问题后,AlphaGo 的胜率大大提升到 95%,而这也是后面 AlphaGo Zero 的主要核心。

  后来老板就说,要跟人类面对面下棋,就得跟樊麾老师比赛。我记得,当樊麾第二盘棋输了之后,他就说:我要出去走走,因为现场只有我和他说中文,我就说:我陪你,他回答:不用,我自己透透气。樊麾回来后,他变得很正面,他不觉得这东西很可怕,而是很正面也很值得期待,因此他后来也变成 DeepMind 团队的一员。再后来,我们选择公开发表这个研究的论文,因为科学的精神就是互相分享,希望推动整个研究领域进步。之后,加入 Google 也为我们带来很大帮助,特别是硬件上,从 GPU 到 TPU 都没有后顾之忧。但 TPU 对我们有极大帮助,把胜率提高了很多。

  另外,大家不要忘记,AlphaGo 在跟李世石比赛时,第四盘棋输的很惨,我当时想说,我自己来下都比较好。尽管最后我们赢了,但回去后就一定要解决这个弱点,不是只解决当初第四盘的弱点,必须全面性地解决,否则以后还是没有人敢用 AI 系统。进化后的版本就是 AlphaGo Master。

  我们到底怎么解决呢?还是用深度学习跟强化学习的方法,而不是用人类知识方法。

  1。 我们把 AlphaGo 的学习能力变强,从神经网络加深:从 13 层变成了 40 层,并改成 ResNet。

  2。 把 2 个网络(决策网络、价值网络)结合成 1 个网络,让 AlphaGo 的直觉和判断同时得到训练,更有一致性。

  3。 改进训练的 pipeline。

  4。 解决了模仿期、循环期等特别情况。

  图 | AlphaGo Master 在网络连赢 60 场,测试地点就在黄士杰在台湾的房间,他每天除了吃饭就是下棋。“我压力很大,怕我点错或是网络断掉,AlphaGo 不能因为我输掉”,他说。

  超越以往的 AlphaGo Zero

  AlphaGo Zero 是连我们自己都很惊讶的版本,因为它第一步就是把所有人类知识的部分都抛掉,它是脱离“人类知识”,不是脱离“规则知识,我们一样是给要它 19X19 的盘面训练。

  从零开始的 AlphaGo 还真的是全部乱下、彻底乱下,所以最初我们预期 AlphaGo Zero 应该是赢不了 AlphaGo Master,后来我们用了一些方法把卡住的地方解决了,细节可以参考论文,没想到 AlphaGo Master 进一步超越原先的版本,3 天就走完人类几千年围棋研究的历程。深度学习跟强化学习的威力真是太大。

  AlphaGo Zero 用了 2000 个 TPU 、训练了 40 天。第 40 天还没有到达其极限,但因为我们机器要做其他事情就停下了,所以它还有很大的潜力。AlphaGo Zero 论文的目的不是要做出很强的程序,也没有想要跟人类知识比较、或是讨论人类知识有没有用这些问题,而是想证明程序不需要人类知识也可以拥有很强的能力。

  我观察到,计算机围棋 AI 的价值在于帮助人类或棋手扩展围棋的理论和思路未来 AI 是人类的工具,跟人类合作,而非跟人类对抗。强人工智能还是 Far Away,现在最强的学习技能仍在人类的脑袋里。

  (以上为演讲全文)

  David Silver 曾指出:“lphaGo 已经退役了。这意味着我们将人员和硬件资源转移到其他 AI 问题中,我们还有很长的路要走”。大家都在关注未来 DeepMind 下一个锁定的领域,而在会议上,黄士杰没有透露太多,但强调“让世界变得更好”,就是 DeepMind 的终极目标

  至于是否可能将 AlphaGo Zero 开源?黄士杰的回答是目前公司没有这种想法,论文其实写得很清楚,之后大家也可以进一步优化算法。

  · 延伸阅读:AlphaGo Zero 进化简史

  和此前的 AlphaGo 版本相比,AlphaGo Zero 的主要成果如下:

  1。 AlphaGo Zero 从零开始自我学习下围棋。

  2。 仅仅 36 小时后,AlphaGo Zero 靠着自我学习,就摸索出所有基本且重要的围棋知识,达到了与李世石九段对战的 AlphaGo v18(也就是 AlphaGo Lee)的相同水平。

  3。 3 天后,AlphaGo Zero 对战 AlphaGo v18 达到 100% 的勝率。

  4。 不断进步的 AlphaGo Zero 达到了 Master 的水平。Master 即年初在网络上达成 60 连胜的 AlphaGo 版本。

  5。 40 天後,AlphaGo Zero 对战 Master 达到近 90% 胜率,成为有史以来 AlphaGo 棋力最强的版本。

  过去,DeepMind 在训练 AlphaGo 时,先让机器看 20~30 万个棋谱,累积一定的人类知识后开始进行自我对弈,自我对弈到达一定程度后机器就有机会赢过人类,因为机器可以在数个礼拜内就下几百万盘,它的经验比人多得多。黄士杰指出:“AlphaGo 成功的背后是结合了深度学习(Deep Learning)、強化学习(Reinforcement learning)与搜索树算法(Tree Search)三大技术。”

  图丨ELO等级分制度(Elo ratings),是当今对弈水平评估的公认的权威方法

  简单来说,当时的 AlphaGo 有两个核心:策略网络(Policy Network)、评价网络(Value Network),这两个核心都是由卷积神经网络所构成。具体而言,首先是大量的棋谱被输入到“策略网络”中,机器会进行监督式学习,然后使用部分样本训练出一个基础版的策略网络,以及使用完整样本训练出进阶版的策略网络,让这两个网络对弈,机器通过不断新增的环境数据调整策略,也就是所谓的强化学习。而“策略网络”的作用是选择落子的位置,再由“评价网络”来判断盘面,分析每个步数的权重,预测游戏的输赢结果。当这两个网络把落子的可能性缩小到一个范围内时,机器计算需要庞大运算资源的负担减少了,再利用蒙特卡洛搜索树于有限的组合中算出最佳解。

  图丨得益于硬件和算法的双重优化,AlphaGo 的效率已经得到了空前的提升

  不过,到了 AlphaGo Zero,DeepMind 则是让它“脑袋空空”——没有输入任何棋谱,让机器自己乱玩。

  也就是说,从一个不知道围棋游戏规则的神经网络开始,没有任何人类指导或人类智能的参与,仅仅通过全新的强化学习算法,让程序自我对弈,自己成为自己的老师,在这过程中神经网络不断被更新和调整。没想到的是,机器训练的时间更短,但却更聪明,例如,AlphaGo Zero 在 3 天内进行过 490 万次自我对弈,就达到了先前击败李世石的程度,但之前他们训练与李世石对战的 AlphaGo 却花费了长达数个月的时间。另外,AlphaGo Zero 21 天就达到了在乌镇围棋峰会打败柯洁的 AlphaGo Master 的水平。

  -End-

标签: 围棋人工智能AlphaGo黄士杰
0条评论|0人参与我有话说
分享到微博
发布
最热评论 刷新