&figure&&img src=&https://pic3.zhimg.com/v2-bbd2ffe0d4f6509079dada_b.jpg& data-rawwidth=&3333& data-rawheight=&2066& class=&origin_image zh-lightbox-thumb& width=&3333& data-original=&https://pic3.zhimg.com/v2-bbd2ffe0d4f6509079dada_r.jpg&&&/figure&&p&【编者按】Prediction Machines的研究科学家（2016年夏-2017年夏Google Brain Resident）&a href=&https://link.zhihu.com/?target=https%3A//twitter.com/dennybritz& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Denny Britz&/a&上周撰文，回顾了2017年AI和深度学习的主要进展。&/p&&p&&br&&/p&&h2&强化学习在人类的游戏中击败了人类&/h2&&p&2017年最大的事件大概是&a href=&https://link.zhihu.com/?target=https%3A//deepmind.com/research/alphago/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&AlphaGo&/a&（&a href=&https://link.zhihu.com/?target=https%3A//storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《自然》论文&/a&），这个强化学习代理击败了世界上最好的围棋选手。由于围棋极端巨大的搜索空间，人们曾经认为还需要好几年的机器学习研究才能攻克围棋问题。所以说，这可是一个大惊喜！&/p&&p&Alpha Go初版使用了源自人类专家的数据作为起步，然后通过自我对弈（应用蒙特卡洛树搜索）提升自己。不久之后推出的&a href=&https://link.zhihu.com/?target=https%3A//deepmind.com/blog/alphago-zero-learning-scratch/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&AlphaGo Zero&/a&（&a href=&https://link.zhihu.com/?target=https%3A//www.nature.com/articles/nature24270.epdf%3Fauthor_access_token%3DVJXbVjaSHxFoctQQ4p2k4tRgN0jAjWel9jnR3ZoTv0PVW4gB86EEpGqTRDtpIz-2rmo8-KG06gqVobU5NSCFeHILHcVFUeMsbvwS-lxjqQGg98faovwjxeTUgZAUMnRQ& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《自然》论文&/a&）更进一步，基于之前发表的&a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Thinking Fast and Slow with Deep Learning and Tree Search&/a&论文中的&a href=&https://link.zhihu.com/?target=https%3A//www.jqr.com/news/technology& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&技术&/a&，不靠人类数据，从头开始学下围棋。AlphaGo Zero轻易打败了AlphaGo初版。快到年底的时候，我们看到了AlphaGo Zero算法更进一步的泛化版本&a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&AlphaZero&/a&。基于相同技术的AlphaZero不仅擅长围棋，还擅长国际象棋和将棋。有趣的是，这些程序的一些落子让最具经验的围棋棋手大吃一惊，调动棋手学习AlphaGo的下法，调整自身的棋风。DeepMind也发布了&a href=&https://link.zhihu.com/?target=https%3A//alphagoteach.deepmind.com/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&AlphaGo Teach&/a&教学工具。&/p&&p&&br&&/p&&figure&&img src=&https://pic2.zhimg.com/v2-ac56a170e8bf_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&768& data-rawheight=&281& class=&origin_image zh-lightbox-thumb& width=&768& data-original=&https://pic2.zhimg.com/v2-ac56a170e8bf_r.jpg&&&/figure&&p&&br&&/p&&p&除了围棋之外，其他游戏领域也获得了显著的进展。CMU研究人员开发的&a href=&https://link.zhihu.com/?target=https%3A//www.wired.com/2017/02/libratus/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Libratus&/a&系统（&a href=&https://link.zhihu.com/?target=http%3A//science.sciencemag.org/content/early//science.aao1733.full& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《科学》论文&/a&），在20日无限制单挑赛上成功击败了顶尖的德州扑克选手。在此之前不久，Charles大学、Czech Technical大学、Alberta大学的研究人员开发的&a href=&https://link.zhihu.com/?target=https%3A//www.deepstack.ai/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&DeepStack&/a&系统成为第一个击败职业扑克选手的AI。注意，以上两个系统都是单挑，也就是在两个玩家之间进行，难度比多人扑克要小很多。在2018年，我们很可能会看到AI在多人扑克领域的进展。&/p&&p&强化学习的下一个前沿看起来会是更复杂的多人游戏，包括多人扑克。DeepMind正努力研究星际2，发布了一个&a href=&https://link.zhihu.com/?target=https%3A//www.jqr.com/news/008083& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&研究环境&/a&。OpenAI则展示了在&a href=&https://link.zhihu.com/?target=https%3A//blog.openai.com/dota-2/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&一对一Dota 2上的初步胜利&/a&。OpenAI的目标是在最近的将来让AI的能力足以胜任完整的5对5游戏。&/p&&a class=&video-box& href=&https://link.zhihu.com/?target=https%3A//www.zhihu.com/video/618240& target=&_blank& data-video-id=&& data-video-playable=&true& data-name=&& data-poster=&https://pic4.zhimg.com/80/v2-e9e543a9a6c5d4f0264f7_b.jpg& data-lens-id=&618240&&
&img class=&thumbnail& src=&https://pic4.zhimg.com/80/v2-e9e543a9a6c5d4f0264f7_b.jpg&&&span class=&content&&
&span class=&title&&&span class=&z-ico-extern-gray&&&/span&&span class=&z-ico-extern-blue&&&/span&&/span&
&span class=&url&&&span class=&z-ico-video&&&/span&https://www.zhihu.com/video/618240&/span&
&h2&演化算法的复苏&/h2&&p&对于监督学习而言，基于反向传播算法的梯度下降方法表现异常优秀。估计以后的一段时间也会是这样。不过，在强化学习领域，演化策略（Evolution Strategies, ES）看起来正在复苏。因为数据通常是非iid（独立且相同分布）的，误差信号很稀疏，需要探索，所以不依赖梯度的算法可能表现不错。此外，演化算法可以线性伸缩到上千台机器，允许极其迅速的并行训练。演化算法不需要昂贵的GPU，可以在很多（通常是成百上千）的廉价CPU上运行。&/p&&p&2017年第一季度，OpenAI的研究人员&a href=&https://link.zhihu.com/?target=https%3A//blog.openai.com/evolution-strategies/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&展示&/a&了演化策略可以达到和深度Q学习之类的标准强化学习算法相当的表现。2017年第四季度，Uber的一个团队发表了&a href=&https://link.zhihu.com/?target=https%3A//eng.uber.com/deep-neuroevolution/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&1篇博客和5篇论文&/a&进一步展示了遗传算法（Genetic Algorithms）和查新（novelty search）的潜力。基于一个极其简单的遗传算法，完全不使用梯度信息，Uber的算法学习进行困难的雅丽达游戏。下面的视频展示了遗传策略(GA)在Frostbite中取得了10500的得分。DQN、AC3、ES的得分则不到1000。&/p&&a class=&video-box& href=&https://link.zhihu.com/?target=https%3A//www.zhihu.com/video/686144& target=&_blank& data-video-id=&& data-video-playable=&true& data-name=&& data-poster=&https://pic2.zhimg.com/80/v2-cbd04c6bb8ac01c3bda35_b.jpg& data-lens-id=&686144&&
&img class=&thumbnail& src=&https://pic2.zhimg.com/80/v2-cbd04c6bb8ac01c3bda35_b.jpg&&&span class=&content&&
&span class=&title&&&span class=&z-ico-extern-gray&&&/span&&span class=&z-ico-extern-blue&&&/span&&/span&
&span class=&url&&&span class=&z-ico-video&&&/span&https://www.zhihu.com/video/686144&/span&
&p&2018年我们很可能会看到更多这个方向的工作。&/p&&h2&WaveNet、CNN和注意机制&/h2&&p&Google的&a href=&https://link.zhihu.com/?target=https%3A//www.jqr.com/news/009289& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Tacotron 2&/a&语音合成系统能够生成令人印象极为深刻的&a href=&https://link.zhihu.com/?target=https%3A//google.github.io/tacotron/publications/tacotron2/index.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&音频样本&/a&，该系统基于&a href=&https://link.zhihu.com/?target=https%3A//deepmind.com/blog/wavenet-generative-model-raw-audio/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&WaveNet&/a&，WaveNet是一个自动回归模型，该模型同样应用于Google助手，在2017年它的&a href=&https://link.zhihu.com/?target=https%3A//www.jqr.com/news/008919& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&性能大为提升&/a&。WaveNet曾经也用于机器翻译，训练时间比循环架构要短。&/p&&p&看起来，机器学习的一些子领域存在一个趋势，从需要花费很长时间训练的昂贵的循环架构迁移到别的机构。在&a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Attention is All you Need&/a&中，研究人员彻底摆脱了循环架构和卷积架构，转用一个更复杂的注意机制，在大大降低训练成本的前提下，表现达到了当前最先进的模型的水平。&/p&&h2&深度学习框架之年&/h2&&p&如果用一句话概括2017年的话，那将是框架之年。Facebook的&a href=&https://link.zhihu.com/?target=http%3A//pytorch.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&PyTorch&/a&引起巨大轰动。由于PyTorch提供和&a href=&https://link.zhihu.com/?target=https%3A//chainer.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Chainer&/a&类似的动态图建构，PyTorch在自然语言处理的研究者那里很受欢迎，这些研究者经常需要处理动态循环结构。在Tensorflow这样基于静态图的框架中，动态循环结构很难定义。&/p&&p&Tensorflow在2017年发展迅猛。2月份发布的&a href=&https://link.zhihu.com/?target=https%3A//github.com/tensorflow/tensorflow/releases/tag/v1.0.0& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Tensorflow 1.0&/a&提供了稳定的向后兼容API。Tensorflow目前的最新版本是1.4.1。除了主框架之外，还发布了一些Tensorflow配套库，包括&a href=&https://link.zhihu.com/?target=https%3A//research.googleblog.com/2017/02/announcing-tensorflow-fold-deep.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Tensorflow Fold&/a&（动态计算图）、&a href=&https://link.zhihu.com/?target=https%3A//research.googleblog.com/2017/02/preprocessing-for-machine-learning-with.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Tensorflow Transform&/a&（数据输入管道），以及DeepMind的高层&a href=&https://link.zhihu.com/?target=https%3A//deepmind.com/blog/open-sourcing-sonnet/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Sonnet&/a&库。Tensorflow团队也公布了一个新的&a href=&https://link.zhihu.com/?target=https%3A//www.jqr.com/news/008363& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&贪婪执行（eager execution）&/a&模式，提供类似PyTorch的动态计算图。&/p&&p&Google和Facebook以外，许多其他公司也加入了开发机器学习框架的潮流：&/p&&ul&&li&Apple公布了&a href=&https://link.zhihu.com/?target=https%3A//developer.apple.com/machine-learning/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&CoreML&/a&移动机器学习库&/li&&li&Uber的一个团队发布了&a href=&https://link.zhihu.com/?target=https%3A//eng.uber.com/pyro/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Pyro&/a&深度概率编程语言。&/li&&li&Amazon公布了&a href=&https://link.zhihu.com/?target=https%3A//github.com/gluon-api/gluon-api/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Gluon&/a&，MXNet的高层API。&/li&&li&Uber公布了内部使用的&a href=&https://link.zhihu.com/?target=https%3A//eng.uber.com/michelangelo/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Michelangelo&/a&机器学习基础设施平台的细节。&/li&&/ul&&p&由于框架的数目很快就超出掌控了，Facebook和Microsoft公布了&a href=&https://link.zhihu.com/?target=https%3A//www.jqr.com/news/009088& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&ONNX&/a&开放格式，用于在框架间共享深度学习模型。例如，你可以使用一个框架训练你的模型，而在生产环境中使用另一个框架。&/p&&p&除了通用的深度学习框架，2017年还有许多强化学习框架发布，包括：&/p&&ul&&li&&a href=&https://link.zhihu.com/?target=https%3A//blog.openai.com/roboschool/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&OpenAI Roboschool&/a& &a href=&https://link.zhihu.com/?target=https%3A//www.jqr.com/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&机器人&/a&模拟&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//github.com/openai/baselines& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&OpenAI Baselines&/a& 精良的强化学习算法实现&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//github.com/tensorflow/agents& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Tensorflow Agents&/a& 基于Tensorflow训练强化学习代理的最优化基础设施&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//github.com/Unity-Technologies/ml-agents& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Unity ML Agents&/a& 使用Unity编辑器创建游戏和模拟，并通过强化学习训练代理&/li&&li&&a href=&https://link.zhihu.com/?target=http%3A//coach.nervanasys.com/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Nervana Coach&/a& 最先进的强化学习算法&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//www.jqr.com/news/008425& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&ELF&/a& Facebook开发的游戏研究平台&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//github.com/deepmind/pycolab& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&DeepMind Pycolab&/a& 可定制的gridworld游戏引擎&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//github.com/geek-ai/MAgent& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Geek.ai MAgent&/a& 多代理强化学习研究平台&/li&&/ul&&p&为了使深度学习更易使用，出现了一些面向web的框架，例如Google的&a href=&https://link.zhihu.com/?target=https%3A//deeplearnjs.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&deeplearn.js&/a&和&a href=&https://link.zhihu.com/?target=https%3A//mil-tokyo.github.io/webdnn/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&MIL WebDNN&/a&执行框架。&/p&&p&然而，至少有一个非常流行的框架死亡了。那是&a href=&https://link.zhihu.com/?target=http%3A//deeplearning.net/software/theano/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Theano&/a&。Theano的开发者在邮件列表中&a href=&https://link.zhihu.com/?target=https%3A//groups.google.com/forum/%23%21topic/theano-users/7Poq8BZutbY& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&宣布&/a&Theano 1.0将是Theano最后发布的版本。&/p&&h2&学习资源&/h2&&p&随着深度学习和强化学习越来越流行，2017年有越来越多的讲座、训练营、活动被记录下来并发布到网上。下面是一些我最喜欢的学习资源：&/p&&ul&&li&OpenAI和UC Berkeley合办的&a href=&https://link.zhihu.com/?target=https%3A//sites.google.com/view/deep-rl-bootcamp/lectures%3Fauthuser%3D0& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Deep RL Bootcamp&/a&（深度强化学习训练营），特色是强化学习的基础和最先进研究。&/li&&li&Stanford的&a href=&https://link.zhihu.com/?target=https%3A//www.youtube.com/playlist%3Flist%3DPL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Convolutional Neural Networks for Visual Recognition&/a&（用于视觉辨识的卷积神经网络）2017年度春季课程。可以同时参考&a href=&https://link.zhihu.com/?target=http%3A//cs231n.stanford.edu/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&课程网站&/a&。&/li&&li&Stanford的&a href=&https://link.zhihu.com/?target=https%3A//www.youtube.com/playlist%3Flist%3DPL3FW7Lu3i5Jsnh1rnUwq_TcylNr7EkRe6& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Natural Language Processing with Deep Learning&/a&（基于深度学习进行自然语言处理）2017年冬季课程。可以同时参考&a href=&https://link.zhihu.com/?target=http%3A//web.stanford.edu/class/cs224n/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&课程网站&/a&。&/li&&li&Stanford的&a href=&https://link.zhihu.com/?target=https%3A//stats385.github.io/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Theories of Deep Learning&/a&（深度学习理论）课程。&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//www.coursera.org/specializations/deep-learning& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Coursera Deep Learning specialization&/a&（深度学习专精）新版。&/li&&li&&a href=&https://link.zhihu.com/?target=http%3A//videolectures.net/deeplearning2017_montreal/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Deep Learning and Reinforcement Summer School in Montreal&/a&（Montreal深度学习和强化学习暑期班）&/li&&li&UC Berkeley的&a href=&https://link.zhihu.com/?target=http%3A//rll.berkeley.edu/deeprlcourse/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Deep Reinforcement Learning Fall 2017 course&/a&（深度强化学习2017年秋季课程）&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//www.youtube.com/playlist%3Flist%3DPLOU2XLYxmsIKGc_NBoIhTn2Qhraji53cv& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Tensorflow Dev Summit&/a&（Tensorflow开发者峰会）上关于深度学习基础和相关的Tensorflow API的演讲。&/li&&/ul&&p&一些学术会议延续了将会议演讲发布在网上的新传统。如果你希望追踪最前沿的研究，你可以观看&a href=&https://link.zhihu.com/?target=https%3A//nips.cc/Conferences/2017/Videos& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&NIPS 2017&/a&、&a href=&https://link.zhihu.com/?target=https%3A//www.facebook.com/pg/iclr.cc/videos/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&ICLR 2017&/a&或&a href=&https://link.zhihu.com/?target=https%3A//ku.cloud.panopto.eu/Panopto/Pages/Sessions/List.aspx& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&EMNLP 2017&/a&的录像。&/p&&p&研究人员也开始在预印本文库（arXiv）上发表易于阅读的指南和论文。以下是一些我最喜欢的2017年的论文和指南：&/p&&ul&&li&&a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Deep Reinforcement Learning: An Overview&/a&（深度强化学习概览）&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&A Brief Introduction to Machine Learning for Engineers&/a&（面向工程师的机器学习简明介绍）&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Neural Machine Translation&/a&（神经机器翻译）&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Neural Machine Translation and Sequence-to-sequence Models: A Tutorial&/a&（神经机器翻译和序列到序列模型指南）&/li&&/ul&&h2&应用：AI和医学&/h2&&p&2017年，有一些大胆的人声称针对医疗问题的深度学习技术击败了人类专家。这当中有很多夸张的不实宣传，对不具有医学背景的人而言，理解其中真正的突破绝非易事。Luke Oakden-Rayner的&a href=&https://link.zhihu.com/?target=https%3A//lukeoakdenrayner.wordpress.com//the-end-of-human-doctors-introduction/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&The End of Human Doctors&/a&（人类医生的终结）系列博客提供了一份该领域的全面综述。我在这里将简要介绍其中的一些进展。&/p&&p&2017最重要的新闻之一是Stanford的团队公布了&a href=&https://link.zhihu.com/?target=https%3A//cs.stanford.edu/people/esteva/nature/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&在识别皮肤癌方面表现得和皮肤科医生一样好的一个深度学习算法&/a&的细节（&a href=&https://link.zhihu.com/?target=https%3A//www.nature.com/articles/nature21056.epdf%3Fauthor_access_token%3D8oxIcYWf5UNrNpHsUHd2StRgN0jAjWel9jnR3ZoTv0NXpMHRAJy8Qn10ys2O4tuPakXos4UhQAFZ750CsBNMMsISFHIKinKDMKjShCpHIlYPYUHhNzkn6pSnOCt0Ftf6& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《自然》的文章&/a&）。Stanford的另一个团队开发了一个模型，&a href=&https://link.zhihu.com/?target=https%3A//stanfordmlgroup.github.io/projects/ecg/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&该模型基于单导ECG信号，能比心脏病科医生更好地发现心律失常&/a&。&/p&&p&&br&&/p&&figure&&img src=&https://pic4.zhimg.com/v2-fd0b13db7ca6_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&768& data-rawheight=&724& class=&origin_image zh-lightbox-thumb& width=&768& data-original=&https://pic4.zhimg.com/v2-fd0b13db7ca6_r.jpg&&&/figure&&p&不过2017年也出现了一些重大错误。DeepMind和NHS的协议&a href=&https://link.zhihu.com/?target=http%3A//www.businessinsider.com/deepmind-royal-free-london-nhs-deal-inexcusable-mistakes-2017-3& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&充斥着“不容辩解”的错误&/a&。NIH发布了一个&a href=&https://link.zhihu.com/?target=https%3A//www.nih.gov/news-events/news-releases/nih-clinical-center-provides-one-largest-publicly-available-chest-x-ray-datasets-scientific-community& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&X光胸片数据集&/a&，但&a href=&https://link.zhihu.com/?target=https%3A//lukeoakdenrayner.wordpress.com//the-chestxray14-dataset-problems/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&细致的检查&/a&表明这个数据集其实并不适合训练诊断型AI模型。&/p&&h2&应用：艺术和GAN&/h2&&p&2017年另一个得到更多关注的应用是面向图像、音乐、绘画和视频的生成式模型。NIPS 2017首次推出了&a href=&https://link.zhihu.com/?target=https%3A//nips2017creativity.github.io/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Machine Learning for Creativity and Design&/a&（面向创意与设计的机器学习）研讨会。&/p&&p&最流行的应用之一是Google的&a href=&https://link.zhihu.com/?target=https%3A//quickdraw.withgoogle.com/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&QuickDraw&/a&，使用神经网络来识别你的涂鸦。基于已经发布的数据集，你甚至可以教导机器帮你&a href=&https://link.zhihu.com/?target=https%3A//research.googleblog.com/2017/04/teaching-machines-to-draw.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&补完画作&/a&。&/p&&p&生成对抗网络（Generative Adversarial Networks，GAN）在2017年取得显著进展。例如，&a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&CycleGAN&/a&、&a href=&https://link.zhihu.com/?target=https%3A//github.com/carpedm20/DiscoGAN-pytorch& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&DiscoGAN&/a&、&a href=&https://link.zhihu.com/?target=https%3A//github.com/yunjey/StarGAN& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&StarGAN&/a&等新模型在人脸生成方面的表现令人印象深刻。GAN曾经一度难以生成逼真的高分辨率图像，但&a href=&https://link.zhihu.com/?target=https%3A//tcwang0509.github.io/pix2pixHD/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&pix2pixHD&/a&令人印象深刻的结果表明我们正着手解决这一问题。GAN会成为新的画笔吗？&/p&&a class=&video-box& href=&https://link.zhihu.com/?target=https%3A//www.zhihu.com/video/259264& target=&_blank& data-video-id=&& data-video-playable=&true& data-name=&& data-poster=&https://pic3.zhimg.com/80/v2-3f894fab5d5c_b.jpg& data-lens-id=&259264&&
&img class=&thumbnail& src=&https://pic3.zhimg.com/80/v2-3f894fab5d5c_b.jpg&&&span class=&content&&
&span class=&title&&&span class=&z-ico-extern-gray&&&/span&&span class=&z-ico-extern-blue&&&/span&&/span&
&span class=&url&&&span class=&z-ico-video&&&/span&https://www.zhihu.com/video/259264&/span&
&h2&应用：自动驾驶&/h2&&p&自动驾驶领域的重量级选手包括Uber、Lyft、Waymo（属于Alphabet）、Tesla。Uber在2017年开始的时候遇到了一些挫折，由于软件错误，Uber的自动驾驶汽车在San Francisco&a href=&https://link.zhihu.com/?target=http%3A//fortune.com//uber-self-driving-car-red-lights/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&漏掉了若干红灯&/a&。之后Uber分享了内部使用的&a href=&https://link.zhihu.com/?target=https%3A//eng.uber.com/atg-dataviz/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&汽车视觉平台的细节&/a&。2017年12月，Uber的自动驾驶汽车程序&a href=&https://link.zhihu.com/?target=https%3A//www.forbes.com/sites/bizcarson//ubers-self-driving-cars-2-million-miles/%2323dc88eaa4fe& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&积累了200万里程&/a&。&/p&&p&而Waymo则在四月份&a href=&https://link.zhihu.com/?target=https%3A//www.bloomberg.com/news/articles//alphabet-s-self-driving-cars-to-get-their-first-real-riders& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&搭载了第一名真正的乘客&/a&，之后&a href=&https://link.zhihu.com/?target=https%3A//www.recode.net///alphabet-driverless-cars-phoenix-arizona& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&在Arizona的Phoenix完全脱离了人类操作员&/a&。Waymo也发表了他们使用的&a href=&https://link.zhihu.com/?target=https%3A//www.theatlantic.com/technology/archive/2017/08/inside-waymos-secret-testing-and-simulation-facilities/537648/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&测试和模拟技术&/a&的细节。&/p&&p&&br&&/p&&figure&&img src=&https://pic2.zhimg.com/v2-dda299f5d7fba678b2b345_b.jpg& data-size=&normal& data-rawwidth=&640& data-rawheight=&398& data-thumbnail=&https://pic2.zhimg.com/v2-dda299f5d7fba678b2b345_b.jpg& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic2.zhimg.com/v2-dda299f5d7fba678b2b345_r.gif&&&figcaption&Waymo模拟展示改进了的载具导航&/figcaption&&/figure&&p&Lyft宣布正在创造&a href=&https://link.zhihu.com/?target=https%3A//www.recode.net///lyft-self-driving-cars-autonomous-software-hardware& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&自己的自主驾驶软硬件&/a&。Lyft的第一款产品在Boston&a href=&https://link.zhihu.com/?target=https%3A//www.theverge.com///lyft-nutonomy-boston-self-driving-car& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&起步&/a&。Tesla的Autopilot&a href=&https://link.zhihu.com/?target=https%3A//www.theverge.com///tesla-autopilot-self-driving-update-elon-musk& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&没有太多更新&/a&，而Apple则作为新来者进入了这个领域。Tim Cook&a href=&https://link.zhihu.com/?target=https%3A//www.theverge.com///apple-self-driving-cars-autonomous-tim-cook& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&确认&/a&Apple正为自动驾驶汽车开发软件，Apple的研究人员在arXiv上&a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&发表&/a&了一篇识别3D物体的论文。&/p&&h2&应用：酷研究项目&/h2&&p&2017年发表了太多有趣的项目和demo，这里不可能全部列出。不过，有一些项目特别突出：&/p&&ul&&li&&a href=&https://link.zhihu.com/?target=https%3A//towardsdatascience.com/background-removal-with-deep-learning-c4f& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Background removal with Deep Learning&/a&（基于深度学习移除背景）&/li&&li&&a href=&https://link.zhihu.com/?target=http%3A//make.girls.moe/%23/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Creating Anime characters with Deep Learning&/a&（基于深度学习创建动漫角色）&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//www.jqr.com/news/009108& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&基于神经网络为黑白图像上色&/a&&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//www.polygon.com///mario-kart-mariflow-neural-network-video& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Mario Kart (SNES) played by a neural network&/a&（神经网络玩马里奥）&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//github.com/rameshvarun/NeuralKart& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&A Real-time Mario Kart 64 AI&/a&（实时马里奥AI）&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//www.technologyreview.com/s/609524/this-ai-can-spot-art-forgeries-by-looking-at-one-brushstroke/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Spotting Forgeries using Deep Learning&/a&（基于深度学习识别赝品）&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//affinelayer.com/pixsrv/index.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Edges to Cats&/a&（基于勾勒的轮廓生成图片）&/li&&/ul&&p&更偏向研究性的：&/p&&ul&&li&&a href=&https://link.zhihu.com/?target=https%3A//blog.openai.com/unsupervised-sentiment-neuron/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&The Unsupervised Sentiment Neuron&/a&（无监督情绪神经元）这个系统能学习情绪的出色表示，尽管最初是为了预测Amazon商品评价的下一个字符而训练的。&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//blog.openai.com/learning-to-communicate/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Learning to Communicate&/a&（学习交流）代理发展了自己的语言。&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&The Case for Learning Index Structures&/a&（学习索引结构）在若干实际的数据集上，相比缓存优化的B树，神经网络的索引速度提升了70%，同时节省了一个数量级的内存。&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Attention is All You Need&/a& 详见前文&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Mask R-CNN&/a& 对象实例切分的通用框架&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//dmituyulyanovlgithub.iaode.p_image_prior/deep_image_prior& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&深度图像先验：降噪、超分辨率、修复&/a&&/li&&/ul&&h2&数据集&/h2&&p&众所周知，用于监督学习的神经网络非常渴求数据。因此开放数据集对研究社区而言是极其重要的贡献。下面是2017年一些突出的数据集：&/p&&ul&&li&&a href=&https://link.zhihu.com/?target=https%3A//research.google.com/youtube-bb& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Youtube Bounding Boxes&/a&&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//quickdraw.withgoogle.com/data& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Google QuickDraw Data&/a&&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//deepmind.com/research/open-source/open-source-datasets& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&DeepMind Open Source Datasets&/a&&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//research.googleblog.com/2017/08/launching-speech-commands-dataset.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Google Speech Commands Dataset&/a&&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//research.google.com/ava/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Atomic Visual Actions&/a&&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//github.com/openimages/dataset& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Several updates to the Open Images data set&/a&&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//magenta.tensorflow.org/datasets/nsynth& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Nsynth dataset of annotated musical notes&/a&&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//data.quora.com/First-Quora-Dataset-Release-Question-Pairs& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Quora Question Pairs&/a&&/li&&/ul&&h2&深度学习、可重复性、炼金术&/h2&&p&2017年，有很多研究者提醒大家关注学术论文结果的可重复性问题。深度学习模型通常依赖于数目巨大的超参数优化，以得到好到足以发表的结果。这些优化可能变得如此昂贵，以至于只有像Google和Facebook这样的公司能负担得起。研究人员并不总是发布他们的代码，或者忘了在最终论文中写上重要的细节，或者使用了和论文描述略有不同的评估过程，或者通过在同一分区上重复优化超参数以致过拟合了数据。这使得可重复性很成问题。&a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Reinforcement Learning That Matters&/a&一文表明，从不同的代码基中得到的同一算法取得了很不一样的结果（方差很高）：&/p&&p&&br&&/p&&figure&&img src=&https://pic2.zhimg.com/v2-101ca69d1ee79e52d0511ff_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&768& data-rawheight=&729& class=&origin_image zh-lightbox-thumb& width=&768& data-original=&https://pic2.zhimg.com/v2-101ca69d1ee79e52d0511ff_r.jpg&&&/figure&&p&&br&&/p&&p&&a href=&https://link.zhihu.com/?target=https%3A//www.jqr.com/news/009019& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&GAN生而平等吗？一个大规模的调查&/a&显示，一个经过精心调优、基于昂贵的超参搜索的GAN，可以击败那些声称表现更好的较复杂模型。类似地，&a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&On the State of the Art of Evaluation in Neural Language Models&/a&（论最先进的自然语言模型的评估）表明，经过适当正则化和调优的简单LSTM架构，可以击败最近的模型。&/p&&p&在一个引起很大反响的NIPS演讲中，Ali Rahimi&a href=&https://link.zhihu.com/?target=https%3A//www.jqr.com/news/009081& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&比较了最近的深度学习方法和炼金术&/a&，呼吁更严格的实验设计。Yann Lecun觉得这是一种羞辱，在第二天立即发起了&a href=&https://link.zhihu.com/?target=https%3A//www.jqr.com/news/009081& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&反击&/a&。&/p&&h2&加拿大和中国的人工智能&/h2&&p&随着美国移民政策的收紧，看上去有更多的公司在海外设立办公场地，加拿大是其中主要的目的地。Google在&a href=&https://link.zhihu.com/?target=https%3A//canada.googleblog.com/2017/03/canadas-ai-moment.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Toronto&/a&开设了办公室，DeepMind在&a href=&https://link.zhihu.com/?target=https%3A//deepmind.com/blog/deepmind-office-canada-edmonton/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Edmonton&/a&开设了新办公室，Facebook AI Research在&a href=&https://link.zhihu.com/?target=https%3A//newsroom.fb.com/news/2017/09/fair-montreal/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Montreal&/a&设立了实验室。&/p&&p&中国是另一个受到大量关注的目的地。大量的资本，大量有天赋的开发者，准备就绪的政府数据，在AI研发和产品部署方面，中国是美国&a href=&https://link.zhihu.com/?target=https%3A//www.nytimes.com//business/china-artificial-intelligence.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&相当的对手&/a&。Google也宣布&a href=&https://link.zhihu.com/?target=https%3A//www.bloomberg.com/news/articles//google-to-open-beijing-ai-center-in-latest-expansion-in-china& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&在北京设立AI中心&/a&。&/p&&h2&硬件战争：Nvidia、Intel、Google、Tesla&/h2&&p&训练最先进的模型需要&a href=&https://link.zhihu.com/?target=https%3A//www.jqr.com/news/008228& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&昂贵的GPU&/a&，现代深度学习技术在这一点上很出名。目前为止，Nvidia是最大的赢家。2017年，Nvidia发布了最新的旗舰GPU——金色的&a href=&https://link.zhihu.com/?target=https%3A//www.nvidia.com/en-us/titan/titan-v/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Titan V&/a&。&/p&&p&但竞争正在增强。Google的&a href=&https://link.zhihu.com/?target=https%3A//blog.google/topics/google-cloud/google-cloud-offer-tpus-machine-learning/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&云平台上可以使用自家的TPU&/a&，Intel发布了&a href=&https://link.zhihu.com/?target=https%3A//www.theverge.com/circuitbreaker///intel-ai-chips-nervana-neural-network-processor-nnp& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Nervana处理器&/a&，甚至Tesla也承认&a href=&https://link.zhihu.com/?target=https%3A//www.theregister.co.uk//elon_musk_finally_admits_tesla_is_building_its_own_custom_ai_chips/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&正在研发自己的AI硬件&/a&。竞争还可能&a href=&https://link.zhihu.com/?target=https%3A//qz.com/1053799/chinas-bitmain-dominates-bitcoin-mining-now-it-wants-to-cash-in-on-artificial-intelligence/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&来自中国&/a&，专门制作比特币矿机的硬件制造商想要进入面向人工智能的GPU领域。&/p&&h2&炒作和失败&/h2&&p&炒作越猛，责任越大。主流媒体报道的内容几乎总是无法与实验室和生产系统上实际发生的事对应起来。IBM的沃森就是过度炒作的营销模范，没能交出相符的成绩。2017年，&a href=&https://link.zhihu.com/?target=https%3A//gizmodo.com/why-everyone-is-hating-on-watson-including-the-people-w-& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&所有人都讨厌IBM 沃森&/a&，这一点也不奇怪，因为沃森&a href=&https://link.zhihu.com/?target=https%3A//www.statnews.com//watson-ibm-cancer/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&在医疗领域屡战屡败&/a&。&/p&&p&关于炒作，最佳的故事大概是Facebook的“研究人员关闭可以发明自己的语言的AI”，我故意没有加链接。这篇报道已经造成了恶劣的影响，你可以搜索到它。当然，这标题与事实离得不能更远了。实际发生的事情是研究人员停止了一个标准的实验，因为实验看起来没有给出好的结果。&/p&&p&然而，应该为炒作而内疚的不止媒体。研究人员也有越线的行为，标题和摘要不符合实际的实验结果，比如这篇&a href=&https://link.zhihu.com/?target=https%3A//medium.com/%2540yoav.goldberg/an-adversarial-review-of-adversarial-generation-of-natural-language-409ac3378bd7& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&自然语言生成的论文&/a&，和这篇&a href=&https://link.zhihu.com/?target=http%3A//zacharydavid.com//fitting-to-noise-or-nothing-at-all-machine-learning-in-markets/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&面向市场的机器学习&/a&。&/p&&h2&高调的招聘和跳槽&/h2&&p&Coursera联合创始人吴恩达，很多人大概是通过他的机器学习在线课程认识他的，在2017年上了几次新闻。吴恩达三月份&a href=&https://link.zhihu.com/?target=https%3A//medium.com/%2540andrewng/opening-a-new-chapter-of-my-work-in-ai-c6a4d1595d7b& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&离开了百度&/a&，（他曾在百度领导AI团队），&a href=&https://link.zhihu.com/?target=https%3A//techcrunch.com//andrew-ng-is-raising-a-150m-ai-fund& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&拿到了&/a&1.5亿美元的投资，宣布创办一个新的专注制造业的创业公司，&a href=&https://link.zhihu.com/?target=https%3A//www.landing.ai/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&landing.ai&/a&。此外，&a href=&https://link.zhihu.com/?target=https%3A//www.recode.net///uber-ai-gary-marcus-geometric-intelligence& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Gary Marcus不再担任Uber人工智能实验室主管&/a&，Facebook&a href=&https://link.zhihu.com/?target=https%3A//venturebeat.com//facebook-hires-siri-natural-language-understanding-chief-from-apple/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&挖了Siri的自然语言理解负责人&/a&，一些知名的研究人员&a href=&https://link.zhihu.com/?target=https%3A//www.theverge.com///robot-ai-grasping-grabbing-embodied-intelligence-startup& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&离开OpenAI创建了一家新的机器人公司&/a&。&/p&&p&2017年&a href=&https://link.zhihu.com/?target=https%3A//www.theguardian.com/science/2017/nov/01/cant-compete-universities-losing-best-ai-scientists& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&保持&/a&了学术界流失科学家（去业界）的趋势。大学实验室纷纷表示它们无法与业界巨头开出的薪水竞争。&/p&&h2&创业公司投资和收购&/h2&&p&像上一年一样，2017年，AI创业的生态环境一片繁荣，有不少高调的收购：&/p&&ul&&li&&a href=&https://link.zhihu.com/?target=https%3A//blogs.microsoft.com/blog//microsoft-acquires-deep-learning-startup-maluuba-ai-pioneer-yoshua-bengio-advisory-role/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Microsoft收购深度学习创业公司Maluuba&/a&&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//cloudplatform.googleblog.com/2017/03/welcome-Kaggle-to-Google-Cloud.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Google Cloud收购Kaggle&/a&&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//www.bloomberg.com/news/articles//softbank-agrees-to-buy-robot-maker-boston-dynamics& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Softbank收购机器人制造商Boston Dynamics&/a&（这家公司因不怎么使用机器学习而出名）&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//venturebeat.com//facebook-acquires-ai-assistant-startup-ozlo/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Facebook收购AI助理创业公司Ozlo&/a&&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//techcrunch.com//samsung-buys-another-ai-company-as-it-continues-to-build-out-bixby/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Samsung收购Fluently以创建Bixby&/a&&/li&&/ul&&p&拉到大笔投资的新公司：&/p&&ul&&li&&a href=&https://link.zhihu.com/?target=https%3A//venturebeat.com//mythic-raises-8-8-million-to-put-ai-on-a-chip& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&将AI纳入芯片的Mythic融到880万美元&/a&&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//techcrunch.com//element-ai-a-platform-for-companies-to-build-ai-solutions-raises-102m/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&构建AI解决方案的平台Element AI融到1.02亿美元&/a&&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//www.forbes.com/sites/alanohnsman//robot-car-tech-startup-drive-ai-raises-50-million-adds-stanfords-ng-to-board/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Drive.ai融到5千万美元，吴恩达加入了它的董事会&/a&&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//www.graphcore.ai/posts/big-names-in-machine-intelligence-join-graphcores-new-30-million-funding-round& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Graphcore融到3千万美元&/a&&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//techcrunch.com//ai-startup-appier-gets-33m-series-c-from-investors-including-softbank-group-line-corp-and-naver/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Appier的C轮融到3.3千万美元&/a&&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//techcrunch.com//prowler-io-nabs-13m-for-its-new-approach-to-decision-making-in-ai/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Prowler.io融到1.3千万美元&/a&&/li&&li&&a href=&https://link.zhihu.com/?target=https%3A//venturebeat.com//sophia-genetics-raises-30-million-to-help-doctors-diagnose-using-ai-and-genomic-data-analysis/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&基于AI技术和基因数据辅助医生诊断疾病的Sophia Genetics融到3千万美元&/a&&/li&&/ul&&p&最后，新年快乐！感谢你读完了这篇长文 :)&/p&&blockquote&原文 &a href=&https://link.zhihu.com/?target=http%3A//www.wildml.com/2017/12/ai-and-deep-learning-in-2017-a-year-in-review/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&AI and Deep Learning in 2017 – A Year in Review&/a&&br&感谢原作者&a href=&https://link.zhihu.com/?target=https%3A//twitter.com/dennybritz& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Denny Britz&/a&授权论智编译，未经授权禁止转载。详情见&a href=&https://link.zhihu.com/?target=https%3A//mp.weixin.qq.com/s/HlbaK7MD3jK31txlP9IPhw& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&转载须知&/a&&/blockquote&
【编者按】Prediction Machines的研究科学家（2016年夏-2017年夏Google Brain Resident）上周撰文，回顾了2017年AI和深度学习的主要进展。 强化学习在人类的游戏中击败了人类2017年最大的事件大概是（），这个强化学习代理击…
Github 上有同学总结了一份 机器学习和深度学习资料列表 ,共两篇，总计接近 1000 条。&br&原文第一篇如下：&br&&a href=&//link.zhihu.com/?target=https%3A//github.com/ty4z2008/Qix/blob/master/dl.md& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Qix/dl.md at master · ty4z2008/Qix · GitHub&i class=&icon-external&&&/i&&/a&&br&&blockquote&机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 1)&a class=& wrap external& href=&//link.zhihu.com/?target=https%3A//github.com/ty4z2008/Qix/blob/master/dl.md%23%25E6%25B3%25A8%25E6%259C%25BA%25E5%%25E5%25AD%25A6%25E4%25B9%25A0%25E8%25B5%%E7%25AF%%259B%25AE%25E4%25B8%%0%25E6%259D%25A1%25E7%25AF%%259B%25AE%25E4%25BA%258C%25E5%25BC%%25A7%258B%25E6%259B%25B4%25E6%& target=&_blank& rel=&nofollow noreferrer&&Qix/dl.md at master · ty4z2008/Qix · GitHub&i class=&icon-external&&&/i&&/a&注:机器学习资料&a href=&//link.zhihu.com/?target=https%3A//github.com/ty4z2008/Qix/blob/master/dl.md& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&篇目一&i class=&icon-external&&&/i&&/a&共500条,&a href=&//link.zhihu.com/?target=https%3A//github.com/ty4z2008/Qix/blob/master/dl2.md& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&篇目二&i class=&icon-external&&&/i&&/a&开始更新&a class=& wrap external& href=&//link.zhihu.com/?target=https%3A//github.com/ty4z2008/Qix/blob/master/dl.md%23%25E5%25B8%258C%25E6%259C%259B%25E8%25BD%25AC%25E8%25BD%25BD%25E7%259A%%259C%258B%25E5%258F%258B%25E4%25BD%25A0%25E5%258F%25AF%25E4%25BB%25A5%25E4%25B8%258D%25E7%%25E8%E7%25B3%25BB%25E6%E4%25BD%%2598%25AF%25E4%25B8%%25AE%259A%25E8%25A6%%25BF%259D%25E7%E5%258E%259F%25E6%E9%2593%25BE%25E6%258E%25A5%25E5%259B%25A0%25E4%25B8%25BA%25E8%25BF%%25B8%25AA%25E9%25A1%25B9%25E7%259B%25AE%25E8%25BF%%259C%25A8%25E7%25BB%25A7%25E7%25BB%25AD%25E4%25B9%259F%25E5%259C%25A8%25E4%25B8%258D%25E5%25AE%259A%25E6%259C%259F%25E6%259B%25B4%25E6%%25E5%25B8%258C%25E6%259C%259B%25E7%259C%258B%25E5%%25E6%E7%25AB%25A0%25E7%259A%%259C%258B%25E5%258F%258B%25E8%2583%25BD%25E5%25A4%259F%25E5%25AD%25A6%25E5%%25E6%259B%25B4%25E5%25A4%259A%25E6%25AD%25A4%25E5%25A4%%259F%%25BA%259B%25E8%25B5%%E5%259C%25A8%25E4%25B8%25AD%25E5%259B%25BD%25E8%25AE%25BF%25E9%2597%25AE%25E9%259C%%25A6%%25A2%25AF%25E5%25AD%2590& target=&_blank& rel=&nofollow noreferrer&&Qix/dl.md at master · ty4z2008/Qix · GitHub&i class=&icon-external&&&/i&&/a&希望转载的朋友，你可以不用联系我．但是&strong&一定要保留原文链接&/strong&，因为这个项目还在继续也在不定期更新．希望看到文章的朋友能够学到更多．此外:某些资料在中国访问需要梯子.&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//www.erogol.com/brief-history-machine-learning/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《Brief History of Machine Learning》&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep Learning.&a href=&//link.zhihu.com/?target=http%3A//www.almosthuman.cn//koarh/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&译文part1&i class=&icon-external&&&/i&&/a&&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//www.idsia.ch/%7Ejuergen/DeepLearning15May2014.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《Deep Learning in Neural Networks: An Overview》&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍:这是瑞士人工智能实验室Jurgen Schmidhuber写的最新版本《神经网络与深度学习综述》本综述的特点是以时间排序，从1940年开始讲起，到60-80年代，80-90年代，一直讲到2000年后及最近几年的进展。涵盖了deep learning里各种tricks，引用非常全面.&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//machinelearningmastery.com/a-gentle-introduction-to-scikit-learn-a-python-machine-learning-library/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《A Gentle Introduction to Scikit-Learn: A Python Machine Learning Library》&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍:这是一份python机器学习库,如果您是一位python工程师而且想深入的学习机器学习.那么这篇文章或许能够帮助到你.&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//machinelearningmastery.com/how-to-layout-and-manage-your-machine-learning-project/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《How to Layout and Manage Your Machine Learning Project》&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍:这一篇介绍如果设计和管理属于你自己的机器学习项目的文章，里面提供了管理模版、数据管理与实践方法.&/p&&ul&&li&&a href=&//link.zhihu.com/?target=https%3A//medium.com/code-poet/80ea3ec3c471& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《Machine Learning is Fun!》&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍:如果你还不知道什么是机器学习，或则是刚刚学习感觉到很枯燥乏味。那么推荐一读。这篇文章已经被翻译成中文,如果有兴趣可以移步&a href=&//link.zhihu.com/?target=http%3A//blog.jobbole.com/67616/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&有趣的机器学习：最简明入门指南&i class=&icon-external&&&/i&&/a&&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//cran.r-project.org/doc/contrib/Liu-R-refcard.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《R语言参考卡片》&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍:R语言是机器学习的主要语言,有很多的朋友想学习R语言，但是总是忘记一些函数与关键字的含义。那么这篇文章或许能够帮助到你&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//blog.echen.me//choosing-a-machine-learning-classifier/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《Choosing a Machine Learning Classifier》&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍:我该如何选择机器学习算法，这篇文章比较直观的比较了Naive Bayes，Logistic Regression，SVM，决策树等方法的优劣，另外讨论了样本大小、Feature与Model权衡等问题。此外还有已经翻译了的版本:&a href=&//link.zhihu.com/?target=http%3A//www.52ml.net/15063.html& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&52ml.net/15063.html&/span&&span class=&invisible&&&/span&&i class=&icon-external&&&/i&&/a&&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//www.toptal.com/machine-learning/an-introduction-to-deep-learning-from-perceptrons-to-deep-networks& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《An Introduction to Deep Learning: From Perceptrons to Deep Networks》&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍：深度学习概述：从感知机到深度网络，作者对于例子的选择、理论的介绍都很到位，由浅入深。翻译版本：&a href=&//link.zhihu.com/?target=http%3A//www.cnblogs.com/xiaowanyer/p/3701944.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&深度学习概述：从感知机到深度网络&i class=&icon-external&&&/i&&/a&&/p&&ul&&li&&p&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/ayG13we2vxyKl& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《The LION Way: Machine Learning plus Intelligent Optimization》&i class=&icon-external&&&/i&&/a&&/p&&p&介绍:&机器学习与优化&这是一本机器学习的小册子, 短短300多页道尽机器学习的方方面面. 图文并茂, 生动易懂, 没有一坨坨公式的烦恼. 适合新手入门打基础, 也适合老手温故而知新. 比起MLAPP/PRML等大部头, 也许这本你更需要!具体内容推荐阅读:&a href=&//link.zhihu.com/?target=http%3A//intelligent-optimization.org/LIONbook/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&LIONbook - intelligent-optimization.org for prescriptive analytics&i class=&icon-external&&&/i&&/a&&/p&&/li&&li&&p&&a href=&//link.zhihu.com/?target=http%3A//1.guzili.sinaapp.com/%3Fp%3D174& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《深度学习与统计学习理论》&i class=&icon-external&&&/i&&/a&&/p&&/li&&/ul&&p&介绍:作者是来自百度，不过他本人已经在2014年4月份申请离职了。但是这篇文章很不错如果你不知道深度学习与支持向量机/统计学习理论有什么联系？那么应该立即看看这篇文章.&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-042j-mathematics-for-computer-science-fall-2010/readings/MIT6_042JF10_notes.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《计算机科学中的数学》&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍:这本书是由谷歌公司和MIT共同出品的计算机科学中的数学：&a href=&//link.zhihu.com/?target=https%3A//github.com/ty4z2008/Qix/blob/master/Mathematics%2520for%2520Computer%2520Science& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Mathematics for Computer Science&i class=&icon-external&&&/i&&/a&，Eric Lehman et al 2013 。分为5大部分：1）证明，归纳。2）结构，数论，图。3）计数，求和，生成函数。4）概率，随机行走。5）递归。等等&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//research.microsoft.com/en-US/people/kannan/book-no-solutions-aug-21-2014.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《信息时代的计算机科学理论(Foundations of Data Science)》&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍：信息时代的计算机科学理论,目前国内有纸质书购买，&a href=&//link.zhihu.com/?target=https%3A//itunes.apple.com/us/book/introduction-to-data-science/id& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&iTunes购买&i class=&icon-external&&&/i&&/a&&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/ayG13we2vx5qg& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《Data Science with R》&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍:这是一本由雪城大学新编的第二版《数据科学入门》教材：偏实用型，浅显易懂，适合想学习R语言的同学选读。&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//www.informit.com/articles/article.aspx%3Fp%3D2213858& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《Twenty Questions for Donald Knuth》&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍:这并不是一篇文档或书籍。这是篇向图灵奖得主Donald Knuth提问记录稿： 近日， Charles Leiserson, Al Aho, Jon Bentley等大神向Knuth提出了20个问题，内容包括TAOCP，P/NP问题，图灵机，逻辑，以及为什么大神不用电邮等等。&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//arxiv.org/pdf/.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《Automatic Construction and Natural-Language Description of Nonparametric Regression Models》&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍：不会统计怎么办？不知道如何选择合适的统计模型怎么办？那这篇文章你的好好读一读了麻省理工Joshua B. Tenenbaum和剑桥Zoubin Ghahramani合作，写了一篇关于automatic statistician的文章。可以自动选择回归模型类别，还能自动写报告...&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//openreview.net/venue/iclr2014& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《ICLR 2014论文集》&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍:对深度学习和representation learning最新进展有兴趣的同学可以了解一下&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//www-nlp.stanford.edu/IR-book/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《Introduction to Information Retrieval》&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍：这是一本信息检索相关的书籍，是由斯坦福Manning与谷歌副总裁Raghavan等合著的Introduction to Information Retrieval一直是北美最受欢迎的信息检索教材之一。最近作者增加了该课程的幻灯片和作业。IR相关资源：&a href=&//link.zhihu.com/?target=http%3A//www-nlp.stanford.edu/IR-book/information-retrieval.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Information Retrieval Resources&i class=&icon-external&&&/i&&/a&&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//www.denizyuret.com/2014/02/machine-learning-in-5-pictures.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《Machine learning in 10 pictures》&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍:Deniz Yuret用10张漂亮的图来解释机器学习重要概念：1. Bias/Variance Tradeoff 2. Overfitting 3. Bayesian / Occam's razor 4. Feature combination 5. Irrelevant feature 6. Basis function 7. Discriminative / Generative 8. Loss function 9. Least squares 10. Sparsity.很清晰&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//webscope.sandbox.yahoo.com/catalog.php%3Fdatatype%3Dl& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《雅虎研究院的数据集汇总》&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍：雅虎研究院的数据集汇总： 包括语言类数据，图与社交类数据，评分与分类数据，计算广告学数据，图像数据，竞赛数据，以及系统类的数据。&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//www-bcf.usc.edu/%7Egareth/ISL/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《An Introduction to Statistical Learning with Applications in R》&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍：这是一本斯坦福统计学著名教授Trevor Hastie和Robert Tibshirani的新书，并且在2014年一月已经开课：&a href=&//link.zhihu.com/?target=https%3A//class.stanford.edu/courses/HumanitiesScience/StatLearning/Winter2014/about& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Statistical Learning&i class=&icon-external&&&/i&&/a&&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//machinelearningmastery.com/best-machine-learning-resources-for-getting-started/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Best Machine Learning Resources for Getting Started&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍：机器学习最佳入门学习资料汇总是专为机器学习初学者推荐的优质学习资源，帮助初学者快速入门。而且这篇文章的介绍已经被翻译成&a href=&//link.zhihu.com/?target=http%3A//article.yeeyan.org/view/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&中文版&i class=&icon-external&&&/i&&/a&。如果你不怎么熟悉，那么我建议你先看一看中文的介绍。&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//blog.sina.com.cn/s/blog_bda0d2f10101fpp4.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&My deep learning reading list&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍:主要是顺着Bengio的PAMI review的文章找出来的。包括几本综述文章，将近100篇论文，各位山头们的Presentation。全部都可以在google上找到。&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//www.morganclaypool.com/doi/abs/10.ED1V01Y201005HLT008%3FjournalCode%3Dhlt& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Cross-Language Information Retrieval&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍：这是一本书籍，主要介绍的是跨语言信息检索方面的知识。理论很多&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//www.ibm.com/developerworks/cn/web/1103_zhaoct_recommstudy1/index.html%3Fca%3Ddrs-& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&探索推荐引擎内部的秘密，第 1 部分: 推荐引擎初探&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍:本文共有三个系列，作者是来自IBM的工程师。它主要介绍了推荐引擎相关算法，并帮助读者高效的实现这些算法。 &a href=&//link.zhihu.com/?target=http%3A//www.ibm.com/developerworks/cn/web/1103_zhaoct_recommstudy2/index.html%3Fca%3Ddrs-& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&探索推荐引擎内部的秘密，第 2 部分: 深度推荐引擎相关算法 - 协同过滤&i class=&icon-external&&&/i&&/a&,&a href=&//link.zhihu.com/?target=http%3A//www.ibm.com/developerworks/cn/web/1103_zhaoct_recommstudy3/index.html%3Fca%3Ddrs-& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&探索推荐引擎内部的秘密，第 3 部分: 深度推荐引擎相关算法 - 聚类&i class=&icon-external&&&/i&&/a&&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//mimno.infosci.cornell.edu/b/articles/ml-learn/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《Advice for students of machine learning》&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍：康奈尔大学信息科学系助理教授David Mimno写的《对机器学习初学者的一点建议》， 写的挺实际，强调实践与理论结合，最后还引用了冯 o 诺依曼的名言: &Young man, in mathematics you don't understand things. You just get used to them.&&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//web.stanford.edu/group/pdplab/pdphandbook/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&分布式并行处理的数据&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍：这是一本关于分布式并行处理的数据《Explorations in Parallel Distributed Processing: A Handbook of Models, Programs, and Exercises》,作者是斯坦福的James L. McClelland。着重介绍了各种神级网络算法的分布式实现,做Distributed Deep Learning 的童鞋可以参考下&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//blogs.technet.com/b/machinelearning/archive//what-is-machine-learning.aspx& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《“机器学习”是什么？》&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍:【“机器学习”是什么？】John Platt是微软研究院杰出科学家，17年来他一直在机器学习领域耕耘。近年来机器学习变得炙手可热，Platt和同事们遂决定开设&a href=&//link.zhihu.com/?target=http%3A//blogs.technet.com/b/machinelearning/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&博客&i class=&icon-external&&&/i&&/a&，向公众介绍机器学习的研究进展。机器学习是什么，被应用在哪里？来看Platt的这篇&a href=&//link.zhihu.com/?target=http%3A//blogs.technet.com/b/machinelearning/archive//what-is-machine-learning.aspx& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&博文&i class=&icon-external&&&/i&&/a&&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//icml.cc/2014/index/article/15.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《2014年国际机器学习大会ICML 2014 论文》&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍：2014年国际机器学习大会（ICML）已经于6月21-26日在国家会议中心隆重举办。本次大会由微软亚洲研究院和清华大学联手主办，是这个有着30多年历史并享誉世界的机器学习领域的盛会首次来到中国，已成功吸引海内外1200多位学者的报名参与。干货很多，值得深入学习下&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//blogs.technet.com/b/machinelearning/archive//machine-learning-for-industry-a-case-study.aspx& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《Machine Learning for Industry: A Case Study》&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍：这篇文章主要是以Learning to Rank为例说明企业界机器学习的具体应用，RankNet对NDCG之类不敏感，加入NDCG因素后变成了LambdaRank，同样的思想从神经网络改为应用到Boosted Tree模型就成就了LambdaMART。&a href=&//link.zhihu.com/?target=http%3A//research.microsoft.com/en-us/people/cburges/%3FWT.mc_id%3DBlog_MachLearn_General_DI& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Chirs Burges&i class=&icon-external&&&/i&&/a&，微软的机器学习大神，Yahoo 2010 Learning to Rank Challenge第一名得主，排序模型方面有RankNet，LambdaRank，LambdaMART，尤其以LambdaMART最为突出，代表论文为： &a href=&//link.zhihu.com/?target=http%3A//research.microsoft.com/en-us/um/people/cburges/tech_reports/msr-tr-2010-82.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&From RankNet to LambdaRank to LambdaMART: An Overview&i class=&icon-external&&&/i&&/a& 此外，Burges还有很多有名的代表作，比如：&a href=&//link.zhihu.com/?target=http%3A//research.microsoft.com/pubs/67119/svmtutorial.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&A Tutorial on Support Vector Machines for Pattern Recognition&i class=&icon-external&&&/i&&/a&&br&&a href=&//link.zhihu.com/?target=http%3A//research.microsoft.com/en-us/um/people/cburges/tech_reports/tr-2004-56.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Some Notes on Applied Mathematics for Machine Learning&i class=&icon-external&&&/i&&/a&&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//meta-guide.com/software-meta-guide/100-best-github-deep-learning/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&100 Best GitHub: Deep Learning&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍:100 Best GitHub: Deep Learning&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//www.52ml.net/12019.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《UFLDL-斯坦福大学Andrew Ng教授“Deep Learning”教程》&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍:本教程将阐述无监督特征学习和深度学习的主要观点。通过学习，你也将实现多个功能学习/深度学习算法，能看到它们为你工作，并学习如何应用/适应这些想法到新问题上。本教程假定机器学习的基本知识（特别是熟悉的监督学习，逻辑回归，梯度下降的想法），如果你不熟悉这些想法，我们建议你去这里&a href=&//link.zhihu.com/?target=http%3A//openclassroom.stanford.edu/MainFolder/CoursePage.php%3Fcourse%3DMachineLearning& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&机器学习课程&i class=&icon-external&&&/i&&/a&，并先完成第II，III，IV章（到逻辑回归）。此外这关于这套教程的源代码在github上面已经有python版本了&a href=&//link.zhihu.com/?target=https%3A//github.com/jatinshah/ufldl_tutorial& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&& UFLDL Tutorial Code&i class=&icon-external&&&/i&&/a&&/p&&p&*&a href=&//link.zhihu.com/?target=http%3A//research.microsoft.com/pubs/217165/ICASSP_DeepTextLearning_v07.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《Deep Learning for Natural Language Processing and Related Applications》&i class=&icon-external&&&/i&&/a&&/p&&p&介绍:这份文档来自微软研究院,精髓很多。如果需要完全理解，需要一定的机器学习基础。不过有些地方会让人眼前一亮,毛塞顿开。&/p&&ul&&li&&a href=&//link.zhihu.com/?target=https%3A//colah.github.io/posts/2014-07-Understanding-Convolutions/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Understanding Convolutions&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍:这是一篇介绍图像卷积运算的文章，讲的已经算比较详细的了&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//mlss2014.com/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《Machine Learning Summer School》&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍：每天请一个大牛来讲座，主要涉及机器学习，大数据分析，并行计算以及人脑研究。&a href=&//link.zhihu.com/?target=https%3A//www.youtube.com/user/smolix& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://www.&/span&&span class=&visible&&youtube.com/user/smolix&/span&&span class=&invisible&&&/span&&i class=&icon-external&&&/i&&/a& （需翻墙）&/p&&ul&&li&&a href=&//link.zhihu.com/?target=https%3A//github.com/josephmisiti/awesome-machine-learning& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《Awesome Machine Learning》&i class=&icon-external&&&/i&&/a&&/li&&/ul&&p&介绍：一个超级完整的机器学习开源库总结，如果你认为这个碉堡了，那后面这个列表会更让你惊讶：【Awesome Awesomeness】,国内已经有热心的朋友进行了翻译&a href=&//link.zhihu.com/?target=http%3A//blog.jobbole.com/73806/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&中文介绍&i class=&icon-external&&&/i&&/a&，&a href=&//link.zhihu.com/?target=https%3A//github.com/josephmisiti/awesome-mac