&p&前三个算法（遗传算法 Genetic Algorithm (GA), 模拟退火算法 Simulated Annealing (SA), 粒子群算法 Particle Swarm Optimization (PSO)）属于智能优化算法范畴，最后一个神经网络（Neural Networks），一般使用的是&b&人工神经网络&/b&（Artificial Neural Networks），可以应用于模式识别、信号处理、专家系统、优化组合、机器人控制等方面，属于现在现在很火的人工智能（Artificial Intelligence）的一个分支，AI 还包括&b&深度学习&/b&（Deep Learning, 最近前百度首席科学家，斯坦福大学教授吴恩达会在Coursera上发布关于 DL 的课程，大家可以关注），&b&超限学习机&/b&（&a href=&//link.zhihu.com/?target=http%3A//www.ntu.edu.sg/home/egbhuang/index.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Extremely Learning Machine&/a&, ELM, 由南洋理工大学&a href=&//link.zhihu.com/?target=http%3A//research.ntu.edu.sg/expertise/academicprofile/pages/StaffProfile.aspx%3FST_EMAILID%3DEGBHUANG& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&黄广斌&/a&教授提出，发表的论文被引次数位于&a href=&//link.zhihu.com/?target=https%3A//scholar.google.com/citations%3Fview_op%3Dlist_classic_articles%26hl%3Den%26by%3D2006%26vq%3Deng_artificialintelligence& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&近十年人工智能文章&/a&第二位）等。&/p&&p&我的研究和前三个算法比较相关，结合我的研究: 设施布局问题 (Facility Layout Problem）（已知每台机器的尺寸以及两两之间的物流量，求得合理布局使得搬运成本最低），谈谈自己的看法。优化领域解决问题通常使用三种方法，第一种是&b&精确方法（Exact Approaches）&/b&，另外还有&b&启发式算法（Heuristics Algorithm）&/b&和以及&b&元启发式算法（Meta-heuristics Algorithm）&/b&。&/p&&p&1. &b&精确方法（Exact Approaches）&/b&，通常使用数学建模的方法建立数学模型（包括决策变量，目标函数以及约束条件），通过优化算法（单纯形法，分支定界，分支切割，割平面方法等）解这个数学模型得出问题的最优解。解的好坏由模型建立的是否合理，优化算法的设计等决定。&/p&&p&对于常见的数学模型，比如线性规划（Linear Programming），整数规划 (Integer Programming)，混合整数规划 (Mixed Integer Programming)，二次规划 （Quadratic Programming）等，都可以使用&b&优化求解器&/b&IBM Cplex，Gurobi，FICO Xpress，SCIP （前两个学术用户可以免费申请，最后一个是开源的）等进行求解，大大节省了求解时间。关于各个优化求解器性能，可参见这个&a href=&//link.zhihu.com/?target=http%3A//plato.asu.edu/ftp/milpc.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&网址&/a&，可以看出Cplex 和 Gurobi 的性能总体较好。值得注意的是，这个网站的性能对比仅仅是对比算例的结果，对于其他模型或者算例的结果可能有所不同。比如我最近解决一个问题，同样的求解器，同样的问题，变量和约束少的模型求解时间时间是变量和约束多的模型求解时间近&b&十倍&/b&。&/p&&p&&b&为什么使用启发式算法呢&/b&？使用精确方法虽然可以求得最优解（Optimal Solution），可以从理论上证明求得的解是最优的，但随着问题规模的扩大（可能呈指数级或者阶乘级的增长），对于中等规模或者大规模的问题，在有限的时间内不可能求得最优解（对于我研究的问题，目前可以求得42个机器最优解）。这就需要在求解精读和运算时间之间有一个折衷和权衡（trade off）。对于大规模的问题，我们不需要求得最优解，只需在短时间内求得次优解（Sub-Optimal Solution）或者满意解（Satisfactory Solution）（西南交通大学靳番教授和&a href=&//link.zhihu.com/?target=http%3A//userweb.swjtu.edu.cn/Userweb/wdjin/index.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&金炜东&/a&教授对满意优化理论做了开创性研究），加之计算机性能的提升，出现了启发式算法。&/p&&p&2. &b&启发式算法（Heuristics Algorithm）&/b&，启发式算法是以问题为导向（Problem-oriented）程序，根据问题的特殊结构或者性质来改进解。一般情况下，启发式算法比精确方法更容易实现。启发式算法包括&b&构造算法（Construction Algorithm）&/b&和 &b&改进算法 （Improvement Algorithm）&/b&等。对于&b&构造算法（Construction Algorithm），&/b&针对布局问题，对于和其它机器流量比较小的机器尽量摆在机器序列的两端，这样就可以形成一个启发式规则，基于流量的排列（Flow-based permutation, FBP）， 这样就可以根据这个规则得到机器序列；另外还有基于机器长度的排列（Length-based permutation, LBP）规则，尽量把长度小的机器排列到中间，基于这规则也可以得到一个机器序列。这样产生的解都是可行解（Feasible Solution），但一般情况下都不是最优解。对于 &b&改进算法 （Improvement Algorithm）&/b&，常见的就是使用基于贪婪方法的爬山法（Hill Climbing），见下图，它是由一个初始解开始改进解，爬山法太贪婪，容易陷入局部最优（Local Optimum）。如图所示，从C点搜索到A点，就陷入了局部最优，而问题的全局最优在B点。&/p&&p&&br&&/p&&figure&&img src=&https://pic4.zhimg.com/v2-e883730baf9b58cacd059f_b.png& data-rawwidth=&600& data-rawheight=&396& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&https://pic4.zhimg.com/v2-e883730baf9b58cacd059f_r.png&&&/figure&&p&3. &b&元启发式算法（Meta-heuristics Algorithm）&/b&，相对于启发式算法，元启发式算法是问题独立（Problem-independent）的（&b&感谢英国克兰菲尔德大学&/b& &a class=&member_mention& href=&//www.zhihu.com/people/b5cf7b143dd9e7c60c7fe2d& data-hash=&b5cf7b143dd9e7c60c7fe2d& data-hovercard=&p$b$b5cf7b143dd9e7c60c7fe2d&&@宋伯阳&/a& &b&博士的更正！&/b&），是针对大范围的优化问题提供通用的流程。一般地，需要提供至少一个初始可行解（Initial Feasible Solution），在预定义的搜索空间高效搜索用以迭代地改进解。可以分为基于单个解（Single solution based）的元启发式算法，例如： 模拟退火算法 （Simulated Annealing）和禁忌搜索算法（Tabu Search）； 另外是基于群体（Population based）的元启发式算法，比如遗传算法（Genetic Algorithm）,分散搜索算法（Scatter Search Algorithm）,粒子群算法（Particle Swarm Optimization）和蚁群算法（Ant Colony Optimization）等。元启发式算法可以使用某些操作跳出局部最优。关于更详细的分类，可以参考下图：&/p&&p&&br&&/p&&figure&&img src=&https://pic2.zhimg.com/v2-e9b241dae75ec6ad6001045d_b.png& data-rawwidth=&881& data-rawheight=&813& class=&origin_image zh-lightbox-thumb& width=&881& data-original=&https://pic2.zhimg.com/v2-e9b241dae75ec6ad6001045d_r.png&&&/figure&&p&&br&&/p&&p&现在越来越多的学者使用&b&混合算法（Hybrid Algorithm）&/b&,包括&b&元启发式算法与精确方法的混合&/b&，比如这篇09年的综述文章：&a href=&//link.zhihu.com/?target=http%3A//www.sciencedirect.com/science/article/pii/S3597& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hybridizing exact methods and metaheuristics: A taxonomy&/a&。对于双行布局问题，既要确定机器排列顺序，又要确定机器的精确位置，这是一个组合优化和连续优化结合的问题，对于大规模的算例，需要元启发式算法和精确方法协同解决。&b&元启发式算法与启发式算法的混合&/b&，元启发式算法的性能非常依赖初始解的质量，可以使用启发式算法为元启发式算法产生初始解，以提高其性能。&b&元启发式算法与元启发式算法的混合&/b&，可以参考11年的综述文章：&a href=&//link.zhihu.com/?target=http%3A//www.sciencedirect.com/science/article/pii/S0962& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hybrid metaheuristics in combinatorial optimization: A survey&/a&。算法的混合可以发挥各个算法的优点，抵消其缺点，以实现更好的性能。&/p&&p&大数据，AI 是未来的趋势，现在很多领域（医疗，制造，物流等）都朝这个方向发展， &a class=&member_mention& href=&//www.zhihu.com/people/961e8cc4f7512fda1eae8e& data-hash=&961e8cc4f7512fda1eae8e& data-hovercard=&p$b$961e8cc4f7512fda1eae8e&&@Robin Shen&/a& 在“[运筹帷幄]大数据和人工智能时代下的运筹学”&a href=&https://zhuanlan.zhihu.com/operations-research& class=&internal&&知乎专栏&/a&中提到：“人工智能、大数据，最终几乎都归结为一个求解能量最小的&b&优化问题&/b&，而&b&运筹学正是研究优化理论的学科&/b&。因此，我把&b&运筹学/优化理论&/b&称为&b&人工智能、大数据的“引擎”&/b&。”。&/p&&p&随着技术的进步，我们有理由相信优化运筹领域在国内会发展的越来越好！&/p&&p&—————————————日补充—————————————&/p&&p&在 &a class=&member_mention& href=&//www.zhihu.com/people/961e8cc4f7512fda1eae8e& data-hash=&961e8cc4f7512fda1eae8e& data-hovercard=&p$b$961e8cc4f7512fda1eae8e&&@Robin Shen&/a& 建立的运筹优化微信群中对这个问题进行讨论，分享两位博士的观点：&/p&&p&&b&英国克兰菲尔德大学&/b&&a class=&member_mention& href=&//www.zhihu.com/people/b5cf7b143dd9e7c60c7fe2d& data-hash=&b5cf7b143dd9e7c60c7fe2d& data-hovercard=&p$b$b5cf7b143dd9e7c60c7fe2d&&@宋伯阳&/a& &b&博士&/b&：个人理解，轻拍：算法如果只分两种，就是精确算法和启发算法。所有启发、元启发算法都不是精确算法 (不保证能得到最优解），启发算法和元启发算法最大的区别是，启发算法更多求局部最优（local optimal不知道翻译正确不），元启发算法设计有克服陷入局部优化的机构，更适合寻求全局最优，比如遗传算法GA有突变Mutation机构。其次，启发算法的设计更多是取决于问题Problem-dependent，元启发算法是独立于问题Problem-independent (可以作为一个black box操作，适用性广，但还是要根据问题调算法各种参数）。元启发算法范围内大部分应用了随机优化机构，多目标优化用的蛮多。但是多目标优化中，目标太多时一般会先降维（比如PCA），多于3-5个目标的优化效率低，也没有太多实际的可读性。接近实际的案例里面一般都会涉及多种算法，先用元启发算法求得一个小范围的满意解，再用启发或者精确算法找最优解，这样即提高了计算效率又能有高质量结果。（算法种类和术语名字太多，看到各种名字很容易晕，其实很多都有相关性（差不多），弄清楚他们之间的关系还是有点重要的）。&br&&/p&&p&&b&德国海德堡大学陈晓宇博士&/b&：&/p&&p&1. 每种进化算法都有跳出最优解的机制或者算子。但是要用进化算法求解大规模组合优化问题时，首先应该根据问题类型(比如优化参数类型)选择适合的算法，然后考虑问题所具有的特性，引入数学规划方法和设计一些相应的启发式算子去指导寻优策略。如果只是简单套用某个进化算法，或把它当作黑盒操作，效果往往都不会太好，意义不大。&/p&&p&2. 演化算法在年间就火爆过一次了，并且有各种模拟自然界物种的进化算法被提出来，很多领域都有被应用。在进化算法领域，Deb和张青富教授算得上是多目标优化的领军人物了。张青富07年将数学规划方法和进化算法相结合提出了基于分解的多目标进化算法(MOEA/D)。Deb最新提出的NSGA-III貌似可以很好的求解到20个目标(之前看过一篇文章中写的，不是很确定是不是20)。还有姚鑫、金耀初、周爱民、公茂果、王勇...教授各个都是大牛（不过好多在国外）。个人认为，基本所有的组合优化问题都可以用演化算法去解（但是效果不一定好）。&/p&
前三个算法（遗传算法 Genetic Algorithm (GA), 模拟退火算法 Simulated Annealing (SA), 粒子群算法 Particle Swarm Optimization (PSO)）属于智能优化算法范畴，最后一个神经网络（Neural Networks），一般使用的是人工神经网络（Artificial Neural Netwo…
&figure&&img src=&https://pic2.zhimg.com/v2-5aeaa47cccfd7f76b3ca_b.jpg& data-rawwidth=&852& data-rawheight=&478& class=&origin_image zh-lightbox-thumb& width=&852& data-original=&https://pic2.zhimg.com/v2-5aeaa47cccfd7f76b3ca_r.jpg&&&/figure&&blockquote&&p&作者：Jacob Joseph&br&系列名称：Improving analytics output with feature engineering&br&Part1: &a href=&https://link.zhihu.com/?target=http%3A//data-informed.com/how-to-improve-machine-learning-tricks-and-tips-for-feature-engineering/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&How to Improve Machine Learning: Tricks and Tips for Feature Engineering&/a&&br&Part2: &a href=&https://link.zhihu.com/?target=http%3A//data-informed.com/enhance-machine-learning-with-standardizing-binning-reducing/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Enhance Machine Learning with Standardizing, Binning, Reducing&/a&&br&Part3: &a href=&https://link.zhihu.com/?target=http%3A//data-informed.com/interactivity-non-normality-and-missing-values-how-to-address-common-data-challenges/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Get instant access to actionable big data eBooks – for freeInteractivity, Non-normality, and Missing Values: How to Address Common Data Challenges&/a&&br&Part4: &a href=&https://link.zhihu.com/?target=http%3A//data-informed.com/dimension-reduction-and-intuitive-feature-engineering-for-machine-learning/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Dimension Reduction and Intuitive Feature Engineering for Machine Learning&/a&&/p&&p&&strong&注&/strong&：本文是我爱机器学习(&a href=&https://link.zhihu.com/?target=http%3A//52ml.net& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&52ml.net&/span&&span class=&invisible&&&/span&&/a&)编者的简单总结，但也加入了自己的理解。&/p&&/blockquote&&h3&1. 数值变量标准化&/h3&&ul&&li&不同数据的Scale不一样，所以需要标准化。比如身高和体重。&/li&&li&不做标准化，有些算法会死得很惨，比如SVM、神经网络、K-means之类。标准化的一种方法是均值方差法。&/li&&li&不是什么时候都需要标准化，比如物理意义非常明确的经纬度，如果标准化，其本身的意义就会丢失。&/li&&li&标准化并不等同归一化，此处可参考其他资料。&/li&&/ul&&h3&2. 离散化&/h3&&ul&&li&原文是Binning/Converting Numerical to Categorical Variable，实际就是把连续型的数据利用Binning等方法转为离散的分类变量（Categorical Variable）。&/li&&/ul&&h3&3. 减少分类变量取值范围&/h3&&ul&&li&有些分类变量的少部分取值可能占据了90%的case，这种情况下如何处理，可以采用预测模型、领域专家、或者简单的频率分布统计。&/li&&li&我爱机器学习(&a href=&https://link.zhihu.com/?target=http%3A//52ml.net& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&52ml.net&/span&&span class=&invisible&&&/span&&/a&)编者认为还是应用为王，具体问题具体分析，高频和低频都是需要特别处理的地方，抛弃效果不好时，可以考虑采样（高频）或上采样（低频），加权等等方法。&/li&&/ul&&h3&4. 非正态分布转正太分布&/h3&&ul&&li&下图中的例子，z1本来是x的指数函数，取log后两者就变为线性关系了。&/li&&/ul&&figure&&img src=&https://pic3.zhimg.com/v2-f4efce1b15d_b.jpg& data-rawwidth=&769& data-rawheight=&890& class=&origin_image zh-lightbox-thumb& width=&769& data-original=&https://pic3.zhimg.com/v2-f4efce1b15d_r.jpg&&&/figure&&br&&ul&&li&这个例子太特别，作者也提到，现实中可能需要用其他转换，比如平方根立方根。其实就是数据转换，但是转哪种分布不好说，取决于转换后的特征的表征能力和对模型的贡献。&/li&&/ul&&h3&5. Missing Data&/h3&&ul&&li&感觉叫Missing Value更合适，这个在很多实际问题中确实挺重要，比如一个性别特征，三分之一为男，三分之一为女，还有一类没填，missing value不容忽视。&/li&&/ul&&h3&6. 哑变量&/h3&&ul&&li&哑变量又称为虚拟变量。分类变量（尤其是枚举型变量）有时候多个数值之间的差值没有物理意义，比如操作系统类别，iOS、Android、Windows分别取值0、1、2，它们相互之间的差值并没有任何物理意义。处理方法是直接生成三个哑变量，取值范围都是0或1，第一个哑变量表示是否为iOS，其他类似。&/li&&li&加入哑变量后就不会有枚举变量数值无比较意义的问题了。&/li&&/ul&&h3&7. 交叉特征&/h3&&ul&&li&有些特征一起考虑才有意义，简单来说if条件需要除了非要加入与/非了，这个重要性无需多言。&/li&&/ul&&h3&8. 降维&/h3&&ul&&li&为何要降维？&ul&&li&性能&/li&&li&避免过拟合&/li&&/ul&&/li&&li&方法&ul&&li&人肉：SIFT, VLAD, HOG, GIST, LBP&/li&&li&模型：Sparse Coding, Auto Encoders, Restricted Boltzmann Machines, PCA, ICA, K-means&/li&&/ul&&/li&&/ul&&h3&9. 直觉和额外的特征&/h3&&ul&&li&针对原始数据，可以利用自己的特长手动或自动生成直觉和额外的特征。比如文本问题，可以写个自动算法生成单词长度、元音个数、n-gram等等。&/li&&li&数据分析师可能会发现噪声中的信号。&/li&&/ul&&blockquote&原文：怎样提升机器学习：&a href=&https://link.zhihu.com/?target=https%3A//www.52ml.net/19563.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&特征工程的奇淫巧技&/a&&br&欢迎关注我爱机器学习微信公众号及微博：&a href=&https://link.zhihu.com/?target=https%3A//www.52ml.net/appwx& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&我爱机器学习&/a&&/blockquote&
作者：Jacob Joseph 系列名称：Improving analytics output with feature engineering Part1:
&figure&&img src=&https://pic3.zhimg.com/v2-945ed030dec334b0d46d0_b.jpg& data-rawwidth=&900& data-rawheight=&500& class=&origin_image zh-lightbox-thumb& width=&900& data-original=&https://pic3.zhimg.com/v2-945ed030dec334b0d46d0_r.jpg&&&/figure&舒石 唐旭 发自 东瑶村&br&量子位 报道 | 公众号 QbitAI&br&&p&到底是谁击败了柯洁？&/p&&p&答案似乎显而易见。但量子位之所以问这个问题，是因为如今击败柯洁的AlphaGo，与去年击败李世乭的AlphaGo，有着本质的区别。&/p&&p&DeepMind把AlphaGo粗略分成几个版本：&/p&&ul&&li&&p&第一代，是击败樊麾的AlphaGo Fan。与Zen/Crazy Stone等之前的围棋软件相比，棋力要高出4子。&/p&&/li&&li&&p&第二代，是击败李世乭的AlphaGo Lee。与上一代相比，棋力高出3子。&/p&&/li&&li&&p&第三代，是柯洁如今的对手，也是年初60连胜的：AlphaGo Master。相比于击败李世乭的版本，棋力又再次提升3子。&/p&&/li&&/ul&&p&需要强调的是，AlphaGo Lee和AlphaGo Master有着根本不同。不同在哪里，今天DeepMind创始人兼CEO哈萨比斯(Demis Hassabis)，AlphaGo团队负责人席尔瓦(Dave Silver)联手首度揭开新版AlphaGo的秘密。&/p&&figure&&img src=&https://pic1.zhimg.com/v2-b73d388acfe9ff34b948d07a_b.jpg& data-rawwidth=&640& data-rawheight=&480& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic1.zhimg.com/v2-b73d388acfe9ff34b948d07a_r.jpg&&&/figure&&p&量子位这一篇推送的内容，整理自哈萨比斯、席尔瓦今日上午的主题演讲，还有今日午间量子位对这两位DeepMind核心人物的专访。&/p&&h1&单机运算，更强的策略/价值网络&/h1&&p&首先用数据说话。&/p&&p&&b&AlphaGo Lee&/b&&/p&&figure&&img src=&https://pic1.zhimg.com/v2-21f75b9dbf84ff9ae6e8_b.jpg& data-rawwidth=&640& data-rawheight=&355& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic1.zhimg.com/v2-21f75b9dbf84ff9ae6e8_r.jpg&&&/figure&&ul&&li&&p&运行于谷歌云，耗用50个TPU进行计算&/p&&/li&&li&&p&每次搜索计算后续50步，计算速度为10000个位置/秒&/p&&/li&&li&&p&2016年在首尔击败李世乭&/p&&/li&&/ul&&p&作为对比，20年前击败卡斯帕罗夫的IBM深蓝，可以搜索计算一亿个位置。席尔瓦表示，AlphaGo并不需要搜索那么多位置。&/p&&p&&b&AlphaGo Master&/b&&/p&&figure&&img src=&https://pic4.zhimg.com/v2-ee1f3afe045fdbc8efb37d0_b.jpg& data-rawwidth=&640& data-rawheight=&356& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic4.zhimg.com/v2-ee1f3afe045fdbc8efb37d0_r.jpg&&&/figure&&ul&&li&&p&运行于谷歌云，但只用一个TPU机器&/p&&/li&&li&&p&自学成才，AlphaGo自我对弈提高棋力&/p&&/li&&li&&p&拥有更强大的策略/价值网络&/p&&/li&&/ul&&p&由于应用了更高效的算法，这次和柯洁对战的AlphaGo Master，运算量只有上一代AlphaGo Lee的十分之一。所以单个TPU机器足以支撑。&/p&&p&AlphaGo团队的黄士杰博士也在朋友圈表示，最新的AlphaGo可以被称为单机版。而上一代AlphaGo使用了分布式计算。&/p&&p&&strong&在会后接受量子位采访时，席尔瓦证实此次AlphaGo仍然使用了第一代TPU，而不是前不久公布的第二代。&/strong&&/p&&p&&strong&另外席尔瓦澄清说：“今年升级版的AlphaGo是在单机上运行的，它的物理服务器上部署了4个TPU”。&/strong&&/p&&p&显然PPT有个小小的误导。&/p&&p&如果你想更进一步了解TPU，这里有几篇量子位的报道推荐：&/p&&ul&&li&&p&《&a href=&https://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzIzNjc1NzUzMw%3D%3D%26mid%3D%26idx%3D2%26sn%3Db2a294abdc6b4c52b6a0ba2%26chksm%3De8d3be0cdfa4371a8fcbe8b277b6ddbe005b5a5ddddad89e0bc6ef6%26scene%3D21%23wechat_redirect& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&详解谷歌第二代TPU：功耗性能究竟如何？巨头想用它干什么？&/a&》&/p&&/li&&li&&p&《&a href=&https://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzIzNjc1NzUzMw%3D%3D%26mid%3D%26idx%3D1%26sn%3Daaa027afcad1%26chksm%3De8d3be4adfa4375cfe73aab7d0aff42b0babdabec1eb701%26scene%3D21%23wechat_redirect& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Google展示AI新实力：第二代TPU、AutoML&/a&》&/p&&/li&&li&&p&《&a href=&https://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzIzNjc1NzUzMw%3D%3D%26mid%3D%26idx%3D1%26sn%3Dffe21b2a05fd8d60a84d9%26chksm%3De8d3bf9fdfaa1b621b915eae7c13ed479f557f7ae5a%26scene%3D21%23wechat_redirect& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Google深度揭秘TPU：一文看懂内部原理，以及为何碾压GPU&/a&》&/p&&/li&&/ul&&p&回到AlphaGo，可能你也注意到了，这个新版本的围棋AI有了更强大的策略/价值网络。下面围绕这一点继续解密。&/p&&figure&&img src=&https://pic3.zhimg.com/v2-463f209caa06d8cee20d8c4cc15dc4e2_b.jpg& data-rawwidth=&640& data-rawheight=&427& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic3.zhimg.com/v2-463f209caa06d8cee20d8c4cc15dc4e2_r.jpg&&&/figure&&strong&△&/strong& 席尔瓦&h1&AlphaGo的算法&/h1&&p&为了讲清楚新的策略/价值网络强在哪里，还是应该首先介绍一下AlphaGo的算法如何构成。席尔瓦介绍，量子位搬运如下。&/p&&p&当初DeepMind团队，之所以选择围棋方向进行研究，一个重要的原因在于围棋是构建和理解运算的最佳试验台，而且围棋的复杂性远超国际象棋，这让电脑无法通过深蓝一样的暴力穷举方式破解围棋的奥秘。&/p&&p&击败李世乭的AlphaGo，核心是一个卷积神经网络。DeepMind团队希望AlphaGo最终能够理解围棋，形成全局观。席尔瓦表示，AlphaGo Lee由12层神经网络构成，而AlphaGo Master有40层神经网络。&/p&&figure&&img src=&https://pic1.zhimg.com/v2-ce9986abcdb87e4c26d9fab8_b.jpg& data-rawwidth=&640& data-rawheight=&355& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic1.zhimg.com/v2-ce9986abcdb87e4c26d9fab8_r.jpg&&&/figure&&p&这些神经网络进一步细分为两个功能网络：&/p&&ul&&li&&p&策略网络（policy network）&/p&&/li&&li&&p&价值网络（value network）&/p&&/li&&/ul&&p&在这两个网络的训练中，使用了监督学习和强化学习两种方式。&/p&&p&首先基于人类的专家库数据，对策略网络的上百万参数进行调整。调整的目标，是让策略网络在相同的情况下，能够达到人类围棋高手的水平：下出同样的一步棋。&/p&&p&然后是强化学习，让人工智能进行自我博弈，这一训练结束后，就形成了价值网络，这被用于对未来的棋局输赢进行预测，在不同的下法中作出优劣判断。&/p&&figure&&img src=&https://pic3.zhimg.com/v2-dc4e57ec435d98b87d5f_b.jpg& data-rawwidth=&640& data-rawheight=&356& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic3.zhimg.com/v2-dc4e57ec435d98b87d5f_r.jpg&&&/figure&&p&通过策略网络，可以降低搜索的宽度，减少候选项，收缩复杂性。而且不会让AlphaGo下出疯狂不靠谱的步骤。&/p&&figure&&img src=&https://pic3.zhimg.com/v2-6f92f036a251c9b1d08bf7_b.jpg& data-rawwidth=&640& data-rawheight=&356& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic3.zhimg.com/v2-6f92f036a251c9b1d08bf7_r.jpg&&&/figure&&p&另一方面，通过价值网络减少深度，当AlphaGo计算到一定的深度，就会停止。AlphaGo不需要一直穷尽到最后。&/p&&p&把这个两个结合起来，就是AlphaGo的树搜索。通过策略网络选出几个可能的路径，然后对这些路径进行评估，最后把结果提交给树顶。这个过程重复几百上千次，最后AlphaGo得出赢棋概率最高的一步。&/p&&figure&&img src=&https://pic4.zhimg.com/v2-63eab187a85_b.jpg& data-rawwidth=&640& data-rawheight=&355& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic4.zhimg.com/v2-63eab187a85_r.jpg&&&/figure&&h1&新策略/价值网络如何炼成&/h1&&p&那么新的新策略/价值网络，到底强在哪里？&/p&&p&AlphaGo Master这次成了自己的老师，用席尔瓦的话说，这位围棋AI是自学成才。它从自我对弈的棋局里进行学习，积累了最好的训练数据。“上一代AlphaGo成为下一代的老师”席尔瓦形容道。&/p&&p&通过AlphaGo的自我博弈，不断吸取经验、提高棋力，这一次AlphaGo用自我对弈训练出的策略网络，可以做到不需要更多运算，直接给出下一步的决策。&/p&&p&这种改变明显减少了对计算力的需求。&/p&&figure&&img src=&https://pic1.zhimg.com/v2-2d40e950efc79e7449ffc07b0edb9867_b.jpg& data-rawwidth=&640& data-rawheight=&356& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic1.zhimg.com/v2-2d40e950efc79e7449ffc07b0edb9867_r.jpg&&&/figure&&p&另一个价值网络，也是基于AlphaGo的自我对弈进行训练，通过对弈后的复盘，价值网络能够学到哪一步是关键所在。通过高质量的自我对弈，训练价值网络预测哪一步更重要。&/p&&p&席尔瓦表示：“在任何一步，AlphaGo都会准确预测如何能赢”。&/p&&p&这个过程不断反复迭代，最终打造了一个更强大的AlphaGo。自我博弈，带来数据质量的提高，从而推动了AlphaGo的快速提升。&/p&&figure&&img src=&https://pic3.zhimg.com/v2-85ee3c1edea7b7c70243d_b.jpg& data-rawwidth=&640& data-rawheight=&356& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic3.zhimg.com/v2-85ee3c1edea7b7c70243d_r.jpg&&&/figure&&p&如此前一样，DeepMind证实也会公布这一代AlphaGo的相关论文。更多的细节，我们可以期待Deepm稍后的发布。&/p&&h1&攻克智能，解决问题&/h1&&p&AlphaGo来自DeepMind。2010年DeepMind在伦敦成立，目前有500名员工，其中一半是科学家。哈萨比斯说，DeepMind要把人工智能科学家、数据和计算力结合在一起，推动人工智能的发展。&/p&&figure&&img src=&https://pic1.zhimg.com/v2-771a903181bbdaf6620e_b.jpg& data-rawwidth=&1200& data-rawheight=&900& class=&origin_image zh-lightbox-thumb& width=&1200& data-original=&https://pic1.zhimg.com/v2-771a903181bbdaf6620e_r.jpg&&&/figure&&strong&△&/strong& 哈萨比斯&p&这家公司的愿景：第一是攻克智能。第二是用智能解决所有问题。&/p&&p&换句话说，DeepMind的目标是构建通用人工智能。所谓通用人工智能，首先AI具备学习的能力，其次能举一反三，执行各种不同的任务。如何抵达这个目标？哈萨比斯说有两个工具：深度学习、强化学习。&/p&&p&AlphaGo就是深度学习和强化学习的结合。AlphaGo也是DeepMind迈向通用人工智能目标的一步，尽管现在它更多的专注于围棋领域。&/p&&p&哈萨比斯表示，希望通过AlphaGo的研究，让机器获得直觉和创造力。&/p&&p&这里所谓的直觉，是通过体验直接获得的初步感知。无法表达出来，可通过行为确认其存在和正误。&/p&&p&而创造力，是通过组合已有知识产生新颖或独特想法的能力。AlphaGo显然已展示出了这些能力，尽管领域有限。&/p&&p&“未来能够看到人机结合的巨大力量，人类智慧将被人工智能放大。”哈萨比斯说。目前AlphaGo的技术已经被用于数据中心，能节约15%的电能；另外也能被用于材料、医疗、智能手机和教育等领域。&/p&&p&尽管已经连战连捷，AlphaGo仍然有继续探索的空间。哈萨比斯和DeepMind仍然想在围棋领域继续追问：我们离最优解还有多远？怎样才是完美棋局？&/p&&p&当今社会已有越来越多的数据产生，然而人类往往无法通过这些数据了解全局的变化，在这种情况下人工智能有可能推动科研继续进步。&/p&&p&一切正如国际象棋棋王卡斯帕罗夫所说：&/p&&p&“深蓝已经结束，AlphaGo才刚开始。”&/p&&h1&专访全文&/h1&&figure&&img src=&https://pic2.zhimg.com/v2-1041d40fbfb6be085b46bb50fa4ba1a5_b.jpg& data-rawwidth=&4032& data-rawheight=&3024& class=&origin_image zh-lightbox-thumb& width=&4032& data-original=&https://pic2.zhimg.com/v2-1041d40fbfb6be085b46bb50fa4ba1a5_r.jpg&&&/figure&&p&&strong&△&/strong& 哈萨比斯、席尔瓦接受量子位等专访&/p&&p&提问：在Master已经对包括柯洁在内的人类棋手60连胜之后，举办这场比赛的意义在哪里？&/p&&p&哈萨比斯：Master在网上下的都是快棋，人类棋手在下棋时时间控制得可能不会太精准，人类棋手在网上的注意力也不一定完全集中，因此我们仍然需要跟柯洁进行对弈来对AlphaGo进行测试。&/p&&p&同时，通过这些网上的对弈，第一，是希望测试一下AlphaGo的系统；第二，也是希望为围棋界提供一些新的想法和思路，给柯洁一定备战的时间，也为他提供一些分析AlphaGo打法的素材。&/p&&p&提问：关于AlphaGo的行业应用，有哪些您比较看好？今后Deepmind会不会在中国开展一些行业应用？&/p&&p&哈萨比斯：首先，AlphaGo背后的支撑技术相当多，目前在其他领域的应用还在早期探索阶段。我上午谈到的一些应用，只是AlphaGo围棋可能应用中的一小部分。在未来，我们肯定会将AlphaGo的技术在Google领域的应用，也许在中国也会有相应的业务。&/p&&p&提问：AlphaGo是否已经实现了无监督学习？它是否在向着强人工智能迈进？&/p&&p&席尔瓦：首先，AlphaGo使用的是增强学习的方法。我们只能说，AlphaGo在某一特定领域实现了自己的直觉和意识——这和我们所说的人类通过直接训练产生的意识可能有很大不同。因为它并非这种人类意识，因此有机会被应用到其他领域，不仅限于围棋。&/p&&p&提问：Hassabis先生上午提到，人工智能必须要被正确应用。那么这种“正确”包括哪些原则？&/p&&p&哈萨比斯：两个层面。第一，AI必须造福人类，应该用于类似科学、制药这类帮助人类的领域，而不能用于一些不好的事情，比如研发武器；第二，AI不能只为少数公司或个人所使用、，它应该是全人类共享的。&/p&&p&提问：上午的演讲中两位提到，这一代AlphaGo只需要一个TPU进行运算，而上一代和李世石对战时的AlphaGo则部署了50个TPU；但这代系统所需的计算量只是上一代的十分之一。为什么会出现这种比例上的差距？&/p&&p&席尔瓦：我来澄清一下。今年升级版的AlphaGo是在单机上运行的，它的物理服务器上部署了4个TPU。&/p&&p&提问：为什么AlphaGo下棋是匀速的？&/p&&p&席尔瓦：我们在对AlphaGo训练时就已经发现，它在对弈时进行的计算是持续的、稳定的，在总共的比赛过程中，它的计算量是恒定的。我们为AlphaGo制定了一种求稳的时间控制策略，也就是最大限度地利用自己的比赛时间，如果要将比赛时间的利用率最大化，匀速当然是最好的。&/p&&figure&&img src=&https://pic1.zhimg.com/v2-3a619bbc4eaa897f37668dc_b.jpg& data-rawwidth=&900& data-rawheight=&500& class=&origin_image zh-lightbox-thumb& width=&900& data-original=&https://pic1.zhimg.com/v2-3a619bbc4eaa897f37668dc_r.jpg&&&/figure&&p&&strong&△&/strong& 穆斯塔法等接受量子位等专访&/p&&p&提问：围棋相对简单，AI在现实中应用，有哪些阻碍？&/p&&p&穆斯塔法：我们对此有过深入思考，DeepMind创立的使命中指出，我们要打造通用型的人工智能技术，并接受相应的监督监管。此前我们和众多的机构共同成立AI联盟，以遵循伦理和安全的方式，进行算法的开发。&/p&&p&提问：技术落地过程中，如何避免侵犯隐私？&/p&&p&穆斯塔法：新技术的部署应用过程中，确实出现了跟监督监管机制不匹配的情况，现在科技的力量已经非常强大，在这种情况下，技术快速发展。所谓的数字化技术或设备进行平衡，是我们不断推进的事情。&/p&&p&我们希望加强医生患者对技术的信任，第一是展示临床使用的效果，第二我们一开始就公开表示，系统处理的数据，完全在监管范围之内，不会应用到其他业务之中。&/p&&p&提问：DeepMind目前是什么结构？&/p&&p&穆斯塔法：DeepMind分为两个结构，哈萨比斯负责研发，我负责商业应用。应用又分成三个组：1、Google组 2、医疗组，和英国NHS合作 3、马上要成立的能源组。我们希望与专家合作，获取必要的数据。&/p&&p&我们和Google不同部门合作，有不同的形式。&/p&&p&提问：为什么先把AI应用在医疗领域？而不是金融等&/p&&p&穆斯塔法：商业利润不是我们最重要的驱动力。我们选择行业从两点出发：首先，是否有助于技术研究；其次，是否有助于完成社会使命。&/p&&p&医疗行业季度的低效，技术停滞不前已经很久。&/p&&p&提问：一手研发，一手商业化，有没有隐藏的技术细节？&/p&&p&穆斯塔法：我们尽量多在开源的时候，提供有助于别人的资料。当然，我们不是100%都公布技术细节。当然我们会尽量多的做开源。&/p&&p&提问：驱动AI应用的数据是否足够，以及是所需要的数据？&/p&&p&穆斯塔法：我们做过一个统计。世界上，最优秀的放射科专家，一生也就看三万张X光照片，我们的算法可以看几百万张，能够开发出疑难杂症的意识和本能。我们能够对算法增强准确率，表现非常稳定。&/p&&p&人类专家看X光片，可能只有三分之二的共识达成。所以我们的想法是，用算法做X光片，然后配上不同的疾病专家，这样效果更好。&/p&&p&【完】&/p&&h3&招聘&/h3&&p&量子位正在招募编辑记者、运营、产品等岗位，工作地点在北京中关村。相关细节，请在公众号对话界面，回复：“招聘”。&/p&
舒石 唐旭 发自 东瑶村 量子位 报道 | 公众号 QbitAI 到底是谁击败了柯洁？答案似乎显而易见。但量子位之所以问这个问题，是因为如今击败柯洁的AlphaGo，与去年击败李世乭的AlphaGo，有着本质的区别。DeepMind把AlphaGo粗略分成几个版本：第一代，是击败樊…
&p&最近，斯坦福大学的李飞飞与与她的学生Ranjay Krishna、Kenji Hata、Frederic Ren，以及同事Juan Carlos Niebles向ICCV 2017提交论文，提出了一个新模型，可以识别视频中的事件，同时用自然语言描述出来。&/p&&p&&a class=&video-box& href=&https://link.zhihu.com/?target=https%3A//v.qq.com/x/page/t0500ozbx15.html& target=&_blank& data-video-id=&& data-video-playable=&& data-name=&李飞飞团队新模型：字幕密集型事件_腾讯视频& data-poster=&https://puui.qpic.cn/qqvideo_ori/0/t0500ozbx15_228_128/0& data-lens-id=&&&
&img class=&thumbnail& src=&https://puui.qpic.cn/qqvideo_ori/0/t0500ozbx15_228_128/0&&&span class=&content&&
&span class=&title&&李飞飞团队新模型：字幕密集型事件_腾讯视频&span class=&z-ico-extern-gray&&&/span&&span class=&z-ico-extern-blue&&&/span&&/span&
&span class=&url&&&span class=&z-ico-video&&&/span&https://v.qq.com/x/page/t0500ozbx15.html&/span&
&/p&&p&大多数视频都包含着大量事件。举个例子吧，比如在一段钢琴演奏的视频中，可能不仅仅包含钢琴演奏者，还可能包含着一群跳舞的人，或者一群鼓掌的观众，这些事件很可能是同时发生的。当一段视频中包含检测内容和描述内容时，我们称它为“字幕密集型事件”。&/p&&p&李飞飞团队的模型，可以利用过去和未来的上下文内容信息，来识别视频中这些事件之间的关系，并把所有事件描述出来。&/p&&p&&figure&&img src=&https://pic3.zhimg.com/v2-21d41f75e03f_b.jpg& data-rawwidth=&1663& data-rawheight=&800& class=&origin_image zh-lightbox-thumb& width=&1663& data-original=&https://pic3.zhimg.com/v2-21d41f75e03f_r.jpg&&&/figure&上面这张流程图展现了新模型的运行原理。&/p&&p&&figure&&img src=&https://pic4.zhimg.com/v2-4a89a713d4eaf93e0e01da_b.jpg& data-rawwidth=&2308& data-rawheight=&1766& class=&origin_image zh-lightbox-thumb& width=&2308& data-original=&https://pic4.zhimg.com/v2-4a89a713d4eaf93e0e01da_r.jpg&&&/figure&同时，他们还引入了ActivityNet字幕数据集。这个数据集中包含了长达849小时的2万个视频，以及10万条带有开始和结束时间的描述信息，可以用来对字幕密集型事件进行基准测试。&/p&&h1&相关资源&/h1&&p&论文简介：&a href=&https://link.zhihu.com/?target=http%3A//cs.stanford.edu/people/ranjaykrishna/densevid/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Dense-Captioning Events in Videos&/a&&/p&&p&ActivityNet数据集：&a href=&https://link.zhihu.com/?target=http%3A//activity-net.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Activity Net&/a&&/p&&p&论文：&a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/.pdf& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&arxiv.org/pdf/&/span&&span class=&invisible&&4.pdf&/span&&span class=&ellipsis&&&/span&&/a&&/p&
最近，斯坦福大学的李飞飞与与她的学生Ranjay Krishna、Kenji Hata、Frederic Ren，以及同事Juan Carlos Niebles向ICCV 2017提交论文，提出了一个新模型，可以识别视频中的事件，同时用自然语言描述出来。大多数视频都包含着大量事件。举个例子吧，比如在一…
&p&本文收录在&a href=&https://zhuanlan.zhihu.com/p/& class=&internal&&无痛的机器学习第二季目录&/a&。&/p&&p&最近一直忙没有更新，后面要抓紧更新啦！&/p&&p&在N天之前的文章&a href=&https://zhuanlan.zhihu.com/p/& class=&internal&&模型的过拟合 - 知乎专栏&/a&中，我曾经提到对神经网络的设想，结果发现多年前已经有文章对这个问题进行了比较深入的探讨，于是好奇心使我对这篇文章进行了研究。文章的名称叫做——《Intriguing properties of neural networks》，这篇文章的作者阵容放到今天还是非常强大的，比方说GAN的作者Ian Goodfellow……&/p&&p&在这篇文章之前，就已经有人提出有趣的想法：训练好的深层神经网络是对训练数据空间的泛化先验。这个说法和之前提到的假想比较类似。首先，深层网络通过学习训练数据使得训练数据的识别能够完美拟合，同时它还能保证训练数据附近的区域也能够识别正确。&/p&&p&当然，这个“附近的区域”是一个不够清晰的词汇，什么算作“附近”？没有度量就没有概念。我们能不能真的找到一种精确的度量，帮助我们衡量模型或者某一个模型层的“泛化”能力？文章中并没有给出一个十分精细的能力衡量方式，但是它给出了一个泛化下界的表达方式。&/p&&h2&泛化能力的下界&/h2&&p&我们知道Lipchitz条件的公式：&/p&&p&&img src=&https://www.zhihu.com/equation?tex=%7Cf%28x%29-f%28y%29%7C+%5Cleq+L%7Cx-y%7C& alt=&|f(x)-f(y)| \leq L|x-y|& eeimg=&1&&&/p&&p&如果模型是一个线性模型，&img src=&https://www.zhihu.com/equation?tex=f%28x%29%3DWx& alt=&f(x)=Wx& eeimg=&1&&，就有&/p&&p&&img src=&https://www.zhihu.com/equation?tex=%7CW%28x-y%29%7C+%5Cleq+L%7Cx-y%7C& alt=&|W(x-y)| \leq L|x-y|& eeimg=&1&&&/p&&p&当&img src=&https://www.zhihu.com/equation?tex=x+%5Cneq+y& alt=&x \neq y& eeimg=&1&&时，有&/p&&p&&img src=&https://www.zhihu.com/equation?tex=%5Cfrac%7B%7CW%28x-y%29%7C%7D%7B%7Cx-y%7C%7D+%5Cleq+L& alt=&\frac{|W(x-y)|}{|x-y|} \leq L& eeimg=&1&&&/p&&p&因为x,y处于同于同一个空间，而且我们需要考虑临域的函数波动情况，所以&/p&&p&&img src=&https://www.zhihu.com/equation?tex=%7Cx-y%7C%3Dr& alt=&|x-y|=r& eeimg=&1&&&/p&&p&这个r可以想像成图像数据的一个小波动。前面提过，我们需要保证模型在小波动下不改变输出的标签，因此上面的公式最终变成了：&/p&&p&&img src=&https://www.zhihu.com/equation?tex=%5Cfrac%7B%7CWr%7C%7D%7B%7Cr%7C%7D+%5Cleq+L& alt=&\frac{|Wr|}{|r|} \leq L& eeimg=&1&&&/p&&p&这个公式看上去就比较亲切了。W可以看作由输入空间到输出空间的一个线性算子，那么上式的左边就是在求W的范数：&/p&&p&&img src=&https://www.zhihu.com/equation?tex=%7C%7CW%7C%7C%3Dsup_%7Br+%5Cin+X%7D+%5Cfrac%7B%7CWr%7C%7D%7B%7Cr%7C%7D& alt=&||W||=sup_{r \in X} \frac{|Wr|}{|r|}& eeimg=&1&&&/p&&p&于是问题变成了做线性算子的谱分析，当然，这是泛函分析里面的称呼，我们可以换一个更通俗的称呼，对于上面这个问题，我们要求的是矩阵W的绝对值最大的特征值。&/p&&p&为什么是绝对值最大的特征值？&/p&&p&这个问题回到了线性代数上，我们都知道矩阵的特征值公式：&/p&&p&&img src=&https://www.zhihu.com/equation?tex=We%3D+%5Clambda+e& alt=&We= \lambda e& eeimg=&1&&&/p&&p&当矩阵W与自己的特征向量相乘时，其效果相当于对特征向量的“长度”做变化，如果与一个非特征向量相乘，那么我们可以想象，这个向量可以被分解成几个特征向量的线性组合，最终还是可以通过特征值的公式表示回来：&/p&&p&&img src=&https://www.zhihu.com/equation?tex=Wd%3DW%2A%5Csum_i+%5Cbeta_i+e_i%3D%5Csum_i+%5Cbeta_i+W+e_i%3D%5Csum_i+%5Cbeta_i+%5Clambda_ie_i& alt=&Wd=W*\sum_i \beta_i e_i=\sum_i \beta_i W e_i=\sum_i \beta_i \lambda_ie_i& eeimg=&1&&&/p&&p&所以它的最终公式变为&/p&&p&&img src=&https://www.zhihu.com/equation?tex=%5Cfrac%7B%7CWd%7C%7D%7B%7Cd%7C%7D%3D%5Cfrac%7B%7C%5Csum_i+%5Cbeta_i+%5Clambda_i+e_i%7C%7D%7B%7C%5Csum_i+%5Cbeta_i+e_i%7C%7D& alt=&\frac{|Wd|}{|d|}=\frac{|\sum_i \beta_i \lambda_i e_i|}{|\sum_i \beta_i e_i|}& eeimg=&1&&&/p&&p&到了这一步可以看出，如果W不乘以一个特征值，那么它基本不可能达到最大值，所以最大值一定出现在特征向量上：&/p&&p&&img src=&https://www.zhihu.com/equation?tex=%5Cfrac%7B%7CWe%7C%7D%7B%7Ce%7C%7D%3D%5Cfrac%7B%7C%5Clambda+e%7C%7D%7B%7Ce%7C%7D%3D%7C%5Clambda%7C& alt=&\frac{|We|}{|e|}=\frac{|\lambda e|}{|e|}=|\lambda|& eeimg=&1&&&/p&&p&这么看来，我们选择绝对值最大的特征值即可，所以有：&/p&&p&&img src=&https://www.zhihu.com/equation?tex=%5Clambda_%7Bmax%7D%3Dsup_r+%5Cfrac%7B%7CWr%7C%7D%7B%7Cr%7C%7D+%3C%3DL& alt=&\lambda_{max}=sup_r \frac{|Wr|}{|r|} &=L& eeimg=&1&&&/p&&p&所以绝对值最大的特征值代表了这个线性算子的波动的最大值，这个数字越大，说明算子的波动程度越大，在深层模型的累积下，局部的泛化性越有可能弱。&/p&&h2&站在整体网络的角度&/h2&&p&上面我们看完了一层网络的计算方式，下面就来看看一个网络整体的泛化下界。我们假设一个网络由K层组成，由于上面我们推导的矩阵可以直接套用到全连接层上，我们接下来先假设所有的线性运算都是全连接层，不包括卷积层，后面再将卷积层加入。这个网络的计算公式为：&/p&&p&&img src=&https://www.zhihu.com/equation?tex=%5Cphi%28x%29+%3D+%5Cphi_K+%28+%5Cphi_%7BK-1%7D%28...+%5Cphi_1%28x%3BW_1%29%3BW_2%29...%3BW_K%29& alt=&\phi(x) = \phi_K ( \phi_{K-1}(... \phi_1(x;W_1);W_2)...;W_K)& eeimg=&1&&&/p&&p&其中的&img src=&https://www.zhihu.com/equation?tex=%5Cphi%28x%29& alt=&\phi(x)& eeimg=&1&&表示了线性部分的全连接层。如果每一层都满足：&/p&&p&&img src=&https://www.zhihu.com/equation?tex=%5Cforall+x%2Cr%2C+%7C%7C%5Cphi_k%28x%3BW_k%29-%5Cphi_k%28x%2Br%3BW_k%29%7C%7C+%5Cleq+L_k%7C%7Cr%7C%7C& alt=&\forall x,r, ||\phi_k(x;W_k)-\phi_k(x+r;W_k)|| \leq L_k||r||& eeimg=&1&&&/p&&p&那么对于整个网络，就有：&/p&&p&&img src=&https://www.zhihu.com/equation?tex=%7C%7C%5Cphi_%28x%3BW_k%29-%5Cphi_%28x%2Br%3BW_k%29%7C%7C+%5Cleq+L%7C%7Cr%7C%7C& alt=&||\phi_(x;W_k)-\phi_(x+r;W_k)|| \leq L||r||& eeimg=&1&&&/p&&p&并且&/p&&p&&img src=&https://www.zhihu.com/equation?tex=L%3D%5Cprod_%7Bk%3D1%7D%5EK+L_k& alt=&L=\prod_{k=1}^K L_k& eeimg=&1&&&/p&&p&从这个公式可以看出，一般来说，每多一层网络，这个L都会变大。如果&img src=&https://www.zhihu.com/equation?tex=L_k& alt=&L_k& eeimg=&1&&小于1，那么模型的震荡就会小一些（但是小于1很难）。&/p&&h2&卷积层的泛化下界&/h2&&p&全连接层的计算相对容易些，因为矩阵乘法是大家比较熟悉的，但是卷积层呢？卷积操作看上去比较复杂，似乎运算比较困难了，论文给出的解答也比较晦涩，这里可以详细提一下。&/p&&p&我们假设输入的数据维度为C*N*N，卷积参数为C*D*K*K，其中C代表输入的feature map数，D代表输出的feature map数，N为图像的维度，K为图像卷积核的维度。我们不考虑stride和pad的问题，因此stride=1,pad保持图像不变。&/p&&p&卷积操作的计算和全连接层的方法不同，因此我们需要让他们的运算形式相近，然后利用上面的方式求解。这时候我们就需要利用图像处理中的2维傅立叶变换了。我们用&img src=&https://www.zhihu.com/equation?tex=w_%7Bc%2Cd%7D& alt=&w_{c,d}& eeimg=&1&&表示一个K*K的卷积核，我们对每一个卷积核进行傅立叶变换，这样每个K*K的卷积核变成了N*N的频率矩阵，我们用&img src=&https://www.zhihu.com/equation?tex=%5Chat%7Bw_%7Bc%2Cd%7D%7D& alt=&\hat{w_{c,d}}& eeimg=&1&&表示。&/p&&p&这个时候，对于每个输出的像素，它等于输入的feature map的相同位置的特征值与对应的&img src=&https://www.zhihu.com/equation?tex=%5Chat%7Bw_%7Bc%2Cd%7D%7D& alt=&\hat{w_{c,d}}& eeimg=&1&&所在位置的权重相乘求和，如果图像输入设为x，图像输出为y，那么有：&/p&&p&&img src=&https://www.zhihu.com/equation?tex=y%5Bd%2Ch%2Cw%5D%3D%5Csum_%7Bc%3D1%7D%5ECx%5Bc%2Ch%2Cw%5D%2A%5Chat%7Bw%7D%5Bc%2Cd%2Ch%2Cw%5D& alt=&y[d,h,w]=\sum_{c=1}^Cx[c,h,w]*\hat{w}[c,d,h,w]& eeimg=&1&&&/p&&p&&img src=&https://www.zhihu.com/equation?tex=%3Dx%5B%3A%2Ch%2Cw%5D%2A%5Chat%7Bw%7D%5B%3A%2Cd%2Ch%2Cw%5D& alt=&=x[:,h,w]*\hat{w}[:,d,h,w]& eeimg=&1&&&/p&&p&进一步泛化，将输出维度d去掉，就有：&/p&&p&&img src=&https://www.zhihu.com/equation?tex=y%5B%3A%2Ch%2Cw%5D%3D%5Chat%7BW%7D%5B%3A%2C%3A%2Ch%2Cw%5D%2Ax%5B%3A%2Ch%2Cw%5D& alt=&y[:,h,w]=\hat{W}[:,:,h,w]*x[:,h,w]& eeimg=&1&&&/p&&p&这时候右边第一项是一个矩阵，实际上代表了参数，第二项是一个向量，是输入数据，通过这样的变换，卷积的操作形式同全连接一样了，下面的目标就是求&/p&&p&&img src=&https://www.zhihu.com/equation?tex=%7C%7C%5Chat%7BW%7D%5B%3A%2C%3A%2Ch%2Cw%5D%7C%7C%3Dsup_W+%5Cfrac%7B%7CWx%7C%7D%7B%7Cx%7C%7D& alt=&||\hat{W}[:,:,h,w]||=sup_W \frac{|Wx|}{|x|}& eeimg=&1&&&/p&&p&求完了这个，还没有完，我们发现每一个h,w位置都有一个参数矩阵W，最后还要在这些W的范数中取出一个最大的，用来代表卷积层的泛化下界：&/p&&p&&img src=&https://www.zhihu.com/equation?tex=%7C%7CW%7C%7C%3Dmax_%7Bh%2Cw%7D%7C%7C%5Chat%7BW%7D%5B%3A%2C%3A%2Ch%2Cw%5D%7C%7C& alt=&||W||=max_{h,w}||\hat{W}[:,:,h,w]||& eeimg=&1&&&/p&&p&这样最终的求解结果才算完成。&/p&&p&当然，这其中没有推导stride不等于1的情况，大家可以套路情况自己计算下&/p&&h2&总结&/h2&&p&通过这一串理论推导，我们真的估计出了一个网络层对应的Lipchitz条件数，文章中作者用这个方法计算了AlexNet各个网络的条件数，其中第一层卷积最小，它的参数维度为3*96*11*11，L值为2.75，第5层卷积最大，参数维度为384*256*3*3，L值为11。这里面也可以看出一些模型泛化的效果来。&/p&&p&我们花了大力气求出了这些数字，最后还是要回到论文提出的核心点来：模型的网络层的L值比较高（斜率上界为11的非线性模型），那么在训练数据的附近，很可能出现一些盲点：将训练数据经过微小的调整，就可以让模型判断错误。关于这个实验，我们也在前面的文章&a href=&https://zhuanlan.zhihu.com/p/& class=&internal&&寻找CNN的弱点 - 知乎专栏&/a&中提到过，下一回我们就沿着这篇文章，看看对抗这种盲点数据的训练方法。&/p&&h2&广告时间&/h2&&p&更多精彩尽在&a href=&https://link.zhihu.com/?target=https%3A//item.jd.com/.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《深度学习轻松学：核心算法与视觉实践》&/a&！&/p&
本文收录在。最近一直忙没有更新，后面要抓紧更新啦！在N天之前的文章中，我曾经提到对神经网络的设想，结果发现多年前已经有文章对这个问题进行了比较深入的探讨，于是好奇心使我对这篇文章进行了研究。文…
&figure&&img src=&https://pic1.zhimg.com/v2-b186df2a91a8f394b1c48_b.jpg& data-rawwidth=&1920& data-rawheight=&489& class=&origin_image zh-lightbox-thumb& width=&1920& data-original=&https://pic1.zhimg.com/v2-b186df2a91a8f394b1c48_r.jpg&&&/figure&&p&@&a href=&https://www.zhihu.com/people/xiaoxinwang/answers& class=&internal&&王小新&/a& 编译整理 &/p&&p&量子位 报道 | 公众号 QbitAI&/p&&p&最近，来自加州大学伯克利分校的RICHARD ZHANG、JUN-YAN ZHU、PHILLIP ISOLA等人又写了一篇题为“用Learned Deep Priors来实时指导图像着色”的论文，这篇文章提出了一种有趣的图像着色方案。&/p&&p&以下是论文的主要内容：&/p&&h1&摘要&/h1&&p&我们提出了一种有趣的深度学习方法，来实时指导用户进行图像着色。该网络会结合输入的灰度图像和简单的用户提示，直接映射到卷积神经网络（CNN），即可输出用户满意的彩色图。&/p&&p&传统的神经网络一般通过人为地定义相关规则，并从大规模数据集中学习高级语义信息，融合图像的低级特征，来帮助用户对图像进行着色。我们通过模拟用户操作，训练了一百万张图像。&/p&&p&为了引导用户选择有效的着色方案，该系统会根据输入图像和当前用户的输入来提出最佳的着色方案。图像着色仅通过单次前向传播即可完成，计算量小，可实时完成。&/p&&p&我们随机地模仿用户进行输入，从视频中可以看出，该系统可帮助新手快速地创建逼真的图像，且在简单熟悉后，新手们在着色质量上大幅改善。&/p&&p&此外，我们还表明，该框架可以应用颜色直方图转换的功能，将其他用户的“提示”纳入备选的着色方案中。&/p&&h2&示例视频&/h2&&a class=&video-box& href=&https://link.zhihu.com/?target=https%3A//v.qq.com/x/page/z0501achh50.html& target=&_blank& data-video-id=&& data-video-playable=&& data-name=&伯克利搞出新算法：你说涂什么颜色，AI立刻给你涂好_腾讯视频& data-poster=&https://puui.qpic.cn/qqvideo_ori/0/z0501achh50_228_128/0& data-lens-id=&&&
&img class=&thumbnail& src=&https://puui.qpic.cn/qqvideo_ori/0/z0501achh50_228_128/0&&&span class=&content&&
&span class=&title&&伯克利搞出新算法：你说涂什么颜色，AI立刻给你涂好_腾讯视频&span class=&z-ico-extern-gray&&&/span&&span class=&z-ico-extern-blue&&&/span&&/span&
&span class=&url&&&span class=&z-ico-video&&&/span&https://v.qq.com/x/page/z0501achh50.html&/span&
&br&&h1&在传统照片上的效果&/h1&&p&我们使用130万张彩色照片来训练这个图像着色系统，通过去除RGB分量来合成灰度图。在这里，我们展示一些示例：&/p&&h1&&figure&&img src=&https://pic3.zhimg.com/v2-8d5a0dd47dd_b.jpg& data-rawwidth=&13533& data-rawheight=&5017& class=&origin_image zh-lightbox-thumb& width=&13533& data-original=&https://pic3.zhimg.com/v2-8d5a0dd47dd_r.jpg&&&/figure&其他结果&/h1&&p&下面我们展示出一些用户的操作效果。每个用户在每张图像上大约花费了1分钟。对于参加实验的28个用户，我们进行了简短的2分钟解释和说明了相关要点，并给出了10张图像进行着色测试。我们给出了28个用户对这10张图像的着色方案。你可以从论文的第4.2节查到该部分的相关信息和延伸。&/p&&p&&figure&&img src=&https://pic1.zhimg.com/v2-a55e2efadb6d32_b.jpg& data-rawwidth=&8196& data-rawheight=&5120& class=&origin_image zh-lightbox-thumb& width=&8196& data-original=&https://pic1.zhimg.com/v2-a55e2efadb6d32_r.jpg&&&/figure&我们还展示了包含有全局直方图信息的扩展性网络，请参阅论文的第3.3节和第4.4节。下图是应用随机直方图的转化效果。&/p&&h1&&figure&&img src=&https://pic4.zhimg.com/v2-f785e32acea42fe6f7896c_b.jpg& data-rawwidth=&14222& data-rawheight=&4078& class=&origin_image zh-lightbox-thumb& width=&14222& data-original=&https://pic4.zhimg.com/v2-f785e32acea42fe6f7896c_r.jpg&&&/figure&网络架构&/h1&&h1&&figure&&img src=&https://pic3.zhimg.com/v2-4efbb667ddd231_b.jpg& data-rawwidth=&12475& data-rawheight=&4295& class=&origin_image zh-lightbox-thumb& width=&12475& data-original=&https://pic3.zhimg.com/v2-4efbb667ddd231_r.jpg&&&/figure&相关地址&/h1&&p&项目主页：&a href=&https://link.zhihu.com/?target=https%3A//richzhang.github.io/ideepcolor/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Real-Time User-Guided Image Colorization with Learned Deep Priors. In SIGGRAPH, 2017.&/a&&/p&&p&Paper：&/p&&a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/.pdf& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&arxiv.org/pdf/&/span&&span class=&invisible&&9.pdf&/span&&span class=&ellipsis&&&/span&&/a&&p&Code：&br&&/p&&a href=&https://link.zhihu.com/?target=https%3A//github.com/junyanz/interactive-deep-colorization& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&junyanz/interactive-deep-colorization&/a&&p&(完)&/p&&p&==========&/p&&p&&b&One More Thing…&/b&&/p&&p&今天AI界还有哪些事值得关注？在量子位（QbitAI）公众号对话界面回复“今天”，看我们全网搜罗的AI行业和研究动态。笔芯~&/p&
@ 编译整理 量子位 报道 | 公众号 QbitAI最近，来自加州大学伯克利分校的RICHARD ZHANG、JUN-YAN ZHU、PHILLIP ISOLA等人又写了一篇题为“用Learned Deep Priors来实时指导图像着色”的论文，这篇文章提出了一种有趣的图像着色方案。以下是论文的主要…
&figure&&img src=&https://pic2.zhimg.com/v2-6fc064fa5ffd9db4bae5bdb_b.jpg& data-rawwidth=&900& data-rawheight=&564& class=&origin_image zh-lightbox-thumb& width=&900& data-original=&https://pic2.zhimg.com/v2-6fc064fa5ffd9db4bae5bdb_r.jpg&&&/figure&&p&OpenAI公布了一项最新成果：一个无监督的系统，很好地学会了表征感情。尽管这个系统目前只用亚马逊商品的顾客评价做了训练，用来预测评价文本中的下一个字。&br&&/p&&p&这项研究还发现一个独特的“情感神经元”，包含几乎所有的情感信号。&/p&&p&而且OpenAI这个模型可以用来生成文本，还能直接控制结果文字的情感……所以可能网上的人工水军们，正面临失业的威胁……&/p&&p&&u&李林、舒石 编译自 OpenAI官方博客&br&量子位出品 | 公众号 QbitAI&/u&&/p&&p&使用这一方法的线性模型，在Stanford Sentiment Treebank上，实现了目前最强的情感分析精度：91.8%。Stanford Sentiment Treebank是一个小型数据库，但被广泛用于这列研究，其上之前最好的成绩是90.2%。这一精度可以与有监督系统匹敌，而且可以少用30-100倍的标记数据。&/p&&p&&figure&&img src=&https://pic4.zhimg.com/v2-081f217c47deadf03d6b8b_b.png& data-rawwidth=&1320& data-rawheight=&1181& class=&origin_image zh-lightbox-thumb& width=&1320& data-original=&https://pic4.zhimg.com/v2-081f217c47deadf03d6b8b_r.jpg&&&/figure&&i&图1：为了让模型的两个变体（绿线和蓝线）能匹敌用6920个示例训练过的完全监督方法（灰色虚线），所需的有标注示例。OpenAI在亚马逊评论中以无监督的方式预训练的L1正则化模型，只需11个有标注示例就能达到multichannel CNN的水平，用232个有标注示例就能匹敌最先进的CT-LSTM Ensembles&/i&&/p&&p&OpenAI的模型本来是用于在亚马逊商品评价中预测下一个字，但是它学习了一个解释性（interpretable）的功能，还发现了情感概念。这让OpenAI的研究人员感到惊讶，他们认为，这不是他们模型所特有的现象，而是用来预测序列中的下一步或输入维度的大型神经网络的一般性质。&/p&&h1&方法论&/h1&&p&OpenAI首先在8200万亚马逊评论的语料库上用4,096个单位训练了multiplicative LSTM，以预测一小段文本中的下一个字。 训练在四个NVIDIA Pascal GPU上进行，花费了一个月，模型处理速度为每秒12,500个字符。&/p&&p&这4,096个单位（只是浮标的向量）可以被认为是表示模型读取的字符串的特征向量。 在训练mLSTM后，OpenAI通过采用这些单位的线性组合将模型转换为情感分类器，通过可用的监督数据学习组合的权重。&/p&&h1&情感神经元&/h1&&p&OpenAI这项研究还有一个独特的“情感神经元”，包含几乎所有的情感信号。&/p&&p&在用L1正则化训练线性模型的同时，研究人员注意到，它只用了很少的已学习单位。挖掘其原因的时候发现，实际上存在着一个对情感值有高度预测性的“情感神经元”。&/p&&p&&figure&&img src=&https://pic2.zhimg.com/v2-21ebe4b93efaa649f9593d_b.png& data-rawwidth=&1129& data-rawheight=&833& class=&origin_image zh-lightbox-thumb& width=&1129& data-original=&https://pic2.zhimg.com/v2-21ebe4b93efaa649f9593d_r.jpg&&&/figure&&i&图2：模型中的情感神经元可以将评论归为负面或正面，虽然模型仅是被训练来预测文本中的下一个字的&/i&&/p&&p&和类似模型一样，这个的模型可以用来生成文本。 与这些模型不同的是，它能直接控制结果文字的情感：只需覆盖情感神经元的值。&/p&SENTIMENT FIXED TO POSITIVESENTIMENT FIXED TO NEGATIVEJust what I was looking for. Nice fitted pants, exactly matched seam to color contrast with other pants I own. Highly recommended and also very happy!The package received was blank and has no barcode. A waste of time and money.This product does what it is supposed to. I always keep three of these in my kitchen just in case ever I need a replacement cord.Great little item. Hard to put on the crib without some kind of embellishment. My guess is just like the screw kind of attachment I had.Best hammock ever! Stays in place and holds it’s shape. Comfy (I love the deep neon pictures on it), and looks so cute.They didn’t fit either. Straight high sticks at the end. On par with other buds I have. Lesson learned to avoid.Dixie is getting her Doolittle newsletter we’ll see another new one coming out next year. Great stuff. And, here’s the contents - information that we hardly know about or forget.great product but no seller. couldn’t ascertain a cause. Broken product. I am a prolific consumer of this company all the time.I love this weapons look . Like I said beautiful !!! I recommend it to all. Would suggest this to many roleplayers, And I stronge to get them for every one I know. A must watch for any man who love Chess!Like the cover, Fits good. . However, an annoying rear piece like garbage should be out of this one. I bought this hoping it would help with a huge pull down my back & the black just doesn’t stay. Scrap off everytime I use it.... Very disappointed.&p&以上表格中所列的，是由已训练模型生成的合成文本的示例。OpenAI的研究人员在确定情感单位的值以确定评价的感情色彩后，从模型中选择随机样本。下面，他们还通过模型传递前缀“我无法弄清楚”，仅选择高似然样本。&/p&SENTIMENT FIXED TO POSITIVESENTIMENT FIXED TO NEGATIVEI couldn’t figure out the shape at first but it definitely does what it’s meant to do. It’s a great product and I recommend it highlyI couldn’t figure out how to use the product. It did not work.At least there wa this tablet does not work. I would have given it zero stars, but that was not an option.I couldn’t figure out why this movie had been discontinued! Now I can enjoy it anytime I like. So glad to have found it again.I couldn’t figure out how to set it up being that there was no warning on the box. I wouldn’t recommend this to anyone.I couldn’t figure out how to use the video or the book that goes along with it, but it is such a fantastic book on how to put it into practice!I couldn’t figure out how to use the gizmo. What a waste of time and money. Might as well through away this junk.I couldn’t figure out how to use just one and my favorite running app. I use it all the time. Good quality, You cant beat the price.I couldn’t figure out how to stop this drivel. At worst, it was going absolutely nowhere, no matter what I did.Needles to say, I skim-read the entire book. Don’t waste your time.I couldn’t figure out how to attach these balls to my little portable drums, but these fit the bill and were well worth every penny.I couldn’t figure out how to play it.&h1&举个例子&/h1&&p&下图表示情感神经元的逐字符值，消极值为红色、积极值为绿色。 请注意，像“最好的”或“可怕”这样强烈的指示性词语会引起颜色的特别大变化。&/p&&p&&figure&&img src=&https://pic3.zhimg.com/v2-194e99db1c_b.jpg& data-rawwidth=&800& data-rawheight=&215& data-thumbnail=&https://pic2.zhimg.com/v2-194e99db1c_b.jpg& class=&origin_image zh-lightbox-thumb& width=&800& data-original=&https://pic2.zhimg.com/v2-194e99db1c_r.jpg&&&/figure&图3：情绪神经元逐字调整取值&/p&&p&有趣的是，在句子和短语结束之后，系统仍会进行大量更新。 比如说“And about 99.8 percent of that got lost in the film”这个句子，即使“in the film”本身没有表达情感，系统还是在前面的“lost”之后、以及在句子结束后，将情感值向更消极的方向进行了更新。&/p&&br&&h1&无监督学习&/h1&&p&目前，标签数据是机器学习的燃料。 收集数据很容易，但对数据进行可扩展的标注很难。只有在机器翻译，语音识别或自动驾驶这样的重要问题上，生成标签才能得到相应的回报。&/p&&p&开发无监督学习算法，学习数据集的良好表征，仅用少量标注数据解决问题，一直以来都是机器学习研究人员的梦想。&/p&&p&OpenAI的研究表明，在创建具有良好表征学习能力的系统时，简单地用大量数据训练一个大型的无监督下雨不预测模型，可能是一种很好的方法。&/p&&h1&下一步&/h1&&p&OpenAI的结果，是迈向一般无人监督的表征学习的重要一步。研究人员通过探索语言建模是否可以学习优质表征从而找到结果，并在仔细选择的数据集上扩大现有模型。然而，潜在的现象比没有更加清楚反而更加神秘。&/p&&p&这些结果对于长文档的数据集不是很强。OpenAI的研究人员怀疑他们的字符级模型努力记住了数百到数千个时间段的信息。他们认为值得尝试用层次模型可以适应他们的时间尺度。进一步扩大这些模型可进一步提高情绪分析和类似任务的表征保真度和性能。&/p&&p&越来越多的输入文本与评论数据分歧。值得验证的是，扩展文本样本的语料库可以获得同样适用于更广泛领域的信息丰富的表征。&/p&&p&这一研究结果表明，存在一种设置能让超大的下一步预测模型很好的学到无监督表征。可以训练一个大型神经网络以预测大量视频的下一帧，这可能会得到对象、场景和动作分类的无监督表征。&/p&&h2&四个传送门&/h2&&p&论文：&a href=&http://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&[] Learning to Generate Reviews and Discovering Sentiment&/a&&/p&&p&代码：&a href=&http://link.zhihu.com/?target=https%3A//github.com/openai/generating-reviews-discovering-sentiment& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&openai/generating-reviews-discovering-sentiment&/a&&/p&&p&OpenAI这项研究，也引发了广泛的讨论，量子位提供两个传送门：&/p&&p&Hacker News：&a href=&http://link.zhihu.com/?target=https%3A//news.ycombinator.com/item%3Fid%3D& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Unsupervised sentiment neuron | Hacker News&/a&&/p&&p&reddit：&a href=&http://link.zhihu.com/?target=https%3A//www.reddit.com/r/MachineLearning/comments/63q744/r_learning_to_generate_reviews_and_discovering/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&[R] Learning to Generate Reviews and Discovering Sentiment o r/MachineLearning&/a&&/p&&p&&figure&&img src=&https://pic2.zhimg.com/v2-cac59c0b69cc30553f0bd_b.jpg& data-rawwidth=&1276& data-rawheight=&1696& class=&origin_image zh-lightbox-thumb& width=&1276& data-original=&https://pic2.zhimg.com/v2-cac59c0b69cc30553f0bd_r.jpg&&&/figure&图4：最后补一张没看懂什么意思的题图。&/p&&blockquote&&p&今天AI界还有哪些事值得关注？在量子位（QbitAI）公众号会话界面回复“今天”，看我们全网搜罗的AI行业和研究动态。笔芯?~&/p&&p&另外，欢迎加量子位小助手的微信：qbitbot，如果你研究或者从事AI领域，小助手会把你带入量子位的交流群里。&/p&&/blockquote&
OpenAI公布了一项最新成果：一个无监督的系统，很好地学会了表征感情。尽管这个系统目前只用亚马逊商品的顾客评价做了训练，用来预测评价文本中的下一个字。 这项研究还发现一个独特的“情感神经元”，包含几乎所有的情感信号。而且OpenAI这个模型可以用来…
&figure&&img src=&https://pic4.zhimg.com/v2-5f4ed527665afcb233dcf_b.jpg& data-rawwidth=&1280& data-rawheight=&847& class=&origin_image zh-lightbox-thumb& width=&1280& data-original=&https://pic4.zhimg.com/v2-5f4ed527665afcb233dcf_r.jpg&&&/figure&&p&“北大AI公开课”系列第二讲&b&《嵌入式人工智能：从边缘开始的革命》&/b&于周二晚上结束，在“人满为患”的北大电教112阶梯教室，地平线创始人&CEO余凯博士与北大人工智能创新中心主任雷鸣一起漫谈嵌入式AI。&br&&figure&&img src=&https://pic1.zhimg.com/v2-821ccec2c0e6_b.jpg& data-rawwidth=&640& data-rawheight=&440& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic1.zhimg.com/v2-821ccec2c0e6_r.jpg&&&/figure&&/p&&p&&strong&本讲围绕的主题是嵌入式人工智能，涉及了嵌入式人工智能的本质特征、软硬件结合联合优化、应由场景及未来的发展机会等等&/strong&，亮点颇多。&br&&/p&&p&余凯博士首先以&strong&“人工智能的边缘机会”&/strong&为切入点，做了时长50分钟的演讲。之后雷鸣登台，和余凯就“人工智能的专用性和通性”、“在软硬件联合优化的过程中如何良好同步”等问题展开了对话和讨论。&/p&&p&&strong&下面是完整的课程实录。（内容稍&/strong&&strong&多，文末链接可直通现场视频&/strong&&strong&）&/strong&&/p&&h2&&b&—余凯演讲全文—&/b&&/h2&&p&谢谢雷鸣，我的老朋友，好哥们儿。其实雷鸣老师是我们所有百度人的前辈，百度的七剑客之一。今天我也非常感动，能来到北大和在座的老师和同学们分享一些关于人工智能的看法。我记得很早之前也来北大做过深度学习的讲座，距离现在也有些时间了，这期间我个人的身份也发生了一些转变。&/p&&p&在过去的两年间，人工智能变成了一个非常 sexy 的话题。那么，What’s the hype? 这里面是否真正有一些实在的因素在推动？我昨天到今天一直在非常认真地在准备今天这个讲座，因为这也是雷鸣老师给我布置的一个作业。&/p&&p&在座的从事人工智能相关学习或研究的有不少。我记得我自己大学一、二年级的时候是在学习用 FORTUNE，C 语言编程，而今日来找我请教的大一、大二的同学会跟我探讨如何建模去识别女孩子饰品这类的问题，所以说&strong&computing science 在过去讲的是 computing，而如今关注的是 data science，变成了 data-driven 的 computing science，统计的、大数据的、计算的建模越来越多。&/strong&&/p&&p&过去是big data, big model, big computing这三个因素在推动学术研究和产业发展。所有的计算从 PC 到移动设备有一种聚合的趋势，聚合到云计算、数据中心。但是天下之事，分久必合合久必分，在未来的十到二十年，我认为很多计算会到互联网的边缘，会到我们的 device 端，甚至有些还是在不联网或无线联网环境下，依赖电池或本地的动力支持如发动机去进行本地的计算。&/p&&p&&b&▼&/b&&/p&&p&&strong&今天我想跟大家更多地分享一下我个人关于产业向前发展的思考，一些“干货”。&/strong&我今天提出一个新的类别，叫做&strong&嵌入式人工智能&/strong&，意为不是在云计算或数据中心而是在互联网的边缘。我认为从现在开始，我们会看到从边缘开始的一种革命，正如从2012开始深度学习所引起的革命，一般来说，革命都是从边缘开始的。2012年4月我在西安一次会议上作了一个关于深度学习的讲座，那时深度学习还是一个处于边缘的课题，而如今已发展为风暴的中心。当今人工智能的计算大多数都在 BAT 的数据中心，在云上面，但我们会发现，有一个巨大的机会远离数据中心，在互联网的边缘。&/p&&p&我这个想法是从哪里来的呢？先从我个人的经历谈起，我自己在深度学习这个领域工作了二十多年，之前在美国硅谷的NEC Labs领导一个计算机视觉小组，也是世界上第一个做相关项目的小组。我的小组在2010年第一届ImageNet Challenge上拿到全球第一名。&/p&&p&2012年回国加入百度，创立了业界首个人工智能中心 IDL Center，如今已是业界最具影响力的人工智能中心，我至今还认为它非常出色，汇聚了很多优秀的人才，包括百度的自动驾驶团队，中国最早的自动驾驶项目。&/p&&p&虽然我博士毕业以来一直在工业领域发展，但我与学术界一直保持着紧密的联系。分享一个小片段，2009年参与 ICML（International Conference of Machine Learning，）时我和几位朋友共同组织了一个关于深度学习的 workshop，日后这几位朋友分别加入了 APPLE、Google、Facebook 这样的大企业去建立人工智能中心。可以看到这样一个现象，就是深度学习在很短的时间内迅速影响了世界上最伟大的高科技公司。&/p&&p&2014年我也引荐 Andrew Ng，也是我多年的朋友，加入了百度，这是首次有全球知名的 technical leader 加入中国公司，在国内外都引发巨大震动，我至今都引以为傲。&/p&&p&我个人认为未来原创技术改变世界的创举一定会从中国发生，这也是我加入百度的原因，我初到百度做自我介绍时谈过，我希望未来大家谈到人工智能领域的顶级公司不仅只想到 Google，也会谈到百度。我想这点在今日应该已经实现了，中国人工智能领域处于前沿位置的公司就是百度。&/p&&p&&b&▼新摩尔定律&/b&&/p&&p&今天我们不谈深度学习的算法，而是去探讨一个正在发生或是下一个发生的风暴是什么。&strong&我从2013年年底开始思考未来，认为未来有三大趋势，第一个我称之为新摩尔定律。&/strong&摩尔定律在过去的二三十年推动整个全球科技界在向前发展。摩尔定律指每十八至二十四个月，计算机的成本会下降一半，性能则会提升一倍，使计算和应用不断发展，按此规律推算，到2045年，每1000美元可以买到的计算资源几乎就等同于今天人脑的计算能力，即目前天河二号的计算能力，天河二号的功耗为1000万瓦，而人脑只有20瓦。&/p&&p&到2045年是不是会这样呢？Intel 已经于去年正式宣布摩尔定律已经守不住了，速度已经放缓。那么到底是什么因素会去推动整个计算向前发展呢？&/p&&p&整个摩尔定律已经在按另外一个轨道在发展，已经不是每个单位面积上晶体管的数目，而是架构的改进，使得计算由逻辑运算向人工智能运算演进。那么人工智能运算是提升 CPU 工艺向前发展，还是设计一个新架构，这是个问题。&/p&&p&让我们来看一下人脑是怎样工作的。我们的人脑是 general 的、像 CPU 一样的 computer，还是一个 special purpose 的 computer？人脑是一个特殊硬件还是一个通用计算的硬件？认为是通用计算的请举手（不少同学都举起手来）。&/p&&p&还是有不少同学这么认为。人脑确实很发达，有很强的计算能力，但如果你认为这样人脑就是通用计算的硬件了，那我来问一下，你看你能回答这个问题吗？（PPT 上显示：=？）你会发现，面对这样一个简单的问题，你会觉得如此的无奈。你会发现，人脑不是无所不能的，它的能力明显有边限。&/p&&p&当然人脑有它擅长的东西，比如这个（PPT 上出现了一段在一定程度上打乱了顺序的文字，现场观众惊讶地发现，这并不影响阅读，甚至有人都没有发现顺序被打乱了）。&/p&&p&我们发现，原来大脑是这么奇妙，这么特殊，它的机制可能和现在显示器的逐行扫描、顺序扫描是完全不同的机制。它对图像是并行处理的，因此对顺序是不敏感的。但是背后又有一个 language model，还有一个类似于 recurrent neural net 的东西在进行 correct。&/p&&p&我们发现，原来人脑是有所长、有所短的。在漫长的进化过程中，人在不断地发展和自己生存有关的能力，而和生存无关的能力，发展则是不足的。&strong&所以说，人脑是一个特殊设计的硬件。&/strong&同时人脑还有很多个不同的子系统，比如有一部分是专门对听觉优化的，有一部分是专门对视觉优化的，前几年有一个获得诺贝尔奖的发现，发现人脑中有一块是专门负责定位的，相当于 GPS。 &/p&&p&我们看到，如果我们做通用处理器，做 CPU，那么它可能非常 flexible，因为它可以做很多任务。但它整个 efficiency 并不高。但如果针对每个人物做专门的优化，会把 efficiency 提高两到三个数量级。&/p&&p&给大家讲一个我自己经历的故事。2011年，谷歌大脑的项目，当时都是用 CPU 来做的计算。当时我们加入百度，开始在百度做深度学习计算，用的是 GPU。我们私下里不断的比较，比较 CPU 跟 GPU 的效率。&/p&&p&2012年的 GPU 比 CPU 效率大概要快四十倍左右，但是 Google 的一些人告诉我们，他们的 CPU 优化的非常好，据说能达到 CPU 跟 GPU 只是六倍的difference。但是我们觉得很难相信，这一点就跟我们的数据太不一样了。我们觉得 GPU 做深度神经网络的性能明显要更高嘛。不管怎么说，我们开始 launch 我们的系统，大规模使用 GPU 来做计算，到后来证明我们是对的。Google 后来也开始大规模地使用GPU。&/p&&p&所以实际上，百度比 Google 更早使用 GPU。所以 Andrew 在2014年5月份加入百度，他接受采访时说，当时加入百度的原因，当然除了余凯，另外还有一个原因，就是可以随便买 GPU。&/p&&p&到了14年，广告系统上线跟语音系统上线都需要实时计算，并且它的流量特别大，特别是广告，这种情况下 CPU 跟 GPU 其实都扛不住，所以我们当时用 FPGA 去做专门的硬件加速。&strong&这时我们更加清醒地认识到，硬件对计算力有多么重要。&/strong&&/p&&p&&b&▼从中心到边缘&/b&&/p&&p&好，&strong&我们现在看另外一个趋势，这个趋势就是从中心到边缘。&/strong&&/p&&p&我们可以看到从 PC 互联网到移动互联网到 internet of smart things，实际上对 AI 的要求越来越高。对 PC 互联网来说，对 AI 的要求其实没有那么高，但在移动互联网上，这种要求出现了。&/p&&p&比如说最近我们看到今日头条的新闻，它跟百度一个很不一样的地方是百度是即搜即得，而今日头条是不搜即得。这个“不搜即得”，在移动设备上，因为它有一个主动去做推荐的机制，使得人机交和信息的获取更加智能更加的高效。未来，这些移动设备上，会有越来越强的AI需求。我们有很多的计算，会从数据中心往这些移动设备上去转移。在这些设备上，做 perception，做人机交互，还有决策等事情。&/p&&p&这些计算要求 low latency，没有延迟，并且是&strong&实时的&/strong&，low power，low cost，并且是 privacy protect 的。比如这在汽车上面，就是一个很大的一个应用场景——不可能前面有小孩子突然横穿马路，你还要把数据传上数据中心，处理完了以后再传回来，这是不可想象的。所以一定要本地计算，要实时处理没有延迟。&/p&&p&很多移动设备，比如 Amazon 的 Echo，就是把很多计算往边缘设备上去推，使得它整个的用户体验会更好，这也是未来的一个趋势。又比如监控摄像头，中国去年一共部署了一亿个。监控摄像头的资料，其实存3个月就扔掉了。未来，对于所有这些摄像头，都会有专门的处理器，去处理实时的视频，这是一个大的趋势。&/p&&p&孙正义认为，很多计算未来会在边缘进行，边缘的这些设备上的计算，使得这些设备变成了机器人。他认为，15年以后，机器人的数目会超过人类，达到一百亿个。孙正义基正是基于这样一个逻辑，他以极高的溢价收购了英国的 ARM，300多亿美金。所以这是以 VC 的思维去做几百亿美金的巨型并购。&/p&&p&&b&▼边缘的竞赛&/b&&/p&&p&&strong&第三个趋势，是在边缘的竞赛，就是更快更高更强。&/strong&比如今天的每辆车，有1个摄像头，就是倒车的摄像头，但未来的自动驾驶是平均8到12个摄像头。Tesla 的新车上，已经有8个摄像头了。然后每个摄像头，会从720P的解析度到1080P的解析度，到高清的4k，因为解析度越高，你可以看得更远。&/p&&p&另外一点，未来的10到20年时间，因为自动驾驶技术的发展，会使得高速公路上的汽车的平均的速度从100公里每小时到接近它的物理的极限——200公里每小时，速度会越来越快，这是