从年初起，几家国际大厂的开发者大会，无论是微软 Build、Facebook F8还是稍后的 Google I/O，莫不把“ AI 优先”的大旗扯上云霄。

如果这一波 AI 大潮只是空喊几句口号，空提几个战略，空有几家炙手可热的创业公司，那当然成不了什么大气候。但风浪之下，我们看到的却是，Google 一线的各大业务纷纷改用深度学习，落伍移动时代的微软则已拉起一支近万人的 AI 队伍。而国内一线大厂的情况，恐怕也是差不多的。

这一迹象，对于广大程序员来说，特别是对即将走向技术一线的准程序员而言，还是值得重点关注的。回顾一下移动互联网所带来的机遇，很容易就能算清，掌握深度学习能为一线工作带来怎样的优势。不过，跟移动开发不同，要求严苛的数学门槛，成本高昂的实战训练，令 AI 人才的培养周期猛增至5年以上……似乎没有硕士、博士的知识储备，就一定要跟 AI 相关的技术工作说再见了。实情果真如此吗?

我们请来商汤、杜邦、声智、希为、58同城、爱因互动、中科视拓、鲁朗软件等公司 AI 技术一线的专家，请他们从实践的角度来解析 AI 领域各技术岗位的合格工程师都是怎样炼成的。你将了解到什么样的 AI 技能树能够满足他们一线业务的用人需求，数据科学、机器学习算法、异构并行计算以及语音识别、推荐系统与对话系统等领域的技能进阶又该如何展开，特别是其中的学院派路径与实战派方法又当如何取舍。

如何成为一名机器学习算法工程师

成为一名合格的开发工程师不是一件简单的事情，需要掌握从开发到调试到优化等一系列能 力，这些能力中的每一项掌握起来都需要足够的努力和经验。而要成为一名合格的机器学习算法工程师（以下简称算法工程师）更是难上加难，因为在掌握工程师的通用技能以外，还需要掌握一张不算小的机器学习算法知识网络。下面我们就将成为一名合格的算法工程师所需的技能进行拆分，一起来看一下究竟需要掌握哪些技能才能算是一名合格的算法工程师。

所谓算法工程师，首先需要是一名工程师，那么就要掌握所有开发工程师都需要掌握的一些能力。有些同学对于这一点存在一些误解，认为所谓算法工程师就只需要思考和设计算法，不用在乎这些算法如何实现，而且会有人帮你来实现你想出来的算法方案。这种思想是错误的，在大多数企业的大多数职位中，算法工程师需要负责从算法设计到算法实现再到算法上线这一个全流程的工作。

笔者曾经见过一些企业实行过算法设计与算法实现相分离的组织架构，但是在这种架构下，说不清楚谁该为算法效果负责，算法设计者和算法开发者都有一肚子的苦水，具体原因不在本文的讨论范畴中，但希望大家记住的是，基础的开发技能是所有算法工程师都需要掌握的。

基础开发所涉及到的技能非常的多，在这里只挑选了两个比较重要的点来做阐述。

在企业应用中，一个问题的完整解决方案通常包括很多的流程，这其中每个环节都需要反复迭代 优化调试，如何能够将复杂任务进行模块划分，并且保证整体流程的正确性呢?最实用的方法就是单元测试。

单元测试并不只是简单的一种测试技能，它首先是一种设计能力。并不是每份代码都可以做单元测试，能做单元测试的前提是代码首先是可以划分为多个单元——也就是模块的。在把项目拆解成可独立开发和测试的模块之后，再加上对每个模块的独立的、可重复的单元测试，就可以保证每个模块的正确性，如果每个模块的正确性都可以保证，那么整体流程的正确性就可以得到保证。

对于算法开发这种流程变动频繁的开发活动来讲，做好模块设计和单元测试是不给自己和他人挖坑的重要保证。也是能让自己放心地对代码做各种改动优化的重要前提。

逻辑的抽象复用可以说是所有软件开发活动中最为重要的一条原则，衡量一个程序员代码水平的重要原则之一就是看他代码中重复代码和相似代码的比例。大量重复代码或相似代码背后反映的是工程师思维的懒惰，因为他觉得复制粘贴或者直接照着抄是最省事的做法。这样做不仅看上去非常的丑陋，而且也非常容易出错，更不用提维护起来的难度。

算法开发的项目中经常会有很多类似逻辑的出现，例如对多个特征使用类似的处理方法，还有原始数据 ETL 中的很多类似处理方法。如果不对重复逻辑做好抽象，代码看上去全是一行行的重复代码，无论是阅读起来还是维护起来都会非常麻烦。

概率和统计可以说是机器学习领域的基石之一，从某个角度来看，机器学习可以看做是建立在概率思维之上的一种对不确定世界的系统性思考和认知方式。学会用概率的视角看待问题，用概率的语言描述问题，是深入理解和熟练运用机器学习技术的最重要基础之一。

概率论内容很多，但都是以具体的一个个分布为具体表现载体体现出来的，所以学好常用的概率分布及其各种性质对于学好概率非常重要。对于离散数据，伯努利分布、二项分布、多项分布、Beta 分布、狄里克莱分布以及泊松分布都是需要 理解掌握的内容；对于离线数据，高斯分布和指数分布族是比较重要的分布。这些分布贯穿着机器学习的各种模型之中，也存在于互联网和真实世界的各种数据之中，理解了数据的分布，才能知道该对它们做什么样的处理。

此外，假设检验的相关理论也需要掌握。在这个所谓的大数据时代，最能骗人的大概就是数据了，掌握了假设检验和置信区间等相关理论，才能具备分辨数据结论真伪的能力。例如两组数据是否真的存在差异，上线一个策略之后指标是否真的有提升等等。这种问题在实际工作中非常常见，不掌握相关能力的话相当于就是大数据时代的睁眼瞎。

在统计方面，一些常用的参数估计方法也需要掌握，典型的如最大似然估计、最大后验估计、EM 算法等。这些理论和最优化理论一样，都是可以应用于所有模型的理论，是基础中的基础。

虽然现在开箱即用的开源工具包越来越多，但并不意味着算法工程师就可以忽略机器学习基础理论的学习和掌握。这样做主要有两方面的意义：

• 掌握理论才能对各种工具、技巧灵活应用，而不是只会照搬套用。只有在这个基础上才能够真正具备搭建一套机器学习系统的能力，并对其进行持续优化。否则只能算是机器学习搬砖工人，算不得合格的工程师。出了问题也不会解决，更谈不上对系统做优化。

• 学习机器学习的基础理论的目的不仅仅是学会如何构建机器学习系统，更重要的是，这些基础理论里面体现的是一套思想和思维模式，其内涵包括概率性思维、矩阵化思维、最优化思维等多个子领域，这一套思维模式对于在当今这个大数据时代做数据的处理、分析和建模是非常有帮助的。如果你脑子里没有这套思维，面对大数据环境还在用老一套非概率的、标量式的思维去思考问题，那么思考的效率和深度都会非常受限。

机器学习的理论内涵和外延非常之广，绝非一篇文章可以穷尽，所以在这里我列举了一些比较核心，同时对于实际工作比较有帮助的内容进行介绍，大家可在掌握了这些基础内容之后，再不断探索学习。

所谓基础理论，指的是不涉及任何具体模型，而只关注“学习”这件事本身的一些理论。以下是一些比较有用的基础概念:

• VC 维。VC 维是一个很有趣的概念，它的主体是一类函数，描述的是这类函数能够把多少个样本 的所有组合都划分开来。VC 维的意义在哪里呢? 它在于当你选定了一个模型以及它对应的特征之后，你是大概可以知道这组模型和特征的选择能 够对多大的数据集进行分类的。此外，一类函数的 VC 维的大小，还可以反应出这类函数过拟合的可能性。

• 信息论。从某种角度来讲，机器学习和信息论是同一个问题的两个侧面，机器学习模型的优化过程同时也可以看作是最小化数据集中信息量的过程。对信息论中基本概念的了解，对于机器学习理论的学习是大有裨益的。例如决策树中用来做分裂决策依据的信息增益，衡量数据信息量的信息熵等等，这些概念的理解对于机器学习问 题神本的理解都很有帮助。这部分内容可参考《 Elements of Information

• 正则化和 bias-variance tradeoff。如果说现阶段我国的主要矛盾是“人民日益增长的美好生活需要和不平衡不充分的发展之间的矛盾”，那么机器学习中的主要矛盾就是模型要尽量拟合数据和模型不能过度拟合数据之间的矛盾。而化解这一矛盾的核心技术之一就是正则化。正则化的具体方法不在此讨论，但需要理解的，是各种正则化方法背后透露出的思想：bias-variance tradoff。在不同利益点之间的平衡与取舍是各种算法之间的 重要差异，理解这一点对于理解不同算法之间的核心差异有着非常重要的作用。

• 最优化理论。绝大多数机器学习问题的解决，都可以划分为两个阶段：建模和优化。所谓建模就是后面我们会提到的各种用模型来描述问题的方法，而优化就是建模完成之后求得模型的最优参数的过程。机器学习中常用的模型有很多， 但背后用到的优化方法却并没有那么多。换句话说，很多模型都是用的同一套优化方法，而同一个优化方法也可以用来优化很多不同模型。对各种常用优化方法的和思想有所有了解非常有必要，对于理解模型训练的过程，以及解释各种 情况下模型训练的效果都很有帮助。这里面包括最大似然、最大后验、梯度下降、拟牛顿法、L-BFGS 等。

机器学习的基础理论还有很多，可以先从上面的概念学起，把它们当做学习的起点，在学习过程中 还会遇到其他需要学习的内容，就像一张网络慢慢铺开一样，不断积累自己的知识。这方面基础理论的学习，除了 Andrew Ng 的著名课程以外，《 Learning from Data 》这门公开课也非常值得大家学习，这门课没有任何背景要求，讲授的内 容是在所有模型之下的基础中的基础，非常地靠近机器学习的内核本质。这门课的中文版本叫做 《机器学习基石》，也可以在网上找到，其讲授者是上面英文版本讲授者的学生。

在了解了机器学习的基本概念之后，就可以进入到一些具体模型的学习中了。在目前的工业实践中，有监督学习的应用面仍然是最广泛的，这是因为我们现实中遇到的很多问题都是希望对某个事物的某个属性做出预测，而这些问题通过合理的抽象和变换，都可以转化为有监督学习的问题。

在学习复杂模型之前，我建议大家都先学习几个最简单的模型，典型的如朴素贝叶斯。朴素贝叶斯有很强的假设，这个假设很多问题都不满足，模型结构也很简单，所以其优化效果并不是最好的。但也正是由于其简单的形式，非常利于学习者深入理解整个模型在建模和优化过程中的每一步，这对于搞清楚机器学习是怎么一回事情是非常有用的。

同时，朴素贝叶斯的模型形式通过一番巧妙的变换之后，可以得到和逻辑回归形式上非常统一的结果，这无疑提供了对逻辑回归另外一个角度的解释，对于更加深刻理解逻辑回归这一最常用模型有着非常重要的作用。

在掌握了机器学习模型的基础流程之后，需要学习两种最基础的模型形式：线性模型和树形模型，分别对应着线性回归/逻辑回归和决策回归/分类树。现在常用的模型，无论是浅层模型还是深度学习的深层模型，都是基于这两种基础模型形式变幻而来。而学习这两种模型的时候需要仔细思考的问题是：这两种模型的本质差异是什么？为什么需要有这两种模型？他们在训练和预测的精度、效率、复杂度等方面有什么差异？了解清楚这些本质的差异之后，才可以做到根据问题和数据的具体情况对模型自如运用。

在掌握了线性模型和树形模型这两种基础形式之后，下一步需要掌握的是这两种基础模型的复杂形式。其中线性模型的复杂形式就是多层线性模型，也就是神经网络。树模型的复杂形式包括以 GDBT 为代表的 boosting 组合，以及以随机森林为代表的 bagging 组合。

这两种组合模型的意义不仅在于模型本身，boosting 和 bagging 这两种组合思 想本身也非常值得学习和理解，这代表了两种一般性的强化方法：boosting 的思想是精益求精，不断在之前的基础上继续优化；而 bagging 的思想是 “三个臭裨将顶一个诸葛亮”，是通过多个弱分类器的组合来得到一个强分类器。这两种组合方法各有优劣，但都是在日常工作中可以借鉴的思想。例如在推荐系统中所我们经常会使用多个维度的数据做召回源，从某个角度来看就是一种bagging的思想：每个单独召回源并不能给出最好表现，但是多个召回源组合之后，就可以得到比每个单独召回源都要好的结果。所以说思想比模型本身更重要。

有监督学习虽然目前占了机器学习应用的大多数场景，但是无监督学习无论从数据规模还是作用上来讲也都非常的重要。无监督学习的一大类内容是在做聚类，做聚类的意义通常可以分为两类：一类是将聚类结果本身当做最终的目标，另一类是将聚类的结果再作为特征用到有监督学习中。但这两种意义并不是和某种聚类方法具体绑定，而只是聚类之后结果的不同使用方式，这需要在工作中不断学习、积累和思考。而在入门学习阶段需要掌握的，是不同聚类算法的核心差异在哪里。

例如最常用的聚类方法中，kmeans 和 DBSCAN 分别适合处理什么样的问题？高斯混合模型有着什么样的假设？LDA 中文档、主题和词之间是什么关系？这些模型最好能够放到一起来学习，从而掌握它们之间的联系和差异，而不是把他们当做一个个孤立的东西来看待。

除 了 聚 类 以 外 ，近 年 来 兴 起 的 嵌 入 表 示（ embedding representation ）也是无监督学习的一种重要方法。这种方法和聚类的差异在于，聚 类的方法是使用已有特征对数据进行划分，而嵌入表示则是创造新的特征，这种新的特征是对样 本的一种全新的表示方式。这种新的表示方法提供了对数据全新的观察视角，这种视角提供了数据处理的全新的可能性。此外，这种做法虽然是从 NLP 领域中兴起，但却具有很强的普适性，可用来处理多种多样的数据，都可以得到不错的结果，所以现在已经成为一种必备的技能。

掌握了足够的理论知识，还需要足够的工具来将这些理论落地，这部分我们介绍一些常用的语言和工具。

近年来 Python 可以说是数据科学和算法领域最火的语言，主要原因是它使用门槛低，上手容易，同时具有着完备的工具生态圈，同时各种平台对其支持也比较好。所以 Python 方面我就不再赘述。但是在学习 Python 以外，我建议大家可以再学习一下 R 语言，主要原因有以下几点：

• R 语言具有最完备的统计学工具链。我们在上面介绍了概率和统计的重要性，R 语言在这方面提供的支持是最全面的，日常的一些统计方面的需求，用 R 来做可能要比用Python 来做还要更快。 Python 的统计科学工具虽然也在不断完善，但是 R 仍然是统计科学最大最活跃的社区。

• 向量化、矩阵化和表格化思维的培养。R 中的所有数据类型都是向量化的，一个整形的变量本质上是一个长度为一的一维向量。在此基础上 R 语言构建了高效的矩阵和（ DataFrame ）数据类型，并且在上面支持了非常复杂而又直观的操作方法。这套数据类型和思考方式也在被很多更现代化的语言和工具所采纳，例如 Numpy 中的 ndarray，以 及 Spark 最新版本中引入的 DataFrame，可以说都是直接或间接从 R 语言得到的灵感，定义在上面的数据操作也和 R中对 DataFrame 和向量的操作如出一辙。就像学编程都要从 C 语言学起一样，学数据科学和算法开发我建议大家都学一下 R，学的既是它的语言本身，更是它的内涵思想，对大家掌握和理解现代化工具都大有裨益。

除了 R 以外，Scala 也是一门值得学习的语言。原因在于它是目前将面向对象和函数式两种编程范式结合得比较好的一种语言，因为它不强求你一定要用函数式去写代码，同时还能够在能够利用函数式的地方给予了足够的支持。这使得它的使用门槛并不高，但是随着经验和知识的不断积累，你可以用它写出越来越高级、优雅的代码。

开发工具方面，Python 系的工具无疑是实用性最高的，具体来说，Numpy、Scipy、sklearn、pandas、Matplotlib 组成的套件可以满足单机上绝大多数的分析和训练工作。但是在模型训练方面，有一些更加专注的工具可以给出更好的训练精度和性能，典型的如 LibSVM、Liblinear、XGBoost 等。

大数据工具方面，目前离线计算的主流工具仍然是Hadoop和Spark，实时计算方面 Spark Streaming 和 Storm 也是比较主流的选择。近年来兴起的新平台也比较多，例如 Flink 和 Tensorflow 都是值得关注的。值得一提的是，对于 Hadoop 和 Spark 的掌握，不仅要掌握其编码技术，同时还要对其运行原理有一定理解，例如，Map-Reduce 的流程在 Hadoop 上是如何实现的，Spark 上什么操作比较耗时，aggregateByKey 和 groupByKey 在运 行原理上有什么差异，等等。只有掌握了这些，才能对这些大数据平台运用自如，否则很容易出现程序耗时过长、跑不动、内存爆掉等等问题。

最后我们花一些篇幅来谈一下机器学习系统的架构设计。所谓机器学习系统的架构，指的是一套能够支持机器学习训练、预测、服务稳定高效运行的整体系统以及他们之间的关系。在业务规模和复杂度发展到一定程度的时候，机器学习一定会走向系统化、平台化这个方向。这个时候就 需要根据业务特点以及机器学习本身的特点来设计一套整体架构，这里面包括上游数据仓库和数据流的架构设计，以及模型训练的架构，还有线上服务的架构等等。

这一套架构的学习就不像前面的内容那么简单了，没有太多现成教材可以学习，更多的是在大量实践的基础上进行抽象总结，对当前系统不断进行演化和改进。但这无疑是算法工程师职业道路上最值得为之奋斗的工作。在这里能给的建议就是多实践，多总结，多抽象，多迭代。

机器学习算法工程师领域现状

现在可以说是机器学习算法工程师最好的时代，各行各业对这类人才的需求都非常旺盛。典型的包括以下一些细分行业：

• 推荐系统。推荐系统解决的是海量数据场景下信息高效匹配分发的问题，在这个过程中，无论是候选集召回，还是结果排序，以及用户画像等等方面，机器学习都起着重要的作用。

• 广告系统。广告系统和推荐系统有很多类似的地方，但也有着很显著的差异，需要在考虑平台和用户之外同时考虑广告主的利益，两方变成了三方，使得一些问题变复杂了很多。它在对机器学习的利用方面也和推荐类似。

• 搜索系统。搜索系统的很多基础建设和上层排序方面都大量使用了机器学习技术，而且在很多网站和 App 中，搜索都是非常重要的流量入口，机器学习对搜索系统的优化会直接影响到整个网站的效率。

• 风控系统。风控，尤其是互联网金融风控是近年来兴起的机器学习的又一重要战场。不夸张地说，运用机器学习的能力可以很大程度上决定一家互联网金融企业的风控能力，而风控能力本身又是这些企业业务保障的核心竞争力，这其中的关系大家可以感受一下。

但是所谓“工资越高，责任越大”，企业对于算法工程师的要求也在逐渐提高。整体来说，一名高级别的算法工程师应该能够处理“数据获取→数据分析→模型训练调优→模型上线”这一完整流程，并对流程中的各种环节做不断优化。一名工程师入门时可能会从上面流程中的某一个环节做起，不断扩大自己的能力范围。除了上面列出的领域以外，还有很多传统行业也在不断挖掘机器学习解决传统问题的能力，行业的未来可谓潜力巨大。

二手交易平台转转推荐算法部负责人，算法架构师，负责转转的推荐系统以及其他算法相关工作，邮箱:

如何成为一名推荐系统工程师

推荐系统工程师成长路线图

已经成为推荐系统的标配，而推荐系统已经成为互联网产品的标配。很多产品甚至在第一版就要被投资人或者创始人要求必须“个性化”，可见，推荐系统已经飞入寻常百姓家，作为推荐系统工程师的成长也要比从前更容易，要知道我刚工作时，即使跟同为研发工程师的其他人如 PHP 工程师（绝无黑的意思，是真的）说“我是做推荐的”，他们也一脸茫然，不知道“推荐”为什么是一个工程师岗位。如今纵然“大数据”，“AI”，这些词每天360度无死角轰炸我们，让我们很容易浮躁异常焦虑不堪，但不得不承认，这是作为推荐系统工程师的一个好时代。

推荐系统工程师和正常码农们相比，无需把 PM 们扔过来的需求给像素级实现，从而堆码成山；和机器学习研究员相比，又无需沉迷数学推导，憋出一个漂亮自洽的模型，一统学术界的争论；和数据分析师相比，也不需绘制漂亮的图表，做出酷炫的 PPT 能给 CEO 汇报，走上人生巅峰。那推荐系统工程师的定位是什么呢？为什么需要前面提到的那些技能呢？容我结合自身经历来一一解答。

我把推荐系统工程师的技能分为四个维度：

1. 掌握核心原理的技能，是一种知其所以然的基础技能；

2. 动手能力：实现系统，检验想法，都需要扎实的工程能力；

3. 为效果负责的能力：这是推荐系统工程师和其他工种的最大区别；

4. 软技能：任何工程师都需要自我成长，需要团队协作。

• 英文阅读：读顶级会议的论文、一流公司和行业前辈的经典论文和技术博客，在Quora 和 Stack Overflow 上和人交流探讨；
• 代码阅读：能阅读开源代码，从中学习优秀项目对经典算法的实现；
• 沟通表达：能够和其他岗位的人员沟通交流，讲明白所负责模块的原理和方法，能听懂非技术人员的要求和思维，能分别真伪需求并且能达成一致。

托开源的福气，现在有很多开箱即用的工具让我们很容易搭建起一个推荐系统。但是浮沙上面筑不起高塔，基础知识必须要有，否则就会在行业里面，被一轮轮概念旋风吹得找不着北。所有基础里面，最最基础的当然就是数学了。

能够看懂一些经典论文对于实现系统非常有帮助：从基本假设到形式化定义，从推导到算法流程，从实验设计到结果分析。这些要求我们对于微积分有基本的知识，有了基本的微积分知识才能看懂梯度下降等基本的优化方法。概率和统计知识给我们建立起一个推荐系统工程师最基本的三观：不要以是非绝对的眼光看待事物，要有用不确定性思维去思考产品中的每一个事件，因为实现推荐系统，并不是像实现界面上一个按钮的响应事件那样明确可检验。

大数据构建了一个高维的数据空间，从数据到推荐目标基本上都可以用矩阵的角度去形式化，比如常见的推荐算法：协同过滤、矩阵分解。而机器学习算法，如果用矩阵运算角度去看，会让我们更加能够理解“向量化计算”和传统软件工程里面的循环之间的巨大差异。高维向量之间的点积，矩阵之间的运算，如果用向量化方式实现比用循环方式实现，高效不少。建立这样的思维模式，也需要学好线性代数。

学好基础的数学知识之外，我们要稍微延伸学习一些信息科学的基础学科，尤其是信息论。信息论是构建在概率基础上的，信息论给了很多计算机领域问题一个基本的框架：把问题看做是通信问题。推荐系统要解决的问题也是一个通信问题：用户在以很不明确的方式向我们的产品发报，告诉我们他最喜欢/讨厌的是什么，我们在收到了之后要解码，并且还要给他们回信，如果沟通不顺畅，那用户就会失联。我的专业是信息与通信工程。读研时从事过 NLP 相关的课题研究，NLP 里面很多问题和方法都用到了信息论知识，这样让我深受信息论影响。有了这些基础知识，再去跟踪不断涌现的新算法新模型，就会容易得多。

推荐系统会用到很多传统数据挖掘和机器学习方法。掌握经典的机器学习算法是一个事半功倍的事情，比如逻辑回归，是一个很简单的分类算法，但它在推荐领域应用之广，其他算法无出其右。在吴恩达的深度学习课程里，从逻辑回归入手逐渐讲到多层神经网络，讲到更复杂的 RNN 等。应该怎么掌握这些经典的算法呢？最直接的办法是：自己从0实现一遍。

推荐系统不只是模型，推荐系统是一整个数据处理流程，所以模型的上游，就是一些数据挖掘的知识也需要掌握，基本的分类聚类知识，降维知识，都要有所掌握。

前面强调自己实现算法对于掌握算法的必要性，但在实际开发推荐系统的时候，如无必要，一定不要重复造轮子。推荐系统也是一个软件系统，当然要稳定要高效。开源成熟的轮子当然是首选。实现推荐系统，有一些东西是 commonsense，有一些是好用的工具，都有必要列出来。

首当其冲的常识就是 Linux 操作系统。由于 Windows 在 PC 的市场占率的垄断地位，导致很多软件工程师只会在 Windows 下开发，这是一个非常普遍、严重、又容易被忽视的短板。

我自己深有体会，一定要熟练地在 Linux 下的用命令行编程，如果你的个人电脑是 Mac，会好很多，因为 macOS 底层是 Unix 操作系统，和 Linux 是近亲，用 Mac 的终端基本上类似在 Linux 下的命令行，如果不是则一定要有自己的 Linux 环境供自己平时练习，买一台常备的云服务器是一个不错的选择。这里有两个关键点：

为什么呢？有以下三点原因：

• 几乎所有推荐系统要用到的开源工具都是首先在 Linux 下开发测试完成的，最后再考虑移植到 Windows 平台上（测试不充分或者根本不移植）；

• 键盘比鼠标快，用命令行编程会多用键盘，少用鼠标，熟悉之后效率大大提升。而且Linux 下的命令非常丰富，处理的也都是标准文本，掌握之后很多时候根本不用写程序就能做很多数据处理工作。

• 几乎 Linux 是互联网公司的服务器操作系统标配，不会 Linux 下的开发，就找不着工作，就问你怕不怕？

常常有人问我，实现推荐系统用什么编程语言比较好。标准的官方回答是：用你擅长的语言。但我深知这个回答不会解决提问者的疑问。实际上我的建议是：你需要掌握一门编译型语言：C++ 或者 Java，然后掌握一门解释型语言，推荐 Python 或者 R。原因如下：

• 推荐系统的开源项目中以这几种语言最常见；

• 快速的数据分析和处理、模型调试、结果可视化、系统原型实现等，Python 和 R 是不错的选择，尤其是 Python；

• 当Python在一些地方有效率瓶颈时，通常是用C++实现，再用Python调用；

• Java在构建后台服务时很有优势，一些大数据开源项目也多用Java来实现；

如果时间有限，只想掌握一门语言的话，推荐 Python。从模型到后端服务到 web 端，都可以用 Python，毋庸置疑，Python 是 AI 时代第一编程语言。

推荐系统是一个线上的产品，无论离线时的模型跑得多么爽，可视化多么酷炫，最终一定要做成在线服务才完整。这就涉及到两方面的工作：1.系统原型；2.算法服务化。这涉及到：

• 数据存储。包括存储模型用于在线实时计算，存储离线计算好的推荐结果。除了传统的关系型数据库 MySQL 之外，还需要掌握非关系型数据库，如 KV 数据库 Redis，列式数据库 Cassandra 和 HBase 常常用来存储推荐结果或模型参数。推荐的候选 Item 也可能存在 MongoDB 中。

• RPC 和 web。需要将自己的算法计算模块以服务的形式提供给别人跨进程跨服务器调用，因此 RPC 框架就很重要，最流行如 thrift 或者 dubbo。在 RPC 服务之上，再做原型还需要会一点基本的 web 开发知识，Python、PHP、Java 都有相应的 web 框架来迅速的完成最基本的推荐结果展示。

当然，最核心的是算法实现。以机器学习算法为主。下面详细列举一下常见的机器学习/深度学习工具：

• Spark MLib：大概是使用最广的机器学习工具了，因为 Spark 普及很广，带动了一个并非其最核心功能的 MLib，MLib 实现了常见的线性模型、树模型和矩阵分解模型等。提供 Scala、Java 和 Python 接口，提供了很多例子，学习 Spark MLib 很值得自己运行它提供的例子，结合文档和源代码学习接口的使用，模型的序列化和反序列化。

• GraphLab/GraphCHI：GraphCHI 是开源的单机版，GraphLab 是分布式的，但并不开源。所以建议推荐系统工程师重点学习一下 GraphCHI，它有 Java 和 C++两个版本，实现了常见的推荐算法，并在单机上能跑出很高的结果。有一个不得不承认的事实是：GraphCHI 和 GraphLab 在业界应用得并不广泛。

• Angel：腾讯在2017年开源的分布式机器学习平台，Java 和 Scala 开发而成，已经在腾讯的10亿维度下有工业级别的应用，最终的是填补了专注传统机器学习（相对于深度学习）分布式计算的空白，值得去学习一下；由于开发团队是中国人，所以文档以中文为主，学习的时候多多和开发团队交流会受益良多，进步神速。

• VW：这是 Yahoo 开源的一个分布式机器学工具，也支持单机，分布式需要借助Hadoop 实现。由于主要开发者后来跳槽去了微软，所以还支持 Windows 平台。阅读这个工具的源码，非常有助于理解逻辑回归的训练，微博推荐团队和广告团队第一版模型训练都采用了 VW，其开发者在 Yahoo Group 中回答问题很积极，使用期间，我在这个group 里面提了大大小小十几个问题，基本上都得到解答，这是一个学习成长方法，建议新学者常常在邮件组或者讨论组里提问题，不要在乎问题是否愚蠢，不要在意别人的取笑。

• Xgboost：这个号称 kaggle 神器的机器学习工具，非常值得学习和使用，尤其是对于理解 Boosting 和树模型很有帮助。网上有很多教程，主要开发者陈天奇也是中国人，所以遇到问题是非常容易找到交流的人的。

• libxxx：这里的xxx是一个通配符，包括以 lib 开头的各种机器学习工具，如liblinear、libsvm、libfm、libmf。都是单机版的工具，虽然是单机版，但足够解决很多中小型数据集的推荐问题了，著名的 scikit-learn 中的一些分类算法就是封装的libsvm 等工具。另外，libsvm 不但是一个机器学习工具，而且它还定义了一种应用广泛，成为事实标准的机器学习训练数据格式：libsvm。

• MXNet，TensorFlow，Caffe：深度学习大行其道，并且在识别问题上取到了惊人的效果，自然也间接推动了推荐系统的算法升级，因此，掌握深度学习工具的就很必要，其中尤其以 TensorFlow 为主，它不但有深度学习模型的实现，还有传统机器学习模型的实现，Python 接口，对于掌握 Python 的人来说学习门槛很低。深度学习工具仍然建议去跑几个例子，玩一些有趣的东西会快速入门，如给照片换风格，或者训练一个动物/人脸识别器，可以有一些粗浅的认识。再系统地学习一下吴恩达的在线课程，他的课程对TensorFlow 的使用也有讲解，课后编程作业设计得也很好。

推荐系统最终要为产品效果负责。衡量推荐系统效果，分为离线和在线两个阶段。

• 离线阶段。跑出一些模型，会有定义清晰的指标去衡量模型本身对假设的验证情况，如准确率、召回率、AUC 等。这个阶段的效果好，只能说明符合预期假设，但不能保证符合产品最终效果，因此还要有线上实际的检验。

• 在线阶段：除了有一些相对通用的指标，如用户留存率、使用时长、点击率等，更多的是和产品本身的定位息息相关，如短视频推荐关注 vv，新闻推荐关注 CTR 等，这些和商业利益结合更紧密的指标才是最终检验推荐系统效果的指标，推荐系统工程师要为这个负责，而不能仅仅盯着离线部分和技术层面的效果。

了解不同产品的展现形式对推荐系统实现的要求，feed 流、相关推荐、猜你喜欢等不同产品背后技术要求不同，效果考核不同，多观察、多使用、多思考。

最后，要学会用产品语言理解产品本身，将技术能力作为一种服务输出给团队其他成员是一项软技能。

协同过滤提出于90年代，至今二十几年，推荐系统技术上先后采用过近邻推荐、基于内容的推荐，以矩阵分解为代表的机器学习方法推荐，最近几年深度学习的火热自然也给推荐系统带来了明显的提升。推荐系统的作用无人质疑，简单举几个例子，80%的 Netflix 电影都是经由推荐系统被观众观看的，YouTube 上60%的点击事件是由推荐系统贡献的。

推荐系统领域现状是怎么样的呢？这里分别从技术上和产品上来看一看。先看技术上，推荐系统所依赖的技术分为三类：传统的推荐技术、深度学习、强化学习。

首先，传统的推荐技术仍然非常有效。构建第一版推荐系统仍然需要这些传统推荐系统技术，这包括：User-based 和 Item-based 近邻方法，以文本为主要特征来源的基于内容推荐，以矩阵分解为代表的传统机器学习算法。当一个互联网产品的用户行为数据积累到一定程度，我们用这些传统推荐算法来构建第一版推荐系统，大概率上会取得不俗的成绩，实现0的突破。这类传统的推荐算法已经积累了足够多的实践经验和开源实现。由于对推荐系统的需求比以往更广泛，并且这些技术足够成熟，所以这类技术有 SaaS 化的趋势，逐渐交给专门的第三方公司来做，中小型、垂直公司不会自建团队来完成。

深度学习在识别问题上取得了不俗的成绩，自然就被推荐系统工程师们盯上了，已经结合到推荐系统中，比如 YouTube 用 DNN 构建了他们的视频推荐系统，Google 在Google Play 中使用 Wide & Deep 模型，结合了浅层的 logisticregression 模型和深层模型进行 CTR 预估，取得了比单用浅层模型或者单独的深层模型更好的效果，Wide & Deep 模型也以开源的方式集成在了 TensorFlow 中，如今很多互联网公司，都在广泛使用这一深度学习和浅层模型结合的模型。在2014年，Spotify 就尝试了 RNN 在序列推荐上，后来 RNN 又被 Yahoo News 的推荐系统。传统推荐算法中有一个经典的算法叫做 FM，常用于做 CTR 预估，算是一种浅层模型，最近也有人尝试了结合深度学习，提出 DeepFM 模型用于 CTR

AlphaGo、AlphaMaster、AlphaZero一个比一个厉害，其开挂的对弈能力，让强化学习进入大众视线。强化学习用于推荐系统是一件很自然的事情，把用户看做变化的环境，而推荐系统是 Agent，在和用户的不断交互之间，推荐系统就从一脸懵逼到逐渐“找到北”，迎合了用户兴趣。业界已有应用案例，阿里的研究员仁基就公开分享过淘宝把强化学习应用在搜索推荐上的效果。强化学习还以 bandit 算法这种相对简单的形式应用在推荐系统很多地方，解决新用户和新物品的冷启动，以及取代 ABTest 成为另一种在线实验的框架。

除了技术上推荐系统有不同侧重，产品形式上也有不同的呈现。最初的推荐系统产品总是存活在产品的边角上，如相关推荐，这种产品形式只能算是“锦上添花”，如果推荐系统不小心开了天窗，也不是性命攸关的问题。如今推荐产品已经演化成互联网产品的主要承载形式：信息流。从最早的社交网站动态，到图文信息流，到如今的短视频。信息流是一种推荐系统产品形式，和相关推荐形式比起来，不再是锦上添花，而是注意力收割利器。

推荐系统产品形式的演进，背景是互联网从 PC 到移动的演进，PC 上是搜索为王，移动下是推荐为王，自然越来越重要。随着各种可穿戴设备的丰富，越来越多的推荐产品还会涌现出来。产品和技术相互协同发展，未来会有更多有意思的推荐算法和产品形式问世，成为一名推荐系统工程师永远都不晚。

希为科技 CTO，曾任新浪微博资深算法工程师，考拉FM算法主管，个性化导购App《Wave》和《边逛边聊》联合创始人，多年推荐系统从业经历，在算法、架构、产品方面均有丰富的实践经验。

一期一会，各位朋友们，大家晚上好！PPT美化专栏第4期来了。本期，我带来的案例是在知乎上面一个问题帖子的一页PPT案例↓

大家可以看一下这页纯文字排版问题有哪些。仔细看一下，这一页一共存在以下三个问题。

上面这个案例，由于左右上下边距都不规范，就造成了整个版面（红色区域）重心偏右，也就是我们常说的版面失衡。在排版之前，我们都会根据内容的多少来规范页面边距，包括左边距、右边距、上边距和下边距，以便确定版心。这也是设计当中留白的很重要的一个元素。

版心：除去四周留的空白，一块版面上真正容纳文字与图片的区域。

通常，我们对边距有如图以上的两种设置。左右边距可以和上下边距不等，但是左边距和右边距必须相等，上边距和下边距也必须相等。还有一种情况，就是左右上下边距都相等。

我们可以利用建立参考线的方法来限定页面边距，从而确定版心。具体的步骤：插入等大矩形，压四角，以矩形的宽和高为基准建立参考线即可。

可能很多人都不会注意边距问题，也懒得建立参考线。其实建立参考线不过是几秒的事情，而且设定了参考线，可以方面统一所有页面的对齐。这也就是说，接下来新建的每一页PPT，都会以所建立的参考线为基准去对齐。

每一组内容、元素，我们尝试用红色色块去标注，对齐的问题就非常明显了。由于缺乏对齐，版面内的元素就会显得混乱、没有秩序，不协调。

（1）文字行间距合理，但字间距过小，造成文字间的呼吸感不足，不利于阅读。

通常我们常用的行间距和字间距：
根据亲密性原则，一般：
字间距<行间距<段间距

（2）另外就是文本段落的缩进方式没有统一，按照现代的阅读习惯，我们通常不会设置文本缩进两个字符。

（3）方格线框背景装饰的图层顺序不合理，而且对文字阅读造成干扰。可以对它增加点透明度进行弱化，并置于底层。按照对齐、对比、亲密、重复四大排版原则，规整版面信息。

那么这样的排版就可以达到60分了。当然，它可以继续加分。可以在此基础上，对三组正文内容的标题增加色块打底，让三组内容区分更加明显。

这时候，这个排版可以有80+了。接下来，我们还可以对内容进行优化，比如概念可以用思维导图呈现。那么最后，根据内容占比，再重新优化排版就可以达到90+了。

对齐，对比，重复和亲密（分组）四大原则是平面排版必须遵循的四大原则，而其他各种版式都由此衍生出来。这四大原则也基于人的日常生活，围绕着人类的视觉习惯出发。

在日常生活中，对齐无处不在。对齐所呈现出来的是一种秩序感、规律感和整齐感。

对齐是人类最基础的视觉审美。根据人的视觉习惯和阅读习惯（自上而下，从左往右），以左对齐和居中对齐为最佳的对齐方式。

对齐在排版中的应用，在于让信息或者视觉元素存在视觉关联。一方面，贴合用户阅读习惯，降低阅读负担，利于阅读；另一方面能够利用不同的对齐方式，有效地组织信息，让版面更加严谨、规整和有秩序。

对比，强调和反映事物之间的差异，用以区分不同的事物或者层级。没有对比的画面、没有对比的元素是单调乏味的。

在生活中，对比是常态化的。没有差异的事物是不存在的，正如世界上没有完全相同的两片叶子，没有完全相同的两个人，而对比的形式也各种各样。

对比，包括粗细、字型、色彩、方向、大小、亲疏远近、虚实、正负空间等对比。对比的形式非常多，一言蔽之，对比即是让事物之间存在差异或者不同。

对比在平面排版中，主要是划分层级，让内容展现更有条理；丰富画面层次，营造活泼的氛围；突出/强调重点（主体）。

亲密，也叫分组。其实很好理解，就是谁的关系亲密，谁就挨一块儿，就走得越近，反之越远。

在生活当中，这个原则应用得也十分广泛。比如我们去超市购物，我们就会发现，商家会根据商品的不同属性去摆放商品，相同属性的就会归类到一组，就会划分出零食区、水果区、粮食区、饮料区等。

按照这个原则，在排版中，彼此相关的项应当靠近，归组在一起。如果多个项存在关联，他们就会成为一个视觉单元，而不是孤立的元素。这样才可以很好的组织信息，给阅读者提供清晰的结构。

重复指的视觉元素的重复，可以是字体、颜色、形状、图形、纹理等重复。重复可以使版面更加有条理性与逻辑性，还可以加强元素的统一性。

在生活当中，处处都有重复之美。比如：

大家可能会发现，这里有一张图是重复作为案例的，就是上面这张军队阵列图。这里是要告诉大家，对齐、对比、重复和亲密四大原则并不是孤立存在的，而是互相配合使用的。在上面的每张图上，都可以找到对齐、对比、重复和亲密四大原则。

比如，军队阵列图，既有统一的动作（重复）、不同的着装以区分军种（对比）、整齐的行列（对齐）、相同军种归组为一单元（亲密）。

以上就是今天要分享给大家的内容，希望大家能够喜欢！

这里是一周进步，我是小醒目。

今天想跟大家探讨下关于PPT中一个非常基础但很多人都不一定用得好的领域——字体。

为什么突然想跟大家聊这个话题呢？

除了字体能展现整个PPT的风格之外，是因为我看到有个朋友为了做好PPT，下载了有好几百种字体的资源包，但到了使用的时候，反而无从下手，只能仅凭喜好去使用字体，导致PPT最终效果看起来比较混乱。

当然，这种情况我想不只是他一个，我们有很多同学电脑都会有“PPT常用的XX款字体.rar”这样的文件，但做出来的PPT效果可能是这样的：

看着好像还不错，但有没有感觉到有点奇怪？

商务型PPT用比较卡通的字体可以吗？

等线字体能表达中国茶文化的韵味吗？

粗壮的字体能表现女性的柔和之美吗？

这就是今天我要跟大家分享关于字体的一些知识和用法。

我们身边总会有下面这两种情况：

当我们看到不知名的好看字体，我们可以通过这个网站找到该字体的相关信息：

这个网站操作很简单，和百度搜图的原理类似，只要你把字体截图上传到这个网站，简单做一些笔画校对，网站就会自动计算出一些和特征相关的字体了：

下载好喜欢的字体后，我们只要直接安装字体或者把字体文件拖到C:\\Windows\\Fonts下，重启下PPT就会有这款字体了。

要注意的是，做好的PPT如果要在别的电脑上展示，一定要记得到文件——选项——保存，勾选将字体嵌入文件，不然你的字体就不能在别的电脑上显示哦。

当然，遇到某些字体不能嵌入文件的时候，可以选择把字体粘贴为图片或者把字体通过布尔运算变成矢量图形，这两种方法就保证万无一失了。

不管是哪款字体，它都有最基本的两组属性：

不知道有没有同学想过一个问题，就是我们字体库里面的字体都是可以随便用的吗？

答案当然不是了，字体设计师做出一款字体可能要花上好几年的时间，一般来说不会随随便便就让你免费使用，所以我们下载的字体有90%都是商用字体，甚至我们最熟悉的“微软雅黑”也是商用字体：

商用字体的意思就是这款字体具有商业价值（版权），如果你用于商业用途比如产品展示就很容易被版权商起诉，当然，只是用于个人非商业性质展示还是OK的。

目前好用而且免费开源的字体不多，主要是思源黑体、思源宋体、站酷酷黑体等。

衬线字体和非衬线字体听着好像很难懂，但其实非常好区分。

衬线字体指的是在字体的转角处会有明显的修饰，笔画粗细不一：

非衬线字体则是相反，它指的是在字体的转角处没有修饰，笔画粗细统一：

以往的演示里面，我们会使用像“宋体”这样的衬线字体作为正文，但衬线字体由于在笔画上的修饰比较多，会弱化观众视觉，导致看不清，所以现在的演示我们基本都会选择无衬线字体作为正文。

一份PPT要确定风格，其中字体的选择必不可少，就算是衬线字体，不同的衬线字体也会给人不一样的感觉，用对了字体，PPT的效果就能更上一层楼。

同样的文案，不一样的感觉

当我们要表达文艺感觉的时候，选择衬线字体会比较好，因为相对于非衬线字体的横平竖直，衬线字体的笔画修饰会更有设计感。

需要注意的是，衬线字体在文艺风格上一般只会运用在比较重要的字段上。

适用范围：杂志风格、古典风格、传统产品介绍。

推荐字体：方正清刻本悦宋、造字工房俊雅体、造字工房朗宋体·、思源宋体。

每年我们都会被各种科技产品发布会的PPT震撼，但只要仔细观察，就会发现绝大多数科技风格的PPT会选择非衬线字体，非衬线字体笔画的简洁能带给观众优雅、高贵的感觉。

适用范围：商务风格、扁平风格、现代&科技&女性产品介绍。

推荐字体：黑体、等线、冬青黑体、方正兰亭纤黑体、阿里汉仪智能黑体、造字工房悦黑体。

如果我们要传递轻松、搞怪的感觉，那你需要一款 “艺术字体”去撑场。

当然，这里说的艺术字体不是PPT自带那些“辣眼睛”的艺术字，而是字体中那些笔画变化比较多的字体，像卡通字体、圆体或者是手绘字体。

这些字体最大的特点就是笔画比较随意，不会像传统的衬线/非衬线字体那样正式。

适用范围：卡通风格、小清新风格、儿童类介绍。

推荐字体：华康翩翩体W3、方正喵呜体、汉仪小麦体、汉仪黑荔枝体、造字工房童心体。

上面提到我们可以用非衬线字体去表现科技感，其实除了非衬线字体，我们还可以用“横细竖粗”的字体去体现科技感、力量感。

“横细竖粗”的字体由于棱角分明，所以能给人比较大气、硬朗的感受。

不过，这种类型的字体在PPT中要注意避免大面积使用，不然会降低内容的主次感。

适用范围：科技风格、时尚风格、广告类、运动类介绍。

推荐字体：造字工房力黑体、造字工房劲黑体、站酷高端黑体、文悦新青年体。

如果说什么字体最秀气的话，我会毫不犹豫地回答书法字体。

书法字体作为中国文化的艺术表现之一，本身就带有一种美感。而且由于书法字体有不同的写法，所以不同的书法体能给人不同的感受。

上面提到过的大部分风格，都可以用不同的书法字体加以表现，具体怎么应用，我们往下看。

首先，绝大部分的书法字体都能够和科技元素很好的融合起来，听起来好像很不可思议，但事实证明书法体相较于传统非衬线字体，能让科技风格有一种不同的感觉：

其次，我们看见书法体使用最多的地方就是介绍中国传统文化的时候，配上书法字体，清秀、大气的感觉瞬间出来：

除了体现科技感和文艺感之外，有些书法体还能体现上面提到过的力量感，让画面气势磅礴：

从上面的例子可以看得出，书法体在PPT中的运用非常广泛，比如你的内容想要表达大气豪迈的感觉，或者强化画面艺术感的时候，书法体是一个高优先级别的选择。

不过在使用书法字体的时候要注意一点就是排版问题。

有很多同学在使用书法字体都是像其他普通字体一样，没有注意书法字体的大小、间隔，导致整体效果缺乏“灵性”：

所以我们在使用书法字体的时候，小醒目的建议是一个字一个文本框，然后观察字体造型结构，方便调整每个字的大小和字与字的间距。

此外，和很多具有特点的字体一样，书法体也不能够通篇大面积使用，特别当你的PPT还有其他字体的时候，通篇大面积使用反而会破坏美感，降低内容的层次感：

大家看完上面那么多字体案例，应该对哪种场合用哪种字体有一定了解了。

当然，字体还有很多属性需要大家细细品尝，尤其是博大精深的中文字体，有很多细微的差别都可以让字体的感觉截然不同。

比如字体的字号大小可以表达主次、抑扬顿挫的感觉；粗细能表达男性或者女性话题等等，这些都是影响字体整体感觉的重要原因。

那么以后看到那些几百种字体合集就不必随便下载喇，找到自己喜欢的，把下载下来的每种字体用好用恰当，这样你选择的字体才能让你的PPT锦上添花。

本期分享就到这里了，希望对你有用，我们下期再见。

没过四六级，这些翻译神器拯救了我

关于PS图层，你了解多少

纵享丝滑，升级你的Windows触控板

-本账号系网易新闻·网易号“各有态度”签约账号 -

特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。