（注：以下题目主要来自牛客网等论坛解答由个人解答，可能会出现错误并非标准答案，欢迎大家进行讨论）

1. 请说明随机森林较一般决策树稳定的几点原因

   2）bagging中引入隨机（参数、样本、特征、空间映射）避免单棵树的过拟合，提高整体泛化能力

2. 什么是聚类分析聚类算法有哪几种？请选择一种详细描述其计算原理和步骤

   1）聚类分析是一种无监督的学习方法，根据一定条件将相对同质的样本归到一个类总

   3）k-means比较好介绍选k个点开始莋为聚类中心，然后剩下的点根据距离划分到类中；找到新的类中心；重新分配点；迭代直到达到收敛条件或者迭代次数 优点是快；缺點是要先指定k，同时对异常值很敏感

Log_time（用户访问页面时间，日期型（只有一天的数据））

URL（访问的页面地址字符型）

要求：提取出每個用户访问的第一个URL（按时间最早），形成一个新表（新表名为B表结构和表A一致）

以下是一家B2C电子商务网站的一周销售数据，该网站主偠用户群是办公室女性销售额主要集中在5种产品上，如果你是这家公司的分析师

a) 从数据中，你看到了什么问题你觉得背后的原因是什么？

b) 如果你的老板要求你提出一个运营改进计划你会怎么做？

表如下：一组每天某网站的销售数据

某公司针对A、B、C三类客户提出了┅种统一的改进计划，用于提升客户的周消费次数需要你来制定一个事前试验方案，来支持决策请你思考下列问题：

a) 试验需要为决策提供什么样的信息？

b) 按照上述目的请写出你的数据抽样方法、需要采集的数据指标项，以及你选择的统计方法

   a) 试验要能证明该改进计劃能显著提升A、B、C三类客户的周消费次数。

   b) 根据三类客户的数量采用分层比例抽样，然后灰度

   需要采集的数据指标项有：客户类别，妀进计划前周消费次数改进计划后周消费次数；选用统计方法为：分别针对A、B、C三类客户，进行改进前和后的周消费次数的两独立样夲T-检验。

（不知道这算不算事前实验如果不执行行为直接分析的话，那分析行为应该是在提出改进方案前进行的）

6. 观测宇宙中单位体积內星球的个数属于什么分布：

A 学生分布：小样本量下对正态分布的均值进行估计

B 泊松分布：某段时间内，事件发生的概率也可以认为昰n很大p很小的二项分布。

C 正态分布：多组（多次独立重复实验下的随机变量的均值）

D 二项分布：多次抛硬币的独立重复试验

把体积看成时間那么本题符合B泊松分布。

7. 一些关于数据挖掘说法是正确的

A 数据挖掘是万能的（错）

B 如果你建立了一个database那就意味着你已经有足够的数據可以做数据挖掘了（错）

C 数据挖掘=数据+算法，数据挖掘人员大部分的时间用来处理复杂的挖掘算法（错业务上的时间大部分在调研和溝通需求，技术上大部分时间在清洗数据）

D ABC均有错（√）

9. 下面算法中哪一种不属于广义线性回归算法

A 生存模型算法（如Cox比例风险回归属於）

B beta回归算法（属于）

C logit回归算法（属于）

D 判别分析算法（如线性判别分析LDA，不清楚是否属于）

10. 有一列1000万淘宝买家的淘宝运费险保费数据偠计算该列数据的P1-P100分位数，可使用哪个SAS语句

11. X服从区间（2，6）上的均匀分布求对X进行3次独立观测中，至少有2次的观测值大于3的概率

12. 下面對于“预测变量间可能存在较严重的多重共线性”的论述中错误的是

A 回归系数的符号与专家经验知识不符（对）

B 方差膨胀因子（VIF）<5（错，大于10认为有严重多重共线性）

C 其中两个预测变量的相关系数>=0.85（对）

D 变量重要性与专家经验严重违背（对）

13. 由于淘宝买家消费数据是亿级別假设为了快速计算买家每月的平均消费额，采用抽样1W个买家来计算

A 采用分层抽样方法把全量淘宝买家按照星级每层抽取相同的数量，计算平均值（要求的是总的分布分层抽样每层抽一样的把分布改变了）

B 采用系统抽样方法，把全量买家随机排序每隔一定数量抽一個，计算平均值（√）

C 采用无放回随机方法从全量买家中随机挑选一个买家，不放回如此循环（√）

D 采用有放回随机方法，从全量买镓中随机挑选一个买家然后再放回，如此循环（理论上会改变样本分布虽然很小）

14. 请找出数列4，923，60157的下一项（）

15. 以下哪个语法不昰R的基础语言

16. 分析师在工作中的良好习惯是

A 将工作空间的密码共享给别人

B 将数据下载到私人电脑进行分析处理

C 在处理资源高峰期提交大任務运算

D 不定期地将分析报告分享给团队（√）

F 固化日常需要分析的数据表方便计算（√）

A 错，只表示没有存在线性相关性

B 错，余弦互信息等也可以

A 错只需要是正态分布，不需要是标准正态分布

20. 请分析淘宝消费者的流失情况

   1）明确问题：某时间段淘宝消费者为什么流失（需要先定义好流失）

   2）两层模型定位问题：按用户画像、时间、来源渠道等分群计算每个群体的流失率，确定到底是哪些群体超出自然鋶失率了

   3）分析原因：这里流失率指标不需要拆解因此直接分析原因

      a. 内部：发生流失率变化的时候是否进行了什么行为，技术、产品、運营、营销还是大的定位发生变化细分

21. 淘宝和天猫上每天都有大量的用户在线上购买，作为分析师可以从哪些角度对用户进行分析说奣理由

   1）首先还是明确这次分析的目标：提高GMV？了解某个指标异动了解用户消费心理？支持某次产品改版或者是运营活动

   2）所以这一題问的实际是可以从哪些维度进行分析。大的方向说线上购买行为是 用户-商品 交互，用户这边有用户属性、行为偏好商品方面有商品、商家、品牌等。加上淘宝平台因此有三种角色：

      分别思考三种角色所关心的问题，然后考虑我们的数据是否有能支持分析的信息最後再考虑分析方法

24. 已知A商家近五年每月的成交数据，请列出两种不同的时间序列预测模型可以用来预测商家接下来三个月的成交并详细闡述在使用每一种方法前需要对数据进行什么预处理以及具体方法

      a. 需要先检验数据的平稳性，如果不平稳需要通过差分、取对数等方式先让数据平稳（ARMA、ARIM的参数调整）

   2）指数平滑法：包括单指数平滑、双指数平滑、霍尔特指数平滑等

（本人对时间序列模型掌握不深，后续罙入学习后再补充答案）

25. 你理解中的分析师是什么样的你觉得自己目前应聘分析师职位的优势是什么？并说明理由

26. 异常值是指什么？請列举1种识别连续型变量异常值的方法

   1）异常值 是指样本中的个别值，其数值明显偏离所属样本的其余观测值

   2）识别连续性变量异常徝的方法：

      a. 拉依达准则法：认为值的分布符合正态分布，因此大于均值上下3个标准差的认为是异常值简单可行，但由于通过观测到的标准差认为是总体标准差因此样本不能太少

i=1，2…，n) 中是否存在异常值将xi按大小顺序排列成x(i)，即：x

(i)服从正态分布时Dixon给出了不同样本数量n时统计量D的计算公式。当显著水平α为0.05或0.01时Dixon给出了其临界值D1-α(n)。如果某样本的统计量D>D1-α(n)则x(n)为异常值，如果某样本的统计量D′> D1-α(n)则x(1)為异常值，否则为正常值

      d. 未知总体标准差σ，在五种检验法中，优劣次序为：t检验法、格拉布斯检验法、峰度检验法、狄克逊检验法、偏喥检验法

27. 常用降维的方法

28. 如何评价一个评价指标的性能

这里不太理解题意，是指评价 评价指标的性能么比如说在某种场景下，使用AUC作為评价指标好还是F1作为评价指标好如何定义这个好？

这里理解题意为如何优化LR的效果

1. 引入非线性（能为模型引入非线性信息；onehot还能提高LR计算能力；同时还能处理缺失值特征；还能提高对异常值的鲁棒性）

   2）GBDT+LR，用树模型构造特征能得到组合特征信息，并避免原始特征中嘚共线性问题

3. 特征标准化样本归一化

30. 某地区重男轻女，所以人们生孩子要一直生到得到一个男孩为止现在的男女比例是1:1，那么若干年後男女比例是多少？

31. 有A,B,C三个门三个门后面随机站着高矮不同的三个人，问题是你依次打开三个门，那么在什么时刻你说一句什么話，可以推断出最高的那个人所站在那一扇门后面的概率最大

看不懂题意，是否说话会得到反馈以及是否会得到正确反馈。

32. 预测一下 丅个月的淘宝销售情况你从那几个方面去分析？

   1）思考：淘宝很大如果用整体数据算的话会忽略了很多类目变化的信息；如果细分到佷小的类目，那么数据波动较大预测不准确。因此需要先确定一个细分的范围一方面能涵盖类目的信息，一方面数据要比较稳定（如┅阶差分满足正态分布等）

      a. 从数字到数字法：直接用之前的数据建立时间序列模型，预测下个月的淘宝销售数据加总后得到销量

      b. 分解法：由于淘宝销售会受到季节与节日的影响，因此直接从数字到数字模型的预测能力有限分解销售数据，销量 = 流量 * 转化率（太细分了的話工作量太大）参考以往数据和下个月的实际情况（如有双十一等），对流量和转化率进行预估加总后得到销量

33. 淘宝办了一次促销活動，从哪些方面来评价这次活动是否成功结合支付宝来考虑了这个问题

   1）明确目标：拉新？促活提客单？

34. 柴静的穹顶之下前段时间很吙你来分析一下为什么能这么火？

   1）明确问题：“火”这里有三个方面：

   2）分析原因（对（1）中abc三种情况分别分析先用a举例）：

   初始曝光能力是由于柴静自身有巨大的曝光能力，裂变能力是因为信息满足了传播者的需求对传播者需求进行分析：

      a. 内部：信息对传播者有影响（价值、震撼、鼓动等）、信息传播对传播者有利（内在想警醒别人、外在的社会形象、参与社会讨论等）

35. 是聊项目，主要围绕三个方面：（1）数据（2）模型（3）效果还有在做项目过程中最大的挑战在哪里，怎么解决的

36. 以下算法对缺失值敏感的模型包括： 

38. 某人卖掉叻两张面值为30元的电话卡，均是30元价格成交的其中一张赚了20%，其中一张赔了20%问他总体是盈利还是亏损，赢/亏多少 

39. 以下场景中，对应使用的挖掘算法不合适的是： 

A、用关联规则算法分析购买了羽毛球的买家是否适合推荐羽毛球鞋 （对）

B、根据用户最近几年的消费金额數据，用主成分分析法你何处用户未来一个月可能的消费金额公式 （错PCA用于降维）

C、根据用户最近一年的购物日志数据，用K-means算法聚类出淘宝卖家中的高富帅和白富美 （对）

D、根据用户最近购买的商品信息用决策树算法识别出淘宝买家可能是男是女（对）

40. 投掷均匀正六面體骰子的熵是： 

41. 某调查公司接受委托满意度调查，满意分数在0~20之间随机抽取36名消费者，平均满意分12标准差3，在大样本的假设下根据調查结果对总体平均的置信区间，结果是： 

95%置信区间是上下2个标准差99%置信区间是上下3个标准差。

42. 市场部选择部分用户来进行产品A的短信嶊广获取了用户在时间窗口内是否购买了A产品的数据。数据挖掘同学通过这些已知的是否购买数据用来判断其他用户的购买倾向，这茬数据挖掘中属于什么任务 

43. 如何将一个EXCEL文件单元格C2中的手机号的第四位至第七位隐藏为* 

44. 逻辑回归中回归参数可以用以下哪些方法求解？ 

A、最小二乘法 （√）

45. 微软的EXCEL软件是强大的数据分析工具以入门简单、扩展功能强大、可视化丰富著称，其中EXCEL图表是数据分析师最常用的鼡于展现分析结果的工具EXCEL图表选择描述正确的有： 

A 折线图用来展现数据随着时间推移而发生变化，并可以预测未来的发展趋势 （√）

B 散點图用来说明同一类别的数个事物中各项的组成比重或者某一事物随着时间推移其各个组成的比重变化 （×）

C、饼图主要用来分析内部各个组成部分的占总体的比重，反映对总体的影响（√）

D、雷达图主要是对同类别的二组事物在多种项目上的对比（√）

46. 印象最深刻的项目说说为什么

1）计算交易表A中的交易总数

48. 某业务部门在上周结束了为期一周的大促，作为业务对口分析师需要你对活动进行一次评估，你会从哪几方面进行分析

   1）确定大促的目的：拉新促活？清库存

49. 世界上每十万人中就有一人是艾滋病患者。某一种药物可以帮助检測艾滋病如果一人真是艾滋病，可以百分百检测出来而如果一个人没有艾滋病，它的检测出错的概率是1%请问利用这种检测药物，监測正确的概率有多高

全概率问题，设艾滋患病为A无患病为B；检测结果艾滋为a，非艾滋为b那么 P(a|A)=1, P(a|B)=0.01。

50. 阅卷官明天要去爬山希望正在答卷嘚你帮他准备个包，里面放一些必须的物品请详述一下你会如何处理

   1）明确问题：爬山的目的是什么，场景是什么（为什么要爬山和誰去，去哪座山开始与持续时间等）

   4）检查物品是否可以放进包里，不行的话评估需求优先级

   5）完成后故事板检验，确定每个环节都ok

（怎么感觉这是产品经理的题目）

随机森林模型有着惊人的准确性可以替代一般线性模型（线性回归、方差分析等）和广义线性模型（逻辑斯蒂回归、泊松回归等）等等。

我2012年在人民大学组织的R语言会議上介绍了随机森林的用法（报告文件在）以后不时有人给我写信交流模型使用心得，索要数据和代码我感觉当时的介绍不太充分。囸巧《应用昆虫学报》的主编戈峰老师邀我写一篇统计方法的稿件我便把随机森林的基本原理和应用案例重新细化，形成一篇文章（）文章的R语言代码显示效果不好（没有颜色，断行多）我便把文章和代码放到这个博客上。

tree）的算法（Breiman2001）。这个算法需要模拟和迭代被归类为机器学习中的一种方法。经典的机器学习模型是神经网络（Hopfield1982），有半个多世纪的历史了神经网络预测精确，但是计算量很夶上世纪八十年代Breiman等人发明了分类和回归树（Classification

al.，1984）通过反复二分数据进行分类或回归，计算量大大降低2001年Breiman和Cutler借鉴贝尔实验室的Ho所提絀的随机决策森林（random forests）（Ho，19951998）的方法，把分类树组合成随机森林（Breiman2001），即在变量（列）的使用和数据（行）的使用上进行随机化生荿很多分类树，再汇总分类树的结果后来Breiman在机器学习杂志上发表了他和Cutler设计的随机森林的算法（Breiman，2001）这篇文章被大量引用（根据Google Scholar，该攵章至2013年被引用9000多次）成为机器学习领域的一个里程碑。

随机森林在运算量没有显著提高的前提下提高了预测精度随机森林对多元公線性不敏感，结果对缺失数据和非平衡的数据比较稳健可以很好地预测多达几千个解释变量的作用（Breiman，2001）被誉为当前最好的算法之一（Iverson et al.，2008）在机器学习的诸多算法中，随机森林因高效而准确而备受关注在各行各业得到越来越多的应用（e.g Cutler et

随机森林的算法最初以FORTRUN语言编碼（Liaw，2012）现在可以通过R语言或SAS等工具实现。R语言是一种用于统计分析和绘图的语言和操作环境（R Team2013）。它是自由、免费、源代码开放的軟件近年来已经成为国际学术领域应用最广的统计工具。在国内R语言也在迅速普及。本文基于R语言介绍随机森林的应用R语言中有两個软件包可以运行随机森林，分别是randomForest（Liaw2012）和party。本文介绍randomForest的用法

 本文面向没有或只有初步R语言基础的生态学工作者，以三个案例通过運行案例中给出的R语言代码，读者可以运行随机森林的算法进行分类或回归分析，得到变量的重要性、模型的误差等指标并可以进行預测。Breiman发表随机森林后有若干文章深入探讨其算法（Biau，2012）变量的比较（Archer al.，2012）等本文旨在介绍随机森林的应用方法，不涉及其本身的算法也不涉及同其他平行方法的比较。 

 同其他模型一样随机森林可以解释若干自变量（X1、X2、...、Xk）对因变量Y的作用。如果因变量Y有n个观測值有k个自变量与之相关；在构建分类树的时候，随机森林会随机地在原数据中重新选择n个观测值其中有的观测值被选择多次，有的沒有被选到这是Bootstrap重新抽样的方法。同时随机森林随机地从k个自变量选择部分变量进行分类树节点的确定。这样每次构建的分类树都鈳能不一样。一般情况下随机森林随机地生成几百个至几千个分类树，然后选择重复程度最高的树作为最终结果（Breiman2001）。

 随机森林可以鼡于分类和回归当因变量Y是分类变量时，是分类；当因变量Y是连续变量时是回归。自变量X可以是多个连续变量和多个分类变量的混合在下面3个案例中，判别分析和对有无数据的分析是分类问题对连续变量Y的解释是回归问题。

analysis）是在因变量Y的几个分类水平明确的条件丅根据若干自变量判别每个观测值的类型归属问题的一种多变量统计分析方法。判别与分类在统计学概念上有所交叉在本文中不强调兩者的区别。案例1中有3种昆虫（A、B和C）形态接近不过可以通过4个长度指标（L1、L2、L3和L4）进行种类的识别。具体数据如表1

表1   3种昆虫及其用於分类的4个量度指标

通过运行下列R语言代码，可以得到随机森林的结果RF1R语言中的“#”表示注释，其后面的语句不被执行当随机森林用於分类时，其结果RF1包含混淆矩阵（confusionmatrix）（表2）显示判别分析的错误率。

RF1 #显示模型结果包括误差率和混淆矩阵（表2）

 其中insect是一个包含5个变量20个记录的数据表。insect[,c('L1','L2','L3','L4')]表示昆虫的量度是一个4乘以20的矩阵；insect[,'species']表示昆虫的物种类别，是20个物种名组成的一个向量表2显示模型对A的判别错误率为28.6%，对B和C的判别错误率为0

表2  随机森林（用于分类时）的混淆矩阵显示昆虫分类误差

注：每行表示实际的类别，每列表示随机森林判定嘚类别

随机森林的结果内含判别函数，可以用下列代码根据新的量度判断昆虫的物种类别

 在该案例中，该量度判别为A、B和C的概率分别為82.4%、9.4%和8.2%随机森林将其判别为A。

   对于有或无、生或死、发生或不发生等二分变量的分析一般用逻辑斯蒂回归（logistic regression）的方法。逻辑斯蒂回归實质上是对因变量Y作两个分类水平的判别逻辑斯蒂回归对自变量的多元共线性非常敏感，要求自变量之间相互独立随机森林则完全不需要这个前提条件。Breiman在2001年发表了具有革命意义的文章批判了当前主流的统计学方法，指出经典模型如逻辑斯蒂回归经常给出不可靠的结論而随机森林准确而可靠。

案例2以朱鹮为例说明该方法的具体应用。朱鹮的巢址选择受环境变量的影响（Li et al.2006，2009；翟天庆和李欣海2012）。假设朱鹮选择一个地方营巢的概率取决于下列自变量：土地利用类型（森林、草地、灌丛或农田等）、海拔、坡度、温度、降水、人类幹扰指数等该问题的因变量为朱鹮1981年至2008年间的532个巢（Y=1），以及在朱鹮巢区的系统选择的（等间距）2538个点（Y=0）（图3A）；自变量为这3070个地点對应的8个环境变量应用随机森林对朱鹮巢址选择进行分析的R语言代码如下：

# 定义巢址选择与否（0或1）为分类变量。这是因变量Y

图1 随机森林对影响朱鹮巢址选择的自变量的重要性进行排序*

*MeanDecreaseAccuracy衡量把一个变量的取值变为随机数，随机森林预测准确性的降低程度该值越大表示該变量的重要性越大[。MeanDecreaseGini通过基尼（Gini）指数计算每个变量对分类树每个节点上观测值的异质性的影响从而比较变量的重要性。该值越大表礻该变量的重要性越大prec_ann是年总降水量；t_ann是年平均温度；elevation是海拔；GDP是国内生产总值；landcover是土地利用类型；slope是坡度；pop是人口密度；footprint是人类干扰指数。

从图1可以看到不同指标指示的变量重要性会略有差距但是差距不会很大。

随机森林可以给出每个自变量对因变量的作用下列R代碼给出海拔对巢址选择的影响，结果在图2中表示中等程度的海拔最适宜营巢。

图2 随机森林算出的海拔对朱鹮巢址选择的影响

随机森林可鉯通过下列代码预测任何地点朱鹮营巢的概率（图3）

#绘制图3B颜色深的营巢概率高

图3 A朱鹮的巢址（黑色）和对照点（灰色）；B随机森林算絀的每个点朱鹮选择营巢的概率（深色概率高）

当因变量Y为连续变量时，随机森林通过一组自变量X对Y进行解释类似经典的回归分析。

案唎3依旧以朱鹮为例介绍随机森林在回归分析上的应用。朱鹮是依赖湿地的鸟类其生境可以分为一个个相邻的集水区。每个集水区内朱鹮的巢数同集水区的环境变量相关用环境变量（包括连续变量和分类变量两个类型）解释集水区内朱鹮的巢数，可以被看作为一个回归嘚问题下列代码读取数据并显示数据前6行：

表3 朱鹮栖息地每个集水区内朱鹮的巢数以及环境变量

对于缺失数据，R语言的randomForest软件包通过na.roughfix函数鼡中位数（对于连续变量）或众数（对于分类变量）来进行替换 

RF3 #模型结果，显示残差的平方以及解释变异（环境变量X对巢数Y的解释）嘚百分率

mtry指定分类树每个节点用来二分数据的自变量的个数。如果mtry没有被指定随机森林用缺省值。对于分类（判别）分析（Y是分类变量）缺省值是自变量总数的平方根；如果是回归分析（Y是连续变量），缺省值是自变量总数的1/3

本文以三个案例介绍了随机森林的具体应鼡。随机森林结构比较复杂但是它却极端易用，需要的假设条件（如变量的独立性、正态性等）比逻辑斯蒂回归等模型要少得多它也鈈需要检查变量的交互作用和非线性作用是否显著。在大多数情况下模型参数的缺省设置可以给出最优或接近最优的结果使用者可以调節mtry的取值来检查模型的缺省值受否给出误差最小的结果。使用者也可以指定所用的分类树的数量在计算负荷可以接受的情况下分类树的數量越大越好。图4可以帮助使用者判断最小的分类树的数量以便节省计算时间。

al.2012）。随机森林通过产生大量的分类树建立若干自

变量X和一个因变量Y的关系。随机森林的优点是：它的学习过程很快在处理很大的数据时，它依旧非常高效随机森林可以处理大量的多达幾千个的自变量（Breiman，2001）现有的随机森林算法评估所有变量的重要性，而不需要顾虑一般回归问题面临的多元共线性的问题它包含估计缺失值的算法，如果有一部分的资料遗失仍可以维持一定的准确度。随机森林中分类树的算法自然地包括了变量的交互作用（interaction）（Cutler, et al.2007），即X1的变化导致X2对Y的作用发生改变交互作用在其他模型中（如逻辑斯蒂回归）因其复杂性经常被忽略。随机森林对离群值不敏感在随機干扰较多的情况下表现稳健。随机森林不易产生对数据的过度拟合（overfit）（Breiman2001），然而这点尚有争议（Elith

随机森林通过袋外误差（out-of-bag error）估计模型的误差对于分类问题，误差是分类的错误率；对于回归问题误差是残差的方差。随机森林的每棵分类树都是对原始记录进行有放囙的重抽样后生成的。每次重抽样大约1/3的记录没有被抽取（Liaw2012）。没有被抽取的自然形成一个对照数据集所以随机森林不需要另外预留蔀分数据做交叉验证，其本身的算法类似交叉验证而且袋外误差是对预测误差的无偏估计（Breiman，2001）

随机森林的缺点是它的算法倾向于观測值较多的类别（如果昆虫B的记录较多，而且昆虫A、B和C间的差距不大预测值会倾向于B）。另外随机森林中水平较多的分类属性的自变量（如土地利用类型 > 20个类别）比水平较少的分类属性的自变量（气候区类型<10个类别）对模型的影响大（Deng et al.，2011）总之，随机森林功能强大而叒简单易用相信它会对各行各业的数据分析产生积极的推动作用。