数据挖掘- 百度派
{{ mainData.uname }}
：{{ mainData.content }}
{{ prevData.uname }}
：{{ prevData.content }}
{{ mainData.uname }}
：{{ mainData.content }}
0 || contentType !== 1" class="separate-line">
：{{ item.content }}
一、数据挖掘
在大数据时代，数据的产生和收集是基础，数据挖掘是关键，数据挖掘可以说是大数据最关键也是最基本的工作。通常而言，数据挖掘也称为DataMining，或知识发现Knowledge Discovery from Data，泛指从大量数据中挖掘出隐含的、先前未知但...
一、数据挖掘
在大数据时代，数据的产生和收集是基础，数据挖掘是关键，数据挖掘可以说是大数据最关键也是最基本的工作。通常而言，数据挖掘也称为DataMining，或知识发现Knowledge Discovery from Data，泛指从大量数据中挖掘出隐含的、先前未知但潜在的有用信息和模式的一个工程化和系统化的过程。
不同的学者对数据挖掘有着不同的理解，但个人认为，数据挖掘的特性主要有以下四个方面：
1.应用性（A Combination of Theory and Application）：数据挖掘是理论算法和应用实践的完美结合。数据挖掘源于实际生产生活中应用的需求，挖掘的数据来自于具体应用，同时通过数据挖掘发现的知识又要运用到实践中去，辅助实际决策。所以，数据挖掘来自于应用实践，同时也服务于应用实践，数据是根本，数据挖掘应以数据为导向，其中涉及到算法的设计与开发都需考虑到实际应用的需求，对问题进行抽象和泛化，将好的算法应用于实际中，并在实际中得到检验。
2.工程性（An Engineering Process）：数据挖掘是一个由多个步骤组成的工程化过程。数据挖掘的应用特性决定了数据挖掘不仅仅是算法分析和应用，而是一个包含数据准备和管理、数据预处理和转换、挖掘算法开发和应用、结果展示和验证以及知识积累和使用的完整过程。而且在实际应用中，典型的数据挖掘过程还是一个交互和循环的过程。
3.集合性（A Collection of Functionalities）：数据挖掘是多种功能的集合。常用的数据挖掘功能包括数据探索分析、关联规则挖掘、时间序列模式挖掘、分类预测、聚类分析、异常检测、数据可视化和链接分析等。一个具体的应用案例往往涉及多个不同的功能。不同的功能通常有不同的理论和技术基础，而且每一个功能都有不同的算法支撑。
4.交叉性（An Interdisciplinary Field）：数据挖掘是一门交叉学科，它利用了来自统计分析、模式识别、机器学习、人工智能、信息检索、数据库等诸多不同领域的研究成果和学术思想。同时一些其他领域如随机算法、信息论、可视化、分布式计算和最优化也对数据挖掘的发展起到重要的作用。数据挖掘与这些相关领域的区别可以由前面提到的数据挖掘的3个特性来总结，最重要的是它更侧重于应用。
综上所述，应用性是数据挖掘的一个重要特性，是其区别于其他学科的关键，同时，其应用特性与其他特性相辅相成，这些特性在一定程度上决定了数据挖掘的研究与发展，同时，也为如何学习和掌握数据挖掘提出了指导性意见。如从研究发展来看，实际应用的需求是数据挖掘领域很多方法提出和发展的根源。从最开始的顾客交易数据分析（market basket analysis）、多媒体数据挖掘（multimedia data mining）、隐私保护数据挖掘（privacy-preserving data mining）到文本数据挖掘（text mining）和Web挖掘（Web mining），再到社交媒体挖掘（social media mining）都是由应用推动的。工程性和集合性决定了数据挖掘研究内容和方向的广泛性。其中，工程性使得整个研究过程里的不同步骤都属于数据挖掘的研究范畴。而集合性使得数据挖掘有多种不同的功能，而如何将多种功能联系和结合起来，从一定程度上影响了数据挖掘研究方法的发展。比如，20世纪90年代中期，数据挖掘的研究主要集中在关联规则和时间序列模式的挖掘。到20世纪90年代末，研究人员开始研究基于关联规则和时间序列模式的分类算法（如classification based on association），将两种不同的数据挖掘功能有机地结合起来。21世纪初，一个研究的热点是半监督学习（semi-supervised learning）和半监督聚类（semi-supervised clustering），也是将分类和聚类这两种功能有机结合起来。近年来的一些其他研究方向如子空间聚类（subspace clustering）（特征抽取和聚类的结合）和图分类（graph classification）（图挖掘和分类的结合）也是将多种功能联系和结合在一起。最后，交叉性导致了研究思路和方法设计的多样化。
前面提到的是数据挖掘的特性对研究发展及研究方法的影响，另外，数据挖掘的这些特性对如何学习和掌握数据挖掘提出了指导性的意见，对培养研究生、本科生均有一些指导意见，如应用性在指导数据挖掘时，应熟悉应用的业务和需求，需求才是数据挖掘的目的，业务和算法、技术的紧密结合非常重要，了解业务、把握需求才能有针对性地对数据进行分析，挖掘其价值。因此，在实际应用中需要的是一种既懂业务，又懂数据挖掘算法的人才。工程性决定了要掌握数据挖掘需有一定的工程能力，一个好的数据额挖掘人员首先是一名工程师，有很强大的处理大规模数据和开发原型系统的能力，这相当于在培养数据挖掘工程师时，对数据的处理能力和编程能力很重要。集合性使得在具体应用数据挖掘时，要做好底层不同功能和多种算法积累。交叉性决定了在学习数据挖掘时要主动了解和学习相关领域的思想和技术。
因此，这些特性均是数据挖掘的特点，通过这四个特性可总结和学习数据挖掘。
扫一扫分享到微信
自2014年10月以来，SolarCity就在面向个人投资者推介其光伏业务。在公司网站上，SolarCity兜售了2.14亿美元的“光伏债券”。然而到目前为止，这些“光伏债券”的最大买主是SpaceX。在上月售出的1.05亿美元...
自2014年10月以来，SolarCity就在面向个人投资者推介其光伏业务。在公司网站上，SolarCity兜售了2.14亿美元的“光伏债券”。然而到目前为止，这些“光伏债券”的最大买主是SpaceX。在上月售出的1.05亿美元债券中，有9000万美元都被SpaceX买走。　　亿万富翁创业者马斯克表示，这些债券是“很好的投资标的”。相对于其他人，他对这两家公司的了解更多。马斯克是SolarCity最大的股东及董事长，以及SpaceX CEO。　　基于冒险精神和自信心，现年44岁的马斯克已建立起了全球独一无二的商业帝国。他主导的3家公司，包括SolarCity、SpaceX和特斯拉，总价值已接近500亿美元。他变革了自己接触过的每个行业，甚至试图在退休后乘坐SpaceX的飞船前往火星。　　在这一过程中，马斯克采用非传统的方式给自己的公司提供资金支持。　　个人贷款买股票　　除了购买债券之外，提交给证券监管部门的文件还显示，马斯克获得了4.75亿美元的个人信贷额度，用于在SolarCity和特斯拉需要资本时买入股份。这一信贷额度通过马斯克持有的25.1亿美元SolarCity和特斯拉股票来担保。　　很少有企业高管会用自己的股份作为抵押去申请个人贷款，因为这将给其他股东带来风险，也会引起关于个人与公司利益冲突的质疑。如果股价下跌，那么贷款人会被要求追加保证金。他们要么需要出售股份，要么就要提供更多抵押品。　　特斯拉在提交给监管部门的文件中披露了，马斯克的贷款被要求追加保证金的可能性。特斯拉表示，这“可能会导致我们普通股股价的进一步下跌”。　　去年，Valeant Pharmaceuticals International Inc的股价就曾因为这一原因在一天内大跌14%。该公司CEO迈克尔·佩尔森(Michael Pearson)使用自己所持的公司股份作为抵押申请了1亿美元贷款，但当时被要求追加保证金。佩尔森的贷款行出售了他的130万股股份，以满足保证金追加的要求。　　一些企业治理专家和分析师认为，考虑到SolarCity和特斯拉都已经是大型上市公司，因此马斯克以公司股份作为抵押大举借贷的做法应当受到质疑。　　独立研究公司Unit Economics LLC创始人及高级分析师纳桑·维斯(Nathan Weiss)表示：“作为一名分析师，对我来说，如果企业和管理层在存在个人利益的实体之间安排贷款，那么就是一个警示信号。”　　马斯克的逻辑　　马斯克表示，对他的个人借贷，以及SolarCity、SpaceX和特斯拉之间的财务关联提出质疑是“合理的”。他在接受采访时表示：“在一些情况下，某家公司的表现要比另一家公司更好，这时我就会借贷。”　　马斯克为自己的哲学辩解称：“如果希望投资人投入资金，那么从道义上来说，我觉得自己也应当投入资金。换句话说，己所不欲，勿施于人。”不过他同时也表示，重要的一点是，他的商业帝国不能是一座“纸牌屋”，由于某块拼图出问题而坍塌。　　马斯克还表示，自己的贷款不会给股东造成风险，因为贷款额不到他总净资产的5%。目前，马斯克的身家超过100亿美元，这一数字还没有包括马斯克持有的未上市的SpaceX股份。他表示，在必要情况下，他可以拿出更多的SpaceX和特斯拉股份作为抵押。　　在接受采访时，马斯克表示：“追加保证金的要求无法得到满足，这种可能性接近于零。”　　业务进展顺利　　近期，马斯克也取得了一系列成就。特斯拉发布的Model 3电动汽车备受好评。在开放预订的7天内，就有32.5万人花1000美元去订车。自2月10日以来，特斯拉股价已上涨75%。该公司也是自1925年以来首家获得成功的美国汽车行业创业公司。　　4月8日，SpaceX利用大西洋上的海上平台完成了火箭的发射后回收。这是该公司历史上的首次。　　根据特斯拉最新的代理权声明，马斯克持有公司的3700万股股份，持股比例为27%。按本周三的收盘价计算，这部分股份的价值约为93.6亿美元。与此同时，马斯克还持有SolarCity的22%股份。按周三收盘价计算，这部分2180万股SolarCity股份价值约7.26亿美元。　　在今年早些时候的一轮融资中，SpaceX的估值约为120亿美元。马斯克对SpaceX的持股情况并未公开，而他也拒绝透露相关信息。　　在特斯拉，马斯克担任董事长及CEO，但并不拿工资。去年，他的薪酬总额为37584美元。这是为了满足加州的最低工资标准，不过他从未接受这笔钱。此外，他从SolarCity获得的总薪酬为120万美元，其中绝大部分是股票期权，这些期权的行权时间是在未来3年。　　根据美国政府网站上的合同文件，在SpaceX，马斯克的薪酬约为240万美元。消息人士表示，这其中包括3.8万美元的工资，而其余部分都是股票。　　代理咨询公司ISS旗下的ISS QuickScore今年2月的一项研究显示，在美国最大的3000家上市公司中，只有13%的公司高管或董事以股票作为抵押去获得贷款。　　投资人的支持　　SolarCity和特斯拉的股价波动很大。SolarCity位于加州圣马特奥，该公司的业务是向美国全国范围的家庭推广太阳能设备的安装。自今年初以来，SolarCity股价已下跌约35%。从12月底至今年2月，特斯拉股价下跌了40%，但近期正在反弹。　　马斯克表示，他已对股东明确说明自己的理念，即“船长是跳船的最后一人”。在接受采访时，他表示，他从没有计划出售特斯拉的任何股份。他甚至计划将部分SpaceX股份作为抵押。　　风投公司Draper Fisher Jurvetson是SpaceX、特斯拉和SolarCity的投资方。该公司创始合伙人史蒂芬·尤尔维森(Stephen Jurvetson)表示，马斯克的做法并不值得担心。作为SpaceX和特斯拉的董事会成员，他认为马斯克的“热情令人窒息”。他对马斯克的全情投入和目标大为赞赏。　　关于马斯克的个人贷款是否符合股东的最佳利益，以及董事是否会讨论这一问题，尤尔维森表示：“我并不想要谈论这个话题。”他同时表示：“你可能会想看看，这在他的持股中比例是多少。”只要马斯克投入的股份不到持股的5%，“你就不必太关心这件事”。马斯克则表示，他给自己设置了5%的上限。　　错综复杂的历史关系　　2002年，马斯克出售了所持PayPal股份，获利1.65亿美元。用这笔钱，他参与创立了特斯拉、SolarCity和SpaceX。从一开始，他就愿意用自己某家公司的钱去资助另一家公司。　　2008年底，由于资金的紧缩，以及最新推出的电动汽车Roadster生产延期，特斯拉面临着财务的崩盘。马斯克当时个人拿出2000万美元，参与了公司一轮4000万美元的融资。　　在同一时间，位于加州索霍恩的SpaceX在发展火箭发射业务的过程中也陷入了困境，资金非常紧张。不过，该公司随后赢得了美国宇航局(NASA)价值16亿美元的合同，将12个货运飞船送往国际空间站，提供补给。　　2009年初，马斯克个人从SpaceX借贷2000万美元。在采访中，他表示这笔借贷是为了“给特斯拉提供资金”。特斯拉于2010年6月上市。马斯克表示，通过以约238万美元出售140万股特斯拉股份，他偿还了向SpaceX的借款，并正常支付了利息。他同时表示，这是他唯一一次出售特斯拉的股份。　　2013年初，特斯拉在生产Model S时遭遇问题，再次接近耗尽现金。当时，特斯拉还受到了技术问题的困扰。SolarCity也需要现金，去运营其太阳能面板租赁业务。　　证券监管部门的文件显示，马斯克当时将个人信贷额度从此前的8500万美元提升至3亿美元。他的贷款行高盛和摩根士丹利拒绝对此置评。　　文件显示，有950万股特斯拉股份，即马斯克持股的29%，被用于抵押。他同时也拿出了600万股SolarCity股份，这也占他持股总额的29%。　　从2013年5月至2013年10月，马斯克利用这笔信贷额度买入了1亿美元的特斯拉股份，以及1000万美元的SolarCity股份，给两家公司注入了资本。　　SolarCity发言人表示，马斯克的投资“在当时总额3.98亿美元的交易中仅占很小的一部分。”　　有分析师指出，去年，特斯拉的烧钱总额超过15亿美元。一些分析师则谈到了特斯拉Model X SUV的发货延期。　　SolarCity则受到了成本上升的困扰，该公司将一项重要的增长率目标砍掉了一半。投资者担心，SolarCity可能会失去某些税务优惠，但这样的情况并未发生。SolarCity一名发言人表示，削减目标是因为该公司想要专注于盈利。　　特斯拉去年披露，马斯克将个人信贷额度提升至4.75亿美元。而文件显示，他又买入了2000万美元的特斯拉股份，以及1770万美元的SolarCity股份。　　马斯克表示，买入股份表明，他与两家公司的投资者站在一起。他表示，在两笔信贷额度中，他的借款都还不到65%。　　SolarCity的光伏债券发行连续获得了SpaceX的认购。文件显示，SpaceX去年3月买入了9000万美元债券，去年6月买入了7500万美元，而上月又买入了9000万美元。　　纽约Axiom资本管理公司分析师戈登·约翰逊(Gordon Johnson)表示，大部分个人投资者对于光伏债券都不感兴趣。但SolarCity表示，这些债券的发行吸引了来自美国50个州的投资者。　　去年11月，在SolarCity的一笔1.13亿美元可转债发行中，与马斯克相关的一家实体买入了1000万美元。SolarCity CEO、马斯克的表兄弟林顿·莱夫(Lyndon Rive)也买入了300万美元。莱夫表示，这是一笔合算的投资。“如果从5年来看，我认为这将带来良好的回报。”　　SolarCity今年3月发行了1.05亿美元的光伏债券，SpaceX认购了其中的9000万美元。马斯克表示，这笔收益将被用于偿还SolarCity去年向SpaceX的举债。他表示，最新的交易给SpaceX带来了很好的回报。SpaceX持有的现金约为10亿美元。
扫一扫分享到微信
机器人早已不是什么新鲜玩意，反而大有方兴未艾之势。从客厅到战场，我们都能发现它们的身影。然而，不论是走进人类日常生活还是参与战争，都要求机器人具备较强的判断力、极大的可靠性和对人类的绝对服从...
机器人早已不是什么新鲜玩意，反而大有方兴未艾之势。从客厅到战场，我们都能发现它们的身影。然而，不论是走进人类日常生活还是参与战争，都要求机器人具备较强的判断力、极大的可靠性和对人类的绝对服从。我们的硅脑助手们能做到这些吗？且随我们前往探查一番。机器人,人类最好的朋友?会跳舞、洗碗、照料病人的机器人……这已经不再是科幻小说的情节了！不久的将来，这种智能机器人会走进我们的日常生活。可是，要是有一天它不和我们做朋友了呢？2009年2月，巴黎阿尔德巴朗司（Alde-baran Robotics）的一间办公室。身材矮小的Nao抬眼打量着让-保罗，认出了后者上装翻领上的一枚徽章。于是，它用略带颤抖的声音与来宾攀谈起来：“你戴着和我一样的徽章啊！”让-保罗就好像听到孩子第一次开口说话，不禁又惊又喜。原来，Nao不是有血有肉的人类，而是一个机器人！它的外表完全没有“终结者”的影子，倒像是结实可爱的皮诺曹。眼下，它正在阿尔德巴朗公司里进行演示。身为当地政界人士的让-保罗，是专程来见识即将在全球上市的这款“法国制造”机器人的。Nao的问世，预示着伴侣机器人将如海啸般席卷而来。第一波浪潮就是正在涌现的娱乐型机器人。它们和Nao一样，会跳舞，可以根据要求演奏所有MP3的曲子，甚至还能做帮助主人复习英文课这类实用性很强的工作。第二波浪潮是将于2020年左右出现的家用机器人，这些“田螺姑娘”会料理家务、洗碗、收拾房间。而在年间，能像真正的护士那样护理病人的机器人也将闪亮登场！简而言之，未来将是机器人的天下。这不是阿尔德巴朗公司的一家之见。日本和韩国也持相同观点，它们在机器人研究上大步推进，投入的经费动辄高达数百万欧元。这两国科学家的目标，是10年内在市场上推出面向大众的家用机器人，其售价大约为欧元，相当于法国雷诺低端系列汽车洛根（Logan）的价格，意在使每个家庭都能承受。总之，未来社会的图景中将充斥着大量机器人，这已不再是科幻小说，而是可以预见的现实。显而易见，事情由此变得复杂起来。因为，在所有科幻作家撰写的机器人故事里，为主人面包涂上黄油的机器人无一例外地都会有丧心病狂的时刻——把面包刀捅进主人的肚子里。机器人没有小鱼聪明类似悲剧会真的上演吗？对于这个推测，阿尔德巴朗公司联络负责人巴斯蒂安·帕朗（Bastien Parent）并不以为然，他说：“机器人不可能为所欲为，它们只是工具而已，只能按照事先编好的程序行事。”也就是说，要动脑筋干出危险的勾当，机器人还不够聪明。毫无疑问，目前的情况确实如此，可是将来会怎样呢？因为明天的机器人不会只是简单的操作者，它们能够发挥主动性，会变得极为聪明伶俐。美国人工智能专家汉斯·摩拉维克（Hans Moravec）最近发表在《科学美国人》（Scientific American）上的一篇文章里预测，到2050年，机器人的智慧将与人类相当！之所以得出这个结论，是基于一个简单的事实：机器人就是有腿的计算机。因此，它们的智商直接取决于其计算能力。在过去的40年中，这项能力已经有了爆炸性增长！在信息技术传奇式发展的20世纪70年代，计算机每秒钟处理100万条指令，还要费上九牛二虎之力。而如今，上乘的手提电脑每秒钟可以轻松应对100亿条指令！这个数字实在令人叹为观止。可是，与动物智力相比，机器人还不及一条小鱼聪明。汉斯·摩拉维克说道：“以目前的发展速度看来，在20多年后，将会出现每秒钟能够处理100万亿条指令的机器人，足以与人类的智力相媲美。这样一来，机器人不仅能够进行思考，而且速度飞快！眼下那些只会演奏密纹唱片、总是被同样的障碍绊住的傻乎乎的机器人终将被淘汰。未来的机器人将拥有强大的判断能力，能够对发生的意外情况进行分析并采取相应的对策。我们可以想象这样一个场景：机器人在厨房里走动，突然砰的一声，它碰倒一只花瓶，听到花瓶落在地面上摔碎时的响声后，机器人马上进行检查。发生了什么事呢？它的电路开始工作，追溯到此前几秒以便弄清真相。机器人会想：‘在这之前花瓶是摆在家具上的，我刚刚从家具旁经过，一定是碰到了家具或是花瓶。所以，我得离房间里的家具更远一点才行。’”换句话说，这个机器人能够自行确定参数，不过不是自动生成中央计算机中的信息编码行，而是修改用于调节行为的程序中的可变量，例如机器人身体与墙壁之间应当隔开的距离。机器人还能够通过网络下载自身缺少的软件。可问题是，程序往往会发生执行错误。如果程序设计缺陷干扰了机器人的行为，会发生什么情况呢？你知道，计算机病毒会使屏幕上光标反向，上推鼠标时，光标下移，而下拉鼠标时，光标上移。如果机器人身上发生类似故障，它就会变得像公牛一样具有攻击性，也许会导致无法预料的结果。坦率地说，目睹当今最先进的机器人，真让人有些不寒而栗。以日本前卫机器人HRP-3为例，如果亲眼看见它操作手电钻的样子（HRP-3是与一家大型公共工程公司合作研制完成的），人们不禁会双手合十，祈祷它只在木材或钢材上钻孔，千万别在其他地方打洞啊。一个BUG就足以让机器人把你撕碎对于研究人员而言，祈祷是不够的。他们正在想方设法寻找对策，使与我们共同生活的机器人不会危及到人类的安全。早在上世纪40年代，科幻小说作者艾萨克·阿西莫夫（Issac Asimov）已经对想象中人类面临的这个挑战深感不安。他在《机器人》一书里幻想在机器人体内植入一种良好行为代码。其中涉及的三个简单法则，被认为涵盖了机器人威胁人类的各种情况。只要稍有违反法则的情况，机器人便会立即中断工作……今天，机器人专家都无一例外地熟知这些规则。然而，要把它们转化为代码却非常复杂。因为在计算机程序中，连续命题是二进制的，答案只有两种：是或否。机器人要么上楼，要么下楼；不是向右，便是向左。不能处于两者之间。著名的三大法则没有给出如此明确的答案。阿西莫夫规定，机器人应当“保护其生命”。什么是机器人的“生命”，机器怎么能意识到自己的“生命”呢？正因如此，人们必须另辟蹊径，日本和韩国正朝这个方向努力。专家们正在编写确保机器人行为无害的运行规则，并声称不会立足于原来的三项法则。日本一个最新版本的工作文件多达60页！当然，编写者已经考虑到给机器人配备所有可能的和想象得到的传感器，比如力量传感器。有了它，机器人就不会在和人握手时，像对付核桃壳似的把人的手骨捏碎。不过，文件编写者承认，即便采取了这些预防措施，意外还是会发生。为此，人们提出了一系列建议，将来有可能直接编入指导机器人行为的程序。全世界的机器人专家们将对这些软件不断进行修订和完善。一旦某个机器人出问题，受害者和相关方将把事故的来龙去脉记录到面向所有用户的庞大数据库中。这样，法国研究人员可以从中找到中国机器人发生这类问题后的解决方法，反之亦然。机器人可以下载以信息文件的形式保存的解决方法，从而完成软件更新并提高安全性，就像今天的计算机所采取的方法一样。这样可以最大程度地限制“机器人的威胁”。当然，完全避免威胁是做不到的，因为我们永远无法阻止人类将用于犯罪。正如阿尔德巴朗机器人公司的巴斯蒂安·帕朗所言，机器人只是工具而已。疯子、心理病态的杀手或嫉妒的丈夫可以改变其预定的用途，把它变成杀人机器。即便人们费尽心机，机器人的危险将会始终存在。因为，无论机器人存在与否，人类本身都没有发生任何改变……
扫一扫分享到微信
，百度金融 资深产品经理
每天都在看这些故事和文章。和大家聊聊。机器学习机器学习，百度机器学习也在努力。机器学习（MachineLearning），在我看来就是让机器学习人思维的过程。机器学习的宗旨就是让机器学会“人识别事物的方法”...
每天都在看这些故事和文章。和大家聊聊。机器学习机器学习，百度机器学习也在努力。机器学习（MachineLearning），在我看来就是让机器学习人思维的过程。机器学习的宗旨就是让机器学会“人识别事物的方法”，我们希望人从事物中了解到的东西和机器从事物中了解到的东西一样，这就是机器学习的过程。在机器学习中有一个很经典的问题：“假设有一张色彩丰富的油画，画中画了一片茂密的森林，在森林远处的一棵歪脖树上，有一只猴子坐在树上吃东西。如果我们让一个人找出猴子的位置，正常情况下不到一秒钟就可以指出猴子，甚至有的人第一眼就能看到那只猴子。”那么问题就来了，为什么人能在上千种颜色混合而成的图像中一下就能识别出猴子呢？在我们的生活中，各种事物随处可见，我们是如何识别出各种不同的内容呢？也许你可能想到了——经验。没错，就是经验。经验理论告诉我们认识的所有东西都是通过学习得到的。比如，提起猴子，我们脑海里立刻就会浮现出我们见过的各种猴子，只要画中的猴子的特征与我们意识中的猴子雷同，我们就可能会认定画中画的是猴子。极端情况下，当画中猴子的特征与我们所认识某一类猴子的特征完全相同，我们就会认定画中的猴子是哪一类。另一种情况是我们认错的时候。其实人识别事物的错误率有的时候也是很高的。比如，当我们遇见不认识的字的时候会潜意识的念字中我们认识的部分。比如，“如火如荼”这个词，是不是有朋友也跟我一样曾经念过“如火如茶（chá）”？我们之所以犯错，就是因为在我们没有见过这个字的前提下，我们会潜意识的使用经验来解释未知。目前科技如此发达，就有牛人考虑可不可以让机器模仿人的这种识别方法来达到机器识别的效果，机器学习也就应运而生了。·························大数据平台的统一性。因为随着Spark特性，分析团队越来越喜欢用Spark作为大数据平台，而机器学习/深度学习也离不开大数据。·························从根本上说，识别，是一个分类的结果。看到四条腿的生物，我们可能会立即把该生物归为动物一类，因为我们常常见到的四条腿的、活的东西，九成以上是动物。这里，就牵扯出了概率的问题。我们对身边的事物往往识别率很高，是因为人的潜意识几乎记录了肉眼看到的事物的所有特征。比如，我们进入一个新的集体，刚开始大家都不认识，有的时候人和名字都对不上号，主要原因就是我们对事物的特征把握不够，还不能通过现有特征对身边的人进行分类。这个时候，我们常常会有这种意识：哎，你好像叫张三来着？哦，不对，你好像是李四。这就是分类中的概率问题，有可能是A结果，有可能是B结果，甚至是更多结果，主要原因就是我们的大脑收集的特征不够多，还无法进行准确分类。当大家都彼此熟悉了之后，一眼就能识别出谁是谁来，甚至极端情况下，只听声音不见人都能进行识别，这说明我们已经对该事物的特征把握相当精确。所以，我认为，人识别事物有四个基本步骤：学习、提取特征、识别、分类。那么机器可不可以模仿这个过程来实现识别呢？答案是肯定的，但是没有那么容易。难题有三：第一，人的大脑有无数神经元进行数据交换和处理，在目前的机器中还达不到同等的处理条件；第二，人对事物特征的提取是潜意识的，提取无意识情况下的信息，误差很大；第三，也是最重要的一点，人的经验来自于人每时每刻的生活中，也就是人无时无刻都处在学习中，如何让机器进行各个方面的自主学习？因此，目前在人工智能领域始终还没达到类人的水平，我认为主要原因就是机器没有潜意识。人的潜意识其实并不完全受人的意识支配，但却可以提高人类识别事物的概率。我们无法给机器加载潜意识，因为主动加载的意识就是主观意识，在机器里无法完成人类潜意识的功能。所以，以目前的发展情况来看，要达到完全类人，还有不短的时间。但即便如此，与人的思维差别很大的机器依然可以为我们的生活带来帮助。比如，我们常用的在线翻译、搜索系统、专家系统等，都是机器学习的产物。那么，如何实现机器学习呢？整体上看，机器学习就是模仿人识别事物的过程，即：学习、提取特征、识别、分类。由于机器不能跟人类思维一样根据事物特征自然而然的选择分类方法，所以机器学习方法的选择依然还需要人工选择。目前，机器学习的方法主要有三种：监督学习、半监督学习和无监督学习。监督学习是利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程。白话一点，就是根据已知的，推断未知的。代表方法有：Nave Bayes、SVM、决策树、KNN、神经网络以及Logistic分析等；半监督方法主要考虑如何利用少量的标注样本和大量的未标注样本进行训练和分类的问题，也就是根据少量已知的和大量未知的内容进行分类。代表方法有：最大期望、生成模型和图算法等。无监督学习是利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程。也就是及其自个儿学。代表方法有：Apriori、FP树、K-means以及目前比较火的Deep Learning。从这三方面看，无监督学习是最智能的，有能实现机器主动意识的潜质，但发展还比较缓慢；监督学习是不太靠谱的，从已知的推断未知的，就必须要把事物所有可能性全都学到，这在现实中是不可能的，人也做不到；半监督学习是“没办法中的办法”，既然无监督学习很难，监督学习不靠谱，就取个折中，各取所长。目前的发展是，监督学习技术已然成熟，无监督学习还在起步，所以对监督学习方法进行修改实现半监督学习是目前的主流。但这些方法基本只能提取信息，还不能进行有效的预测（人们就想，既然没法得到更多，就先看看手里有什么，于是数据挖掘出现了）。百度机器学习也在努力。希望2017可以更牛~~~~~~~&
扫一扫分享到微信
智能机器人之所以叫智能机器人，这是因为它有相当发达的“大脑”。在脑中起作用的是中央计算机，这种计算机跟操作它的人有直接的联系。最主要的是，这样的计算机可以进行按目的安排的动作。正因为这样，我...
智能机器人之所以叫智能机器人，这是因为它有相当发达的“大脑”。在脑中起作用的是中央计算机，这种计算机跟操作它的人有直接的联系。最主要的是，这样的计算机可以进行按目的安排的动作。正因为这样，我们才说这种机器人才是真正的机器人，尽管它们的外表可能有所不同 。我们从广泛意义上理解所谓的智能机器人，它给人的最深刻的印象是一个独特的进行自我控制的“活物”。其实，这个自控“活物”的主要器官并没有像真正的人那样微妙而复杂。 　智能机器人具备形形色色的内部信息传感器和外部信息传感器，如视觉、听觉、触觉、嗅觉。除具有感受器外，它还有效应器，作为作用于周围环境的手段。这就是筋肉，或称自整步电动机，它们使手、脚、长鼻子、触角等动起来。 我们称这种机器人为自控机器人，以便使它同前面谈到的机器人区分开来。它是控制论产生的结果，控制论主张这样的事实：生命和非生命有目的的行为在很多方面是一致的。正像一个智能机器人制造者所说的，机器人是一种系统的功能描述，这种系统过去只能从生命细胞生长的结果中得到，现在它们已经成了我们自己能够制造的东西了。智能机器人能够理解人类语言，用人类语言同操作者对话，在它自身的“意识”中单独形成了一种使它得以“生存”的外界环境——实际情况的详尽模式。它能分析出现的情况，能调整自己的动作以达到操作者所提出的全部要求，能拟定所希望的动作，并在信息不充分的情况下和环境迅速变化的条件下完成这些动作。当然，要它和我们人类思维一模一样，这是不可能办到的。在某种“微观世界”。比如维诺格勒在麻省理工学院人工智能实验室里制作的机器人。这个机器试图完全学会玩积木：积木的排列、移动和几何图案结构，达到一个小孩子的程度。这个机器人能独自行走和拿起一定的物品，能“看到”东西并分析看到的东西，能服从指令并用人类语言回答问题。更重要的是它具有“理解”能力。为此，有人曾经在一次人工智能学术会议上说过，不到十年，我们把电子计算机的智力提高了10倍；如维诺格勒所指出的，计算机具有明显的人工智能成分。智能机器人根据其智能程度的不同，又可分为三种：&传感型机器人　　又称外部受控机器人。机器人的本体上没有智能单元只有执行机构和感应机构，它具有利用传感信息（包括视觉、听觉、触觉、接近觉、力觉和红外、超声及激光等）进行传感信息处理、实现控制与操作的能力。受控于外部计算机，在外部计算机上具有智能处理单元，处理由受控机器人采集的各种信息以及机器人本身的各种姿态和轨迹等信息，然后发出控制指令指挥机器人的动作。目前机器人世界杯的小型组比赛使用的机器人就属于这样的类型。交互型机器人　　机器人通过计算机系统与操作员或程序员进行人－机对话，实现对机器人的控制与操作。虽然具有了部分处理和决策功能，能够独立地实现一些诸如轨迹规划、简单的避障等功能，但是还要受到外部的控制。自主型机器人　　在设计制作之后，机器人无需人的干预，能够在各种环境下自动完成各项拟人任务。自主型机器人的本体上具有感知、处理、决策、执行等模块，可以就像一个自主的人一样独立地活动和处理问题。机器人世界杯的中型组比赛中使用的机器人就属于这一类型。全自主移动机器人的最重要的特点在于它的自主性和适应性，自主性是指它可以在一定的环境中，不依赖任何外部控制，完全自主地执行一定的任务。适应性是指它可以实时识别和测量周围的物体，根据环境的变化，调节自身的参数，调整动作策略以及处理紧急情况。交互性也是自主机器人的一个重要特点，机器人可以与人、与外部环境以及与其他机器人之间进行信息的交流。由于全自主移动机器人涉及诸如驱动器控制、传感器数据融合、图像处理、模式识别、神经网络等许多方面的研究，所以能够综合反映一个国家在制造业和人工智能等方面的水平。因此，许多国家都非常重视全自主移动机器人的研究。 　　智能机器人的研究从60年代初开始，经过几十年的发展，目前，基于感觉控制的智能机器人(又称第二代机器人)已达到实际应用阶段，基于知识控制的智能机器人(又称自主机器人或下一代机器人)也取得较大进展，已研制出多种样机。
扫一扫分享到微信
有朋侪私信我，让我说说找事变的经历。我返国后并没有直接去找事变，而是选择了创业，但是发明本身社会经历太窄，情面调皮也不夺目，便放弃了创业，准备先出去事变几年。我在网上投了大概16家企业，我没有...
&&&&有朋侪私信我，让我说说找事变的经历。&&&&我返国后并没有直接去找事变，而是选择了创业，但是发明本身社会经历太窄，情面调皮也不夺目，便放弃了创业，准备先出去事变几年。&&&&我在网上投了大概16家企业，我没有投那些牛逼的不可的公司，比如３大ＢＡＴ。一是我不想和清北交的孩子们竞争，由于我知道我竞争不过。。。。&&&&我投了10家互联网，6家咨询公司，拿到了14个口试关照，选择口试了7个，给了6个ｏｆｆｅｒ。&&&&下面讲进程：&&&&第一家是南京的一个咨询公司，重要做电信的数据发掘事变，口试的题目便是讲讲本身的练习事变以及本身掌握的技能。我形貌了我在英国电信公司练习做数据阐发事变的经历以及本身会利用的ＳＡＳ，Ｒ之类的。风趣的是，口试主管让我讲讲练习时期遇到的风趣的事变，然后我就把凯特王妃生孩子和苏格兰独立的变乱讲了一遍。末了就被登科了，总得来说，口试不难，看中练习经历。&&&&第二家是苏州的一个在线旅游公司（我想大家都知道的）。职位是数据阐发，同样的还是讲了讲本身的练习经历以及可以或许利用的技能，口试官还问了一些统计学的知识，不过很大略（大概便是因子阐发之类的）。口试官很故意思，问了我是否有本身的一套思索题目的要领（其后才知道口试官是门生理学的硕士，并且你和我竟然成为了挚友），幸亏我当年学过数据阐发要领，对答如流，末了也被登科了。&&&&第三家是常州的一家咨询公司，只要是做ＳＥＯ和交际网络阐发的。我之前用过ＧＡ，也学过点ＳＥＯ，再加上由于是故乡的缘故起因，口试很轻松，只是人为开的真的是太低了。&&&&第四家是上海的一家在线旅游公司（大家也应该知道的），职位是数据阐发。口试的时间重要考问的是对网页流量阐发的见解，另有统计阐发的一些技能。口试有点难度，口试官是统计学硕士，问的比较专业和深刻。但是我也发明该构造紧张的官僚作风，当时有点不太想去。不过给的人为不错！！&&&&第五家便是我如今的公司，也是互联网，小型上市公司。口试的时间我要的人为很高，原来口试是要两天的，但是我对峙说盼望一天就完成，由于我要回家。。。。。于是那个可爱的人资妹妹就到处去找主管来口试我，足足口试了4个小时，我说的口干舌燥。第一个口试官问我对渠道反作弊的见解，我之前没打仗过，于是就不和谐的讲了很多话，但是那个口试官发明白我在数据发掘中的好处，他以为我不得当他的部分，但是得当公司的其他业务。于是他去找了另一个部分的主管（也便是我如今的主管）来口试我，这个女主管没有问我任何有关业务和技能的题目，而是问我喜好什么，将来准备做什么等等～～然后就结束了。接下来便是和ＨＲ谈人为，我依然对峙当初的薪酬，ＨＲ说两个主管都以为我很踏实，技能也很过关，很想留住我，但是我开的人为有点高，终究我是应届生～～～此话一讲，我就心软了（我真是太善良了），于是我就稍稍的降了些。ＨＲ其后让我归去，说等德律风关照，然后第二天就关照我可以去上班了～～～&&&&总结：我找事变对峙薪资第一，生长第二，要是大家以为我说的不同错误大概以为我那个傻×什么来着的，还是老说，恣意的喷我吧。知乎里很多人（实际中也是）都市说年轻人不要太在乎第一份薪水，要看生长，看前程。&&&&老子信了你的邪！！还真抱着这种想法去苏州事变了一个月！！其后受不了，不干了。&&&&那些动不动就跟你谈抱负，谈前程的公司都是骗子，只有实着着实的跟你谈人为，谈福利的公司才是真真以为你是个人私家才，想留住你！！&&&&我发明一个原理，公司给你多少钱就会让你干多少活！给你5000，那你就只能去处理惩罚处理惩罚数据，给你1万，那肯定会让你去建模发掘的！！！这是真理，请务必记取！&&&&要是你第一年的人为只有3000，你第二年跳槽的时间你以为第二家能给你多少？&&&&要是你的第一年人为是1万，你以为第二家能给你多少？&&&&人为3000的第二家能要到6000就不错了，哪怕你第一家是三大ＢＡＴ出来的。&&&&人为1万的第二家要多少还真的说不定，两万也是有大概的。由于第二家ＨＲ坚信，你的老店主乐意花1万买你，那你就绝对值这个价。要是老店主只乐意花3000买你，那也阐明你只值这个价，哪怕你再有才华！！&&&&－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－&&&&我本科是市场营销专业，和数据阐发搭不着边。其后在英国苦读一年纪据发掘，学习了数据阐发，谋略机编程等种种知识。如今返国也告成的在一家互联网公司担当数据阐发师。报酬不错，起薪14W/Year&&&&你是学物理的，数学功底比我强多了。以是不要担心学不好。&&&&总的来说，学好数据阐发并以此找到事变，你要细致以下几点：&&&&扫扫二维码，添加账号&&&&我之前写过一个帖子，关于怎样学习数据阐发，并且保举了书单，大家可以参考&&&&--------------------------------------------------------------------------------
扫一扫分享到微信
，职场老兵，热爱销售，乐于分享，关注成长
文/老钟说说关键词：功能 价格 价值 情感导读：作为销售的我们，看见客户都会兴高采烈，满怀激情的向客户介绍我们自己的公司和产品，有时为了吸引顾客，可以说是激情饱满的把产品的功能卖点一点不漏的介绍...
文/老钟说说关键词：功能 价格 价值 情感导读：作为销售的我们，看见客户都会兴高采烈，满怀激情的向客户介绍我们自己的公司和产品，有时为了吸引顾客，可以说是激情饱满的把产品的功能卖点一点不漏的介绍了一遍，但有时，客户会冷冷的回答我们：“我再看看。”现场有没有一丝尴尬的气氛？为什么我们准备充分，却得不到客户的认可呢？文/老钟说说好的销售怎么做的呢？销售的学问不仅仅停留在产品、市场和需求上，好的销售和一般销售的区别就在于他们是怎么跟顾客做沟通？是停留在产品的层面还是真正的从产品“卖点”到客户“痛点”做了有效的沟通？我们知道，从接触准客户、激发兴趣、情感共鸣、建立联系、传递观点、创造体验、达成成交的七步成交流程中，每一个环节的讲解和接触点都不一样，但我们反复强调，客户的需求（痛点）和我们产品、服务有效链接起来的一定是客户的真实感知。所以不论是我们所有的FABE,还是1335法则都只是空洞的理论，让客户产生兴趣，产生欲望，完美体验的关键就是讲故事。好的故事能让我们插上想象的翅膀，让客户从内心完成“自我成交”。故事该讲什么呢？文/老钟说说自从前一篇文章里提到讲故事的妙用，就有朋友留言问该怎么讲故事呢？今天就结合自己多年的经验做一些简单的分享：1.产品故事；在商场也好，在谈判桌也罢，在大多数人眼里，产品都只是一个冰冷没有温度，等待被交易的物品。但真正在优秀销售人心中，每一款产品都有他自己鲜活的灵魂，产品也会因为设计到生产到最终流通的过程有所不同，或精彩或平淡。如果我们想要理解并演绎出来，让客户爱不释手，我们有的是方法诠释他的精彩：1)从产品设计理念；2)从研发；3)从材料；4)从工艺；5)从包装；6)从检测；7)从体验感；2.品牌故事；1)极致定位，如小米性价比；苹果高端、不走寻常路；如OPPO的时尚，极致音色；2)品牌发展历程；如华为的国货自强；锤子“情怀”；3)情感沉淀;一个优秀的公司，传递的产品和价值必定经久不衰，譬如：可口可乐，麦当劳，肯德基。4)公司大事；比如当年加多宝在2008年地震后的营销，又比如他通过央视包装的几个草根明星梦的一炮而红，都是对整个品牌增色不少。3.个人、服务故事；对产品、品牌的认可更多的是一种情感和信任的表现，有可能是1)过往服务感知；2)口碑的传递；3)明星和众人的背书；4)各种便利性。客户购买产品的时候有时是因为痛点被逼，有时是因为情感被打动，有时是因为消费本身带来的快感。但他们在购买产品时，都有内心最独特的情感体验，甚至都保护着内心的某个秘密。关键都在于销售能不能击中他心中的弦，把故事讲给他听。故事该怎么讲呢？文/老钟说说回到原点，我认为讲故事之前必须从三个纬度去理解我们产品-需求-客户价值；1)唯一性；我们将产品的“唯一性”卖点进行描绘，如同宝马的“操控”，奔驰的“尊贵”，奥迪的“安全”。我们独一无二的卖点展现在客户的面前。这也是我们常说说的人无我有，人有我优，人优我特。2)真诚为上；销售最高的境界是贩卖文化和价值观，尽管我们离决定高手还有十万八千里，但不妨碍套路少一些，真诚多一点。3)客户角度看价值关怀；站在客户角度考虑问题；客户的最大需求是什么？从成长的时间轴上家庭角色能看到什么需求和痛点？从当下个人社会角色带来的需求和痛点是什么？我们的产品能为他带来功能、价格、情感、价值哪一类的体验？当我们从讲故事有什么好处？讲什么？怎么讲？几个角度简单分析后，不知道能不能对你有所启发。学无止境，欢迎交流，真诚的老钟。
扫一扫分享到微信
由于他们在不懂R和Hadoop的特性应用场景的环境下，恰好抓到了一根免费，开源的稻草。R：R的应用场景不在于无与伦比的统计学习本领，而在于布局化数据下无与伦比的单位代码产出量。神经网络，决定计划树等基...
&&&&由于他们在不懂R和Hadoop的特性应用场景的环境下，恰好抓到了一根免费，开源的稻草。&&&&R：&&&&R的应用场景不在于无与伦比的统计学习本领，而在于布局化数据下无与伦比的单位代码产出量。神经网络，决定计划树等基于布局化数据的算法一行代码搞定，预测又只是一行代码。如许，贸易数据库（如包括Oracle，Netezza，Teradata，SAPHANA等）提供了R接供词统计阐发职员举行高效实行。同样的，SAS和IBMSPSS也做到了一部分高效实行本领，他们没有的是R独占的巨大cranpackages群。但相似的一点是，R的package群也把它的用户惯坏了，惯坏到这些人只因此为这是一个SAS大概SPSS的免费版，而不是去通过代码学习怎样做呆板学习哪怕一点点核心原理。你要做的，便是高效的最新布局化数据算法的实行。&&&&最紧张的是，从Hadoop上的数据加载到这些库，不但包管了数据本身的精确性和布局化，也已经包管了数据模型的第二、第三范式化（CAErwin的第一课），想做任何一个阐发，你手边的数据库大略的join就形成了你必要的阐发宽表。想想SQL里sumover的计划含义：为什么它要制造数据的冗余？那肯定是为了BI大概阐发存在的。&&&&Hadoop：&&&&Hadoop的应用场景不在于给统计阐发软件提供强力的支持，而只是提供了一个散布式数据的泛用免费框架，基于键值对（keyvaluepair）高效的对原始非布局化数据举行存储。&&&&传统方法下目测可以做到对连续型数值、分离型数值、字符串、大型字符串BLOB、地理信息（二维点，多边形）的存储，Hadoop相称于直接把很多成果扩展：比如Hive作为一个根本东西，直接提供了更遍及的数据范例存储方案：数组(array)，布局体(struct)，键值对(map)等。&&&&业务场景：我存储一篇文章不再必要一坨笔墨灌进去，先做NLP分析，然后形成(词,词性)的元组，再组生长数组(Array)即可方便的存储、阐发，以及利用内置UDF、自写UDF对巨大布局行转列，提取信息。（固然，将NLP分析本身整合在UDF乃至算法中都是可行的，如PySpark）&&&&------------------------&&&&*2014.8改造阐明：&&&&要是你至今以为非布局化数据，键值对是一种矫饰见解，我就换一个至简的说法：一个只有两列的数据表。两列的mn*2和多列m*n数据表是可以在肯定加工价格下互转的。这种数据布局被大量应用于Java，C++，Python乃至JavaScript中，当你望见雷同Hashmap，Hashtable，dict，map等字眼，那便是这货没跑了：颠末计划，用于存储的键(key)被散列后决定了它可以或许被匀称地散布式存储，值(value)是键的跟随，随着键被存储。&&&&对付非布局化数据而言，元数据和数据不像方表，极其容易抽象出来（无非便是列名和方表的内容）。初看一个半布局化的Json/XML，元数据出如今键(key)中，数据出如今值(value)中，容易明白。但在分析其他范例数据，(如网络日记Url)，键里的所谓元数据才是要阐发的东西(一个用户重复的利用price=xxx做查问条件，阐明代价敏感，有大概xxx取了很多多少值乃至全部大概值，key却很少，大概只有price和brand；此时用户举动模式出如今key里了。)&&&&------------------------&&&&布局化和非布局化数据库连合的R+Hadoop看起来很美，实则困难重重。我的见解是，任何一家在数据阐发范畴（文本发掘临时除外，来由在业务场景里形貌过）决定以一个妥当的态度涉足的企业，都无一例外的基于数据强同等性的思量，选择传统的布局化数据库作为后续布局化阐发的依托——哪怕他们是收费的。要是风俗代码开辟，Hadoop+python本身做开真个数据处理惩罚，而后利用基于java的Mahout是一个很天然的选择：其提供的矩阵谋略（SVD），迭代式聚类算法(如Kmeans)，基于图的迭代模型（一个例子是PageRank算法，值中存的也是Key），以及集成决定计划树等模型，在散布式场景下是瓜熟蒂落完成的，而R则会像一个跟随，很难找到它的应用场景。一样具有较高编码服从的Python可以越发机动、精美（缩进的意义上）的承继mrjob类完成相应成果，在数据实行性探索这一步，matplotlib产出报告恐怕是不如R+knitr+ggplot2更能媚谄老板，但一旦必要阶段性的测试，Python这种胶水语言大概一步到位的利用Java开辟显得更接地气，更容易落地。&&&&（关于落地性，再小小吐槽一下R在Windows和Linux两个平台下可以或许利用的包范畴是差别的，尤其是利用Rcpp大概并行包的时间。Python和Java则不常见到这种题目）&&&&R+Hadoop的幻觉：&&&&不管什么和Hadoop连合，都喜好以wordcount这种典范的键值对开始。究竟上R可以做这件事，但因此为R做的无与伦比，就有点进入误区。还是那句R的美在于布局化数据下无与伦比的单位代码产出量。一旦你发明你作为专注于数据的阐发师，同时也是一个并不骨灰的代码开辟者，开始用R操纵列表和数据布局，开始用R重写Mapper和Reducer，你就会孕育产生一个疑问：&&&&为嘛不学Java、Python？这种阐发“不传统”，就算你不想学吧，为嘛不找懂它们的人来干？&&&&Python基于键值对存储，也具有相称高的单位代码产出量，也有很多科学谋略包。从这个意义上你可以做出一个白箱，单机缩水版的mahout，并且得当处理惩罚有增量算法的大数据学习（看看NumPy,SciPy,）。一样免费。&&&&数据发掘的幻觉：&&&&数据发掘是什么，很难吗？&&&&广义的数据发掘，包括数据阐发和呆板学习，只说最核心的数学见解的话，预计就几句话；恰好R的简便性也是能用几句话做完这几句话的：&&&&0数据洗濯，标准化。和1-4，明白真实天下是相辅相成的&&&&1开始学的数学本领是空间分析：LL'，PCA，SVD，一样平常回归以及L2/L0处罚变种；从信息论角度讲信息流压缩（著名如LZ及变种LZO）；SVM用到的RBF也算基提取本领。&&&&2再学最优化算法：L1处罚回归，SVM（利用的Newton-Raphson/Gauss-Newton/Levenberg-Marquadt（还是1的内容！）；MonteCarloMarkovChain&&&&3数据布局：决定计划树（列表类），词频统计（键值对大概字典类），FP-growth（一个树的加强版）。学到这，所谓“贝叶斯”底子就不克不及叫算法，只能叫一个无处不在的引导头脑。&&&&4模型集成：Adaboost，神经网络，bootstrap。集成时，权重本领和处罚本领我的明白是不可分裂。但这个头脑对要领，对模型参数都能集成，大杂烩。1个超等精妙的模型不如200个精良明白了题目性子的土鳖模型更实用。&&&&任何一个听起来很装逼的算法，逃不过被分析成这4类要领组合的运气。参数调优这种不提要挈领的题目，确实必要结适时间本钱人力本钱看（研究者，门生，码农的本钱和投入量完全不一样）&&&&可以看到，大数据阐发的瓶颈在哪？&&&&第0步，和曾经的大Boss讨论过，传统行业数据堆栈实行最少还能打10年，而"实体-干系"见解和"键-值"见解这两种抽象最少还能打30年，数据的构造，过滤，元数据维护都是数据孕育产生代价的必经之路，这方面的事变很枯燥但是很底子，大数据和传统数据都必要；&&&&第1步是最根本最紧张的阐发本领，也最容易在大数据语境下导致单机无法阐发的亿阶希罕大矩阵孕育产生：例1，用户User对商品SKU的购买记录；例2，在特定的经纬度，特定的时间，特定的用户产生了举措；这两个例子是典范的“查问大略阐发难，汇总还不如不汇总”的环境，必须要有散布式希罕矩阵处理惩罚技能；&&&&第2步，序贯MCMC的串行性可以通过并行集成要领模仿，但是收敛性还仍旧较低，必要暴力并行堆FLOPS；对应的，由于SVM/Lasso都有增量算法、散布式算法方案，核心头脑在于“天下的真实，模型的本质，都是希罕的”，锁少量资源，散布式地更新模型系数大概是梯度，这些算法在理论上得到突破后，每每依赖阐发型数据库大概大数据平台机动的并发调理，机动的行列殽杂存储模式，这一点是单机、小集群、传统数据库难以企及的；&&&&第3、4步，这里固然举了很大略的例子，但这些是在数学模型和数据模型上是最没有开辟压力的，必要体贴的只是资深步伐员的功底了。举例阐明，文本发掘（NLP）统计完词频你还是得会空间里做PCA（大概其他情势的大矩阵加工）；要是不然，只引入HMM模型和底子字典树的话，学习本钱就只有学习贝叶斯理论了，并且仍旧可以高效并行的办理NLP题目，有兴趣的可以参考Viterbi算法和CRF算法。&&&&大数据的幻觉：存储和谋略的辩论&&&&大数据处理惩罚，多大算大？像我说的，在3,4步出来的数据，原始数据很大，加工汇总完了很小，大概处理惩罚起来是高度独立的。散布式存储不影响阐发，说是大数据，着实和小数据处理惩罚没差别。&&&&必要随时互换资源的聚类，回归，SVD，PCA，QR，LU等干系到矩阵分析的谋略乃至是高效访问，更进一步另有热数据在内存上而不是物理存储上的多次迭代，这才是大数据真正的挑衅。&&&&那些有监督的分类树，把数据集切成1000份并且有冗余的给500台呆板每台3-5份数据末了得到集成的分类结果，我很难称其为“大数据谋略技能”，它的本质和挖矿机每秒能做无数个高度同质化的hash谋略一样，不必要资源互换，不必要大量通讯，它只是“小数据+独立运算后直接可以或许整合结果”的范畴内打转。&&&&------------------------&&&&*2014.8改造阐明：&&&&数据在物理存储、内存、乃至显存的原地迭代会带来数据重散布；在传统数仓范畴数据，重散布着实是对将来服从进步预期的妥协，且内里含有比较多对传统业务稳固命据架构的明白。&&&&大数据期间明显不存在什么数据堆栈ER模型稳固性，不知道大家有没有这种体验：一个新需求，一个全新的天南地北的研究性题目的场景下，就能建个新库来举行探索与数据加机灵理，数据发掘。各不相谋，实行容易，落地与整合困难。——这个环境下要是要频繁走物理存储的话，基于key的重新散布会让数据像煮沸的一锅粥大量占用网络与IO写入带宽，与传统数据库性能的巨大边界是无法回避的题目。因此在这个场景下，Spark、Storm、GPU谋略火起来，如Scala、Clojure、Python等含有FP见解的语言走得越来越靠近开辟工程师的视线，较高级的封装东西如图模型谋略的GraphSQL等组件也浮出水面。并且说句实话，Map（映射）和Reduce（规约）在这些语言中，已经是老的失了很多多少年牙的见解了。&&&&（FP：FunctionalProgramming我拦截翻译成函数式编程，这明显是泛函编程）&&&&------------------------&&&&大数据见解引入这件事儿是大炮打蚊子——内存内的阐发和数据探索，显现（单节点）：&&&&*从数据记录条数讲：&&&&百万级，R的上限；&&&&千万级-亿级，SAS的上限；&&&&千万级，Python的上限；&&&&*我的利用经历，从数据占用内存的服从讲：加载400M数据会使得&&&&Python（Numpy列存）占用内存500M&&&&R（我审慎推测是行存列存和二维表三样都存一份）加载占内存2G&&&&SAS（行存）占用600M，颠末表级压缩（依然是行存）150M&&&&*后续的原始处理惩罚&&&&尤其是字符串操纵这种数据洗濯，R险些不克不及做，夺目shell及regexp的人又做的太容易。&&&&若想用R，这就必要你输入到R的数据险些就能直接开始跑阐发了。若不信邪，我保举你用readLines加上strsplit来操纵读入R的文件，看看他数据洗濯的服从和read.delim，和SASprocimport以及Python的withas语法相差多少。&&&&*显现方案：&&&&只要数据量低于刚才提到的限度，R又提供了最好的显现方案，由于“显现方案是专用而非泛用”的：&&&&a.Hadley最闻名的R包之一ggplot2将来会引入SVG等可交互元素。一个具有d3.js可视化特性的画图包还不让你震惊吗？&&&&b.百度echarts团队项目被taiyun包装成recharts放在了github上&&&&c.已经参加RStudio的R统计达人YihuiXie的作品knitr，可以或许利用markdown语法动态将数据发掘结果，图片，视频天生打包放进html大概pdf文档。&&&&说说敌手：&&&&a.R要比Python现有的可视化包（以matplotlib和pygame为主）更友爱，更易于操纵。&&&&b.固然让从来没打仗过前真个人私家迷恋在用Chrome即可调试的JavaScript内里不太科学，但我爱不释手，并且其核心的显现方法确实将来会参加R。&&&&c.Java魄力魄力的Processing，无缝调用java库，封装大量java图形函数、视频相干API、鼠标相应API，可以导出javaapplet或port成js代码；搞大数据的人肯定熟习java开辟，可以险些0本钱又高效快速的利用它。&&&&这几种东西确实各有千秋，我个人私家无法弃取，但平心而论，R是学习门槛、编码服从和产出结果同时最风雅的（个人私家经历缘故起因无法对SASVA，Tableau，Flex或更一样平常的BI显现东西置评，其受众由于软件本钱，落地性不敷等缘故起因，我缺乏利用它们的经历，它们也缺乏对我的吸引力）&&&&归纳下我的明白，R的产出报告雷同html+javascript+CSS一样，是得当轻量阐发，轻量显现的。&&&&大数据干这件事儿是正道——非布局化大数据批量大概迭代处理惩罚：&&&&你的算法已经走到了“万事俱备，只差跑全量”如许一个敌手中的数据很相识的地步了。Wiki对RevolutionAnalytics的先容讲：Rdidn'tnativelyhandledatasetslargerthanmainmemory，这么机动小巧的东西做个抽样数据阐发明显是很好的。&&&&非布局化大数据应用的场景只能是：&&&&-你很懂数据散布的细节（大概是项目经历，大概是R上已经做过抽样探索）&&&&-题目得当的算法你明白于胸；增量算法存在；暴力并行谋略（矩阵谋略，图迭代）没题目&&&&-你以为把雷同Mahout谋略的步调颠末代码包装交付给R来做没题目&&&&-你完全不care交互式探索&&&&这是你必要的R应用场景么？大概换一种说法，这种应用场景R有什么上风？调用编译好的cpp库，fortran库是R发挥上风的地方吗？要知道算法服从排名上RjavaC++。算法月内要上线，本身看着办。&&&&说下前鄙team（一个不是专业做数据发掘的数据部分）的经历：&&&&讲了半天R+Hadoop，不上Mahout，任意搞搞RSnow，准备买SAS。&&&&由于我会SAS（少量用Macro，没用过矩阵，由于没须要）和R（没有学习本钱），Python的并行包pp利用中，思量mahout。&&&&更新：当大数据平台用户不餍足于存储，大略加工以及成型算法实行，也开始存眷最小查问、交互式探索服从了，诸如Spark的内存办理方案将会更符合。&&&&现team是一个同事至少是硕士（统计/金融/谋略机），专做金融行业数据发掘的小团队。本领和业务场景可以供参考。&&&&*SAS本领包围面95%（具备核心代价的数据在办事器上可以或许处理惩罚的量很少高出上亿，主推SAS）&&&&*Python和R包围面都在70%+&&&&*Hadoop/大数据见解淡：客户有充足的Teradata、Oracle、SAS办事器&&&&*Hive/Spark：Hive做帮助、机动仓储，PySpark作为一个可以预期、稳固的数据发掘平台的接点&&&&结束语：&&&&趁便也给数学系、统计系的数据阐发师，以及他们的领导们提示一句：要是员工A有员工B没有的代码开辟本领，R又完全替员工B把数学的事变做完了，形成了依赖，那员工B存在的意义是什么？夸大数学理论这么一点点上风也都不复存在了。&&&&呆板学习算法在差别的阶段得当利用差别的东西，研究和利用接不上也就算了，千万别连东西得当的环境都不懂，作为互联网从业者，这就太盲从了。&&&&精英的研究者是本身做开辟的——这话也可以这么说，精英的开辟者们本身做研究。每一个模型都不美满，何况新题目涌现的越来越快，现存的模型很大概不餍足你的阐发必要。以是才要一边踏实理论，以最少的实行嗅到最得当题目的算法，一边以开放的心态采取和明白新技能的应用场景，深入生长数据发掘研究，从代码优化改革（盗窟）走向技能原创。&&&&------------------------&&&&*2014.8改造阐明：&&&&------------------------&&&&*2015.11改造阐明：&&&&2年左右的时间里并没有新技能的涌现，但是有成熟技能的沉淀以及轮子化。我之前以为的Spark只管分发数据，启动Python跑脚本（跑CUDAC步伐大概别的什么东西要领大同小异）的这种我一开始以为着实有些不伦不类，寻求速率的实行模式，如今竟然已经绕过了Hadoop自成一种模式了。并且，Spark的成果进一步从分发数据退化到了分发算法参数？！（有个例外，Spark跑图模型算法无法仅仅分发参数）&&&&这险些已经阐明白数据科学只要快。险些无法容忍I/O，委曲容忍大量的散布式内存数据互换，要是拿到GPU上去，数据频繁的通过PCIE互换，早晚也是要被否。&&&&反过来看我这篇答复着实很可笑，2年的时间就可以或许让当时不少我以为存在迷雾的东西变得清楚很多。R如今的定位是什么？科学谋略范畴好玩的玩具Julia,Lua满地都是，乐意砸时间的人随时随地都能用轮子搞出东西来。——但你别忘了很多提供轮子的大神是写着C++给你们造玩具的。&&&&玩具对技能模式变革的作用便是拉动性的，能不克不及拉动那要看老板玩心重不重。&&&&离开好玩上升到企业战略生长层面，大量草根首创的CTO带着最守旧的方案和最守旧的那一批开辟者受到动荡的新业务打击，旧有模式其不经济性渐渐被发明，并且有了模块化的更换方案。身边有很多并不大神，但接地气儿的开辟者。这内里，很难有人Python/JavaScript/GoLang三者都一窍不通。&&&&寻求经济性对技能模式变革的作用是推动性的。大家都在沉淀，玩票都在失去空间。不推就去世。&&&&参考内容：
扫一扫分享到微信
我们从广泛意义上理解所谓的智能机器人，它给人的最深刻的印象是一个独特的进行自我控制的“活物”。其实，这个自控“活物”的主要器官并没有像真正的人那样微妙而复杂。智能机器人技术要求一、识别过程，...
我们从广泛意义上理解所谓的智能机器人，它给人的最深刻的印象是一个独特的进行自我控制的“活物”。其实，这个自控“活物”的主要器官并没有像真正的人那样微妙而复杂。智能机器人技术要求一、识别过程，外界输入的信息向概念逻辑信息转译，将动态静态图像、声音、语音、文字、触觉、味觉等信息转化为形式化（大脑中的信息存储形式）的概念逻辑信息。二、智能运算过程，输入信息刺激自我学习、信息检索、逻辑判断、决策，并产生相应反应。三、控制过程，将需要输出的反应转译为肢体运动和媒介信息。实用机器人在第三个方面做得比较多，而识别和智能运算是很弱的，尤其是概念知识的存储形式、逻辑判断和决策这些方面更是鲜有成果，这正是人工智能要重点解决的问题。智能机器人基本要素智能机器人具备形形色色的内部信息传感器和外部信息传感器，如视觉、听觉、触觉、嗅觉。除具有感受器外，它还有效应器，作为作用于周围环境的手段。这就是筋肉，或称自整步电动机，它们使手、脚、长鼻子、触角等动起来。由此也可知，智能机器人至少要具备三个要素：感觉要素，反应要素和思考要素。一是感觉要素，用来认识周围环境状态；感觉要素包括能感知视觉、接近、距离等的非接触型传感器和能感知力、压觉、触觉等的接触型传感器。这些要素实质上就是相当于人的眼、鼻、耳等五官，它们的功能可以利用诸如摄像机、图像传感器、超声波传成器、激光器、导电橡胶、压电元件、气动元件、行程开关等机电元器件来实现。二是运动要素，对外界做出反应性动作；对运动要素来说，智能机器人需要有一个无轨道型的移动机构，以适应诸如平地、台阶、墙壁、楼梯、坡道等不同的地理环境。它们的功能可以借助轮子、履带、支脚、吸盘、气垫等移动机构来完成。在运动过程中要对移动机构进行实时控制，这种控制不仅要包括有位置控制，而且还要有力度控制、位置与力度混合控制、伸缩率控制等。三是思考要素，根据感觉要素所得到的信息，思考出采用什么样的动作。智能机器人的思考要素是三个要素中的关键，也是人们要赋予机器人必备的要素。思考要素包括有判断、逻辑分析、理解等方面的智力活动。这些智力活动实质上是一个信息处理过程，而计算机则是完成这个处理过程的主要手段。我们称这种机器人为自控机器人，以便使它同前面谈到的机器人区分开来。它是控制论产生的结果，控制论主张这样的事实：生命和非生命有目的的行为在很多方面是一致的。正像一个智能机器人制造者所说的，机器人是一种系统的功能描述，这种系统过去只能从生命细胞生长的结果中得到，现在它们已经成了我们自己能够制造的东西了。智能机器人能够理解人类语言，用人类语言同操作者对话，在它自身的“意识”中单独形成了一种使它得以“生存”的外界环境——实际情况的详尽模式。它能分析出现的情况，能调整自己的动作以达到操作者所提出的全部要求，能拟定所希望的动作，并在信息不充分的情况下和环境迅速变化的条件下完成这些动作。当然，要它和我们人类思维一模一样，这是不可能办到的。不过，仍然有人试图建立计算机能够理解的某种“微观世界”。比如维诺格勒在麻省理工学院人工智能实验室里制作的机器人。这个机器试图完全学会玩积木：积木的排列、移动和几何图案结构，达到一个小孩子的程度。这个机器人能独自行走和拿起一定的物品，能“看到”东西并分析看到的东西，能服从指令并用人类语言回答问题。更重要的是它具有“理解”能力。为此，有人曾经在一次人工智能学术会议上说过，不到十年，我们把电子计算机的智力提高了10倍；如维诺格勒所指出的，计算机具有明显的人工智能成分。
扫一扫分享到微信
近期，爱阐发对iPIN首创人兼CEO杨洋举行了调研访谈，从创业背景、技能逻辑、业务布局、贸易模式等角度，对这家公司举行了全面相识，为您揭开iPIN的秘密面纱。一个题目引发的读博和创业杨洋是位不折不扣的连...
&&&&近期，爱阐发对iPIN首创人兼CEO杨洋举行了调研访谈，从创业背景、技能逻辑、业务布局、贸易模式等角度，对这家公司举行了全面相识，为您揭开iPIN的秘密面纱。&&&&一个题目引发的读博和创业&&&&杨洋是位不折不扣的连续创业者，从小就随着母亲摆摊，卖过烟酒、棒冰、气枪、爆仗、板栗，另有毛衣毛线，可以说是同一种模式，超过多重范畴。不过严格意义上的创业，在iPIN之前，另有过两次。&&&&第一次是04年，当时杨洋在美国读物理学博士，盼望把海内的东西卖到外洋去，就做了跨境电商。第二次是搜活网，和猪八戒一样的早期自由职业平台。在这个进程中，杨洋发明，这一范畴信息立室服从很低，导致平台很难做大。&&&&博士毕业后，杨洋去了哈工大做副研究员，时期包袱了一个国度十二五重点项目，得到了大量社会就业数据。在CollectiveIntelligence范畴，最紧张的便是通过阐发和研究微小信息来明白团体。要让呆板明白整个社会，就要从明白社会最小单位——人开始。人通过职业生长与社会精密接洽，而阐发就业数据便是洞悉这张社会之网的关键地点。彼时，在杨洋的脑中，基于社会经济图谱的贸易筹划已雏形初现。&&&&任教时期，杨洋曾听办理学院老院长叶强传授提起，每年高考前后，会有很多高中生家长找到高校，盼望大学老师资助办理志愿填报题目，他们以为，大学老师对差别专业毕业生就业之后的生长环境最为熟习，但究竟并非云云，门生毕业几年之后的信息学校底子无从知道。&&&&高考志愿填报的题目不停存在，每年都有将近千万的考生在父母、老师、亲朋摰友的“发起”下稀里糊涂地报了一些专业，然后稀里糊涂地被此中一个“选中”，读了四年乃至更长。在很大概决定人生将来走向的这件大事上，大多数人都把选择权交给了不靠谱的经历。互联网生长这么多年，却不停没能出现一款可以或许办理这一题目的产品。&&&&而这个题目，正是杨洋致力于办理的信息立室服从题目。有了数据、技能和市场需求，2013年，杨洋调集了中山大学传授、原美国HP实行室数据科学家潘嵘，以及前MSN、腾讯技能总监李训耕和赵泛舟作为合股人，一起创建了iPIN。&&&&把高考志愿填报作为首个切入点，除了上述缘故起因，还在于杨洋所要构建的社会经济图谱中，人的职业生长经历是紧张一环，而高考志愿填报，是最底子的一步。&&&&这一步，看似很小，却极其巨大。美满志愿重要办理两个题目：你能上什么学校、能学什么专业。&&&&早先两年，美满志愿就在官网上免费为用户提供办事，客岁上线了APP，并开始实行付费，累计办事用户高出400万。据杨洋先容，每年900多万考生中，美满志愿可以包围1/4。从用户反馈环境来看，美满志愿以较高的正确率，已经成为考生填报志愿的“放心丸”。&&&&然而，由于海内用户广泛缺乏付费风俗，加上美满志愿的免费成果已经根本餍足考生需求，而大多用户又没有机遇体验付费版的高级成果，因此团体付费率较低。本年，iPIN会对产品举行优化，不但可以让用户体验付费成果，还定了3个价位，餍足差别层次需求。&&&&固然，美满志愿只是iPIN社会经济图谱的第一步应用，本年上半年，iPIN还会推出另一款生活筹划产品——人生导航仪，提供人职立室办事。固然听起来跟雇用雷同，但人找事变和企业招人逻辑完全差别。企业招人只要切合要求就行，而人找事变必要先搞明白“下一步要做什么”，而“下一步要做”跟“如今所做”未必有很强的接洽。&&&&在人生导航仪的Demo版中，用户只需上传本身简历，体系便可从各大主流雇用网站中搜索出相立室的职位，并根据个人私家背景和经历提供阐发结果。杨洋表现，和即将颁布的正式版人生导航仪相比，罗盘的成果只占到了5%。&&&&那么，在美满志愿和人生导航仪背后，是什么东西在支持其运作？&&&&以社会经济图谱为底子的认知阐发框架&&&&iPIN通过提炼数亿人的教诲和事变经历，绘制了中国首个社会经济图谱，它聚合了来自高校、当局、企业等方方面面社会经济数据，来提供高精度的可量化阐发预测。&&&&在这个图谱之上，是iPIN的认知阐发框架。它模仿人的信息明白和处理惩罚进程，从字、词、句义的辨认，到干系认定，再到详细场景和语境明白、案例阐发，末了到多维度排序，形成方案，让呆板可以或许以人的头脑举行阐发和推理。同时，还要让呆板可以或许通过文本方法与人举行交互。这个进程用到了知识图谱、语义阐发、深度学习等多项AI技能。&&&&要让呆板天然地与人交互，正确答复人的题目，必要颠末三步：明白句义、答案检索、答案输出。iPIN通过构建巨大的知识图谱，使得每一个词背后都有一张与之接洽干系的知识网络，呆板通过主线和辅线两条蹊径对答案举行检索，末了以人类可明白的天然语言举行输出。实现这个进程必要呆板对知识图谱举行大量的学习训练。&&&&别的，无论是美满志愿，还是人生导航仪，iPIN提提供用户的，不但仅是阐发结果，另有基于量化数据的阐发进程和解释。可以或许做到这一点，正是由于iPIN的认知阐发框架是用人的头脑去思索，而不是用呆板的头脑去思索。&&&&AlphaGo通过呆板学习算法克服人类，但你和我只能看到结果，无法知道其决定计划进程和来由，呆板也无法向你和我做出表明，更不消说传授给别人。在贸易决定计划里，没有表明就没有说服力，就像川普Twitter治国引来浩繁非议，便是由于他只喊标语不做表明。&&&&iPIN的认知阐发要领跟IBMWatson雷同，通过说理（reasoning）做到阐发进程可表明，这也是认知谋略中很紧张的部分。iPIN在阐发进程的表明上耗费了大量精力，通过动态交互界面或细致阐发进程，力求做到每一步都能让用户知晓其阐发来由，从而帮助用户做出科学理性的决定计划。&&&&寄托这套认知阐发框架，iPIN一方面为人和企业的生长提供谍报阐发，一方面将底层通用技能输出给各行各业。&&&&包括美满志愿、人生导航仪在内的生活筹划是关于人生长的谍报阐发，来岁，办事于企业生长的谍报阐发也会渐渐走向市场。&&&&而在技能输出方面，由于整个认知阐发框架在底层相比拟较通用，越往上越具有行业特性，越难以通用，因此iPIN会和行业巨擘相助，由相助公司提供专家，寄托专家行业经历对技能做出调解，促成目标终极达成。如今，iPIN已经把这套框架用于雇用、执法、构筑、金融等差别范畴，并且只提供标准化技能，不提供定制办事。&&&&雇用范畴，iPIN重要办事一些大的雇用和猎头公司。从客岁6月推出至今，已有两家主流雇用网站接入iPIN技能，和以往数据库相比，iPIN的体系可以大大进步简历检索和立室服从。&&&&执法范畴，iPIN相助了两家执法公司，并投资孵化了一家公司——执法谷，重要办理找状师、找案例的行业痛点。比如要找酒驾方面的状师，可以在搜索栏输入案情“饮酒开车撞人”，体系就会输来由理过相似案件、胜诉率较高的状师列表，还会提供涉案金额、执业地等多维度信息。&&&&构筑范畴，iPIN投资了一家构筑行业知识分享平台——马良行（MAHOOOO），为其提供构筑信息立室技能支持。&&&&金融范畴，iPIN从客岁下半年开始，为两家金融机构做征信技能支持，提供一些个人私家和中小企业信贷方面无法量化的信息，资助他们进步果断正确率。如今尚处于验证期。&&&&收费模式方面，和Watson雷同，iPIN提供了两种方法，一种是根据接口调用次数收费，一种是对付调用量大的公司收取年费。由于iPIN每年本钱较高，因此重要聚焦大客户，年费根本都在百万级以上，雇用行业客单价乃至高出500万，办事客户80%以上都是上市公司或行业龙头。&&&&让决定计划更智能，知识事变主动化远景广阔&&&&杨洋表现，iPIN的愿景是利用最尖真个AI和大数据技能，在专业范畴让呆板拥有媲尤物的认知和阐发本领，以资助人们更好地完成事变，实现知识事变主动化。&&&&互联网的诞生已经代替了一部分传统职业，而人工智能技能的生长会在更大范畴内变化现有职业状态，尤其会代替大量知识性事变。&&&&根据麦肯锡颁布的《驱动将来经济的12种颠覆性技能》研究报告，知识事变主动化有望成为既移动互联网之后大概对经济孕育产生颠覆性影响的第二大技能。到2025年，其经济范围预计会到达5.2-6.7万亿美元，市场远景广阔。&&&&IBMWatson是环球认知谋略范畴的代表，它最早从医疗范畴切入市场，如今也开始进入贸易范畴。即日，IBM宣布将利用Watson的认知谋略本领，提拔集会室白板的交互性，帮助贸易决定计划。&&&&作为“中国版Watson”，2016年，借助美满志愿的付费业务，以及在雇用、执法、构筑等行业的技能输出，iPIN已经取得了一些贸易化结果。杨洋表现，2017年，公司目标营收1个亿，并且实现净利润。&&&&对付接下来的筹划，杨洋指出，iPIN不会各个行业都做，人和企业生长的智能谍报阐发是其核心地点，这两方面会不停由公司主导。而在其他方面，iPIN会基于其认知阐发框架去做技能输出，渐渐共同各行业巨擘公司推动行业变革，同时为他们提供各行各业的数据支持。&&&&根据如今已经或正在落地的四个行业客单价来算，iPIN只要在每个范畴拿下3-5家行业大客户，加上C端美满志愿等生活筹划产品付费率提拔，孝敬小几千万营收，实现1亿目标并不难。接下来，在标准化技能输出方面，无论是拓宽办事范畴，还是从大客户向中小客户延伸，都是可行的营收增长方法。而在主导业务方面，只要把产品做好，扩大用户包围面，进步付费率，就能实现良性生长。&&&&图：iPINCEO杨洋&&&&近期，爱阐发对iPIN首创人兼CEO杨洋举行了调研访谈，现将部分风雅内容摘录如下。&&&&Q：咱们公司如今一共有多少人？布局怎样？&&&&A：一共大概120人，全职100人，练习生20人。研发团队占80%，此中数据团队占60%左右，包括数据工程团队、数据阐发团队以及呆板学习团队，别的另有5个人私家认真BD，别的是品牌、财务、行政等。&&&&Q：您以为对付美满志愿如许的C端产品来说，哪些方面比较紧张？&&&&A：起首肯定是品牌，要是鱼龙稠浊，用户没有品牌认知，只会去选自制的，终极题目也不会得到很好的办理。而要把品牌打响，最紧张的便是办理题目的结果和结果。&&&&结果表如今交互方面，作为一款C端应用，交互对付用户体验非常紧张。对付没有硬件的公司来说，交互便是提拔科技感很紧张的一个方法。你和我原来专注提拔技能，从客岁下半年开始专注提拔人机交互。&&&&结果优劣取决于数据质量和阐发技能。很多公司对数据质量没有太多要求，捞一笔钱就完事儿了，你和我公司把数据放在最紧张的位置，有近百人在做数据，包括让呆板学习已往十几年的登科环境，本钱巨大，很多公司包袱不起。&&&&Q：社会是不绝生长变革的，在志愿填报上，基于已往汗青数据所做的统计的阐发会不会存在滞后题目？&&&&A：这个题目你和我也有思量过，以是在本年新出的版本中就会正式办理这个题目。步伐很大略，便是做预测。&&&&社会是不绝变革的，但一个职业五六年之后的状态是可以预测的。固然这种正确率跟气候预报一样，是个概率题目。举个例子，倘若某个职业群体分外巨大，但是供需紧张失衡，提供方面人才非常缺乏，某些高校又提供了相干方向的人才作育，那短期之内肯定是很难补全，将来几年这种需求肯定会连续下去。这种社会经济数据是很容易预测的，由于你和我对社会底子信息的监控投入非常大。&&&&固然有些东西也是比较难预测的，比如政策因素。你和我2013年开始做高考志愿填报，2014年国度推出新高考，2017年浙沪两地起首实行，2019年天下大部分地区都市施行。新高考会给生活筹划带来很大的市场，这些都是你和我之前没预推测的。&&&&Q：社会经济图谱必要包括个人私家、企业、以及当局、高校统计的大量数据，这些数据咱们是怎样获取的？&&&&A：最开始包袱国度项目，由于学术研究之便就从中获取了很多数据。数据无非分为几类，一类是公然数据，便是当局和企业对外颁布的数据，获取这些数据很大略，便是爬；另有一类黑白公然数据，你和我会跟当局大概企业相助一些项目，通过项目就可以得到大量数据。非公然数据中除了相助数据，另有一些别的数据。&&&&固然，你和我相助的时间会签相助条款，不会对外直接颁布原始数据，而是阐发后的数据，以是你和我已经对这些数据举行过脱敏处理惩罚了。通过这些方法，你和我如今搜集的数据越来越多。&&&&Q：公然和非公然数据分别占多大比例？&&&&A：肯定黑白公然数据占比更大，但是详细比例你和我没有做过统计，你和我偏向于存眷数据包围面、包围正确率、更新频率等等这些指标。&&&&Q：咱们如今在数据获取上没有太大困难吧？&&&&A：我以为对付一家阐发技能出众的公司来讲，数据恐怕不是它的瓶颈，由于中国存在大量有数据没有技能的公司，然后有阐发技能但没有数据的公司相对较少，以是你和我很容易从别人那边得到数据。很多人以为，没有数据没法做，但这反而不是我遇到的困难。&&&&Q：咱们的数据阐发技能壁垒有多高？&&&&A：我可以如许讲，在collectiveintelligence范畴，会你和我这种阐发要领的人很少很少，即便是别的公司跟你和我有完全一样的数据源，也做不到你和我这一步。在环球范畴内我对付这个范畴比较早的一批人，而同批其他人要么已经不做了，要么还留在高校内里。&&&&说实话，中国不缺AI工程师，但分外缺数据阐发能手，这也是你和我公司在招人时遇到的很大一个题目。别的你和我公司数据阐发师中，高出一半都是海归，由于海内不作育这方面的人才。&&&&Q：生活筹划方面将来会有哪些应用？&&&&A：生活筹划是个底子模块，它可以办事于美满志愿、美满生活、人生导航仪如许的产品，以是2C和2B都市有，更多的会跟场景相干。比如学校给门生做职业筹划，可以进步门生目标感，加强学习动力；企业给员工做生长筹划，可以提拔员工生长性，为企业创造更多代价。以是它的应用场景非常多，可以或许包围社会上的大部分人群。&&&&Q：办事企业方面有哪些筹划？&&&&A：企业这块你和我已经开始跟几家企业在做实行了，详细筹划如今还不方便说，来岁应该会有一个大范畴的应用。&&&&Q：进入差别范畴必要做很多事变吗？&&&&A：应该说，在进入某个行业的第一家时，还是会有一些事变，但是这家做出来之后，就会越来越快。你和我最开始从生活筹划和雇用这两个范畴切入，固然二者之间有肯定差别，但也有很多接洽。一旦换到执法行业，还是会有很大跨度，比如许多执法专业术语你和我人都很丢脸懂，更何况呆板。以是当你和我新进入到某个行业时，还是必要针对这个行业的特性，跟行业专家一起去做一些定制化事变。AI在各行业的应用，肯定是人工智能的技能专家、数据科学家，跟行业专家一起精密相助，才华做成事儿。&&&&Q：那提提供同一行业差别公司的接口一样吗？&&&&A：一样，但是他们可以或许拿去做差别的事变，做出差别的界面。&&&&Q：进入新范畴开辟周期大概多久？&&&&A：执法你和我花了3个月。但是前面的生活筹划和雇用，就花了很永劫间去做，固然背面时间会越来越短，由于你和我做得越来越多，也在不绝地总结这内里的通用性在那边。着实你和我怎么会去做差别的范畴，便是在看通用性在那边，由于你和我只管即便是只在通用的范畴内去做，高出的部分就让别人去做。&&&&Q：将来进入其他行业会重要思量哪种方法？&&&&A：相助和投资你和我都市思量，比如如今你和我对皮毛助最着名的便是教诲行业的新东方。执法谷和马良行是你和我投资的，其他如今都是相助。&&&&Q：本钱方面占比最大的是哪一块？&&&&A：硬件摆设本钱很高，你和我光一台办事器本钱就已经上百万元了。&&&&Q：执法谷是怎样红利的？&&&&A：他们会向状师收费。状师通过提供本身的背景和案例信息，可以进步本身的曝光率。执法谷是你和我孵化的一个项目，如今已经独立出去了。&&&&Q：咱们的2B业务是怎样获客的？&&&&A：如今有很多人会主动找你和我，以是本身已经很忙了。固然你和我也有本身的BD团队，也会在行业内做一些推广。别的我另有一些特别的获客方法。我是混沌研习社的导师，过去也是哈工大的老师，通常会去给企业高管讲课，就会有企业直接来找你和我相助。&&&&Q：iPIN因此标准化的技能接口办事于一些行业，怎样跑赢细分范畴垂直型公司？&&&&A：垂直公司肯定有它的上风，但是数据公司有一大特性，便是数据的网络效应，这也是为什么你和我决定跨多个行业去做。在高考志愿填报范畴着实你和我做的时间并不长，但是可以或许做到最好，便是由于你和我不是专门做这个范畴的，你和我有大量其他范畴的数据可以办事这个范畴。同样的，雇用也必要高校各个专业方向的数据，执法也必要雇用的数据，各行各业的信息搜集起来，就会形成巨大的网络效应，也会带来更大的代价，以是说这是你和我的一个上风。&&&&固然，垂直范畴肯定有决定性上风，它会在它所办事的行业里做得更细，无论是专家、还是流程化计划，都市做得比较好。但是在信息包围面和跨范畴信息方面就会比较弱。以是各有优缺点，但至少你和我有独家上风就行了。并且你和我也没有想要把全部行业全部吃失，只会专注本身善于的范畴。&&&&Q：咱们切入这么多范畴，重心方面会有摆设吗？&&&&A：会，从研发角度讲，你和我分三步走，第一步是社会经济图谱，这是统统的根本，也是你和我头两年在做的事变；第二步因此人为本的人的生长谍报阐发；第三步是企业生长谍报阐发，这块从客岁3月份开始，已经做了大半年了，有了大量的技能储备。&&&&从市场角度来讲，你和我本年专注在人生长的谍报阐发上，乃至也包括办事当局。从来岁开始，你和我办事企业生长的谍报阐发就会开始贸易化。&&&&Q：如今AI范畴人才稀缺，咱们在吸取人才方面有没有一些特别的战略？&&&&A：一方面你和我正在跟海内两大TOP高校合建实行室，另一方面你和我也在环球范畴内签约了很多连合研究院的大学传授，用你和我的数据去帮他们做科研。比如你和我的生活筹划项目中，就有9位来自清华、中山大学、哈工大、港科大、美国亚利桑那州立大学等国表里高校的传授。通过这种相助，你和我也更容易打仗到一些他们学校很多良好门生。&&&&Q：如今融资盼望到哪一步了？&&&&A：B轮已经确定了，预计本年3月尾完成。&&&&爱阐发是一家专注于创新企业研究和评价的互联网投研平台。爱阐发以企业代价为研究内核，以独特的产品形态，对创新范畴和标杆企业长期跟踪调研，办事于企业决定计划者、从业者及投资者用户群体。存眷爱阐发大众号ifenxicom，及时获取紧张信息。&&&&添加爱阐发群小秘微信（ID：ifenxi502）顿时参加爱阐发行业讨论群。
扫一扫分享到微信
，求知若渴，虚心若愚。
近期经常听大家说起人工智能，随后说的是目前应用场景还不明确，不知道如何启动。实际上如果大家理解人工智能可以做什么，答案很明显。在我上一篇中，给大家介绍了人工智能、机器学习的定义：http://dwz.c...
&&&&&&&&近期经常听大家说起人工智能，随后说的是目前应用场景还不明确，不知道如何启动。实际上如果大家理解人工智能可以做什么，答案很明显。&&&&&&&&在我上一篇中，给大家介绍了人工智能、机器学习的定义：& & & & & & & & & & & &人工智能从应用角度可以解决三大类问题：1.人可以