3d xpoint ssd多少钱_百度知道
3d xpoint ssd多少钱
答题抽奖
首次认真答题后
即可获得3次抽奖机会，100%中奖。
秦雨欣妈妈
来自娱乐休闲类芝麻团
秦雨欣妈妈
采纳数：555
获赞数：560
参与团队：
当然是剑走偏锋。正如当年的ssd固态硬盘，以极高的价格换取数倍运行速度，这是十分划算的（仅限有钱人，花钱买服务，用钱包换享受）。xpoint也将是如此，但是由于加速方向为读写速度，导致有可能由于喜好者小众而得不到经济上的支持来发展。他们的一大部分消费人群是中国，而中国对于新事物的接受较慢有可能导致迅速夭折。
为你推荐：
其他类似问题
您可能关注的内容
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。502 Bad Gateway
502 Bad Gateway&p&之前推荐一个同学去境外游公司做产品，合同工资是税前1.5万&/p&&p&入职时财务让交两个银行卡账号，当时很不解，但还是交了&/p&&p&等到发工资了，两张卡，一张进账2000，另外一张卡进了10591（税前1.5万，扣除五险一金税后工资是10591，）……&/p&&p&于是好奇问了财务，财务说：“小伙子，一看你就还没结婚，好好跟这老板干，这年头这样的老板不好找啊……”&/p&&p&&br&&/p&&p&&br&&/p&&p&回到问题上来，什么样的老板值得去追随？&/p&&p&当然是不把你当员工的老板！！&/p&&p&毕业时入职创新工场遇到了一个好老板，从来不把我当成员工看&/p&&p&刚入职，把我当学生看待，非常有耐心的去讲解行业趋势、产品、运营、创业这些知识，帮助我快速成长&/p&&p&有一定经验之后，老板把我当兄弟看，每次融资薪水都是翻倍涨，老板吃肉，我们都能喝上汤&/p&&p&在你对北漂产生怀疑时，又不断鼓励你，有一次老板带我去聊合作的时候，路过第三极时对我说，“你的专车司机小陈为你服务，马化腾已经在楼下等了你2个小时了，你有空跟他吃饭么？（某段时间我们在第三极办公，有一天马化腾约某个重要XX吃饭，穿着大衣在第三极楼下站了2个多小时，于是楼内的员工一直调侃这事）”，然后讲了很多关于北漂的事&/p&&p&等你能力足以cover住某个领域之后，老板又会把你当合伙人来看，把期权转换成股权，帮你套现&/p&&p&当在北京买房资格出现问题的时候，找了关系补缴上了12年由于某种原因没有交上的税跟社保，还按照之前五险一金10倍的标准补偿给了我，另外帮我们办理工作居住证&/p&&p&然后在合适的时候，又会问你想要什么，不断的让你认清自己的边界&/p&&p&让你去看更大的世界，让你变的更优秀，以后还能合作做更大的事情&/p&&p&&br&&/p&&p&&br&&/p&&p&&br&&/p&&p&欢迎关注知乎账号 &a href=&https://www.zhihu.com/people/1ae6eb5f9a28aa2390af60& class=&internal&&@噼啊求职&/a& ，获取更多关于求职及职场相关的分享！&/p&&p&添加微信zhangyu-6666，备注暗号“求职”即可进群获取更多内推等福利；更多分享参见&/p&&a href=&https://zhuanlan.zhihu.com/p/& data-draft-node=&block& data-draft-type=&link-card& class=&internal&&噼啊求职：产品、运营求职必备的60篇干货及14节课程、400页PPT&/a&&p&&b&&a href=&https://www.zhihu.com/people/1ae6eb5f9a28aa2390af60& class=&internal&&@噼啊求职&/a&，汇集微信、支付宝、微博、贴吧等资深产品及运营为大家提供最优质的求职咨询及包offer服务，个人微信zhangyu-6666 欢迎勾搭！！&/b&&/p&
之前推荐一个同学去境外游公司做产品，合同工资是税前1.5万入职时财务让交两个银行卡账号，当时很不解，但还是交了等到发工资了，两张卡，一张进账2000，另外一张卡进了10591（税前1.5万，扣除五险一金税后工资是10591，）……于是好奇问了财务，财务说：“…
&p&最近有很多妹子在我站讨论ssd，所以ssd是继口红之后的第二个姑娘们最爱的东西吗。（哼！又想骗我买硬盘！）但是ssd和那么多品牌和那么多色号的口红相比，都会让人难以抉择。所以本篇会有固态吧的大牛嘚瑟哥和大家推荐一下2018那些硬盘值得买。&/p&&h2&值得买的固态硬盘推荐2018.5 &/h2&&p&BY：不羁的嘚瑟哥&/p&&p&第一部分，新闻消息&/p&&p&&br&&/p&&figure&&img src=&https://pic3.zhimg.com/50/v2-720dd3f3de00ffb16ab9d_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&600& data-rawheight=&397& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&https://pic3.zhimg.com/50/v2-720dd3f3de00ffb16ab9d_r.jpg&&&/figure&&p&&br&&/p&&p&1、&a href=&//link.zhihu.com/?target=http%3A//pinpai.smzdm.com/1699/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&英特尔&/a&发布了905P，相当于是信仰900P的加强版，没错，也就是牙膏厂又挤出了些许牙膏…它是目前&a href=&//link.zhihu.com/?target=https%3A//www.smzdm.com/fenlei/cunchushebei/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&存储设备&/a&中速度最快的产品。这款价值1299美元（合8300人民币）的960GB SSD成为最顶级零售固态，如三星970 EVO（1TB）和英特尔自己的900P都被它统统超越。当905P在运行PCMark 8时，905P比其竞争对手 900P（480GB）快11％，比三星970 EVO（1TB）快300％以上。它还有一个480G的U.2版本。另外，英特尔整天灯，灯灯，灯灯灯的广告似乎早已说明了一切…没错905P开始玩灯了…牙膏厂你牛逼，科技以玩灯为主，我服…&/p&&p&&br&&/p&&figure&&img src=&https://pic2.zhimg.com/50/v2-b4bab9c34d018d8cd1f2b2e98b8e4eed_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&600& data-rawheight=&339& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&https://pic2.zhimg.com/50/v2-b4bab9c34d018d8cd1f2b2e98b8e4eed_r.jpg&&&/figure&&p&2、三星4.24发布了最新的970EVO和970PRO，其中970EVO拥有250GB、500GB、1TB和2TB四种容量，970PRO则拥有512GB和1TB两种容量可选。970EVO相较960EVO颗粒从48层V-NAND闪存TLC升级到了60层，在连续读取上有了小幅提升，提升较大的还是在连续写入和随机性能上，并且写入寿命也有了进一步的提升。5月7日正式上市，而比较有意思的是，在美国&a href=&//link.zhihu.com/?target=http%3A//pinpai.smzdm.com/257/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&三星官网&/a&970 EVO便宜了10-50美元，幅度5-13％，970 RPO则一下子掉了80-130美元，幅度高达20-25％！由于970 PRO降幅较大，使得970PRO的价格和970EVO的价格仅相差25%，中高端玩家选择970PRO的数量预计将会增加不少。国内970EVO、970PRO目前还都是预售，如果能大量铺货的话，是否进一步促进960EVO等固态进一步下跌，我们拭目以待。&/p&&p&3、三星、海力士、镁光让人给集体告了，被指控合伙限制DRAM内存芯片供应，从而保持零售价格处于高位。从2016年第一季度到2017年第三季度这三家公司的全球DRAM芯片销售额提升了一倍以上，原因是三家公司的产量集体下降，并提升售价。在这里呼吁三星延续光荣的传统，充当“污点证人”卖一波队友，谢谢。&/p&&p&第二部分：固态推荐&/p&&p&目前各个固态的降幅不同，不好具体区分级别了。我就直接把推荐的一些固态简单写一下，排名不分先后，顺序没有规律。&/p&&p&&br&&/p&&figure&&img src=&https://pic2.zhimg.com/50/v2-4570dde23d9d24b92e79f72c03fbfb9b_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&558& data-rawheight=&350& class=&origin_image zh-lightbox-thumb& width=&558& data-original=&https://pic2.zhimg.com/50/v2-4570dde23d9d24b92e79f72c03fbfb9b_r.jpg&&&/figure&&p&&br&&/p&&p&镁光MX500：镁光英睿达最近这是突然想起来薄利多销了？镁光：“老铁们，我先卖一波颗粒的，这一两年啊，固态和内存颗粒都屯多了，清一清”。近期镁光MX500在狗东自营的售价降到了420以下，不弱的性能加上狗东售后加持，还是很不错的选择。不过现在狗东自营暂时无货了，你们这强大的购买力啊…而镁光是没有联保的，只有店保，所以还要上车，需要等等或是选个靠谱店铺。以省钱的角度看，假如都是店保，选个镁光1100还要更便宜，实际使用体验也没啥差距。&/p&&p&&br&&/p&&figure&&img src=&https://pic2.zhimg.com/50/v2-d6d0ab2f13d305e1e3fce8_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&542& data-rawheight=&393& class=&origin_image zh-lightbox-thumb& width=&542& data-original=&https://pic2.zhimg.com/50/v2-d6d0ab2f13d305e1e3fce8_r.jpg&&&/figure&&p&&br&&/p&&p&镁光1100：镁光MX300的OEM版本，马牌1074主控，镁光第一代32层 3D TLC颗粒。256G版本目前的价格330左右，店保。这个价格还是原厂颗粒，还要什么自行车。不过，看最近整个固态市场的价格似乎都还在缓缓下降。镁光1100的优势能不能继续明显还是看价格对比。&/p&&p&&br&&/p&&figure&&img src=&https://pic3.zhimg.com/50/v2-4f440abfaccd_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&600& data-rawheight=&378& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&https://pic3.zhimg.com/50/v2-4f440abfaccd_r.jpg&&&/figure&&p&&br&&/p&&p&建兴V5S+、V5G+：256G容量的AHCI协议固态出了不少可以选择的型号，如镁光1100、镁光MX500、三星860EVO等，128G容量的车貌似不多，某些品牌的128G固态只是偷偷开车而不在明面上降价，想上车比较难，我就不提了。从去年就在推荐V5，这个盘TLC颗粒，但官方承诺2000PE的写入寿命，入门级中还是不错的，三年联保。最近价格竟然还略微有些小张，失去价格优势，真不如加个几十块上个镁光256G 1100的车~&/p&&p&&br&&/p&&figure&&img src=&https://pic4.zhimg.com/50/v2-6ba002be94b1c55e65ee85_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&600& data-rawheight=&468& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&https://pic4.zhimg.com/50/v2-6ba002be94b1c55e65ee85_r.jpg&&&/figure&&p&&br&&/p&&p&东芝Q200EX：这个没有太多要说的，历经检验以中庸稳定为特点的盘，东芝原厂15nm MLC颗粒，最近469左右的价格，加上东芝售后改邪归正，240G及以上东芝电子给联保，128G委托东芝总代理给联保，所以因为东芝售后的进步推荐一下。和三星860EVO 256G价格基本相同，二者随便选吧，都可以的。&/p&&p&&br&&/p&&p&&br&&/p&&figure&&img src=&https://pic3.zhimg.com/50/v2-8e1deefc79c7c2e0b35444_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&600& data-rawheight=&442& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&https://pic3.zhimg.com/50/v2-8e1deefc79c7c2e0b35444_r.jpg&&&/figure&&p&&br&&/p&&p&三星860EVO：860EVO目前的价格也是处在460左右，和东芝Q200EX又干上了。在跑分和标称寿命上都要高于850EVO，而且三星只要能提供出购买记录（比如淘宝订单截图）就可以联保，所以给一波推荐，性能在定位中端的SATA3固态里算是很好的，都是淘宝买的话，加个30、40块钱买860EVO，我觉得比买MX500合适。我这三星黑，竟然在这推荐棒子货…&/p&&p&&br&&/p&&figure&&img src=&https://pic3.zhimg.com/50/v2-0f439deac7e66f562db3af25c1797d87_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&496& data-rawheight=&425& class=&origin_image zh-lightbox-thumb& width=&496& data-original=&https://pic3.zhimg.com/50/v2-0f439deac7e66f562db3af25c1797d87_r.jpg&&&/figure&&p&&br&&/p&&p&东芝TR200：这个盘被戏称“特弱200”，上个月已经和大家聊过这款固态了。这个月这个盘继续降价，目前某宝已经降到了355元左右。价格上和镁光1100已经非常接近，虽然性能上没有镁光1100高，但是TR200有三年联保啊，东芝厂家三年包换。如果预算确实不多，又希望买到有联保的原厂颗粒的&a href=&//link.zhihu.com/?target=https%3A//www.smzdm.com/fenlei/gutaiyingpan/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&固态硬盘&/a&，那么可以考虑一下某宝买TR200，万一脸黑，不至于血本无归，可以换个新的。它的联保和三星类似，只要提供购买证明，例如淘宝订单截图就可以享受三年换新服务了。给老电脑升级、&a href=&//link.zhihu.com/?target=https%3A//www.smzdm.com/fenlei/richangbangong/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&日常办公&/a&、看视频、打LOL等应用场景都足够应对。&/p&&p&&br&&/p&&figure&&img src=&https://pic1.zhimg.com/50/v2-c6cbcdbaa0332cee_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&571& data-rawheight=&373& class=&origin_image zh-lightbox-thumb& width=&571& data-original=&https://pic1.zhimg.com/50/v2-c6cbcdbaa0332cee_r.jpg&&&/figure&&p&&br&&/p&&p&因特尔S3700、S3710、S3610、S3500、S3510、S3520等一众因特尔企业级固态：35、36 、37区别：数字越大 4K写入越快，36、37有 HET 技术而 35 没有。35对应读取密集型，36均衡，37写入密集。因特尔企业盘都带有掉电保护，它的颗粒的寿命就不需要多说了，过万PE？太轻松了好么。作为高性能大容量的仓库盘稳定，对于写入量较大的用户来说是个极好的选择。&/p&&p&&br&&/p&&figure&&img src=&https://pic4.zhimg.com/50/v2-c86aa952b9dd3c0f24288_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&600& data-rawheight=&353& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&https://pic4.zhimg.com/50/v2-c86aa952b9dd3c0f24288_r.jpg&&&/figure&&p&&br&&/p&&p&三星SM961：目前最推荐的NVMe之一，消费级市场M.2接口性能顶尖固态之一，MLC颗粒，现在价格也很便宜了，温度高一些，除了没有联保，但是三星的OEM极少听说有翻车的。采用了全新的“Polaris”八通道主控，三星第三代48层堆叠V-NAND，跑分相当强悍，一般通用说法是128G和256G采用2D MLC，512G及以上版本使用了3D MLC颗粒&/p&&p&&br&&/p&&figure&&img src=&https://pic4.zhimg.com/50/v2-58ca8f30b602dcb0c02ef_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&593& data-rawheight=&553& class=&origin_image zh-lightbox-thumb& width=&593& data-original=&https://pic4.zhimg.com/50/v2-58ca8f30b602dcb0c02ef_r.jpg&&&/figure&&p&&br&&/p&&p&三星PM981：上一期着重聊了一下这个固态，还开玩笑说是重点，这一期要考……发烧级的固态，除了颗粒是TLC，但其实到了这一级别，已经不必太纠结颗粒了，就这性能，这价格，要什么自行车，自己心里没点B数么。和SM961相比怎么选？容量大的时候，加上价差大的时候，选PM981。目前和PM961价格差不多，选择PM981。&/p&&p&&br&&/p&&figure&&img src=&https://pic3.zhimg.com/50/v2-5eb00880cfb1b4bcc67b_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&600& data-rawheight=&302& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&https://pic3.zhimg.com/50/v2-5eb00880cfb1b4bcc67b_r.jpg&&&/figure&&p&&br&&/p&&p&三星960EVO（推荐）、三星PM961（不推荐）：960EVO曾经一度是“智商检测”，原因在于三星OEM固态超低的翻车概率，以及960EVO和PM961相同的性能。但是现在随着固态市场整体的下降，两者的价格已经开始基本相同，都处于560元左右，960EVO在有联保的情况下性价比直接碾压PM961。另外，PM961和PM981的价格也是基本相同的，PM981要比PM961要好。&/p&&p&&br&&/p&&figure&&img src=&https://pic4.zhimg.com/50/v2-5c87cfe53be0dc5edeec694_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&600& data-rawheight=&376& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&https://pic4.zhimg.com/50/v2-5c87cfe53be0dc5edeec694_r.jpg&&&/figure&&p&&br&&/p&&p&浦科特M9Pe:这一固态的性能对比960EVO略高一丢丢，日常使用不会体现出差距。这一固态平时的价格是669，但是车比较多，官方经常放出100元、80元等优惠券，券后569左右，官方联保5年，浦科特还是三星是你的菜？那就看看560元价位的三星960EVO和浦科特M9pe你选哪个了。 &/p&&p&&br&&/p&&figure&&img src=&https://pic4.zhimg.com/50/v2-fcbdfd4cfd0ae98b2ec1_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&600& data-rawheight=&398& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&https://pic4.zhimg.com/50/v2-fcbdfd4cfd0ae98b2ec1_r.jpg&&&/figure&&p&&br&&/p&&p&建兴T10 PLUS:这个盘是带灯的，红色的灯，现在固态都开始流行玩灯了？我这种老年人真的是跟不上时代了。这一固态采用东芝原厂64层3D TLC颗粒，纯国产的STAR1000主控，自带中国风红色散热片，全国三年联保。性能可以参考PM961 ，价格目前已经跌破600，喜欢灯，支持国产主控，在意联保的考虑一下。&/p&&p&&br&&/p&&figure&&img src=&https://pic4.zhimg.com/50/v2-ae9023bddb4fcd6d54154b_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&546& data-rawheight=&444& class=&origin_image zh-lightbox-thumb& width=&546& data-original=&https://pic4.zhimg.com/50/v2-ae9023bddb4fcd6d54154b_r.jpg&&&/figure&&p&&br&&/p&&p&&br&&/p&&p&英特尔760P：上一期好多人问我为什么不写760P，我的回答是…我真的是忘了……不过这一期我想说，760P性能上和960EVO、浦科特M9Pe都差不多，但960EVO和M9Pe现在560到569左右…你一个要求必须有发票才给保的固态价格基本620以上有啥优势？上个月或许还有优势……&/p&&p&&br&&/p&&figure&&img src=&https://pic3.zhimg.com/50/v2-d1e330603fbb6efd0c355f0_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&600& data-rawheight=&269& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&https://pic3.zhimg.com/50/v2-d1e330603fbb6efd0c355f0_r.jpg&&&/figure&&p&&br&&/p&&p&东芝XG3（OCZ RD400的OEM版本，推荐台式机使用）：东芝XG3曾经水很深，容易翻车，但是经过很长一段时间的清仓后，目前在售的XG3基本都是靠谱的版本了，不放心的吧友可以翻看我以前的帖子，对这一固态的版本有具体叙述。主控来自群联，颗粒是东芝原厂15nm MLC，东芝XG3可以使用RD400的驱动，性能不错，温度在笔记本里太高，建议台式机再考虑这个。这一固态最好是做从盘而不是系统盘。因为不论哪个批次，都有几率出现重启不认盘的现象，不过不用慌，断电源，再启动就好，所以最好做从盘。&/p&&p&&br&&/p&&figure&&img src=&https://pic3.zhimg.com/50/v2-383d1add74afc9b013e767a9512c88bf_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&579& data-rawheight=&429& class=&origin_image zh-lightbox-thumb& width=&579& data-original=&https://pic3.zhimg.com/50/v2-383d1add74afc9b013e767a9512c88bf_r.jpg&&&/figure&&p&&br&&/p&&p&建兴T10：主控是群联PS5007-E7，颗粒是群联封装的东芝15nm MLC颗粒，虽然是白片，不过群联封装的颗粒算是最接近原厂片的颗粒吧，毕竟和东芝是紧密的小伙伴。性能和XG3差不多，在固件上更好一些，官方三年联保。自带散热片。建议1.2固件，性能降低5%，温度下降10多度，台式机可上，笔记本刷了固件勉强接受，看个人接受度吧。。。加了联保这价格自然上去了不少，大家自行考虑。&/p&&p&&br&&/p&&figure&&img src=&https://pic1.zhimg.com/50/v2-5a2dbfbac7e3e8c5e9aa0631_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&600& data-rawheight=&385& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&https://pic1.zhimg.com/50/v2-5a2dbfbac7e3e8c5e9aa0631_r.jpg&&&/figure&&p&&br&&/p&&p&建兴CX2：这盘我曾经我非常的推荐，浦科特M8peGN的OEM版本，各方面和M8peGN基本一致，在温度的控制上甚至要更胜一筹，少有的适合放笔记本使用的性能级NVMe固态之一，没有联保。目前基本只能在咸鱼见到了，撕B鱼还是小心点吧。&/p&&p&&br&&/p&&figure&&img src=&https://pic4.zhimg.com/50/v2-ab3a63bf2fc86a1c95418_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&600& data-rawheight=&442& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&https://pic4.zhimg.com/50/v2-ab3a63bf2fc86a1c95418_r.jpg&&&/figure&&p&&br&&/p&&p& P3700、P3605、P3608、P3600：这些基本都属于信仰系列，不过近期的价格也下降了很多。其中P3600 U.2接口400G全新的在深水宝大概1400，而拆机货、二手货价格则要更加便宜，它采用的20nm HET MLC，寿命50000PE，目前它的价格和已经停产的英特尔750当初的价格差不多了，但P3600相当于英特尔750他爹，英特尔750的MLC只是普通的20nm MLC。更高端P3700的HET MLC寿命等同于SLC。颗粒质量不是一个层次。&/p&&p&&br&&/p&&figure&&img src=&https://pic3.zhimg.com/50/v2-4bce68e857acd34d12c7e_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&583& data-rawheight=&533& class=&origin_image zh-lightbox-thumb& width=&583& data-original=&https://pic3.zhimg.com/50/v2-4bce68e857acd34d12c7e_r.jpg&&&/figure&&p&&br&&/p&&p&P4800X、英特尔900P、905P：因特尔3DXpoint技术真正的根正苗红的固态产品，傲疼内存？不算的。3D Xpoint非易失性存储技术在我看来应该是代表固态发展的一个方向，这个技术可以说是存储技术的革命性突破，在速度和耐用性上都达到了目前NAND闪存的1000倍。在延迟方面，3D Xpoint更是NAND闪存的千分之一，DRAM的十倍，这尤其突显了其可以进行高IO操作的能力。最关键的地方在于，3D Xpoint是新兴技术，可以预见3D Xpoint随着技术的不断成熟，其价格会不断的下降，所以3D Xpoint的未来值得期待。想发烧，想高端，现在请上这三个盘。&/p&&p&&br&&/p&&p&by：不羁的嘚瑟哥&/p&&p&&b&本内容来源于@什么值得买&a href=&//link.zhihu.com/?target=http%3A//SMZDM.COM& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&SMZDM.COM&/span&&span class=&invisible&&&/span&&/a&&/b&&/p&&p&&b&原文链接：&/b&&a href=&//link.zhihu.com/?target=https%3A//post.smzdm.com/p/685323/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&值得买的固态硬盘推荐2018.5_生活记录_什么值得买&/a&&/p&&figure&&img src=&https://pic3.zhimg.com/50/v2-d86c3357518cff4b993cfce06f489ec1_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&720& data-rawheight=&400& class=&origin_image zh-lightbox-thumb& width=&720& data-original=&https://pic3.zhimg.com/50/v2-d86c3357518cff4b993cfce06f489ec1_r.jpg&&&/figure&
最近有很多妹子在我站讨论ssd，所以ssd是继口红之后的第二个姑娘们最爱的东西吗。（哼！又想骗我买硬盘！）但是ssd和那么多品牌和那么多色号的口红相比，都会让人难以抉择。所以本篇会有固态吧的大牛嘚瑟哥和大家推荐一下2018那些硬盘值得买。值得买的固态…
&p&匿了，怕被发现。 &/p&&p&88年，硕士毕业，毕业后进入BAT非技术岗。&/p&&p&工作业余一直在做一些互联网小项目，一两人的兼职团队， 一个项目大概一年赚一两百万，中间又买了两套房，翻了一倍。&/p&&p&大概赚到三四百万后出来创业，创业项目走融资路线，没赚什么钱，倒是之前投资的比特币赚了近1000万。
&/p&&p&现在加上房产、虚拟货币等资产大概三千万左右。 &/p&&p&几条感悟&/p&&p&1. 千万不要靠死工资，不要让自己的格局被职场限制，世界很大，我身边很多资产几千万、上亿的人， 没有一个靠工资。 &/p&&p&2. 赚钱这事不是靠你的专业能力，而是看你能提供的价值而别人无法提供，是否有技术难度不重要，是否有专业含量不重要，找到市场需要的东西，整合资源做成产品提供给别人，远比自己作为专业人士提供价值收益更大。
&/p&&p&3. 保持开放，多尝试很多新鲜的事物，千万不能固步自封，不能局限在自己的领域，世界很大，赚钱的机会很多。 &/p&&p&4. 任何一个小细分市场，个人上去赚100多万都不是什么难事。 不信？ 你说说你所在的行业，我就可以给你举出 一年赚几百万的小项目。&/p&&p&&br&&/p&&p&———分割线——&/p&&p&过年没看知乎，发现评论一堆说我吹的，世界比你想象的大的多，赚钱的方法也比你知道的多的多。 &/p&&p&举个最简单的例子， 微信跳一跳这么火，如果是你，你能怎么通过跳一跳赚钱？&/p&&p&是我的话，我有100种办法从这里面赚钱，你信吗？&/p&&p&淘宝网上搜索关键词『跳一跳』，看看需求在哪。&/p&&blockquote&跳一跳神器&br&跳一跳挂&br&跳一跳上分&br&跳一跳玩具&br&跳一跳工具&br&跳一跳物理工具&br&跳一跳小人玩具&br&跳一跳代玩&br&跳一跳脚本&/blockquote&&p&再看看销量，收入是不是已经比你工资多了？ &/p&&p&再到微信里面看看你有多少好友在玩跳一跳，你影响力大一些的话，组织一个跳一跳比赛怎么样?
弄一个线下场所，设计一套比赛流程，让大家在线下竞技，顺便收报名费。如果男女比例协调，再组织个交友的活动？&/p&&p&再搜索一下快手、抖音上有哪些视频在介绍跳一跳的，看看流量大的那些PO主，整理汇总一下，类似于跳一跳的app或者游戏或者产品是不是有推广需求呢？ 带着需求来与这些PO主聊推广合作， 赚个差价？&/p&&p&有玩的需求，对应的衍生需求是不是出来了？跳一跳攻略，跳一跳排行榜，跳一跳解读，每个主题能不能做一个公众号去吸引流量？不知道怎么做， 微博上/公众号上去搜相关关键词，已经很多人跑在前面了。&/p&&p&会一些技术？跳一跳这么简单的版本上加一些花样再开发一个版本怎么样？&/p&&blockquote&谁能在最短的时间内跳完？&br&谁能在同样的时间内跳完最多？&/blockquote&&p&跳一跳只能在微信里面玩，在网页上玩跳一跳的需求有吗？ 肯定有。 &/p&&p&跳一跳在微信上这么火，国外会有很多需求吗？移植过去。 &/p&&p&跳一跳玩的很好？做一个知乎live的课程怎么样? &我是如何跳一跳冲到1000分的&，猜有人会报名吗？ 肯定有。 &/p&&p&是不是有需求想参加跳一跳多人赛？ 你有别人也有。付费10元加入你的群，24小时内随时可以组队玩， 能收钱吗？ 当然能。满足需求就可以收钱， 为什么不能。&/p&&p&。。。。&/p&&p&所有你的需求，都对应着一个与你相似的同样一批人的需求。 这个小需求也许并不是刚需、高频、大市场，这个需求无法帮你融资，无法帮你创业，无法帮你走上人生巅峰，但是，帮助你成为赚到百万的人，也许没你想象的那么难。 &/p&
匿了，怕被发现。 88年，硕士毕业，毕业后进入BAT非技术岗。工作业余一直在做一些互联网小项目，一两人的兼职团队， 一个项目大概一年赚一两百万，中间又买了两套房，翻了一倍。大概赚到三四百万后出来创业，创业项目走融资路线，没赚什么钱，倒是…
&figure&&img src=&https://pic3.zhimg.com/v2-fec4c9a02fe4cf95387c6cef17303bee_b.jpg& data-rawwidth=&720& data-rawheight=&346& class=&origin_image zh-lightbox-thumb& width=&720& data-original=&https://pic3.zhimg.com/v2-fec4c9a02fe4cf95387c6cef17303bee_r.jpg&&&/figure&&p&&b&申明：&/b&&/p&&p&本文旨在为普通程序员（Java程序员最佳）提供一个入门级别的大数据技术学习路径，不适用于大数据工程师的进阶学习，也不适用于零编程基础的同学。&/p&&hr&&p&&b&前言：&/b&&/p&&ul&&li&一、背景介绍&/li&&li&二、大数据介绍&/li&&/ul&&p&&b&正文：&/b&&/p&&ul&&li&一、大数据相关的工作介绍&/li&&li&二、大数据工程师的技能要求&/li&&li&三、大数据学习规划&/li&&li&四、持续学习资源推荐（书籍，博客，网站）&/li&&li&五、项目案例分析（批处理+实时处理）&/li&&/ul&&hr&&h2&前言&/h2&&h2&一、背景介绍&/h2&&p&本人目前是一名大数据工程师，项目数据50T，日均数据增长20G左右，个人是从Java后端开发，经过3个月的业余自学成功转型大数据工程师。&/p&&h2&二、大数据介绍&/h2&&p&大数据本质也是数据，但是又有了新的特征，包括&b&数据来源广&/b&、&b&数据格式多样化&/b&（结构化数据、非结构化数据、Excel文件、文本文件等）、&b&数据量大&/b&（最少也是TB级别的、甚至可能是PB级别）、&b&数据增长速度快&/b&等。&/p&&p&针对以上主要的4个特征我们需要考虑以下问题：&/p&&ol&&li&数据来源广，该如何采集汇总？，对应出现了Sqoop，Cammel，Datax等工具。&/li&&li&数据采集之后，该如何存储？，对应出现了GFS，HDFS，TFS等分布式文件存储系统。&/li&&li&由于数据增长速度快，数据存储就必须可以水平扩展。&/li&&li&数据存储之后，该如何通过运算快速转化成一致的格式，该如何快速运算出自己想要的结果？&/li&&/ol&&p&对应的MapReduce这样的分布式运算框架解决了这个问题；但是写MapReduce需要Java代码量很大，所以出现了Hive，Pig等将SQL转化成MapReduce的解析引擎；&/p&&p&普通的MapReduce处理数据只能一批一批地处理，时间延迟太长，为了实现每输入一条数据就能得到结果，于是出现了Storm/JStorm这样的低时延的流式计算框架；&/p&&p&但是如果同时需要&b&批处理&/b&和&b&流处理&/b&，按照如上就得搭两个集群，Hadoop集群（包括HDFS+MapReduce+Yarn）和Storm集群，不易于管理，所以出现了Spark这样的一站式的计算框架，既可以进行批处理，又可以进行流处理（实质上是微批处理）。&/p&&ol&&li&而后Lambda架构，Kappa架构的出现，又提供了一种业务处理的通用架构。&/li&&li&为了提高工作效率，加快运速度，出现了一些辅助工具：&/li&&/ol&&ul&&li&Ozzie，azkaban：定时任务调度的工具。&/li&&li&Hue，Zepplin：图形化任务执行管理，结果查看工具。&/li&&li&Scala语言：编写Spark程序的最佳语言，当然也可以选择用Python。&/li&&li&Python语言：编写一些脚本时会用到。&/li&&li&Allluxio，Kylin等：通过对存储的数据进行预处理，加快运算速度的工具。&/li&&/ul&&p&以上大致就把整个大数据生态里面用到的工具所解决的问题列举了一遍，知道了他们为什么而出现或者说出现是为了解决什么问题，进行学习的时候就有的放矢了。&/p&&h2&正文&/h2&&h2&一、大数据相关工作介绍&/h2&&p&大数据方向的工作目前主要分为三个主要方向:&/p&&ol&&li&大数据工程师&/li&&li&数据分析师&/li&&li&大数据科学家&/li&&li&其他（数据挖掘等）&/li&&/ol&&h2&二、大数据工程师的技能要求&/h2&&p&附上大数据工程师技能图：&/p&&p&&br&&/p&&figure&&img src=&https://pic1.zhimg.com/v2-bcf09fb3a8_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&800& data-rawheight=&528& class=&origin_image zh-lightbox-thumb& width=&800& data-original=&https://pic1.zhimg.com/v2-bcf09fb3a8_r.jpg&&&/figure&&p&&br&&/p&&p&&b&必须掌握的技能11条&/b&&/p&&ol&&li&Java高级(虚拟机、并发)&/li&&li&Linux 基本操作&/li&&li&Hadoop（HDFS+MapReduce+Yarn ）&/li&&li&HBase（JavaAPI操作+Phoenix ）&/li&&li&Hive(Hql基本操作和原理理解）&/li&&li&Kafka&/li&&li&Storm/JStorm&/li&&li&Scala&/li&&li&Python&/li&&li&Spark (Core+sparksql+Spark streaming ）&/li&&li&辅助小工具(Sqoop/Flume/Oozie/Hue等)&/li&&/ol&&p&&b&高阶技能6条&/b&&/p&&ol&&li&机器学习算法以及mahout库加MLlib&/li&&li&R语言&/li&&li&Lambda 架构&/li&&li&Kappa架构&/li&&li&Kylin&/li&&li&Alluxio&/li&&/ol&&h2&三、学习路径&/h2&&p&假设每天可以抽出3个小时的有效学习时间，加上周末每天保证10个小时的有效学习时间；&/p&&p&3个月会有（21&i&3+4&/i&2&i&10）&/i&3=&b&423&/b&小时的学习时间。&/p&&p&&b&第一阶段（基础阶段）&/b&&/p&&p&1）Linux学习（跟鸟哥学就ok了）-----20小时&/p&&ol&&li&Linux操作系统介绍与安装。&/li&&li&Linux常用命令。&/li&&li&Linux常用软件安装。&/li&&li&Linux网络。&/li&&li&防火墙。&/li&&li&Shell编程等。&/li&&/ol&&p&官网：&a href=&http://link.zhihu.com/?target=https%3A//www.centos.org/download/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://www.&/span&&span class=&visible&&centos.org/download/&/span&&span class=&invisible&&&/span&&/a&&br&中文社区：&a href=&http://link.zhihu.com/?target=http%3A//www.linuxidc.com/Linux/919.htm& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&linuxidc.com/Linux/2017&/span&&span class=&invisible&&-09/146919.htm&/span&&span class=&ellipsis&&&/span&&/a&&/p&&p&2）Java 高级学习（《深入理解Java虚拟机》、《Java高并发实战》）---30小时&/p&&ol&&li&掌握多线程。&/li&&li&掌握并发包下的队列。&/li&&li&了解JMS。&/li&&li&掌握JVM技术。&/li&&li&掌握反射和动态代理。&/li&&/ol&&p&官网：&a href=&http://link.zhihu.com/?target=https%3A//www.java.com/zh_CN/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://www.&/span&&span class=&visible&&java.com/zh_CN/&/span&&span class=&invisible&&&/span&&/a&&br&中文社区：&a href=&http://link.zhihu.com/?target=http%3A//www.java-cn.com/index.html& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&java-cn.com/index.html&/span&&span class=&invisible&&&/span&&/a&&/p&&p&3）Zookeeper学习（可以参照这篇博客进行学习：&a href=&http://link.zhihu.com/?target=http%3A//www.cnblogs.com/wuxl360/p/5817471.html& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&cnblogs.com/wuxl360/p/5&/span&&span class=&invisible&&817471.html&/span&&span class=&ellipsis&&&/span&&/a&）&/p&&ol&&li&Zookeeper分布式协调服务介绍。&/li&&li&Zookeeper集群的安装部署。&/li&&li&Zookeeper数据结构、命令。&/li&&li&Zookeeper的原理以及选举机制。&/li&&/ol&&p&官网：&a href=&http://link.zhihu.com/?target=http%3A//zookeeper.apache.org/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&zookeeper.apache.org/&/span&&span class=&invisible&&&/span&&/a&&br&中文社区：&a href=&http://link.zhihu.com/?target=http%3A//www.aboutyun.com/forum-149-1.html& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&aboutyun.com/forum-149-&/span&&span class=&invisible&&1.html&/span&&span class=&ellipsis&&&/span&&/a&&/p&&p&&b&第二阶段（攻坚阶段）&/b&&/p&&p&4）Hadoop （《Hadoop 权威指南》）---80小时&/p&&ol&&li&HDFS&/li&&/ol&&ul&&li&HDFS的概念和特性。&/li&&li&HDFS的shell操作。&/li&&li&HDFS的工作机制。&/li&&li&HDFS的Java应用开发。&/li&&/ul&&ol&&li&MapReduce&/li&&/ol&&ul&&li&运行WordCount示例程序。&/li&&li&了解MapReduce内部的运行机制。&/li&&ul&&li&MapReduce程序运行流程解析。&/li&&li&MapTask并发数的决定机制。&/li&&li&MapReduce中的combiner组件应用。&/li&&li&MapReduce中的序列化框架及应用。&/li&&li&MapReduce中的排序。&/li&&li&MapReduce中的自定义分区实现。&/li&&li&MapReduce的shuffle机制。&/li&&li&MapReduce利用数据压缩进行优化。&/li&&li&MapReduce程序与YARN之间的关系。&/li&&li&MapReduce参数优化。&/li&&/ul&&/ul&&p&&br&&/p&&p&&br&&/p&&ol&&li&MapReduce的Java应用开发&/li&&/ol&&p&官网：&a href=&http://link.zhihu.com/?target=http%3A//hadoop.apache.org/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&hadoop.apache.org/&/span&&span class=&invisible&&&/span&&/a&&br&中文文档：&a href=&http://link.zhihu.com/?target=http%3A//hadoop.apache.org/docs/r1.0.4/cn/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&hadoop.apache.org/docs/&/span&&span class=&invisible&&r1.0.4/cn/&/span&&span class=&ellipsis&&&/span&&/a&&br&中文社区：&a href=&http://link.zhihu.com/?target=http%3A//www.aboutyun.com/forum-143-1.html& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&aboutyun.com/forum-143-&/span&&span class=&invisible&&1.html&/span&&span class=&ellipsis&&&/span&&/a&&/p&&p&5）Hive（《Hive开发指南》）--20小时&/p&&ol&&li&Hive 基本概念&/li&&/ol&&ul&&li&Hive 应用场景。&/li&&li&Hive 与hadoop的关系。&/li&&li&Hive 与传统数据库对比。&/li&&li&Hive 的数据存储机制。&/li&&/ul&&p&&br&&/p&&ol&&li&Hive 基本操作&/li&&/ol&&ul&&li&Hive 中的DDL操作。&/li&&li&在Hive 中如何实现高效的JOIN查询。&/li&&li&Hive 的内置函数应用。&/li&&li&Hive shell的高级使用方式。&/li&&li&Hive 常用参数配置。&/li&&li&Hive 自定义函数和Transform的使用技巧。&/li&&li&Hive UDF/UDAF开发实例。&/li&&/ul&&p&&br&&/p&&ol&&li&Hive 执行过程分析及优化策略&/li&&/ol&&p&官网：&a href=&http://link.zhihu.com/?target=https%3A//hive.apache.org/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&hive.apache.org/&/span&&span class=&invisible&&&/span&&/a&&br&中文入门文档：&a href=&http://link.zhihu.com/?target=http%3A//www.aboutyun.com/thread-.html& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&aboutyun.com/thread-118&/span&&span class=&invisible&&73-1-1.html&/span&&span class=&ellipsis&&&/span&&/a&&br&中文社区：&a href=&http://link.zhihu.com/?target=http%3A//www.aboutyun.com/thread-.html& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&aboutyun.com/thread-759&/span&&span class=&invisible&&8-1-1.html&/span&&span class=&ellipsis&&&/span&&/a&&/p&&p&6）HBase（《HBase权威指南》）---20小时&/p&&ol&&li&hbase简介。&/li&&li&habse安装。&/li&&li&hbase数据模型。&/li&&li&hbase命令。&/li&&li&hbase开发。&/li&&li&hbase原理。&/li&&/ol&&p&官网：&a href=&http://link.zhihu.com/?target=http%3A//hbase.apache.org/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&hbase.apache.org/&/span&&span class=&invisible&&&/span&&/a&&br&中文文档：&a href=&http://link.zhihu.com/?target=http%3A//abloz.com/hbase/book.html& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&abloz.com/hbase/book.ht&/span&&span class=&invisible&&ml&/span&&span class=&ellipsis&&&/span&&/a&&br&中文社区：&a href=&http://link.zhihu.com/?target=http%3A//www.aboutyun.com/forum-142-1.html& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&aboutyun.com/forum-142-&/span&&span class=&invisible&&1.html&/span&&span class=&ellipsis&&&/span&&/a&&/p&&p&7）Scala（《快学Scala》）--20小时&/p&&ol&&li&Scala概述。&/li&&li&Scala编译器安装。&/li&&li&Scala基础。&/li&&li&数组、映射、元组、集合。&/li&&li&类、对象、继承、特质。&/li&&li&模式匹配和样例类。&/li&&li&了解Scala Actor并发编程。&/li&&li&理解Akka。&/li&&li&理解Scala高阶函数。&/li&&li&理解Scala隐式转换。&/li&&/ol&&p&官网：&a href=&http://link.zhihu.com/?target=http%3A//www.scala-lang.org/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&scala-lang.org/&/span&&span class=&invisible&&&/span&&/a&&br&初级中文教程：&a href=&http://link.zhihu.com/?target=http%3A//www.runoob.com/scala/scala-tutorial.html& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&runoob.com/scala/scala-&/span&&span class=&invisible&&tutorial.html&/span&&span class=&ellipsis&&&/span&&/a&&/p&&p&8）Spark （《Spark 权威指南》）---60小时&/p&&p&&br&&/p&&figure&&img src=&https://pic4.zhimg.com/v2-9fad838af53b0b59d337_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&633& data-rawheight=&298& class=&origin_image zh-lightbox-thumb& width=&633& data-original=&https://pic4.zhimg.com/v2-9fad838af53b0b59d337_r.jpg&&&/figure&&p&&br&&/p&&ol&&li&Spark core&/li&&/ol&&ul&&li&Spark概述。&/li&&li&Spark集群安装。&/li&&li&执行第一个Spark案例程序（求PI）。&/li&&/ul&&p&&br&&/p&&ol&&li&RDD&/li&&/ol&&figure&&img src=&https://pic2.zhimg.com/v2-76738fed8d7a40e7f3f646f73a61e8bd_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&612& data-rawheight=&346& class=&origin_image zh-lightbox-thumb& width=&612& data-original=&https://pic2.zhimg.com/v2-76738fed8d7a40e7f3f646f73a61e8bd_r.jpg&&&/figure&&p&&br&&/p&&ul&&li&RDD概述。&/li&&li&创建RDD。&/li&&li&RDD编程API（Transformation 和 Action Operations）。&/li&&li&RDD的依赖关系&/li&&li&RDD的缓存&/li&&li&DAG（有向无环图）&/li&&/ul&&ol&&li&Spark SQL and DataFrame/DataSet&/li&&/ol&&figure&&img src=&https://pic1.zhimg.com/v2-a6ffda7cd5b17da6bb11dc0_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&729& data-rawheight=&245& class=&origin_image zh-lightbox-thumb& width=&729& data-original=&https://pic1.zhimg.com/v2-a6ffda7cd5b17da6bb11dc0_r.jpg&&&/figure&&p&&br&&/p&&ul&&ul&&li&Spark SQL概述。&/li&&li&DataFrames。&/li&&li&DataFrame常用操作。&/li&&li&编写Spark SQL查询程序。&/li&&/ul&&/ul&&p&&br&&/p&&ol&&li&Spark Streaming&/li&&/ol&&figure&&img src=&https://pic2.zhimg.com/v2-645cf98b473dbf2eefa589_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&1172& data-rawheight=&438& class=&origin_image zh-lightbox-thumb& width=&1172& data-original=&https://pic2.zhimg.com/v2-645cf98b473dbf2eefa589_r.jpg&&&/figure&&p&&br&&/p&&figure&&img src=&https://pic1.zhimg.com/v2-1acdb841d036bec190db33dddcec8650_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&1071& data-rawheight=&239& class=&origin_image zh-lightbox-thumb& width=&1071& data-original=&https://pic1.zhimg.com/v2-1acdb841d036bec190db33dddcec8650_r.jpg&&&/figure&&p&&br&&/p&&ul&&li&park Streaming概述。&/li&&li&理解DStream。&/li&&li&DStream相关操作（Transformations 和 Output Operations）。&/li&&/ul&&ol&&li&Structured Streaming&/li&&li&其他（MLlib and GraphX ）&/li&&/ol&&p&这个部分一般工作中如果不是数据挖掘，机器学习一般用不到，可以等到需要用到的时候再深入学习。&/p&&p&官网：&a href=&http://link.zhihu.com/?target=http%3A//spark.apache.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&http://spark.apache.org&/a&&br&中文文档（但是版本有点老）：&a href=&http://link.zhihu.com/?target=https%3A//www.gitbook.com/book/aiyanbo/spark-programming-guide-zh-cn/details& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://www.&/span&&span class=&visible&&gitbook.com/book/aiyanb&/span&&span class=&invisible&&o/spark-programming-guide-zh-cn/details&/span&&span class=&ellipsis&&&/span&&/a&&br&中文社区：&a href=&http://link.zhihu.com/?target=http%3A//www.aboutyun.com/forum-146-1.html& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&aboutyun.com/forum-146-&/span&&span class=&invisible&&1.html&/span&&span class=&ellipsis&&&/span&&/a&&/p&&p&9）Python (推荐&a href=&http://link.zhihu.com/?target=https%3A//www.liaoxuefeng.com/wiki/958fa6d3a2e542c000& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&廖雪峰的博客&/a&---30小时&/p&&p&10）自己用虚拟机搭建一个集群，把所有工具都装上，自己开发一个小demo ---30小时&/p&&p&可以自己用VMware搭建4台虚拟机，然后安装以上软件，搭建一个小集群（本人亲测，I7，64位，16G内存，完全可以运行起来，以下附上我学习时用虚拟机搭建集群的操作文档）&/p&&hr&&p&集群搭建文档1.0版本&/p&&p&&b&1. 集群规划&/b&&/p&&p&&br&&/p&&figure&&img src=&https://pic4.zhimg.com/v2-58df93fe3983cddcbf5e3_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&637& data-rawheight=&567& class=&origin_image zh-lightbox-thumb& width=&637& data-original=&https://pic4.zhimg.com/v2-58df93fe3983cddcbf5e3_r.jpg&&&/figure&&p&&br&&/p&&p&所有需要用到的软件：&/p&&p&链接：&a href=&http://link.zhihu.com/?target=http%3A//pan.baidu.com/s/1jIlAz2Y& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&pan.baidu.com/s/1jIlAz2&/span&&span class=&invisible&&Y&/span&&span class=&ellipsis&&&/span&&/a&&br&密码：kyxl&/p&&p&&b&2. 前期准备&/b&&/p&&div class=&highlight&&&pre&&code class=&language-text&&&span&&/span&2.0 系统安装
2.1 主机名配置
2.1.0 vi /etc/sysconfig/network
NETWORKING=yes
2.1.1 vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=ys02
2.1.2 vi /etc/sysconfig/network
NETWORKING=yes
2.1.3 vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=ys04
2.2 host文件修改
2.2.0 vi /etc/hosts
10.1.1.149 ys01
10.1.1.148 ys02
10.1.1.146 ys03
10.1.1.145 ys04
2.3 关闭防火墙(centos 7默认使用的是firewall，centos 6 默认是iptables)
2.3.0 systemctl stop firewalld.service （停止firewall）
2.3.1 systemctl disable firewalld.service （禁止firewall开机启动）
2.3.2 firewall-cmd --state （查看默认防火墙状态（关闭后显示notrunning，开启后显示running）
2.4 免密登录(ys01 -&ys02,03,04)
ssh-keygen -t rsa
ssh-copy-id ys02(随后输入密码)
ssh-copy-id ys03（随后输入密码）
ssh-copy-id ys04（随后输入密码）
ssh ys02(测试是否成功)
ssh ys03(测试是否成功)
ssh ys04(测试是否成功)
2.5 系统时区与时间同步
tzselect（生成日期文件）
cp /usr/share/zoneinfo/Asia/Shanghai
/etc/localtime（将日期文件copy到本地时间中）
&/code&&/pre&&/div&&p&&b&3. 软件安装&/b&&/p&&div class=&highlight&&&pre&&code class=&language-text&&&span&&/span&3.0 安装目录规划（软件为所有用户公用）
3.0.0所有软件的安装放到/usr/local/ys/soft目录下(mkdir /usr/local/ys/soft)
3.0.1所有软件安装到/usr/local/ys/app目录下(mkdir /usr/local/ys/app)
3.1 JDK（jdk1.7）安装
3.1.1 alt+p 后出现sftp窗口，cd /usr/local/ys/soft，使用sftp上传tar包到虚机ys01的/usr/local/ys/soft目录下
3.1.2解压jdk
cd /usr/local/ys/soft
tar -zxvf jdk-7u80-linux-x64.tar.gz -C /usr/local/ys/app
3.1.3将java添加到环境变量中
vim /etc/profile
#在文件最后添加
export JAVA_HOME= /usr/local/ys/app/ jdk-7u80
export PATH=$PATH:$JAVA_HOME/bin
3.1.4 刷新配置
source /etc/profile
3.2 Zookeeper安装
tar -zxvf zookeeper-3.4.5.tar.gz -C /usr/local/ys/app（解压）
3.2.1 重命名
mv zookeeper-3.4.5 zookeeper（重命名文件夹zookeeper-3.4.5为zookeeper）
3.2.2修改环境变量
vi /etc/profile(修改文件)
添加内容：
export ZOOKEEPER_HOME=/usr/local/ys/app/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin
3.2.3 重新编译文件：
source /etc/profile
注意：3台zookeeper都需要修改
3.2.4修改配置文件
cd zookeeper/conf
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg
添加内容：
dataDir=/usr/local/ys/app/zookeeper/data
dataLogDir=/usr/local/ys/app/zookeeper/log
server.1=ys01: (主机名, 心跳端口、数据端口)
server.2=ys02:
server.3=ys04:
3.2.5 创建文件夹
cd /usr/local/ys/app/zookeeper/
mkdir -m 755 data
mkdir -m 755 log
3.2.6 在data文件夹下新建myid文件，myid的文件内容为：
添加内容：
将集群下发到其他机器上
scp -r /usr/local/ys/app/zookeeper ys02:/usr/local/ys/app/
scp -r /usr/local/ys/app/zookeeper ys04:/usr/local/ys/app/
3.2.7修改其他机器的配置文件
到ys02上：修改myid为：2
到ys02上：修改myid为：3
3.2.8启动（每台机器）
zkServer.sh start
查看集群状态
jps（查看进程）
zkServer.sh status（查看集群状态，主从信息）
3.3 Hadoop（HDFS+Yarn）
3.3.0 alt+p 后出现sftp窗口，使用sftp上传tar包到虚机ys01的/usr/local/ys/soft目录下
3.3.1 解压jdk
cd /usr/local/ys/soft
tar -zxvf cenos-7-hadoop-2.6.4.tar.gz -C /usr/local/ys/app
3.3.2 修改配置文件
core-site.xml
&/code&&/pre&&/div&&p&&br&&/p&&figure&&img src=&https://pic1.zhimg.com/v2-4e642c2ede8bcd7c57d0e90_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&592& data-rawheight=&524& class=&origin_image zh-lightbox-thumb& width=&592& data-original=&https://pic1.zhimg.com/v2-4e642c2ede8bcd7c57d0e90_r.jpg&&&/figure&&p&&br&&/p&&div class=&highlight&&&pre&&code class=&language-text&&&span&&/span&hdfs-site.xml
&/code&&/pre&&/div&&p&&br&&/p&&figure&&img src=&https://pic3.zhimg.com/v2-eced1bfea47b272ebd7d87fb0c9a05aa_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&596& data-rawheight=&478& class=&origin_image zh-lightbox-thumb& width=&596& data-original=&https://pic3.zhimg.com/v2-eced1bfea47b272ebd7d87fb0c9a05aa_r.jpg&&&/figure&&p&&br&&/p&&p&&br&&/p&&figure&&img src=&https://pic2.zhimg.com/v2-d3d8e93c966e80e22ca1_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&570& data-rawheight=&582& class=&origin_image zh-lightbox-thumb& width=&570& data-original=&https://pic2.zhimg.com/v2-d3d8e93c966e80e22ca1_r.jpg&&&/figure&&p&&br&&/p&&p&&br&&/p&&figure&&img src=&https://pic1.zhimg.com/v2-82b0cdac1bc_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&618& data-rawheight=&472& class=&origin_image zh-lightbox-thumb& width=&618& data-original=&https://pic1.zhimg.com/v2-82b0cdac1bc_r.jpg&&&/figure&&p&&br&&/p&&p&&br&&/p&&figure&&img src=&https://pic4.zhimg.com/v2-670ebd158e911aec9dd633_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&608& data-rawheight=&418& class=&origin_image zh-lightbox-thumb& width=&608& data-original=&https://pic4.zhimg.com/v2-670ebd158e911aec9dd633_r.jpg&&&/figure&&p&&br&&/p&&p&&br&&/p&&figure&&img src=&https://pic4.zhimg.com/v2-3ce98c15c2f926cbd46d73be2ebdd36f_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&622& data-rawheight=&393& class=&origin_image zh-lightbox-thumb& width=&622& data-original=&https://pic4.zhimg.com/v2-3ce98c15c2f926cbd46d73be2ebdd36f_r.jpg&&&/figure&&p&&br&&/p&&div class=&highlight&&&pre&&code class=&language-text&&&span&&/span&yarn-sifite.xml
&/code&&/pre&&/div&&p&&br&&/p&&figure&&img src=&https://pic2.zhimg.com/v2-3db2b50a585a693a6c059_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&583& data-rawheight=&362& class=&origin_image zh-lightbox-thumb& width=&583& data-original=&https://pic2.zhimg.com/v2-3db2b50a585a693a6c059_r.jpg&&&/figure&&p&&br&&/p&&div class=&highlight&&&pre&&code class=&language-text&&&span&&/span&svales
3.3.3集群启动（严格按照下面的步骤）
3.3.3.1启动zookeeper集群（分别在ys01、ys02、ys04上启动zk）
cd /usr/local/ys/app/zookeeper-3.4.5/bin/
./zkServer.sh start
#查看状态：一个leader，两个follower
./zkServer.sh status
3.3.3.2启动journalnode（分别在在mini5、mini6、mini7上执行）
cd /usr/local/ys/app/hadoop-2.6.4
sbin/hadoop-daemon.sh start journalnode
#运行jps命令检验，ys02、ys03、ys04上多了JournalNode进程
3.3.3.3格式化HDFS
#在ys01上执行命令:
hdfs namenode -format
#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/usr/local/ys/app/hadoop-2.6.4/tmp，然后将/usr/local/ys/app/hadoop-2.6.4/tmp拷贝到ys02的/usr/local/ys/app/hadoop-2.6.4/下。
scp -r tmp/ ys02:/usr/local/ys /app/hadoop-2.6.4/
##也可以这样，建议hdfs namenode -bootstrapStandby
3.3.3.4格式化ZKFC(在ys01上执行一次即可)
hdfs zkfc -formatZK
3.3.3.5启动HDFS(在ys01上执行)
sbin/start-dfs.sh
3.3.3.6启动YARN
sbin/start-yarn.sh
3.3MySQL-5.6安装
3.4.1 alt+p 后出现sftp窗口，cd /usr/local/ys/soft，使用sftp上传tar包到虚机ys01的/usr/local/ys/soft目录下
cd /usr/local/ys/soft
tar -zxvf hive-0.9.0.tar.gz -C /usr/local/ys/app
3.4.3 .配置hive
3.4.3.1配置HIVE_HOME环境变量
vi conf/hive-env.sh 配置其中的$hadoop_home
3.4.3.2配置元数据库信息
hive-site.xml
&/code&&/pre&&/div&&p&添加如下内容：&/p&&p&&br&&/p&&figure&&img src=&https://pic1.zhimg.com/v2-5a4e4e6d6b5b749bd7a44f970bd7f0e4_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&596& data-rawheight=&376& class=&origin_image zh-lightbox-thumb& width=&596& data-original=&https://pic1.zhimg.com/v2-5a4e4e6d6b5b749bd7a44f970bd7f0e4_r.jpg&&&/figure&&p&&br&&/p&&p&&br&&/p&&figure&&img src=&https://pic2.zhimg.com/v2-21b73f3f763ee762d6c5d59c5caa27f1_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&592& data-rawheight=&318& class=&origin_image zh-lightbox-thumb& width=&592& data-original=&https://pic2.zhimg.com/v2-21b73f3f763ee762d6c5d59c5caa27f1_r.jpg&&&/figure&&p&&br&&/p&&div class=&highlight&&&pre&&code class=&language-text&&&span&&/span&
3.4.4 安装hive和mysq完成后，将mysql的连接jar包拷贝到$HIVE_HOME/lib目录下
如果出现没有权限的问题，在mysql授权(在安装mysql的机器上执行)
mysql -uroot -p
#(执行下面的语句
*.*:所有库下的所有表
%：任何IP地址或主机都可以连接)
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;
FLUSH PRIVILEGES;
3.4.5 Jline包版本不一致的问题，需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的 /usr/local/ys/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar
3.4.6启动hive
3.5.1 下载安装包
http://kafka.apache.org/downloads.html
在linux中使用wget命令下载安装包
wget http://mirrors.hust.edu.cn/apache/kafka/0.8.2.2/kafka_2.11-0.8.2.2.tgz
3.5.2 解压安装包
tar -zxvf /usr/local/ys/soft/kafka_2.11-0.8.2.2.tgz -C /usr/local/ys/app/
cd /usr/local/ys/app/
ln -s kafka_2.11-0.8.2.2 kafka
3.5.3 修改配置文件
/usr/local/ys/app/kafka/config/server.properties
/usr/local/ys/app/kafka/config/server.properties.bak
/usr/local/ys/kafka/config/server.properties
&/code&&/pre&&/div&&p&输入以下内容：&/p&&p&&br&&/p&&figure&&img src=&https://pic3.zhimg.com/v2-975b3cb3e8cd0a7919cd82_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&612& data-rawheight=&562& class=&origin_image zh-lightbox-thumb& width=&612& data-original=&https://pic3.zhimg.com/v2-975b3cb3e8cd0a7919cd82_r.jpg&&&/figure&&p&&br&&/p&&div class=&highlight&&&pre&&code class=&language-text&&&span&&/span&
3.5.4 分发安装包
scp -r /usr/local/ys/app/kafka_2.11-0.8.2.2 ys02: /usr/local/ys/app/
scp -r /usr/local/ys/app/kafka_2.11-0.8.2.2 ys03: /usr/local/ys/app/
scp -r /usr/local/ys/app/kafka_2.11-0.8.2.2 ys04: /usr/local/ys/app/
然后分别在各机器上创建软连
cd /usr/local/ys/app/
ln -s kafka_2.11-0.8.2.2 kafka
3.5.5 再次修改配置文件（重要）
依次修改各服务器上配置文件的的broker.id，分别是0,1,2不得重复。
3.5.6 启动集群
依次在各节点上启动kafka
bin/kafka-server-start.sh
config/server.properties
3.6.1 alt+p 后出现sftp窗口，cd /usr/local/ys/soft，使用sftp上传tar包到虚机ys01的/usr/local/ys/soft目录下
解压安装包
tar -zxvf /usr/local/ys/soft/ spark-1.6.1-bin-hadoop2.6.tgz -C /usr/local/ys/app/
3.6.3 修改Spark配置文件(两个配置文件spark-env.sh和slaves)
cd /usr/local/ys/soft/spark-1.6.1-bin-hadoop2.6
进入conf目录并重命名并修改spark-env.sh.template文件
mv spark-env.sh.template spark-env.sh
vi spark-env.sh
在该配置文件中添加如下配置
export JAVA_HOME=/usr/java/jdk1.7.0_45
export SPARK_MASTER_PORT=7077
export SPARK_DAEMON_JAVA_OPTS=&-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=ys01,ys02,ys04 -Dspark.deploy.zookeeper.dir=/spark&
重命名并修改slaves.template文件
mv slaves.template slaves
在该文件中添加子节点所在的位置（Worker节点）
3.6.4 将配置好的Spark拷贝到其他节点上
scp -r spark-1.6.1-in-hadoop2.6/ ys02:/usr/local/ys/app
scp -r spark-1.6.1-bin-hadoop2.6/ ys03:/usr/local/ys/app
scp -r spark-1.6.1-bin-hadoop2.6/ ys04:/usr/local/ys/app
3.6.5 集群启动
在ys01上执行sbin/start-all.sh脚本
然后在ys02上执行sbin/start-master.sh启动第二个Master
3.7 Azkaban
3.7.1 azkaban web服务器安装
解压azkaban-web-server-2.5.0.tar.gz
命令: tar –zxvf /usr/local/ys/soft/azkaban-web-server-2.5.0.tar.gz -C /usr/local/ys/app/azkaban
将解压后的azkaban-web-server-2.5.0 移动到 azkaban目录中,并重新命名 webserver
命令: mv azkaban-web-server-2.5.0 ../azkaban
cd ../azkaban
mv azkaban-web-server-2.5.0
3.7.2 azkaban 执行服器安装
解压azkaban-executor-server-2.5.0.tar.gz
命令:tar –zxvf /usr/local/ys/soft/azkaban-executor-server-2.5.0.tar.gz -C /usr/local/ys/app/azkaban
将解压后的azkaban-executor-server-2.5.0 移动到 azkaban目录中,并重新命名 executor
命令:mv azkaban-executor-server-2.5.0
../azkaban
cd ../azkaban
mv azkaban-executor-server-2.5.0
3.7.3 azkaban脚本导入
解压: azkaban-sql-script-2.5.0.tar.gz
命令:tar –zxvf azkaban-sql-script-2.5.0.tar.gz
将解压后的mysql 脚本,导入到mysql中:
mysql& cre
Database changed
mysql& source /usr/local/ys/soft/azkaban-2.5.0/create-all-sql-2.5.0.
3.7.4 创建SSL配置
参考地址: http://docs.codehaus.org/display/JETTY/How+to+configure+SSL
命令: keytool -keystore keystore -alias jetty -genkey -keyalg RSA
运行此命令后,会提示输入当前生成 keystor的密码及相应信息,输入的密码请劳记,信息如下(此处我输入的密码为：123456)
输入keystore密码：
再次输入新密码:
您的名字与姓氏是什么？
[Unknown]：
您的组织单位名称是什么？
[Unknown]：
您的组织名称是什么？
[Unknown]：
您所在的城市或区域名称是什么？
[Unknown]：
您所在的州或省份名称是什么？
[Unknown]：
该单位的两字母国家代码是什么
[Unknown]：
CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确吗？
输入&jetty&的主密码（如果和 keystore 密码相同，按回车）：
再次输入新密码
完成上述工作后,将在当前目录生成 keystore 证书文件,将keystore 考贝到 azkaban web服务器根目录中.如:cp keystore azkaban/webserver
3.7.5 配置文件
注：先配置好服务器节点上的时区
先生成时区配置文件Asia/Shanghai，用交互式命令 tzselect 即可
拷贝该时区文件，覆盖系统本地时区配置
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
3.7.6 azkaban web服务器配置
进入azkaban web服务器安装目录 conf目录
修改azkaban.properties文件
命令vi azkaban.properties
&/code&&/pre&&/div&&p&内容说明如下：&/p&&div class=&highlight&&&pre&&code class=&language-text&&&span&&/span&*Azkaban Personalization Settings
azkaban.name=Test
#服务器UI名称,用于服务器上方显示的名字
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
#默认根web目录
default.timezone.id=Asia/Shanghai
#默认时区,已改为亚洲/上海 默认为美国
*Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
#用户权限管理默认类
user.manager.xml.file=conf/azkaban-users.xml
#用户配置,具体配置参加下文
*Loader for projects
executor.global.properties=conf/global.properties
# global配置文件所在位置
azkaban.project.dir=projects
database.type=mysql
#数据库类型
mysql.port=3306
mysql.host=localhost
#数据库连接IP
mysql.database=azkaban
#数据库实例名
mysql.user=root
#数据库用户名
mysql.password=Root123456
#数据库密码
mysql.numconnections=100
#最大连接数
* Velocity dev mode
velocity.dev.mode=false
* Jetty服务器属性.
jetty.maxThreads=25
#最大线程数
jetty.ssl.port=8443
#Jetty SSL端口
jetty.port=8081
#Jetty端口
jetty.keystore=keystore
#SSL文件名
jetty.password=123456
#SSL文件密码
jetty.keypassword=123456
#Jetty主密码 与 keystore文件相同
jetty.truststore=keystore
#SSL文件名
jetty.trustpassword=123456
# SSL文件密码
* 执行服务器属性
executor.port=12321
#执行服务器端
mail.sender=
mail.host=smtp.163.com
#发送邮箱smtp地址
mail.user=xxxxxxxx
#发送邮件时显示的名称
mail.password=**********
job.failure.email=
#任务失败时发送邮件的地址
job.success.email=
#任务成功时发送邮件的地址
lockdown.create.projects=false
cache.directory=cache
3.7.7azkaban 执行服务器executor配置
进入执行服务器安装目录conf,修改azkaban.properties
vi azkaban.properties
default.timezone.id=Asia/Shanghai
* Azkaban JobTypes 插件配置
azkaban.jobtype.plugin.dir=plugins/jobtypes
#jobtype 插件所在位置
*Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
*数据库设置
database.type=mysql
#数据库类型(目前只支持mysql)
mysql.port=3306
#数据库端口号
mysql.host=192.168.20.200
#数据库IP地址
mysql.database=azkaban
#数据库实例名
mysql.user=root
#数据库用户名
mysql.password=Root23456
#数据库密码
mysql.numconnections=100
#最大连接数
*执行服务器配置
executor.maxThreads=50
#最大线程数
executor.port=12321
#端口号(如修改,请与web服务中一致)
executor.flow.threads=30
3.7.8用户配置
进入azkaban web服务器conf目录,修改azkaban-users.xml
vi azkaban-users.xml 增加 管理员用户
&/code&&/pre&&/div&&p&&br&&/p&&figure&&img src=&https://pic1.zhimg.com/v2-68a7ff97f85ed959a2c44c8f24badc74_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&561& data-rawheight=&291& class=&origin_image zh-lightbox-thumb& width=&561& data-original=&https://pic1.zhimg.com/v2-68a7ff97f85ed959a2c44c8f24badc74_r.jpg&&&/figure&&p&&br&&/p&&div class=&highlight&&&pre&&code class=&language-text&&&span&&/span&
3.7.9 web服务器启动
在azkaban web服务器目录下执行启动命令
bin/azkaban-web-start.sh
注:在web服务器根目录运行
或者启动到后台
bin/azkaban-web-start.sh
1&/tmp/azstd.out
2&/tmp/azerr.out &
3.7.10执行服务器启动
在执行服务器目录下执行启动命令
bin/azkaban-executor-start.sh
注:只能要执行服务器根目录运行
启动完成后,在浏览器(建议使用谷歌浏览器)中输入https://服务器IP地址:8443 ,即可访问azkaban服务了.在登录中输入刚才新的户用名及密码,点击 login
3.8 Zeppelin
参照如下文件：
http://blog.csdn.net/chengxuyuanyonghu/article/details/
http://blog.csdn.net/chengxuyuanyonghu/article/details/
tar –zxvf
/usr/local/ys/soft/hbase-0.99.2-bin.tar.gz
-C /usr/local/ys/app
3.9.2重命名
/usr/local/ys/app
mv hbase-0.99.2 hbase
3.9.3修改配置文件
每个文件的解释如下：
hbase-env.sh
export JAVA_HOME=/usr/local/ys/app/jdk1.7.0_80
//jdk安装目录
export HBASE_CLASSPATH=/usr/local/ys/app/hadoop-2.6.4/etc/hadoop
//hadoop配置文件的位置
export HBASE_MANAGES_ZK=false #如果使用独立安装的zookeeper这个地方就是false（此处使用自己的zookeeper）
hbase-site.xml
&/code&&/pre&&/div&&p&&br&&/p&&figure&&img src=&https://pic2.zhimg.com/v2-44e44f23eacf731dbc99_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&620& data-rawheight=&466& class=&origin_image zh-lightbox-thumb& width=&620& data-original=&https://pic2.zhimg.com/v2-44e44f23eacf731dbc99_r.jpg&&&/figure&&p&&br&&/p&&p&&br&&/p&&figure&&img src=&https://pic3.zhimg.com/v2-a56bd2f356bc396ccf24d948f3a7193a_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&600& data-rawheight=&526& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&https://pic3.zhimg.com/v2-a56bd2f356bc396ccf24d948f3a7193a_r.jpg&&&/figure&&p&&br&&/p&&div class=&highlight&&&pre&&code class=&language-text&&&span&&/span&Regionservers
//是从机器的域名
注：此处HBase配置是针对HA模式的hdfs
3.9.4将Hadoop的配置文件hdfs-site.xml和core-site.xml拷贝到HBase配置文件中
cp /usr/local/ys/app/Hadoop-2.6.4/etc/hadoop/hdfs-site.xml /usr/local/ys/app/hbase/conf
cp /usr/local/ys/app/hadoop-2.6.4/etc/hadoop/core-site.xml /usr/local/ys/app/hbase/conf
3.9.5发放到其他机器
scp –r /usr/local/ys/app/hbase ys02: /usr/local/ys/app
scp –r /usr/local/ys/app/hbase ys03: /usr/local/ys/app
scp –r /usr/local/ys/app/hbase ys04: /usr/local/ys/app
/usr/local/ys/app/hbase/bin
./ start-hbase.sh
进入hbase的shell：hbase shell
退出hbase的shell：quit
页面：http://master:60010/
3.10KAfkaOffsetMonitor(Kafka集群的监控程序，本质就是一个jar包)
3.10.1上传jar包
3.10.2 运行jar包
nohup java -cp KafkaOffsetMonitor-assembly-0.2.1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk ys01,ys02,ys04 --refresh 5.minutes --retain 1.day --port 8089 $
&/code&&/pre&&/div&&p&&b&4. 集群调优&/b&&/p&&div class=&highlight&&&pre&&code class=&language-text&&&span&&/span&4.1 辅助工具尽量不安装到数据或者运算节点，避免占用过多计算或内存资源。
4.2 dataNode和spark的slave节点尽量在一起；这样运算的时候就可以避免通过网络拉取数据，加快运算速度。
4.3 Hadoop集群机架感知配置，配置之后可以使得数据在同机架的不同机器2份，然后其他机架机器1份，可是两台机器四台虚机没有必要配感知个人感觉。
4.4 配置参数调优
可以参考http://blog.csdn.net/chndata/article/details/
&/code&&/pre&&/div&&hr&&p&&b&第三阶段（辅助工具工学习阶段）&/b&&/p&&p&11）Sqoop（CSDN，51CTO ，以及官网）---20小时&/p&&p&&br&&/p&&figure&&img src=&https://pic4.zhimg.com/v2-a1f407ab20d97cc79f70f_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&560& data-rawheight=&326& class=&origin_image zh-lightbox-thumb& width=&560& data-original=&https://pic4.zhimg.com/v2-a1f407ab20d97cc79f70f_r.jpg&&&/figure&&p&&br&&/p&&ol&&li&数据导出概念介绍&/li&&li&Sqoop基础知识&/li&&li&Sqoop原理及配置说明&/li&&li&Sqoop数据导入实战&/li&&li&Sqoop数据导出实战、&/li&&li&Sqoop批量作业操作&/li&&/ol&&p&推荐学习博客：&a href=&http://link.zhihu.com/?target=http%3A//student-lp.iteye.com/blog/2157983& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&student-lp.iteye.com/bl&/span&&span class=&invisible&&og/2157983&/span&&span class=&ellipsis&&&/span&&/a&&br&官网：&a href=&http://link.zhihu.com/?target=http%3A//sqoop.apache.org/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&sqoop.apache.org/&/span&&span class=&invisible&&&/span&&/a&&/p&&p&12）Flume（CSDN，51CTO ，以及官网）---20小时&/p&&p&&br&&/p&&figure&&img src=&https://pic1.zhimg.com/v2-ed52cddceefea0caebbd3580_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&560& data-rawheight=&484& class=&origin_image zh-lightbox-thumb& width=&560& data-original=&https://pic1.zhimg.com/v2-ed52cddceefea0caebbd3580_r.jpg&&&/figure&&p&&br&&/p&&ol&&li&FLUME日志采集框架介绍。&/li&&li&FLUME工作机制。&/li&&li&FLUME核心组件。&/li&&li&FLUME参数配置说明。&/li&&li&FLUME采集nginx日志案例（案例一定要实践一下）&/li&&/ol&&p&推荐学习博客：&a href=&http://link.zhihu.com/?target=http%3A//www.aboutyun.com/thread-.html& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&aboutyun.com/thread-891&/span&&span class=&invisible&&7-1-1.html&/span&&span class=&ellipsis&&&/span&&/a&&br&官网：&a href=&http://link.zhihu.com/?target=http%3A//flume.apache.org& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&flume.apache.org&/span&&span class=&invisible&&&/span&&/a&&/p&&p&13）Oozie（CSDN，51CTO ，以及官网）--20小时&/p&&p&&br&&/p&&figure&&img src=&https://pic4.zhimg.com/v2-bf_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&560& data-rawheight=&334& class=&origin_image zh-lightbox-thumb& width=&560& data-original=&https://pic4.zhimg.com/v2-bf_r.jpg&&&/figure&&p&&br&&/p&&ol&&li&任务调度系统概念介绍。&/li&&li&常用任务调度工具比较。&/li&&li&Oozie介绍。&/li&&li&Oozie核心概念。&/li&&li&Oozie的配置说明。&/li&&li&Oozie实现mapreduce/hive等任务调度实战案例。&/li&&/ol&&p&推荐学习博客：&a href=&http://link.zhihu.com/?target=http%3A//www.infoq.com/cn/articles/introductionOozie& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&infoq.com/cn/articles/i&/span&&span class=&invisible&&ntroductionOozie&/span&&span class=&ellipsis&&&/span&&/a& 官网：&a href=&http://link.zhihu.com/?target=http%3A//oozie.apache.org/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&oozie.apache.org/&/span&&span class=&invisible&&&/span&&/a&&/p&&p&14）Hue（CSDN，51CTO ，以及官网）--20小时&/p&&p&推荐学习博客：&a href=&http://link.zhihu.com/?target=http%3A//ju.outofmemory.cn/entry/105162& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&ju.outofmemory.cn/entry&/span&&span class=&invisible&&/105162&/span&&span class=&ellipsis&&&/span&&/a&&br&官网：&a href=&http://link.zhihu.com/?target=http%3A//gethue.com/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&gethue.com/&/span&&span class=&invisible&&&/span&&/a&&/p&&p&&b&第四阶段（不断学习阶段）&/b&&/p&&p&每天都会有新的东西出现，需要关注最新技术动态，不断学习。任何一般技术都是先学习理论，然后在实践中不断完善理论的过程。&/p&&p&&b&备注&/b&&/p&&p&1）如果你觉得自己看书效率太慢，你可以网上搜集一些课程，跟着课程走也OK 。如果看书效率不高就很网课，相反的话就自己看书。&/p&&p&2）企业目前更倾向于使用Spark进行微批处理，Storm只有在对时效性要求极高的情况下，才会使用，所以可以做了解。重点学习Spark Streaming。&/p&&p&3）快速学习的能力&b&、&/b&解决问题的能力&b&、&/b&沟通能力**真的很重要。&/p&&p&4）要善于使用StackOverFlow和Google（遇到解决不了的问题，先Google，如果Google找不到解决方能就去StackOverFlow提问，一般印度三哥都会在2小时内回答你的问题）。&/p&&p&5）视频课程推荐：&/p&&p&可以去万能的淘宝购买一些视频课程，你输入“大数据视频课程”，会出现很多，多购买几份（100块以内可以搞定），然后选择一个适合自己的。个人认为小象学院的董西成和陈超的课程含金量会比较高。&/p&&h2&四、持续学习资源推荐&/h2&&ol&&li&Apache 官网（&a href=&http://link.zhihu.com/?target=http%3A//apache.org/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&apache.org/&/span&&span class=&invisible&&&/span&&/a&）&/li&&li&Stackoverflow（&a href=&http://link.zhihu.com/?target=https%3A//stackoverflow.com/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&stackoverflow.com/&/span&&span class=&invisible&&&/span&&/a&）&/li&&li&Github(&a href=&http://link.zhihu.com/?target=https%3A//github.com/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&github.com/&/span&&span class=&invisible&&&/span&&/a&)&/li&&li&Cloudra官网(&a href=&http://link.zhihu.com/?target=https%3A//www.cloudera.com/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://www.&/span&&span class=&visible&&cloudera.com/&/span&&span class=&invisible&&&/span&&/a&)&/li&&li&Databrick官网(&a href=&http://link.zhihu.com/?target=https%3A//databricks.com/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&databricks.com/&/span&&span class=&invisible&&&/span&&/a&)&/li&&li&About 云 ：&a href=&http://link.zhihu.com/?target=http%3A//www.aboutyun.com/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&aboutyun.com/&/span&&span class=&invisible&&&/span&&/a&&/li&&li&CSDN，51CTO （&a href=&http://link.zhihu.com/?target=http%3A//www.csdn.net/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&csdn.net/&/span&&span class=&invisible&&&/span&&/a&，&a href=&http://link.zhihu.com/?target=http%3A//www.51cto.com/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&51cto.com/&/span&&span class=&invisible&&&/span&&/a&）&/li&&li&至于书籍当当一搜会有很多，其实内容都差不多。&/li&&/ol&&h2&五、项目案例分析&/h2&&p&1）点击流日志项目分析（此处借鉴CSDN博主的文章，由于没有授权，所以就没有贴过来，下面附上链接）----批处理&/p&&p&&a href=&http://link.zhihu.com/?target=http%3A//blog.csdn.net/u/article/details/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&blog.csdn.net/u&/span&&span class=&invisible&&8/article/details/&/span&&span class=&ellipsis&&&/span&&/a&&/p&&p&2）Spark Streaming在京东的项目实战（京东的实战案例值得好好研究一下，由于没有授权，所以就没有贴过来，下面附上链接）---实时处理 &a href=&http://link.zhihu.com/?target=http%3A//download.csdn.net/download/csdndataid_123/8079233& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&download.csdn.net/downl&/span&&span class=&invisible&&oad/csdndataid_123/8079233&/span&&span class=&ellipsis&&&/span&&/a&&/p&&p&&b&最后但却很重要一点:每天都会有新的技术出现，要多关注技术动向，持续学习。&/b&&/p&&p&&b&以上内容不保证一年以后仍适用。&/b&&/p&
申明：本文旨在为普通程序员（Java程序员最佳）提供一个入门级别的大数据技术学习路径，不适用于大数据工程师的进阶学习，也不适用于零编程基础的同学。前言：一、背景介绍二、大数据介绍正文：一、大数据相关的工作介绍二、大数据工程师的技能要求三、大数…
&p&&b&学习很重要的是能将纷繁复杂的信息进行归类和抽象。&/b&&br&对应到大数据技术体系，虽然各种技术百花齐放，层出不穷，但大数据技术本质上无非解决4个核心问题。&/p&&ol&&li&&b&存储，&/b&海量的数据怎样有效的存储？主要包括hdfs、Kafka；&/li&&li&&b&计算，&/b&海量的数据怎样快速计算？主要包括MapReduce、Spark、Flink等；&/li&&li&&b&查询，&/b&海量数据怎样快速查询？主要为Nosql和Olap，Nosql主要包括Hbase、 Cassandra 等，其中olap包括kylin、impla等，其中Nosql主要解决随机查询，Olap技术主要解决关联查询；&/li&&li&&b&挖掘，&/b&海量数据怎样挖掘出隐藏的知识？也就是当前火热的机器学习和深度学习等技术，包括TensorFlow、caffe、mahout等；&/li&&/ol&&p&&b&大数据技术生态其实是一个江湖....&/b&&/p&&p&在一个夜黑风高的晚上，江湖第一大帮会Google三本阵法修炼秘籍流出，大数