查看: 309853|回复: 29
【IT名人堂】专访奇虎360高级专家：支撑360业务背后的开源技术
认证徽章论坛徽章:127
有这么一个企业，阿里巴巴、腾讯、百度、联想、小米、搜狗等互联网企业都跟它过过招，但还是离不开它，网购不上当，看片不中毒，搜索不中招，说的就是360；360搜索，安全小卫士也好、还是360云盘也罢，这些业务催生了海量的视频文件、图片、文本文件等，那么究竟该如何为大数据的安全隐患来保驾护航呢？支撑360业务的背后到底有哪些技术呢？本期名人堂，皮皮邀请到的访谈嘉宾是360WEB平台部基础架构团队负责人、360服务端&WEB服务端方向技术委员会委员王超，且看他为我们带来的独家分享。
皮皮（Q1）：您好！很高兴采访到您，能否简单介绍下自己？ 王超（A1）：我叫王超，是360 WEB平台基础架构团队的负责人。我于2011年加入公司，带领团队至今已研发了十多种基础服务，其中很多基础服务已经成为了公司标配。在此期间，我对开源结下了非常深厚的感情，通过不断阅读开源软件，在技术的学习道路上沉淀积累，才走到今天的，所以在加入360以后，我持续推动内部项目的开源，当前已经发布了几款成熟的项目，还有一些在准备中，非常希望大家能一起参与进来 。另外，本人对分布式领域和系统调优有强烈的热情，喜欢运动、健身和旅游，我的微博是@Chancey，欢迎跟我交流：）
皮皮（Q2）：您在360工作的四年时间里，带领团队打造了MySQL中间件等多种基础系统，能不能介绍下您的初衷？是否借助一些开源组件来做优化？还是推倒重来，完全采用新的思路？ 王超（A2）：我于2011年刚加入360的时候，我所在的大部门Cover了公司几乎所有业务线的服务端开发。记得当时，各种产品层出不穷、百花齐放，业务量增长迅猛，由于企业还很年轻，很多服务端的基础服务都是缺失的，比如操作MySQL数据库，每个业务都要考虑高可用、横向扩展、负载均衡的问题，如果有一个通用组件来做这些，就能大量减少冗余工作，提高产品线的开发效率、节省成本。
在我看来，我们必须采用开源组件，通常情况下，我们首先会根据需求对多款开源软件进行调研，选出最合适的开源软件，然后测试、专研代码，测试一轮完成后开始小范围试用，之后再根据遇到的问题进行改进和优化。值得一提的是，360对开发效率要求极高，任何一款产品都不允许超过一个月的开发周期，基础服务要保证服务的高可用性与稳定性，实属不易，一旦出现一点问题，好多条业务线可能会受到影响，为了避免这种情况的发生，我们就必须尽可能利用现有资源，对功能进行拆分、迭代，有时候为了配合业务需求，我们会上线局部性的新功能，后续版本会持续优化完善。
皮皮（Q3）：360搜索也好，云盘也罢，催生了海量的视频文件、图片、文本文件等，存储这些数据的幕后数据库是什么？ 王超（A3）：总体来看，360的业务有些用到了开源的数据库，像MySQL、Cassandra、HBase、Redis，还有一些自己开发的，比如 Bada、一级引擎、二级引擎等，以应对不同的场景。在2015年中国数据库技术大会上，我将发表主题为“Bada-构建主从/去中心混合架构的NoSQL”的演讲，在分布式NoSQL遍地开花的今天，我们为何要自主研发？如何选择从开源软件过渡到自主研发的时机？在设计时，我们参考中心化和去中心架构的特点，根据自身业务场景进行了融合，从延迟、一致性、集群伸缩方面做了权衡；面对新的混合架构，我们遇到了一些前所未有的挑战，又是如何一一解决和优化的？历经三个月的研发，一年多的线上改进，成功解决了当时面对的问题且得到了广泛认可，届时也将同大家一起分享架构的优劣和可借鉴性方面的内容， 欢迎大家关注。
皮皮（Q4）：很多网友可能都用过云盘，而一提到360，大家会想到一个词，那就是“安全”，尤其对360云盘而言，当我们选择将照片上传到云端，珍藏一生的回忆时，宕机与数据泄密似乎成为了死穴，那么360云盘是如何做到安全，确保万无一失的呢？
王超（A4）：这个问题我请360云盘的技术负责人陈超来解答：& &&&1. 在服务端和客户端的双向传输过程中，360云盘采用了云存储专有的数据协议进行加密，同时配合(即SSL)通讯协议，可进一步确保传输过程的安全，防窃听，切实提高用户数据在传输过程中的安全性。&&2. 360云盘增设了“文件保险箱”的功能，存放在360云盘文件保险箱中的文件，经过特殊加密，避免文件在终端上被偷窥3. 360云盘集成360强大的云查杀能力，用户上传到云上面的文件分享过程是经过病毒检测和杀毒处理，不会因为有病毒感染其他人的电脑。4. 用户文件在云端的服务器上并不是完整的文件，而是被切割成就连系统管理员都无法识别加密的文件碎块。& && &举例来说，用户的文件好比一张A4的白纸，在云端服务器上，像是被撕成成千上百块碎纸片，并且是加密的碎纸片，系统管理人员或者黑客即便拿到部分或者全部碎片，要把这成千上百的碎块组装起成你原来那张完整的白纸，没有你手中的密钥几乎是不可能的。 5. 用户的一个文件会被保存到至少3台服务器上面，并且会在不同机房，即便某个机房因自然不可抗拒因素造成破坏，也不用担心文件会丢失。
皮皮（Q5）：在2015中国数据库技术大会上，您的演讲主题是《Bada-构建主从/去中心混合架构的NoSQL》，我了解到，Bada 是360开发的一套Nosql系统, 具备多机房架构, 低延迟, 结构化等特点，那么它究竟应用于360的哪些业务呢？与其它主流的NoSQL相比，它有哪些优势呢？ 王超（A5）：Bada 为很多业务提供了服务，比如你刚才提到的云盘、搜索也在使用之列，多机房架构是为了应对公司多IDC这一特点而设计的，试想下，你有多个数据中心，但如果全靠自己来实现数据的同步，这种做法无疑很麻烦，而且对于存储系统而言，数据的一致性、可用性和性能很难做到优雅，现在业务用Bada存数据的时候完全不用担心在哪个机房写入，因为数据会自动同步到其他指定的IDC，多机房的写入冲突也不用关心，系统会自己处理。
由于很多业务也用来当持久化缓存用，所以系统设计中很多地方都需要考虑如何让延迟最低，系统当前处理4K的数据读写能做到1ms左右，当然还有优化空间。另外Bada提供了String / List / Set / Hash多种数据结构供选择，同时支持Redis协议，可以满足希望使用Redis，但苦于数据量太大单机无法容纳的场景。
皮皮（Q6）：很多坛友对PHP可能都不会陌生，它支持几乎所有流行的数据库以及操作系统，有太多的原因让它成为了世界上最受欢迎的脚本语言。而对于PHP开发人员来讲，一个普遍头疼的问题在于代码的排错跟踪，那我知道，奇虎360将PHP脚本跟踪分析工具PHPTrace开源了，它能为开发人员带来哪些好处？它究竟有哪些应用场景？ 王超（A6）：提到PHP的调试和问题排查，可能很多人第一想到的就是 Xdebug 和 Xhprof，确实，这两款软件非常的强大，但对线上问题的定位却很无力，我们经常遇到这样的场景，某业务代码线上运行一直很正常，突然某天某个时段有大量超时或crash，如果使用Xdebug或Xhprof需要重启Fast-CGI进程，或者嵌入调试代码到程序逻辑中，但如果重启解释器可能问题会消失，也根本无法判断是哪一步逻辑有问题而无从加调试代码，如果线上一直打开调试模式又会非常影响性能。以前遇到问题，我们通常的做法是使用strace、gdb、tcpdump这样比较原始的工具来分析，这些工具的特点是只能抓出来系统调用、PHP内核空间堆栈、网络包这些比较底层的数据，要想定位问题还需要对操作系统、php内核、应用代码有一定的了解才能将观察到的现象串起来，整个调试过程很不友好，更何况有些问题并非一次就能定位，经历过太多次这样的事情之后，我们决定开发一款专门针对线上问题定位的工具，phptrace就由此而来，再遇到问题时，就可以指定任意进程跟踪排查，并直观看到PHP空间的函数调用和耗时，平时不会自动开启所以不会对线上造成任何性能影响。& & 互动时间：日-4月15日
互动奖励：本期名人堂微软专家坐镇，为大家答疑解惑，欢迎各位踊跃提问，活动结束后我们将评选最优会员赠送2015年中国数据库技术大会门票1张。更多嘉宾信息，请查看名人堂栏目：
作为国内数据库与大数据领域最大规模的技术盛宴，2015第六届中国数据库技术大会（DTCC）即将于日-18日在北京新云南皇冠假日酒店震撼登场。大会以“大数据技术交流和价值发现”为主题，云集了国内外顶尖专家，特别开设了SQL Server 专场，欢迎大家报名：
获奖名单：获得技术图书一本。
认证徽章论坛徽章:244
phptrace就由此而来，再遇到问题时，就可以指定任意进程跟踪排查，并直观看到PHP空间的函数调用和耗时，平时不会自动开启所以不会对线上造成任何性能影响
这个很不错啊！！！
认证徽章论坛徽章:31
pipi咋认识这么多牛人啊
论坛徽章:0
顶一下！！！！！！！！！！！！！！！！！
求职 : 招聘 : 认证徽章论坛徽章:6328
strace/DSTRACE、gdb/MDB 阅读起来确实需要一定的基础。
求职 : 招聘 : 认证徽章论坛徽章:6328
看完介绍，用四年时间掌握了那么多的技术，请问您有休息时间吗？
招聘 : 论坛徽章:476
线上调试工具，看起来很不错的样子，开发的市场又进一步细分了
论坛徽章:0
<font color="# 发表于
看完介绍，用四年时间掌握了那么多的技术，请问您有休息时间吗？
团队共同努力的结果 ：）当然也有之前的积累嘛
论坛徽章:0
lastwinner 发表于
线上调试工具，看起来很不错的样子，开发的市场又进一步细分了
希望能喜欢 ：）
认证徽章论坛徽章:55
chanceycn 发表于
团队共同努力的结果 ：）当然也有之前的积累嘛
您是360公司的吗？
访谈中提到云存储安全问题~
&用户文件在云端的服务器上并不是完整的文件，而是被切割成就连系统管理员都无法识别加密的文件碎块。
举例来说，用户的文件好比一张A4的白纸，在云端服务器上，像是被撕成成千上百块碎纸片，并且是加密的碎纸片，系统管理人员或者黑客即便拿到部分或者全部碎片，要把这成千上百的碎块组装起成你原来那张完整的白纸，没有你手中的密钥几乎是不可能的。&
请问一下~~
一般来说，DataNode存储文件数据，MasterNode存文件元数据（如文件在数据节点的存储地址等）；
若MasterNode被系统管理员或黑客掌控~~那完整的文件数据还不是照样可读取吗？ 请问贵公司是如何
考虑这方面安全保障的？
itpub.net All Right Reserved. 北京皓辰网域网络信息技术有限公司版权所有　　　　
　北京市公安局海淀分局网监中心备案编号：　广播电视节目制作经营许可证：编号（京）字第1149号深圳市艾秀信息技术有限公司
All Rights Reserved
&粤网文[号 &最近浏览论坛：
关注/收藏的论坛：
热门论坛推荐：
验证码：输入右侧的字母和数字
下次自动登录
还未注册用户？&&&
您的赞赏是对楼主的鼓励！
1~200元之间
金额须在1~200元之间
去车系频道
所属：爱车：
分享购车价格，点评购车服务感受，通过工作人员审核，特授予【家de报价员】专属勋章。
自动加载图片
【链接超时解决，跟踪中】360中控升级教程文件问题和总结
首先感谢群里面各位兄弟测试问题反馈升级包址/s/1qXMid4o&&升级方法&1.cn/bbs/thread-c-2-1.html这位兄弟已经发过升级方法升级方法&2&&&&&&&&&&&&1.用个能在中控播放音乐视频U盘或者读卡器内存卡&&&&&&&&&&&2.把压缩包解压解压到2个文件夹2个文件LOST.DIR文件夹可以忽略主要update文件夹两个.log文件,把解压文件夹放入你U盘根目录（就你点开U盘里面要进入其它文件夹）3.输入链接手机蓝牙在中控拨号界面输入#*98723进入工程模式,选择系统新新中请稍候新到这里花费时间比较需要20秒新完成自动重启出现我们熟悉界面然后中控就这样这里就升级完成可以看张图片中控界面最面有2个图标第个苹果手机第个就这次新添加carlife（百度车联网）使用carlife需要手机安装carlife软件百度就有然后里面有离线图音乐播放接打电话什么看就可以面我来说说这次升级些问题评测在没升级之前我用蓝牙链接中控导航用百度图手机面看中控播放音乐接打电话（升级后也这样）经群里测试这个升级包360全部车型都可以使用手豪自豪1.4T空调也有出现问题&&&&&&&&&&&1.无法升级基本都u盘问题只要你u盘能在中控播放音乐都可以升级&&&&&&&&&&&2.carlife链接超时这个出现情况数据线问题链接方式问题手机问题&&&&&&&&&&&&&&&&&&&&&&&&&&&&首先保证你手机usb调试模式可用然后保证你数据线没问题然后你手机要给carlife堆权限比如读取通讯录定位允许使用usb调试模式什么权限都要给&&&&&&&&&&&3.导航声音过这个你需要在中控设置里面有个音效什么里面调整音量记住中控要在carlife里面找&&&&&&&&&&&4.carlife莫名其妙断有群友重启中控搞定按中控开关机那个就可以重启&&&&&&&&&&&面我就说说我手机评测&&&&我用米5oppo&R9测试米5怎么弄都连carlifeR9就搞定奇怪&&&&carlife连后你要拨打电话语音就要连接蓝牙过图可以正常使用会投影到中控无卡顿延时没其他什么问题&&&&拨打电话还使用中控自带carlife里面怎么也没法拨号&&&&接电话也中控自带那个carlife没介入&&&&&&&&吧苹果机建议还使用carplay简单说这次升级个carlife去掉之前SDLmirrorlink安卓机可以直接使用carlife连接我测试出来有用就中控可以显示图啦其它都鸡肋&&&&暂时没发现升级影响以前正常功能&&&&再次说明这个升级包360车型都可以使用手豪自豪1.4T空调也有以评测仅限于个人手机（相同手机内核同也会有差异比如说楼米5我米5）群里收集意见代表全部接打电话功能可以我手机行而已&倒车影像雷达可以使用没问题1.4T空调可以使用没问题&没发现影响之前功能使用情况据反馈时间显示有问题把钥匙插,扭到汽车自检就重要测试carLife链接经测试要满足以条件&&&&&&&&&1.&安卓系统版本需要5.0以&&&&&&&&&2.&手机打开usb调试模式&&&&&&&&&3.&carLife要有读取联系人录音拨号等等权限懒管就给全部权限&&&&&&&&&4.&今天测试carLife需要能访问到互联网也就你手机要打开网络carLife需要有访问手机网络权限&&&我米5&开发版7.0&测试给互联网访问权限中控屏幕会显示链接超时访问网络后可以链接链接可以关闭网络但拔掉数据线再插又能链接需要开网络
引用 zoeDylan
10:20:23 发表于 主楼 的内容：
禁止发布色情、反动及广告内容！
10:29:15 | 来自
carlife可以拨打电话，我是小米5，要给一个直接拨打电话的权限
引用 Red_Fox-06 10:29:15 发表于 1楼 的内容：
禁止发布色情、反动及广告内容！
完成汽车之家&#183;知道升级任务，解答问答，并被提问者采纳为满意回答，可得解答达人一级勋章
10:32:40 | 来自
非常感谢，全面到位。
引用 121gengketao
10:32:40 发表于 2楼 的内容：
禁止发布色情、反动及广告内容！
所属：爱车：
分享购车价格，点评购车服务感受，通过工作人员审核，特授予【家de报价员】专属勋章。
10:29:15 发表在 carlife可以拨打电话，我是小米5，要给一个直接拨打电话的权限好的，估计还有手机rom问题，我的是小米5是开发版最新版。
引用 zoeDylan
10:38:32 发表于 3楼 的内容：
禁止发布色情、反动及广告内容！
10:39:40 | 来自
10:38:32 发表在 好的，估计还有手机rom问题，我的是小米5是开发版最新版。我是最新稳定版
引用 Red_Fox-06 10:39:40 发表于 4楼 的内容：
禁止发布色情、反动及广告内容！
所属：爱车：
分享购车价格，点评购车服务感受，通过工作人员审核，特授予【家de报价员】专属勋章。
10:39:40 发表在 我是最新稳定版应该是版本问题，我手机要root权限，一直用的开发版。
引用 zoeDylan
10:41:38 发表于 5楼 的内容：
禁止发布色情、反动及广告内容！
所属：爱车：
分享购车价格，点评购车服务感受，通过工作人员审核，特授予【家de报价员】专属勋章。
10:32:40 发表在 非常感谢，全面到位。大家学习学习，交流交流。
引用 zoeDylan
10:42:02 发表于 6楼 的内容：
禁止发布色情、反动及广告内容！
重点感谢的是我好不好！！
引用 老鼠Jadon
11:08:53 发表于 7楼 的内容：
禁止发布色情、反动及广告内容！
所属：爱车：
分享购车价格，点评购车服务感受，通过工作人员审核，特授予【家de报价员】专属勋章。
11:08:53 发表在 重点感谢的是我好不好！！
引用 zoeDylan
11:33:29 发表于 8楼 的内容：
禁止发布色情、反动及广告内容！
完成汽车之家&#183;知道升级任务，解答问答，并被提问者采纳为满意回答，可得解答达人一级勋章
12:02:47 | 来自
升级系统以后我拨打电话，第一次接听没问题，后来再接听用车内的麦克就没有声音了。对方听不到我说话。切换到手机就可以。第一次接电话的时候没开导航。第二次开了导航。后来要办事就没再测试，其他车友可以测一下。
引用 westzhanglin
12:02:47 发表于 9楼 的内容：
禁止发布色情、反动及广告内容！
完成汽车之家&#183;知道升级任务，解答问答，并被提问者采纳为满意回答，可得解答达人一级勋章
楼主是啥时候的车子，我的是15年的车子，不知道适用不
永远拥有一颗总冠军的心
引用 wade_3_
12:42:59 发表于 10楼 的内容：
禁止发布色情、反动及广告内容！
完成汽车之家&#183;知道升级任务，解答问答，并被提问者采纳为满意回答，可得解答达人一级勋章
完成汽车之家&#183;知道解答问答任务，并被提问者采纳为满意回答。并符合升级规则，即可得解答达人二级勋章
14:04:40 | 来自
引用 唐果-06 14:04:40 发表于 11楼 的内容：
禁止发布色情、反动及广告内容！
完成汽车之家&#183;知道升级任务，解答问答，并被提问者采纳为满意回答，可得解答达人一级勋章
14:15:51 | 来自
按照楼主步骤，1.4T升级成功，功能齐全。就是导航的声音一直是最大的，不知道怎么调小。车载音量和手机音量都不能控制导航声音。太大了。求解
引用 加油梅赛德斯
14:15:51 发表于 12楼 的内容：
禁止发布色情、反动及广告内容！
完成汽车之家&#183;知道升级任务，解答问答，并被提问者采纳为满意回答，可得解答达人一级勋章
14:29:15 | 来自
14:15:51 发表在 按照楼主步骤，1.4T升级成功，功能齐全。就是导航的声音一直是最大的，不知道怎么调小。车载音量和手机音量都不能控制导航声音。太大了。求解看到了，在中控里找，我回去试试
引用 加油梅赛德斯
14:29:15 发表于 13楼 的内容：
禁止发布色情、反动及广告内容！
完成汽车之家&#183;知道升级任务，解答问答，并被提问者采纳为满意回答，可得解答达人一级勋章
苹果手机用高德导航，用CARPLAY 只能投影苹果地图的导航，很垃圾，升级后能否投影手机APP上的高德呢（苹果手机）
14:37:28 发表于 14楼 的内容：
禁止发布色情、反动及广告内容！
参加#2016法国欧洲杯专题#活动，赢取限量版勋章，精彩纷呈，尽在汽车之家。
上传购车发票，点评购车服务感受，通过工作人员审核，特授予【真实报价员】专属勋章。
分享购车价格，点评购车服务感受，通过工作人员审核，特授予【家de报价员】专属勋章。
完成汽车之家&#183;知道升级任务，解答问答，并被提问者采纳为满意回答，可得解答达人一级勋章
参与汽车之家质量评价调研，反馈真实质量情况，特授予汽车之家“质量评价员”称号，并奖励专属勋章。
10:38:32 发表在 好的，估计还有手机rom问题，我的是小米5是开发版最新版。我的红米2，可以连接使用
引用 阿听007
14:49:29 发表于 15楼 的内容：
禁止发布色情、反动及广告内容！
所属：爱车：
分享购车价格，点评购车服务感受，通过工作人员审核，特授予【家de报价员】专属勋章。
14:15:51 发表在 按照楼主步骤，1.4T升级成功，功能齐全。就是导航的声音一直是最大的，不知道怎么调小。车载音量和手机音量都不能控制导航声音。太大了。求解在中控设置里面调整，你按中控房子那个按钮，然后点设置，里面有个音效什么的可以调整
引用 zoeDylan
17:59:21 发表于 16楼 的内容：
禁止发布色情、反动及广告内容！
所属：爱车：
分享购车价格，点评购车服务感受，通过工作人员审核，特授予【家de报价员】专属勋章。
12:42:59 发表在 楼主是啥时候的车子，我的是15年的车子，不知道适用不都可以
引用 zoeDylan
17:59:32 发表于 17楼 的内容：
禁止发布色情、反动及广告内容！
所属：爱车：
分享购车价格，点评购车服务感受，通过工作人员审核，特授予【家de报价员】专属勋章。
14:37:28 发表在 苹果手机用高德导航，用CARPLAY 只能投影苹果地图的导航，很垃圾，升级后能否投影手机APP上的高德呢（苹果手机）这个没法。。
引用 zoeDylan
17:59:51 发表于 18楼 的内容：
禁止发布色情、反动及广告内容！
18:13:53 | 来自
感谢楼主分享，中午根据步骤升级了1.4尊享版，各项功能正常。百度比以前的sdl要好用太多。
引用 月冷千山-06 18:13:53 发表于 19楼 的内容：
禁止发布色情、反动及广告内容！
完成汽车之家&#183;知道升级任务，解答问答，并被提问者采纳为满意回答，可得解答达人一级勋章
我车子唯一的问题终于解决了！之前的版本不知道是太老还是怎么的，连接CARPLAY卡卡的。现在升级以后感觉是精简掉其他的两个连接方式现在车机系统变得更流畅了。CARPLAY也是很快就能连接上，而且操作顺滑，终于等到了升级文件
引用 Qbx-02-06 19:23:24 发表于 20楼 的内容：
禁止发布色情、反动及广告内容！
正在提交回复,请稍候...
mainTopic.xRender=YES
楼主有更新时通知我
已取消此帖的收藏
您已被楼主屏蔽，不能回复该帖子