鸿运国际官网欢迎您手机端能玩吗?需要下载吗?

-19日,国内云计算技术领域最专业、影响力最大的盛会———中国云计算技术大会CCTC 2017在北京朝阳门悠唐皇冠假日酒店盛大召开。来自海内外的超过60多位讲师、以及2000多位云计算专业开发者和相关从业人士参与了此次盛会。
  当今,企业”上云”节奏正在加速,特别是在以人工智能技术为代表的新一波技术浪潮推动下,企业一方面通过云技术增强了自身的数据存储连接、计算以及智能应用能力;另一方面,利用基于云计算之上的大数据、人工智能等新技术,企业又可以以较小的成本、更高效地挖掘出快速提升企业业务的数据与方法,实现云、数、智的自然融合和协力发展。[]
点击查看:
17:50京东集团感知识别研发总监陈宇发表了主题为《计算机视觉助力品质京东》的演讲,他对计算机视觉的技术研发路线进行了解读,图像识别、图像安全、人脸识别、机器视觉以及图像检索这几个关键技术有助于提升电商运营效率,OCR文本识别、图像质量检测、人脸识别、图像相似检索这四大产品系统改善了用户的网购体验。并列举了图书封面对比算法流程,成果达到漏检小于1%,节省了82%的人工,实现了传统算法和深度学习算法的创新。技术创新提升了电商运营效率,体现在银行卡&身份证识别系统以及仓储自动化平台两方面。
17:00【人工智能专场】第四范式算法研发工程师涂威威分享《大规模分布式机器学习系统设计与应用经验分享》为主题的演讲。机器学习(ML)利用经验改善系统性能,应用在各领域:搜索与推荐、生物特征识别、自动驾驶、军事决策助手等。涂威威认为没有在所有问题上最好的架构,只有最适合实际问题的,随后介绍了工业界大规模分布式机器学习系统以及机器学习计算框架设计的核心目标,并分享第四范式大规模分布式机器学习计算框架设计经验,最后,列举了机器学习系统在实际应用中需要注意的常见问题。
16:10【微服务专场】Mesosphere 分布式系统工程师,Apache Mesos PMC成员Gilbert Song发表了主题为《基于微服务的现代应用实践》主题演讲,他的演讲主要分为在DC/OS上的微服务和容器的编排两部分。Mesosphere DC/OS的三层架构为:基础设施、Mesosphere DCOS、服务器和容器,使用Mesos和DC/OS可以大大的提高资源利用率,除此之外,Mesos还具有生产上得到验证、经验证的可扩展性、高可定制性等优点。Mesos具有强可扩展性的原因包括无状态的Mater、专注如何管理资源,能够在C++中实现 三点。容器网络支持CNI(Container Network Interface)和CSI(Container Storage Interface)标准。最后,Gilbert Song介绍了一些Mesos的新特性,包括GPU支持、资源调配等。
16:40【云计算核心技术与实践专场】亚信DataFoundry产品负责人叶鹏在《开源广进,用Service Catalog构造kubernetes服务能力中心》分别对Open Service Broker API、ServiceCatalog、Broker进行了解读,并构建服务能力中心的诸多实践。Service Catalog是K8S向前演讲的一环,是OSB API在K8S中的实现。除与Open Service Broker API共用了很多基本概念外,也有着自己一些特定的基本概念。借助于K8S新发布的PodPreset特新来管理鉴权信息的注入,是Service Catalog的一项重要的功能,可将用户信息与系统信息分离,简化Binding设计,方便提供多种注入方式。Broker是相对于ServiceCatalog的另一端,至于如何开发一个Broker,他提供了很多参考案例。
16:10 【云计算核心技术与实践专场】国家气象局信息中心副总工程师沈文海在《气象信息化中的云计算》主题演讲中简单回顾了气象信息化的各个发展阶段,并列出了2015年所梳理出来的气象信息化面临的问题,如业务系统建设不集约;气象资料业务及管理薄弱;信息资源管理效率不高;业务标准规范体系不健全;气象信息业务管理有制约……。
他表示,2014年-2015年,气象信息化进入启蒙阶段,开始被重视。年,开始以问题为导向,制定气象信息化方略,将分散的数据、信息孤岛进行集约化、标准化。可分两阶段走,一是信息化行动方案的制定,二是十三五气象信息化工程建设。
接着他分析了气象信息化中的云计算发展趋势,1.实现资源集约,大数据时代,中国气象局业务必然向云模式迁移;2.气象发达国家启动了云计算、大数据、物联网应用。在此背景下,气象信息化工程开始建设,沈文海对它的技术架构、总体布局进行了介绍。
16:00 【人工智能专场】PPmoney大数据算法总监黄文坚分享的主题为《深度学习、TensorFlow在FinTech的应用》,深度学习中CNN和RNN对于时间序列的数据有很好的学习能力,而金融数据中大量的数据都是时间序列的格式,乃至金融分析报告中的文本信息等。因此,应用深度学习到金融数据挖掘中,会有先天的优势,而TensorFlow是目前深度学习中最成熟最主流的框架,它有Google提供强大的研发能力作保障,对各种最新的深度神经网络结构都有非常好的支持。黄文坚从金融预测模型、NLP类应用和量化投资等领域分享了TensorFlow的具体应用。
15:30【云计算核心技术与实践专场】MoPaaS研发副总裁沈阅斌在《Cloud Foundry在企业融合云平台中的应用》主题演讲中首先对Cloud Foundry的版本迭代过程、架构设计、应用生命周期管理进行了介绍。MoPaas基于Cloud Foundry着力打造企业融合云平台,主要提供业务持续交付能力。完成这样一个平台,需要对Cloud Foundry进行多方面的扩展,比如对多云架构的支持 、提供多种运行环境及发布方式、服务扩展能力、海量实时访问日志处理、应用日志集中处理、监控数据的处理等。
15:20 【微服务专场】融数数据北京研发中心CTO王东发表了主题为《融数数据基于Kubernetes的微服务治理和构建平台》主题演讲。实现微服务框架的过程中,需要考虑简化开发、调用方便、可用性和安全、高性能四点。融创基于GRPC、Proxy等自主研发了微服务平台,其架构分为开发工具、核心服务(包括Graeae Proxy、Graeae Server、Graeae Consumer)、运维三大部分。微服务的治理和监控过程中,融数微服务框架基于Proxy的去中心化治理,监控方面,第一代使用zipkin + brave来做,第二代改为Pinpoint。目前融数部署平台构建在kuberntes上,而kuberntes搭建在openstack私有云环境上。最后,王东分享了如何打造适合微服务的技术团队。
15:20 【云计算核心技术与实践专场】恒丰银行高级技术经理刘骁在《走出堡垒,恒丰银行金融云转型实践》主题演讲中分享了国内银行业IT现状、云转型痛点及IT特征,分析了恒丰金融云设计思路,并展示了转型实践。
刘骁表示国内银行业IT云转型面临着很多痛点,如银行IT部门仍是成本中心,并存在很多资源浪费;机制体系庞大,部门多、分工细、流程长, 整体调度难度大;存量包袱重,上云难;外部高端技术人才难寻,只能内部挖掘等。
在分享恒丰金融云设计思路及转型实践中,他重点解析了资源调度及资源池管理策略。据了解,恒丰银行在国内银行业中率先采用开源OpenStack/KVM/CEPH构建了金融IT基础设施云平台,近140个应用的全部研发、测试、生产环境均由OpenStack开源云平台提供(数据库及大数据平台除外)。
14:40 【人工智能专场】IBM GBS Watson高级顾问金杰分享了主题为《基于Watson的人工智能与认知计算的应用分享》演讲。金杰首先介绍了IBM Watson的研发历史和最新进展。IBM Watson具有多样的认知计算能力,覆盖了问答、语音识别、概念洞察、机器翻译、信息共鸣、概念扩展、关系抽取、可视化渲染、文字转语音、权衡分析、视觉识别等多个领域。金杰重点讲解了IBM Watson在认知领域的落地案例——基于“微服务”的人机对话系统解决方案。在这个方案中,应用系统与Watson机器人服务交互,Watson根据用户输入的内容判断用户的意图,基于Watson搭建了话术系统并配有后台维护系统,企业可以对话术进行添加修改,也可以对话术进行机器学习。金杰还讲解了基于Wex的深度定制化银行呼叫中心认知系统架构案例。在这个方案中,系统在一定时间范围主动基于合同去查看呼叫记录,可以将语音文本转换API将呼叫内容变为文字, 用自然语言分类机制将呼叫记录按照客户意图进行分类,并通过智能转接或者预期处理以进行针对性应对和安排时间 。
此外,金杰还分享了IBM近日推出的新PowerAI 深度学习软件,该软件基于Power Systems构建,可以提供丰富的工具和数据准备功能,简化开发体验,将AI系统训练所需的时间从数周缩短到数小时。
14:30【微服务专场】DaoCloud首席架构师王天青发表了《微服务架构转型的三大挑战及应对之策》主题演讲。在架构转型过程中,可能会遇到:为什么要用微服务架构、研发如何落地微服务、微服务如何上生产 三大挑战。考虑是否使用微服务时,首先需要考虑使用场景, to C的产品用微服务会更加合理。在落地微服务的过程中,要进行业务梳理,明确业务场景,理解需求,还可以进行领域驱动设计和系统设计,关注非功能性需求及关注地图。在遇到微服务如何上生产的挑战时,需要考虑云原生应用、持续交付流水线、轻量级弹性容器基础架构。最后,王天青对微服务架构转型的流程进行了梳理。
14:30 【云计算核心技术与实践专场】西部数据HGST品牌存储解决方案顾问芦浩在《云计算背景下存储技术的发展与应用》主题演讲中首先分享了云计算对存储技术发展的要求。据他介绍,云计算环境下存储面临着多个挑战,如云计算所产生的文档、图片、音视频等企业数据呈爆炸性增长,传统存储扩展能力有限;云计算应用对数据访问带宽及响应时间都提出了明确需求,数据并行访问需求变得越来越普遍等。
同时,他还分析了未来存储技术发展呈现的五大趋势。(1)企业级SSD总体应用容量呈EB级增长;(2)超融合环境下PCIe SSD的大规模应用;(3)存储服务器上将逐步应用 PCIe SSD;(4)逐步转向 3D NAND;(5)非易失性存储器件的发展。
HGST专注于存储科技创新,目前在存储领域已有HGST PCIe SSD、HGST SAS SSD、SanDisk SATA SSD、HGST Platform System等多款品牌产品,且云计算领域已有很多典型应用。
13:50 【人工智能专场】阿里巴巴iDST资深专家孙健在以《从“连接”到“交互”》为主题的演讲中,首先介绍了从“链接”到“交互”的趋势,可穿戴设备、智能家居和智能出行都正在发生变化。关于阿里在智能对话交互方向的进展,对话交互分成两个阶段,第一阶段为用户信息通过对话收集完整,得到结构化Query;第二阶段是请求服务,完成支付、购买等多个步骤,Task Flow描述了任务的起始、步骤、流转、结束。同时展示了阿里人工智能ET Demo,同时阿里正在通过这样的对话平台,做面向开发者平台(SDK\API)。研发对话交互机器人需要坚持5个原则:坚持用户体验为先;产品和交互设计想办法降低不确定性;语言理解的鲁棒性和领域扩展性;打造让机器持续学习能力;数据闭环;介入尽可能多的数据服务。最后,千诀总结了对话交互的未来趋势:1. 人与机器人的对话交互是必然趋势;2. 语言理解是对话交互是否智能的关键;3. 未来的对话交互一定是多模态交互。
13:35【云计算核心技术与实践专场】中国移动苏州研发中心云计算产品部总经理助理刘军卫在《中移苏研存储产品规划和实践经验分享》主题演讲中整体介绍了中国移动苏州研发中心的存储产品线,并对象存储、块存储、文件存储、存储一体机这几个重要部分做了技术解读。
据刘军卫介绍,对象存储为基于CEPH研发的以对象形式存储和管理海量非结构化数据的存储系统。它支持跨地域、跨数据中心和跨机房的数据容灾保护,适配X86服务器;支持AWS S3和Openstack Swift API,以及简单易用的工具和SDK。在数据备份、公有云服务、文件归档、视频存储等领域应用广泛,目前已经商用超过30PB。在高性能、弹性扩展、自动化。块存储为基于CEPH深度定制的分布式块存储系统,在私有云、研发云、公有云、视频存储等领域应用广泛,目前已经商用超过35PB。
在接下来的分享中,他通过某省公司和目视频、移动公有云及和彩云多个案例分享了中国移动苏州研发中心在存储领域的具体研发实践。
13:30【CCTC 2017采访间】18日下午,在分享《基于Watson的人工智能与认知计算的应用分享》之前,IBM GBS Watson 高级顾问金杰接受了CSDN记者的采访,他表示,IBM的waston目前在金融领域有着广泛的应用,同时,IBM也积极倾听来自各行各业用户的声音,针对金融行业用户的“风险控制”和“潜在客户”等主要关心的问题,IBM内部也在技术和架构层面进行优化。
13:30【微服务专场】下午,微服务专场在58集团技术委员会主席孙玄的主持下正式开始,他发表了《实施微服务架构关键技术》主题演讲,演讲分为微服务架构特点、结构设计模型及实践案例、数据一致性 三点。其中微服务架构具有微服务粒度、独立进程、围绕业务建模、轻量级通信、去中心化管理的特点;微服务架构的主要设计模式分为四种:链式设计模式、聚合器设计模式、数据共享设计模式以及异步消息控制模式。实践部分,他列举了采用聚合器模式的二手交易平台实践案例以及采用异步消息模式的Feed系统实践案例,说明几种架构模式的具体使用方法。最后,孙玄表示:数据一致性保证需要基于异步补偿分布式事务。
13:30【云计算核心技术与实践专场】在奥思数据(OStorage)CTO李明宇的主持下,正式开始。
12:00 12:00 京东集团运营研发部高级总监李鹏涛在主题演讲《京东物流大数据应用实践之路》中表示做好大数据应用所需要的基本条件有三个: 1.需要先进的技术的支撑;2.有海量、高质量的数据; 3.合适的、丰富的应用场景。京东具有强大的云计算技术支撑、丰富的应用场景、海量的数据规模,在人工智能领域具有较强的研发实力支撑。接着分享了智能建站系统搭建案例,从站点数据、建站模型、预测模型、自动化决策等多个方面,分享了京东在大数据应用领域的研发实践经验。
11:30【CCTC 2017采访间】Rancher Labs联合创始人兼CEO梁胜在CCTC 采访间接受CSDN记者的专访,他重点强调了用户体验的重要性,他表示,随着容器技术发展到现在,技术方面基本已经趋于成熟,但是为什么容器云的潜能还没有被全部挖掘,他认为主要还是产品的用户体验没有做到“简单易用”,这也正是Rancher他们正在做的事情,作为开源的践行者,他也表示,当今时代,作为开发者来说,面临很多的机会,而且只要想做,都可以找到相关开源的项目,可以说站在巨人的肩膀上,所以,Rancher也会一直支持开源。
11:15 UCloud块存储研发部副总监彭晶鑫带来分享《重新定义云数据保护》,讲述在数据故障的状况下数据如何失而复得。首先列举了17年以来发生的重大数据事件,表明云数据保护的典型场景和方式。然后分享了块存储数据保护的最佳实践,并以提供连续数据保护服务的“数据方舟”为例详解RPO、RTO等数据回滚技术点,重新定义保护方式。最后以工程角度,在实现实时IO接入、成本降低、利用分布式存储和计算加快恢复速度等长远目标上,详细分析了UCloud数据方舟的实践和技术架构。
11:10Rancher Labs联合创始人兼CEO 梁胜在主题演讲《如何用“简单易用”解锁容器云的真正潜力》中表示云计算发展领域经历了三个发展阶段,虚拟化、云计算、容器。现在最热的当属以Docker为代表的容器技术。而容器技术中,以容器服务发展最为迅速,代表性服务有Amazon EC2 Container Service(ECS)、Google Container Engine(GKE)、Aliyun(Alibaba Cloud)Container Service。
透过容器服务的发展,梁胜也表达了他对该领域未来的担忧。在他看来,容器还仅停留在打包部署上,但仍算不上成功的云计算平台。追寻背后的原因,可在Kubernetes上可见一斑,它对开发者来说,太难太复杂。反过来看,Docker能从众多的容器技术中脱颖而出,主要缘于其简单易用、拥有好的用户体验。
从Docker的成功中得到启发,2014年基于Docker构建了Rancher Labs,提供容器云计算服务。最初着眼于为开发者提供开源软件,将简单易用放在首位,经过两年多的发展,已积累了大量的开发者用户群。他认为面向开发者的云服务更应该是消费者互联网服务,应该特别强调简单性及好的用户体验。
10:40【CCTC 2017采访间】UCloud块存储研发副总监彭晶鑫在接受CSDN记者采访时表示,UCloud数据方舟2.0比之前的版本优化很多,包括数据回滚的时间和效率都有大幅提升,同时,他也介绍道,在数据方舟设计的过程中,针对主要的使用场景,在价格方面都做了详细的优化,联系到这次席卷全球的wannacry病毒,他重点强调了云数据保护的重要性以及作为企业运维和安全从业者,如何防治数据丢失和被攻击,他给出了许多行之有效的建议。
10:05普元CTO焦烈焱带来分享《人工智能背景下软件架构的演进》,总结过去一年在人工智能方面的思路和方法。分而治之的软件架构下云计算面临着集成复杂的挑战,不仅成本过高,还涉及软件与软件工程的集成问题。在利用人工智能实现智能连接上,可以基于机械连接、基于知识连接、创造知识连接三个层面,通过人工智能来支撑智能增强的企业软件,从而达到机械智能、辅助实现意图的智能、创造意图的智能等长远目标。最后他提出传统方法应与深度学习相结合,避免“深度泛滥”,并分享了两个实践案例:使用知识图谱进行业务人员与数据连接的数据自服务,以及以智能开发系统提供的跨团队知识共享。
09:30Mesosphere联合创始人兼CTO Tobias Gunter Knaup在《The Future of Container Orchestration》主题演讲中表示,未来云计算的趋势是混合云、多云连接。在多云连接中,不同供应商有不同的策略,更注意规则的制定与数据的隐私保护,不同的云提供专属的服务,且分布在不同的地理位置,价格与性能都各有差别。
在多云连接中,该如何无缝地在上面运行我们的应用呢?关键因素有两个:便携式平台服务(Portable Platform Service)和硬件抽象层。硬件抽象层可实现对混合云的支持,而云平台服务可以带来更多好处,比如更易于构建应用,可实现自动化维护、自动化Bug与安全修复、易于更新、更具弹性、更易扩展。
9:20【CCTC 2017采访间】普元CTO焦烈焱接受了CSDN记者的专访,他介绍了普元在人工智能领域的一些探索,包括软件开发领域如何切入人工智能技术,他分享了普元内容部门的一些做法,他认为企业在使用人工智能技术的过程中,最主要的是找到“连接点”,如何做到智能的连接以及如何让企业软件开发者具备人工智能思维成为企业正确切入人工智能的关键点。
09:15作为国内领先的开发者云,开源中国CEO马越介绍了“码云”。定位Beyond GitHub的码云,一直致力于促进本土开源生态,也是本土开发者的不二选择。
09:00CSDN、极客帮创投、AI100创始人蒋涛发表开场致辞,介绍AI First时代的云计算。前云时代(PC和互联网)、云时代的技术发展之后,下一波技术大浪潮已经来袭。以云和大数据技术为基础的新人工智能时代,借助深度学习大杀器,为我们带来了算力、算法技术的巨大突破。AI时代的云,包括行业AI的云、物联网的云、因安全问题而带来的价值和信任的云,以及最重要的开发者云。最后,蒋涛表示AI云时代的技术机遇将会促进AI云产业的新兴发展,期望与所有开发者共同努力。
9:005月18日上午9:00,CCTC 2017中国云计算技术大会在北京朝阳门悠唐皇冠假日酒店正式拉开序幕。作为云计算技术人的盛会,CCTC已成为技术人观察全球云计算技术发展趋势和变化的窗口,本次大会汇集众多社区骨干、典型行业案例代表,深度解读本年度国内外云计算技术发展最新趋势。
17:30【容器与运维技术峰会】美团点评容器平台负责人郑坤发表了《美团点评业务容器化实战分享》的主题演讲。郑坤首先介绍了美团云引入容器的原因,由于业务的周期性和突发性,核心业务要有x倍容量冗余。传统虚拟机部署业务有三个低效率问题:1.手动扩容,人工参与度高;2.流程复杂,可靠性差;3.业务预留机器,资源浪费。所以美团云容器平台设计策略为:基于现有基础设施演进升级;把握节奏,“稳”字当先;先做好架构,再性能优化。郑坤详细介绍了容器平台设计细节,制定了容器支持服务治理解决方案,最后分享了容器化实践中遇到的问题以及解决方案。
17:00【区块链峰会】《如何学习区块链技术》圆桌会议开始,互动环节依旧由上海乐住CTO王玮主持,他提出:现在区块链的技术背景是什么?国内技术人员学不学区块链?如何学区块链?人民保险李赫、银链科技CEO申屠青春、海纳云CTO邹均、“积分币”创始人张蕾就这些技术人最关心的问题,进行了精彩的解答。
17:00【大数据核心技术与应用实战峰会】科大讯飞实时计算平台高级架构师刘君在《讯飞语音云实时分析架构及实践》主题演讲中表示讯飞语音云可提供语音识别,语音合成、人脸、声纹识别,语义理解,全双工带上下文的AIUI语音交互等主要能力。随着业务的发展,提出了更多的实时需求,讯飞语音云可对重要指标进行实时统计,对集群、服务的健康状况进行实时监控等功能。
接着刘君分享了语音云在实时分析领域的三大实践:BI&大屏、实时监控平台、云知道。实时监控平台,支持服务器基础指标监控告警、业务主动告警等多种告警类别,告警触发条件、报警时间、告警通知人员等都是可配置的。
16:50【Spark技术峰会】Databricks软件工程师范文臣分享了题为《Deep Dive: How Spark Uses Memory》演讲。范文臣的演讲主要包括三方面的内容:如何看待Spark集群下的内存管理,如何处理内存竞争的问题,Spark对内存使用的优化手段及展望。他重点讲解了在实践中常会见到的内存竞争问题,当Storage和Execution竞争的时候优先考虑Execution,考量优先把Storage内存刷掉。此外,还有Tasks之间的分配,不要静态提前分配好,而是通过运行时动态处理竞争情况,并且通过合作的方式让内存使用者合作,让大家尽量通过公平的算法把内存竞争的问题解决。
15:40【大数据核心技术与应用实战峰会】HanSight瀚思高级技术工程师张军在《大数据安全分析在电子银行业的探索与实践》主题演讲中表示伴随着安全数据越来越多,信息安全问题将转变为大数据分析问题,大规模的安全数据需要被有效地关联、分析和挖掘。具体到电子银行业,面对每天产生的大量访问及交易日志,需借助大数据分析构建用户画像,包括撞库行为画像及扫描行为画像。HanSight在电子银行业中的大数据安全分析领域有着深入的探索实践,并剖析了平台架构设计的诸多细节,如实时分布式流处理平台基于实时大规模分布式处理系统Flink开发;内置数据字典把各种Elasticsearch输入数据规整化等。
16:30【容器与运维技术峰会】hyper.sh运维负责人裴彤的演讲主题为《Hyper容器云及云上运维》,Docker是当前最热门的容器技术,它主要由Container(轻量级、快速)和Docker Image(随时随地、便携、不可变更)组成。然而也有安全顾虑,正常使用应该是安全的,放在虚拟机里更好。可以通过加快启动速度,减少内存占用从而使得虚拟机“更快”。Hyper Container用于公有云的优势是调度效率更高,管理复杂度降低。“云Docker”在体验上与在自己的电脑上使用Docker一致, 而实际操作的是云端的资源——用户如同拥有一台资源无限的“主机”,只管按需创建/使用/销毁容器即可,而无需为底层的“主机”或“集群”操心。最后,裴彤从资源视角、环境/配置管理、应用变更,以及Metrics信息收集/监控4个角度分享了自己的一点思考。
16:30【区块链峰会】积分币创始人张蕾,分享了《区块链业务分析方法实践》的主题演讲。张蕾第一次在公共场合详细阐述了“区块链业务分析”概念,他包含Blockchain Business Analysis和基于IIBA的BABOK 3.0 标准。张蕾认为:凡是用数据库系统可以提供成熟的解决方案,用区块链就很愚蠢了。区块链代表了一种新的交易方式,它通过放弃部分的保密权利,来换取去中心化的权利。
16:10【Spark技术峰会】阿里巴巴技术专家宋军分享了题为《SparkSQL在ETL中的应用》的演讲。宋军表示,ETL主要有三个步骤:抽取、转换、加载。首先读取数据源,做清洗加工,整合处理,最终把这些数据存储到目标存储里,对ETL要求满足简单易用、支持多种数据源、支持容错处理、丰富的算子、复杂数据类型、计算快等多个因素。如何实现以上目标,宋军从DataSource、丰富的算子 、Hive兼容、性能、云上ETL 五个方面作出解读。
16:00【区块链峰会】深圳银链科技CEO、金链盟常务副秘书长申屠青春发表了《如何搭建区块链应用》主题演讲。区块链目前的应用领域包括跨境支付、电子票据、商业银行抵押品等。区块链应用开发首先需要考虑应用场景,接着进行公有链或私有链的选择,然后进行开发工具的选择。区块链开发的系统架构包括用户、核心企业区块链管理平台、区块链中间件、Fabric区块链网络。具体开发的过程为搭建Fabric节点,编写智能合约,智能合约交互,实现前端界面(JAVA SDK)。
15:40【大数据核心技术与应用实战峰会】金电联行首席技术官尚峰在主题演讲中表示,经过分析,大数据可有很多典型的可应用点,但现实中因为知识、数据、人才、技术的瓶颈,数据应用落地面临着很多问题。至于如何应对、有所突破?尚峰提出了数据处理方式要由数据手工作坊型向智能数据工厂推进。智能数据工厂,采用“数据”与“专家经验”双驱动方式,依靠工业级生产方式,突破人力、知识等瓶颈,快速、高效、高质量地适应新的数据、适应新的业务。至于如何搭建智能数据工厂?他从架构设计、业务流程、技术流程等多角度进行了详细分析。
15:30【容器与运维技术峰会】凡泰极客研发副总裁杨涛分享的主题为《面向垂直金融机构的容器化交付网络》,CALMS不是GPS,而是指南针CALMS和其他的DevOps工作流一样,都只是提供一个指南,而不是一个确切的答案。CALMS对DevOps的重点描述是文化,并不完美,它只是一个指南,而不是最终答案。建立一个达成了强有力协议(例如一些需求文档和 API)的小而敏捷的团队。这使得团队可以积极做出对于代码段的修正,只要他们不违反将团队和代码绑在一起的协议。杨涛随后详细讲解了社交化编程(Social Coding)、工具链、交付网络-ChatOps。
15:00【区块链技术峰会】海纳云CTO邹均发表了《共识简史》主题演讲。分布式是一种计算模式,指在一个网络中,各节点通过相互传送消息来通信和协调行动,以求达到一个共同目标。分布式系统由于各节点独立运行,相互通信也会出故障,因此要保证整个系统状态的一致性,需要有共识协议,分布式系统通过这两点来保证一致性。目前来讲,区块链共识多数是单一场景,受限于FLP,CAP。最后他总结道:区块链是信任机器,共识算法有强一致性和最终一致性共识算法,区块链共识算法因公有链、联盟链、私有链不同而有所不同。
15:00【Spark技术峰会】宜人贷数据科学家王婷分享了主题为《金融反欺诈场景下的Spark实践》演讲。王婷首先介绍了金融科技企业所面临的欺诈风险,包括用户还款能力、伪冒申请和欺诈交易等,传统方法在解决这类问题时往往效率低下。她认为反欺诈也是一种机器学习过程。宜信基于海量数据构建了金融知识图谱——FinGraph,具有应用场景、系统支持、数据整合三个层面。王婷重点讲解了反欺诈场景下Spark三板斧:Spark Streaming用SDK实时数据处理;Spark GraphX用于图挖掘特征工程和挖掘欺诈组团;Spark Mllib用于特征工程、简单机器学习训练。王婷重点讲解了宜人贷开发的基于Spark架构的实时反欺诈平台,包括用户层、工具层、模型层、数据处理层、存储层和数据层,通过对不同事件得出实时欺诈评分。此外,宜人贷还通过引入反欺诈调查员,结合图谱挖掘,提升反馈效率,快速发现欺诈团伙。
15:00【容器与运维技术峰会】深圳睿云智合CTO徐年刚分享了主题为《容器化引领IT新常态》的演讲,简单介绍了IT发展的新常态,十年软件产品交付变革,组织结构和协作方式转型,Bimodal正在成为传统企业适应IT新常态而采用的治理模式,应用容器化会是未来最热门的“软件运动”。容器化相关的技术很多都不是新技术,不是拍脑袋的技术试验,容器化为应用提供基础设施环境, 研发,交付 到运维完整工具链。容器技术的出现,也在促进其它技术发展和落地。容器技术既是从过去传统IT技术和思想的升华,也包含从互联网IT实践中出来新思想和理念。传统企业IT的容器实践和导入, 是一个从旧IT架构逐渐过渡到新IT架构的过程。徐年刚表示容器化技术还是一个处在“moving fast”阶段,容器化过程是一个由点及面,由可靠到创新的过程,传统企业可以尝试先作从封装,部署到最后全面容器化平台托管应用这样一个逐渐导入的过程。容器技术目前从应用、技术和生态都有相应的挑战。
14:20【区块链峰会】IBM大中华区实验室服务部首席架构师李燕生发表了《Hyperledger技术实践与案例实践》主题演讲。区块链的关键核心包括共享账本、智能合约、隐私保护、共识,而区块链的价值在于节省时间、降低成本、减少风险、监管组织、商业组织和运行机构。李燕生分对业务场景上的业务流程以及区块链上的业务流程两个实践案例进行了分析。最后,他总结了区块链应用的技术挑战:1.商业网络的推广模式带来业务挑战;2.商业网络的组织架构和管理方法;3.有待配套的社会规则的制定;4.技术栈的增加带来新的技术挑战;5.分布式系统带来的数据一致性问题;6.数据逻辑和业务逻辑的设计问题;7.系统部署的复杂度问题更加突出;8.对基础设施的平台化和规范化的要求更高。
14:40【大数据核心技术与应用实战峰会】滴滴出行资深软件开发工程师李扬在《HBase在滴滴出行的应用场景和最佳实践》主题演讲中表示HBase目前已应用于滴滴出行的在线业务、离线业务中。存放在HBase中的主要数据类型包括统计结果、报表数据,原始事实类数据,生产中间数据和结果数据,线上系统的备份数据。针对这四种数据,李扬分别例举出一个应用场景,如订单事件、司机乘客轨迹、ETA(预计到达时间)模型实时训练、监控工具。每个应用场景都解析了应用需求、实现过程等内容。
14:00【大数据核心技术与应用实战峰会】北邮计算机系副教授熊永平在《INFINIDATA:基于Spark的统一数据管理与数据探索平台》主题演讲中表示企业数据应用中,最常见的数据处理需求包括即席查询SQL、复杂检索、全表扫描、交互式探索。MPP数据仓库、大数据平台是现在的两大类解决方案,但由于价格高、使用难度大等原因,都很难很好地满足企业的需要。从用户需求出发,INFINIDATA平台应运而生。INFINIDATA具有一体化的数据管理;易用强大的计算流程管理;提供标准高性的数据查询服务。在可视化领域,INFINIDATA也进行了研发探索,主要专注于行、列、值的相关分析、离散矩阵分析、OLAP分析、可视化分析。目前INFINIDATA在保险行业有很多典型应用,如清单查询、统计报表、客户清洗与画像等。
14:00【容器与运维技术峰会】Mesosphere联合创始人兼CTO Tobias Gunter Knaup与亚太区技术总监Ben Lin分享的主题为《DC/OS 1.9 DEEP DIVE》。Tobias表示企业合作伙伴的框架可轻松运行和部署DC/OS之上的数据服务操作,简化DC/OS集群的管理。Mesos一直在寻找并允许更多的工作负载运行在DC/OS之上,并通过添加POD和GPU来实现新的用例。DC/OS支持许多规范性的关键应用程序。Mesosphere DC/OS提供了类似AWS平台服务的强大功能,并且可以在任何基础架构上运行。
13:45 【Spark技术峰会】七牛云高级大数据工程师赵宏尧分享了题为《基于Spark的流式处理引擎在Pandora大数据产品中的应用》的演讲。据悉,Pandora目前的数据处理规模已达到了每分钟实时写入的数据量达到数百GB, 每分钟实时写入的数据条目达到数十亿 。赵宏尧介绍了Pandora核心组件——计算平台架构,包括实时任务和离线任务调度管理平台、资源管理平台(YARN,Mesos,自研容器云平台)及Spark组件。他重点讲解了流处理技术服务化需要考虑的两个问题 :用户的使用接口, 技术细节的屏蔽 。用户接口他建议schema,具有数据流健壮、存储计算高效、数据类型丰富等特点。在技术细节处理上,Spark Streaming在生产上的常见问题有运行状态管理和监控、数据丢失、数据消费延迟、聚合操作处理等,赵宏尧给出了对应的解决方案。
13:40【区块链峰会】比特宝创始人,《谈谈区块链》教程作者谈国鹏发表了《深入理解跨链技术》主题演讲。跨链的目的是实现不同链之间的资产转移;原子性交换(atomic swap);解决oracle的问题;实现资产质押以及它链信息或事件的读取和验证。目前的跨链技术主要有单个或多个实体的公正技术、侧链技术/中继技术、哈希锁定三项。其中公正技术很简单,但缺点是需要信任1个或多个实体。最后他针对Interledger、polkadot等常见的跨链项目进行了分析。
13:30【大数据核心技术与应用实战峰会】在Apache HAWQ创始人常雷的主持下正式开始。
11:40【区块链峰会】【圆桌对话:区块链创新之路上的企业机遇】圆桌对话环节,主持人王玮与三位嘉宾针对区块链的适用行业进行了讨论。其中李赫表示在去中介的应用场景下是最合适的应用,例如保险业。董宁表示:不同的行业对区块链的用法也不一样,大家在考虑的时候应该根据自己企业的应用场景考虑一些区块链的价值。张铮文认为区块链适合金融行业的发展,因为目前国家监管金融行业主要解决了大家的信任问题,而区块链去中心化的属性降低了监管成本,解决了信任问题。
11:40【容器与运维技术峰会】去哪儿网平台事业部开发工程师徐磊的演讲主题为《基于Mesos/Docker构建数据处理平台》。去哪儿数据处理平台每天处理约340亿/25TB的数据,其中90%的数据在100ms内完成处理,最长3h/24h的数据回放,私有的Elasticsearch Cloud,自动化监控与报警。而平台选择Mesos是因为它足够简单稳定,并且有较成熟的调度框架。Storm、Spark、Flink和ELK通过Docker发到Mesos上。徐磊介绍了JVM的容器化的注意要点,以及Mesos容器化需要关注的配置参数和run参数。Spark on Marathon实现运维标准化&自动化,解决Mesos-Dispatcher的不足,存在的问题为Checkpoint & Block、临时文件、Coarse-Grained。Elasticsearch需求逐步增多,目前托管了40+集群、100TB+业务数据、高峰期1.2k QPS、约110个节点。随后,徐磊分享了去哪儿在监控与运维方面的经验。
11:35 【大数据核心技术与应用实践峰会】Apache HAWQ Committer, PMC, 北京偶数科技有限公司架构师陶征霖发表了《云时代大数据管理引擎HAWQ++》的主题演讲,陶征霖首先为大家介绍了HAWQ及其发展历程,紧接着介绍了HAWQ体系架构、HAWQ内部架构、HAWQ优化器、HAWQ查询处理流程、HAWQ资源管理、HAWQ存储、HAWQ++新特性、HAWQ++安装部署、如何访问HAWQ++以及HAWQ++导入导出数据和HAWQ++结合MADlib的使用等等。
HAWQ资源管理的目标是负责向YARN申请资源和回退资源和为HAWQ用户,查询和操作符分配资源;三级资源管理包括全局资源管理、内部资源管理和操作符级别资源管理;多级资源管理和CPU和memory的管理。在HAWQ++导入导出数据中,可通过hdfs外部表导入导出数据、gpfdist外部表导入导出数据、COPY命令导入导出数据和hawq load工具导入数据。
11:20 【Spark技术峰会】华为大数据设计部部长、Apache Carbondata PMC Committer 李昆分享了题为《CarbonData大数据高性能交互式分析实践》的演讲。他首先分析了企业在构建数据平台时面临的挑战,几种方案无论是NoSQL,并行,搜索引擎,或者SQL on Hadoop,都只是针对某个场景设计,只能解决一部分问题。架构师在系统设计时不得不做出妥协,或者只满足部分应用;或者复制多份数据,满足所有应用。而CarbonData的目标: 一份数据满足多种业务需求,与大数据生态无缝集成 。
CarbonData在2016年6月进入Apache孵化器,2016年9月有了第一个生产系统部署,到今年4月已成为Apache顶级项目。现在最新的版本是1.1.0,可访问CarbonData的计算引擎是Spark、Presto、Hive、Flink。目前华为、美团、上汽、hulu等公司都有在生产系统部署CarbonData。李昆详细解释了CarbonData的几个重要技术优势。查询方面: 两级索引,减少IO,适合ad-hoc查询,任意维度组合查询场景; 延迟解码,向量化处理:适合全表扫描、汇总分析场景 ;数据管理方面: 增量入库,多级排序可调,由用户权衡入库时间和查询性能,增量更新,批量合并,支持快速更新事实表或维表,闲时做Compaction合并;大规模方面: 计算与存储分离,支持从GB到PB大规模数据,万亿数据秒级响应;部署方面:Hadoop Native格式,与大数据生态无缝集成,利用已有Hadoop集群资产 。
11:00【容器与运维技术峰会】中国移动苏研云计算产品部PaaS产品经理曹高晋分享了题为《中国移动PaaS平台技术选型和实践经验分享》的演讲。公司各大业务系统独立规划与建设,长期没有自主的IT研发团队导致开发商较多,架构不统一,应用烟囱式的架构,巨石应用、孤岛系统普遍存在,缺少对公共能力的抽象和复用,造成系统功能重复建设,互联化新常态下,“秒杀”、“抢红包”会对架构和应用的产生冲击。中国移动苏研针对自身情况,构建了弹性PaaS,一一介绍了实践中碰到的一些不常见的问题。最后,曹高晋有以下经验总结:企业PaaS需一些准备机制:Service Catalog, Application Catalog, Cloud Provider Interface等;虚拟机和容器当前同样具有需求;OpenStack + Kubernetes或许能涵盖企业真正想要的。
11:00【区块链峰会】智链科技CEO,前IBM亚太区IT经济学高级顾问董宁发表了《企业级区块链开发平台》主题演讲。他首先讲述了企业使用区块链的必要性以及区块链流转的价值表述。企业级区块链平台需要考虑技术延展性和产业视角,区块链作为细分的技术板块,未来会和其他有发展的技术板块相互结合,包括云计算和人工智能,物联网等等,因此未来会形成“区块链+”,用区块链技术平台打通消费者,供应链,生产厂商的信息链条,让价值流通更加可信,加速商业市场的数据变现。
最后董宁表示:要使用区块链技术平台的能力帮助企业专注业务。
10:40【大数据核心技术与应用实践峰会】Hortonworks技术专家梁堰波发表了《基于Spark的面向10亿级别特征的大规模机器学习》的主题演讲,本次分享主要分为五个方面:首先,梁堰波为大家介绍了基于Spark大规模机器学习的应用背景;其次,介绍了基于Spark无载体L-BFGS的运用;再次,分享了基于无载体L-BFGS的逻辑回归,第四,对性能进行了详细分析;第五,介绍了与现有的MLlib集成;最后,分享了未来研究方向。通过大量实例介绍,梁堰波表示未来还存在很多可以研究的方向,如不断的减少迭代、性能的提升以及借助数十亿参数预测广告点击率并形成真实案例,同时分享我们所得的经验和教训等等。
10:20【区块链峰会】分布科技CTO&创始人张铮文发表了《区块链智能资产开发实践》主题演讲。从电子现金到智能合约再到智能资产,区块链在不断的演进,比特币相关品类太多,催生了以太坊的诞生,智能合约正是运行在以太坊之上,
但以太坊却有些华而不实。小蚁区块链是区块链数字资产与应用平台,数字资产随系统的诞生而产生,是一种电子合同,拥有数字身份。数字资产的生命周期包括注册、发行、流转和销毁,这也是小蚁智能合约的运行机制,可以使用Java、C++、python等语言基于小蚁智能合约进行开发,也可以基于小蚁节点进行开发。
10:20【容器与运维技术峰会】思杰大中华区高级技术经理何浩祥发表了主题演讲《容器架构下多云平台的运维实践》。容器可跨平台,混合部署多,各平台都有不同的负载均衡,但是这都只滿足了4层负载均衡,无法解決应用的问题。新型态应用特性具有交易量不定,任何地点,使用者沒耐心,第三方接入、安全等特性。从长期的解决思路来看,负载均衡需能解決新型态应用与部署需求,软件设计要满足:高可用、安全、管理、自动、分析。何浩祥最后详细介绍了Citrix具体实践与演示。
10:20 【Spark技术峰会】新浪微博高级算法工程师吴磊分享了题为《基于Spark的大规模机器学习在微博的应用》演讲。他表示,微博目前在大规模机器学习技术方面面临的主要挑战是数据特征类别多、维度大、算法模型多样化、参数矩阵巨大导致大量内存和网络开销。因此,微博研发团队开发了基于Spark参数服务器,采用异步随机梯度下降算法,主要处理原则是将数据分块、分块数据拉取参数、计算分块数据梯度、将梯度更新到参数服务器。在过程中不断对参数服务器的Batch Size、PS server count、Sparse、Partitioning、Spark memory tuning等模块性能优化。在解决微博机器学习问题过程,他们开发了名为weiflow的统一计算框架。吴磊逐一解释了weiflow的实现过程,通过这一框架,微博团队业务开发效率、业务代码贡献、执行性能、模型性能等方面都得到了大幅提升。
09:45【大数据核心技术与应用实践峰会】清华大学计算机系副教授陈康发表了《图计算优化技术探索》的主题演讲,其内容包含四个方面,首先,是对图计算做简要介绍;其次,讲解使用体系结构局部性加速图计算;再次,讲解图的三维划分加速计算;最后,分享外存图计算的加速方法。图数据的来源非常广泛,Google和Facebook中都含有大量图片资源,因此,计算方式由数据并行到图并行转变。陈康表示,当前图计算呈现出四大特点:高访存计算比、数据局部性不好、结构不规则和受数据驱动。因此,优化数据载入的速度是重中之重。
随后,陈康介绍了图计算系统的计算框架,包括计算框架的作用,如便于编程、性能扩展和自动容错;以顶点为中心的计算框架和以边为中心的计算框架等等。在使用体系结构局部性加速图计算、图的三维划分加速计算和外围图计算的加速中,陈康运用了大量实例,为现场的开发者带来了详细的技术分享。
最后,陈康总结了使用体系结构相关方法优化图计算中表示,图计算由于其应用的广泛以及规模的扩展,现在仍然是热点的研究内容;通过体系结构相关的方法可以加速图计算的运行,如使用体系结构局部性加速图计算、图的三维划分加速计算和外存图计算的加速方法;图计算的不同模式,需要不同的加速方法。
9:40【区块链峰会】人民保险信息技术工程师李赫发表了《区块链原理及保险业应用思考》主题演讲。区块链基础架构包括数据层、网络层、共识层、激励层和应用层。在应用区块链时应该注意几点:第一,区块链和智能合约实现的,现有IT系统都能实现,区块链是去中介的;第二,区块链实现的不是性能的提升,而是业务模式的改变,相反性能大幅下降;第三,只能实现对链内内生的信息信任,对外界引入的信息无法建立信任;第四,区块链应用不需要币。目前区块链最重要的应用领域是金融业和各行业金属属性部分。基于区块链的互助保险具有低成本、后付费、后定价和期限碎片化的特点。
09:30 【Spark技术峰会】苏宁云商IT总部高级技术经理陈泽分享了主题为《Spark App自动化故障分析与诊断》的演讲。陈泽首先谈到了苏宁大数据平台架构,分为离线计算、流式计算、OLAP引擎三部分,基于Spark的应用在其中用得越来越广泛,目前集群规模是Yarn集群700节点,任务规模5W任务/天,处理的数据量300TB/天。陈泽重点讲解了基于Spark构建的CBT调度平台、SSMP平台和机器学习平台。据介绍,苏宁Spark平台化过程中曾遇到不少问题。在业务层面,对Spark SQL的认识不够,导致过度的依赖Spark RDD层面的API;对内存计算存在误解,不合理使用Cache机制,导致资源浪费;在平台方面,未提供数据来指导用户去优化Executor个数以及内存参数,导致平台资源利用率过低等问题。为此,苏宁研发了Spark App自动化分析和故障诊断系统——华佗,通过将运维的经验和知识工具化,并配合指标和事件两种信息,来对任务进行分析和故障诊断。华佗目前提供的分析和诊断能力包括了资源、性能、故障三个维度,陈泽详细介绍了每种能力的最新进展。
9:30【容器与运维技术峰会】阿里云高级专家陈萌辉分享主题为《Swarm的进化与大规模应用》,容器编排领域由MESOS DC/OS、Kubernetes、Swarm三分天下。Swarm是Docker公司继Docker Engine之后的重要产品,陈萌辉从架构、API和调度三方面介绍了Swarm,并总结了它的优点:部署简洁,高效友好的用户交互,灵活的约束与亲和性描述,及其不足之处。Swarm Mode将Swarm的集群管理、容器调度功能集成进Docker Engine,提供Service级别抽象,并自带负载均衡。Swarm Mode具有部署特别简洁,高可用服务,Secure by default等优点,但只有Service级抽象,Stack级抽象仍无API,部署有状态服务较复杂。最后,陈萌辉详细介绍了Swarm在阿里的应用,Swarm统一管理集群,阿里云专有云输出。
09:10【Spark技术峰会】由七牛云技术总监陈超担任主持人,陈超简单回顾了四年以来Spark峰会的历程,伴随着Spark在国内落地项目越来越多,今年峰会议题征集期间收到了超过100份Spark主题的演讲申请,经过主委会审核从其中挑选了七位精英讲师和经典案例内容,包括苏宁云商、新浪微博、华为、七牛云、阿里巴巴、宜人贷、Databricks的讲师将在现场带来精彩分享。
09:05【大数据核心技术与应用实践峰会】东方国信大数据中心总监王虎发表了《大数据核心技术在运营商的应用与实践》的主题演讲,本次分享主要包含三个方面,第一,运营商的大数据架构;第二,大数据核心技术体系;第三,运营商的应用与实践。王虎介绍到,过去运营商大数据平台分为Iaas/Paas/Saas三层,而未来运营商大数据平台将往更深层次方向演进,包括应用域、数据域、技术域、基础域、安全域和开放域。
经过运营商多年的建设,当前技术主要基于“开源+自主”研发结合,利用大数据核心技术,构建面向业务应用和平台应用的实践。而东方国信的Hadoop发行版本,是基于开源版本进行增强,兼容开源版本,能随着开源版本的升级而升级。基于开源社区源代码实现二次开发,转换为自己的核心技术,逐渐将应用与生产实践的验证部分代码提交给社区,比如: K8s+Docker底层源代码修订。
在大数据核心技术在运营商业务应用实践中,运营商的企业运营管理,围绕大数据为核心,面向客户和内部员工,实现企业业务运营和管理。而在业务应用实践中,王虎为分别介绍了大数据核心技术在数据、决策、营销、客户、绩效五个方面。最后,王虎对大数据核心技术在运营商未来发展中做了展望,主要包含六个层面,如实时能力、在线能力、学习能力、开放能力、数据能力和应用该能力。
9:00 【容器与运维技术峰会】上午场在Hyper Cofounder & CTO王旭的主持下正式开始。
9:00 【区块链峰会】区块链技术峰会在上海乐住CTO王玮的主持下正式开始,他带领听众回顾了区块链技术发展的历史进程。2008年中本聪发表论文《比特币:一种点对点的电子现金系统》,提出了BlockChain这种数据结构,正式开启了比特币的时代,时至今日,Github上与比特币相关的项目数量超过了10,000个。作为区块链的2.0版本,2013年Vitalik Buterin发起Ethereum项目,并在12月发布了以太坊白皮书的首个版本。最后,王玮表示呼吁大家共同参与区块链的大航海时代。
9:00【大数据核心技术与应用实践峰会】在中国科学院计算技术研究所副研究员查礼主持下,正式开始。
18:10【架构演进专题】京东资深架构师张成远,分享了《京东分布式数据库系统演进之路》的主题演讲。张成远负责京东分布式数据库系统的架构与研发工作,主导了京东分布式数据库系统在公司的落地及大规模推广。张成远从发展历程、实践经验、困难与挑战三方面,介绍京东分布式数据库系统的发展历程,以及在实际推广过程中遇到的一些挑战以及解决方案。如何保证服务的高可用数据的高可靠,以及如何在线自动化扩容,系统在对应618以及双11时的实战经验以及实战背后,通过性能与稳定、高可用/高可靠方案,演变成了如今的精细监控、路由管理的架构机制,解决了数据库系统从“活下来”到“活得更好”的改变。
17:30【自动化运维与容器实践专题】最后一个演讲的是优维科技联合创始人王津银,他带来的演讲是《应用,运维管理的核心维度》,他开场就讲述了当前运维的困境,他表示,传统的从IT模式看运维将会看到处处都是“部门墙”,因此,我们应该从新的角度看待运维,重点思考以下几个问题:ITSM,IT和业务的距离真的近了么?IT真的做到敏捷了么?CMDB为什么鲜有成功案例?为什么才意识到IT自动化的价值?而由于CMDB系统要实现向资源管理系统的过度,应用的变更场景最终是对资源的变更,应用的状态最终是由其资源的状态来决定的,因此,持续交付的核心是应用管理,而运维就应该从持续交付,持续部署开始,重点关注应用管理。最后,王津银分别从应用的资源管理视角、应用的动作管理视角、应用的状态管理视角、应用的平台管理视角详细讲解了如何突破运维困境。
17:20【自动化运维与容器实践专题】京东商场基础研发部高级研发工程师王兴刚进行了《京东大促:大规模容器背后的技术挑战与实践》主题演讲。JD全部业务均run在弹性云容器之上,弹性云v1.0 线上运营情况:在618大促前统计15W+。京东的容器遇到过很多挑战,包括向前兼容,镜像上线,容器性能&稳定性等等。双十一备战主要需要注意资源、618*N压测、弹性 scale up & scale out、调优&业务“节欲”、 内存即存储、 区别业务特点、细到尘埃的监控系统和高峰流量 提前规划资源+弹性scale up。弹性云v1.0 架构为Openstack Icehouse + docker1.3 + OVS2.1.3/2.3.2+Centos6.6 。弹性云v2.0的架构是K8s + Docker +Neutron + OVS + DPDK +JFS,这两个版本的现状是弹性云v1.0 所得所失,弹性云v2.0 承上启下。
17:20【架构演进专题】链家网平台化架构师吕毅,分享了《链家网大数据平台架构变迁》的主题演讲。链家网大数据部门已经成立了一年多,之前的一年间从无到有,支持好了公司与集团各项数据报表需求。面对公司业务线的发展、运营体系猛增的数据需求,大数据平台的构建解决了这一问题,将原有的人工开发定制报表模式改造为数据全自助平台化模式。链家属于非物联网公司,对运营需求的压力很大。链家网数据相关的工作涵盖科学、应用、产品、数据四大方面,整个数据架构形成了业务的闭环。平台层包括数据服务,Data analysis、Adhoc query、Data Api;工具链,Data engines、ETL system、Management control;集群,Data Security、Resource isolation、Calculate ability。通过一系列的架构演进,链家数据部门从提供数据报表的架构,完成了大数据治理需求的转变。
17:15【个性化推荐专题】微博商业产品部算法技术专家康乐发表《微博商业数据挖掘方法论》主题演 讲。数据挖掘以用户为中心展开,数据体系来自基础数据、兴趣数据、情景数据和能力数据。数据抽象之后定义成情景引擎,有LBS数据、App使用数据、话题数据、微博互动、关注、用户信息、分组信息。接着康乐分享日常会忽略但是重要的挖掘方法,第一种方法是评价,其中有四个级别,首先是效果级,数据挖掘的产出可以直接用线上来评价,如兴趣标签;第二是Ground truth级,统计有效的信息来挖掘数据,如性别、年龄;Case级别,每个用户状态来验证算法结果,如旅游状态;无法验证以上事实,可以使用Logic级,其中兴趣标签占取最高级别和最低级别的评价。第二种是兴趣标签挖掘方式,指定广告场景下用户对某个粒度的广告发生目标行为的概率。第三种根据平台的内容特性来确定分类。数据挖掘的实战经验首先要做到紧贴业务,学会花时间沟通让数据和业务活起来,然后建设系列评价体系,对于数据工作要遵循数据>特征>模型的规则。
17:10【高吞吐数据库架构专题】百度高级软件架构师颜世光在主题演讲中表示,面对Hadoop的线性扩展问题、时效性问题,百度推出了自己的解决方案,即海量实时数据库Tera。它实现了自动伸缩且稳定可靠,采用自动负载均衡技术,区间可自动分裂、自动迁移、在线合并。在Tera设计中,百度还总结了很多实践经验,在分层设计方面,他表示问题最好解决一次,一处解决多处受益。在可用性设计方面,他认为硬件&软件故障不可避免,应增加容错能力,降低故障恢复时间。针对低延迟设计,他建议这个过程中,慎用自动GC的语言。
16:30【个性化推荐专题】 悠易互通高级算法工程师容一飞发表《实时竞价个性化推荐的人工智能》主题演讲。在短时间内得出实时竞价较为精准的数据主要运用人工智能技术,通过竞价算法盒子实现广告活动投放期间内的KPI。下面从预测模块算法方面介绍人工智能应用,预测算法主要有点击率预估和竞价愿景预测。点击率预估定义机器学习回归模型框架以及损失函数,点击率预估时候运用机器学习解决框架,可以使用线性化和非线性化进行优化。在竞价愿景预测当中是符合对数正太分布的。决策模块算法中最重要的是出价算法,基于RTB竞价机制(第二高价竞价)中,对每一个期望进行评估。除了最大化广告主KPI,品牌更注重效果的稳定来帮助排期和分配预算。最后容一飞结合自身经验分享业内投放的实际过程中一些重要问题的解决之道,一是作弊与反作弊,二是数据倾斜于无偏处理,三是目标用户稀缺与扩展。
16:30【架构演进专题】同程旅游首席架构师王晓波,分享了《同程缓存系统的演进》的主题演讲。缓存在今天在线系统架构中是核心的位子,缓存的设计好坏直接影响系统整体的性能的高低。但在很多情况下缓存是被滥用的,这个基本是通病,同程在缓存的使用上也经历一条从滥用到治理的路。“开源方案很美但我们用起来就不美了,单一个方案解决不了全部的问题”,王晓波在演讲中介绍同程自研的缓存系统(phoenix)对缓存使用的治理,对数千个Redis集群的统一管理和缓存的平滑扩容。通过对缓存平台的管理与监控,大并发缓存系统的架构设计,同程实现了缓存整体的管制、运维操作、整体监控、自扩容自收缩的能力,现在我们的系统晚上不需要值班,基本实现了智能化运维。
16:30【高吞吐数据库架构专题】微博研发中心DBA张冬洪在《微博Redis定制化之Tribe系统介绍》主题演讲中首先讲解了微博REDIS的几大核心功能,包括无阻塞落地、数据持久化,主从增量复制的实现和在线热升级等。Tribe系统由客户端、代理、数据集群、配置服务、集群管理五大部分组成,实现了请求路由、读写分离、负载均衡、配置更新、数据聚集、动态扩容等功能。
16:10【自动化运维与容器实践专题】VMware研发中心云原生应用首席架构师张海宁,带来了《玩容器镜像-镜像仓库的管理和运维》的演讲,他首先介绍了容器技术,表示进程隔离、可重用的环境、大规模部署情况下更好管理是采用容器技术的主要原因,而Docker使得容器的管理变得更简便,它能够实现容器的顺畅的部署和最大的可移植性,非常适合第三平台、12因素应用和微服务架构同时也使得DevOps变得十分容易。张海宁接着介绍了Docker Registry,并说明了企业私有的Registry的优点——安全、效率、访问控制、合规与审计。并叙述了Registry在镜像传输中所起的作用,并表示,此过程存在不稳定因素,通过镜像同步技术可以保证传输过程中镜像的一致性。然后,张海宁阐述了镜像的访问控制方面存在的不足,而通过VMware的Harbor基于角色的访问控制可以很好的实现镜像的控制,张海宁表示,镜像的分发方式也存在单点的问题,通过Harbor Registry Server则可以实现大规模镜像的稳定分发。而在镜像空间释放方面,Harbor也可以很好的解决。张海宁还介绍了如何实现Registry的高可用性的三种方案,最后,张海宁对Harbor项目进行了介绍。
16:00【自动化运维与容器实践专题】Fit2Cloud联合创始人兼CTO刘涛进行了《云时代的DevOps自动化运维》演讲。DevOps自动化运维的发展经历了三个时代:静态基础设施时代,可编程基础设施时代和容器时代。DevOps自动化运维的现状处在三种状态:混合云多云是多数企业的选择,企业基础设施形态为混合云多云混合IT形态;应用负载分布在物理机、虚拟化平台、公有云、私有云、容器云;多数企业上云后应用直接运行在IaaS,而不是PaaS、容器云。云DevOps的需求目标: 是实现混合云混合IT环境下DevOps高效自动化运维。
云DevOps自动化运维的关键技术和策略包括五点:(1)以应用为中心DevOps自动化工具;(2)自动化部署规范和框架;(3)集成开放扩展能力;(4)同构异构基础设施全栈编排自动化;(5)同构异构基础设施统一对接。
15:50【架构演进专题】58到家工程研发部高级架构师叶忠兴,分享了《三分归一统:移动端开发技术演进之ReactNative崛起》的主题演讲。叶忠兴主导了58到家ReactNative探索与实践,在主要App中引入了ReactNative,并持续完善ReactNative生态改善。自从智能移动设备出现,移动设备上多端开发就一直是开发者面临的最大的困扰。移动在开发、测试、发布、修复方面遇到许多问题,React Native的开发发布、渲染过程、H5渲染过程三个方面解决这些问题,现在是需要JS写一份代码即可,如果遇到Bug直接修改JS代码即可。叶忠兴讲解了ReactNative在58到家的可用性、体积、一致性、数量、分工协作、版本升级、检测、React控件、Native控件等具体实践。“虽然React Native还不够完美,但它使得我们的开发工作量降低40%,测试工作量降低35%,实现了随时release和热修复”。叶忠兴总结说。
15:45【个性化推荐专题】AdMaster基础架构部高级研究员景艳山发表《跨设备打通》主题演讲。何为跨设备,跨设备ID识别就是识别不同设备背后的同一用户,它将成为整合碎片化用户数据、实现精准广告投放必不可少的工具。跨设备可以真正的受众去重,减少重复投放,精确定准原因,提高ROI。目前跨设备面临Cookie稳定性差,山寨机多、IP不稳定等困境。Admaster提出建模理念,有效缓解现状。建模第一步进行样本的构建,构建正样本和负样本并设置比例,过滤非人类量,在源头保证数据的证实性,候选Pair的产生。再建立IP的私密性。该模型主要应用于线上预测,百亿量级候选Pair。
15:30【高吞吐数据库架构专题】腾讯云PostgreSQL首席架构师李跃森在《微信支付商户系统数据库探秘》主题演讲中表示数据库集群PGXZ基于PGXC做了性能、功能、运维能力的优化。微信支付中订单都会流向PGXZ,他分享了PGXZ的诸多核心技术,如采用集群分区表,提出数据倾斜解决方案、搭建自动两地三中心容灾架构。针对运维中的问题,如索引膨胀、在线磁盘空间回收、Pooler中的连接管理等, PGXZ也给出了解决和优化方案。
14:50【自动化运维与容器实践专题】亚信大数据云平台负责人叶鹏带来了《基于Kubernetes的大数据服务能力供给之道》,他表示,大数据技术的不断快速更新,需要新的技术来支持,而在大数据服务供给的过程中,会遇到很多问题,例如手工操作多,部署时间长,不确定因素多等等,而更大问题在于逻辑复杂、交付效率低、功能层层叠加,烟囱式的应用遍布。而微服务时代大数据服务是否还要单体、大数据服务的供给如何满足DevOps的要求是我们面临的核心问题。叶鹏认为,通过容器和K8S部署大数据服务可以较好的解决这个问题,接着叶鹏讲解了Docker和容器,Docker给开发、交付带来的变化,然后,叶鹏介绍了Kubernetes的技术架构,他表示,Kubernetes吸引开发者的是它的微服务架构设计。接着,叶鹏讲解了常见的大数据服务部署模型、大数据服务编排的基础条件以及编排中常用的K8S组件。叶鹏最后详细的讲解了如何进行Spark集群部署的实例,并介绍了新的大数据服务供给模式的相关内容,包括为每个大数据应用分配一个大数据服务、Spark和yarn的比较、ServiceBroker的应用以及基于容器的大数据服务供给存在的问题:个别大数据服务编排困难(redis3.0 shardingmongo sharding)、overlay网络性能不足、Kubelet串行完成镜像拉取,容器用户与glusterfs卷属性不一致以及容器日志的处理。
15:10【架构演进专题】阿里巴巴应用运维平台负责人毛茂德(如柏),分享了《阿里基础运维平台及应用运维平台架构演进》的主题演讲。从基础运维和应用运维两方面,介绍支撑阿里巴巴全集团服务器集群管理的基础运维平台StarAgent的架构演进,以及应用运维平台Normandy的架构演进。StarAgent包含命令通道、插件系统两大核心功能,使用场景贯穿服务器的整个生命周期、应用运维、日志服务、监控、数据采集和配置管理。“StarAgent通过默认的蜻蜓插件,7000客户端200MB文件下载平均耗时仅10s,80%的阿里集团文件下发系统使用,稳定性从99.9%到99.9999%,下载次数从3万/周到7600万/周。”最后,毛茂德介绍了应用运维平台Normandy,它的功能涵盖基础设施即代码、CMDB、部署发布、Docker支持功能。
15:00【个性化推荐专题】品友互动大数据部负责人林招发表《论实时竞价广告中的推荐》主题演讲。RTB(Real-time bidding)实时竞价通过用户入口登录媒体网站发送消息给RTB服务提供商,然后对接到DSP(Demand-side platforms)进行内部处理发送竞价给服务提供商从而反馈到网站并显示到用户界面。其中最为复杂的是DSP(广告竞价决策平台),涉及对象、内容、时机、样式、价格和目标。
对象通过对比转化率过滤出合适的人,另外点击率(CTR)也是广告投放中最常见的一种考核目标。内容采用协调过滤、wcos、矩阵分解、BPR算法方法进行商品推荐。广告的主要效果依赖于程序化创意,可以促进用户点击。价格同样也是一个重要因素,采用竞价算法涉及三个价格:底价、竞拍价和成交价。以上的一切的基础是有效的数据和可靠的框架。
14:50【高吞吐数据库架构专题】央视国际网络有限公司技术事业群DBA古雷在主题演讲中详细讲解了MySQL5.7与8.0的诸多新特性,如Group replication(5.7版本)、快速增加列宽(5.7版本)、The Rewriter Query Rewrite Plugin(5.7版本)、JSON(5.7和8.0版本)、UUID更好的支持(8.0版本)。
通过形象的比喻,说明了如何保证数据一致性,其要点包括,(1)每个事务发给所有节点在每个节点;(2)所有事务的认证顺序都是一样的,认证顺序由类似Paxos协议保证;(3)每个节点认证的事务可能是本地发起的本地事务,也可能是别的节点发过来的外来事务;(4)本地事务是否允许commit,只看本地认证是否成功;(5)在节点A,外来事务,是否允许在节点A执行,只看此事务在节点A认证是否成功;(6)外来事务,在允许执行前还不是事务,因此需要与本地事务一起进行冲突检测,称为认证。
14:30【架构演进专题】华为开源软件能力中心资深架构师马全一发表了《ContainerOps–Empowering DevOps With Container》的主题演讲。作为曾主导基于容器的下一代DevOps平台ContainerOps的架构、研发和产品化,中国Linux容器技术和Docker开源技术最早的推动者,马全一在下午的分享中介绍了ContainerOps这个基于DevOps Orchestration概念的DevOps平台。在华为ContainerOps架构中,所有的工作都在容器中,工作流定义,所有的组件运行在kubernetes上,都是以容器的方式来做。马全一不仅阐述了华为目前对DevOps理念的理解,更讲解了华为这个开源产品里对DevOps的理解,以及产品的特性和架构。“我们会把这个DevOps当作服务开源到社区,现在已经跟一些合作伙伴在测试,如果你对这个测试感兴趣的话,可以联络我,我们可以出一些人员和人力帮你梳理目前已有的DevOps的流程。”马全一最后说。与会者通过了解业界最新的DevOps理念,学习通过DevOps Orchestration梳理,DevOps流程,提高DevOps的工作效率。
14:30【自动化运维与容器实践专题】普元SOA主任架构师刘相进行了《加速企业敏捷的DevOps平台时间》主题演讲。DevOps是通过工具链与持续集成、交付、反馈与优化进行端到端整合,完成无缝的跨团队、跨系统协作的方式。企业DevOps有两大误区,首先,DevOps思维并非物联网思维,其次,DevOps并不是一定需要用微服务和容器支撑。企业的DevOps建设有很多难点与挑战。第一, 企业环境与流程多样,要么一套标准,要么多套适配;第二,企业云规划大于公有云调度;第三,各类开元、商业技术繁多,该如何选择如何。企业DevOps的关键设计在于异构基础设施上的部署形态,基于K8S上的容器资源的互通,副本机制支持蓝绿、灰度以及多层级监控下的持续优化。
14:20【个性化推荐专题】北邮模式识别实验室副主任高升发表《基于表示学习的信息推荐算法及应用》主题演讲。信息推荐系统所需要的数据源一般来自用户对商品或信息的偏好,系统用户的基本信息和推荐对象的元数据信息。用户偏好信息可分为显式和隐式用户反馈。表示学习旨在把目标对象映射到低维的统一特征空间,学习用户、商品以及用户偏好的潜在语义信息,从而进行相关性分析。表示学习有两种模型:第一种基于矩阵分解的Aspect-level推荐算法,自动抽取评论中的Aspect和每个Aspect的对应评分,然后分析用户对Aspect的偏好,总结商品Aspect的评分,最后计算用户的个性化评分,以及每个Aspect 的对应评分。第二种是基于偏好向量学习的信息推荐算法,将用户的偏好表示为一个分布式向量,可以平滑接入多种行为反馈模式。
13:50【架构演进专题】蘑菇街平台技术架构师卢鹏程分享了《蘑菇街监控系统架构演进》的主题演讲。通过蘑菇街平台三个不同的版本,讲解了蘑菇街监控系统从无到有的历程,分享各阶段所遇到的问题及解决方案。阐述了目前性能强劲的sentry的架构,及相关技术点,展现sentry丰富的功能,说明怎样一步步的消除用户障碍,展望后续技术及业务方向。为达成高可用、易部署、易维护的目标,蘑菇街选择了去中心的分布式架构,无依赖、存角色、分场景的架构特点。大家通过卢鹏程的分享,了解到现有蘑菇街监控系统的架构、功能和能力、计中所用到的各种技术及组件,以及获取高可用、高性能分布式系统的设计经验。“经过了这一版本,我们可以应对大促、应对特定大查询和辅助系统维护,从此蘑菇鸡再也不用担心扩容和增容问题。”卢鹏程说。
13:45【高吞吐数据库架构专题】京东金融数据库中间件研发高级技术经理王义林在《分布式数据库CDS-原理与实践》主题演讲中表示基于京东金融业务特点、发展现状,京东开发了CDS,其实现了数据分片、读写分离,海量数据存取;运维控制台;数据迁移、扩容平台;离线准实时查询、统计等功能,具有兼容JDBC,接入成本低;支持MySQL/Oracle/SQL Server、内嵌高性能连接池组件、读写分离、水平拆分、提供MyDB、作业平台、离线数据中心等一系列工具集等关键特征。同时还分享了CDS的系统架构、中间件
事件控制过程、CDS集群结构。
13:30【个性化推荐专题】雪球首席架构师唐福林发表《雪球社区用户画像体系探索》主题演讲。雪球是一个投资者社区,搭这个系统最大的坑主要是数据字段类型不统一、加减字段,另外还有ETL缺乏规范和管理,存储原始内容,ETL较少,存储太多不必要的内容,job无序增长,其中CPU和IO争用情况逐渐增多等问题。雪球大数据体系目前有4个集群,20+机器。在现状的基础上,雪球开始用户画像的探索,采取趋势统计、多维分解、行为路径转化漏斗、用户分群A/B测试等数据分析手段,使用开源软件、第三方云服务或自研进行用户行为分析,其中自研的分析软件称之为Moneyball,从中提取用户信息为用户进行分类。算法使用Mahout,用HBase宽表为用户打标签,进行属性分群为用户分类。最后唐福林通过自身实践经验,建议搭建大数据体系的最佳时机是公司刚成立的时候,尽可能地收集能想到的数据,直到硬盘装不下了之后再考虑优化,仔细考虑数据库的表设计,字段类型结构选择。如果最初做的不够好,唯一的改正机会就是导入到大数据体系的时候。
13:30【自动化运维与容器实践专题】微影时代技术副总裁杨森淼带来了《微影的容器化进程》的演讲,杨森淼首先介绍了微影公司,并解释了微影之所以使用容器化架构的原因。杨森淼接着给大家分享了微影时代的总体系统架构和系统中的必备组件,并详细讲解了包管理、配置管理、服务器发型、服务域名解析、负载均衡等在实际应用中的实践经验。然后,杨森淼就微影如何应用容器技术进行了阐述,并从单机模式、Docker节点、资源利用率、服务发现、日志收集策略、泛域名、微服务等方面分享了在应用过程中的一些经验。之后,杨森淼讲解了Mesos相关技术的使用,涉及到了Marathon,比较了Chronos和Cron的优缺点以及Jenkins在Mesos上的应用。杨森淼最后就微影在实践中遇到的一些问题进行了分析和总结。
12:15【自动化运维与容器实践专题】腾讯移动游戏运营技术评审专家组负责人刘亚飞进行了《腾讯移动游戏之于蓝鲸容器管理平台》主题演讲。腾讯游戏目前覆盖手机游戏200款左右,介入容器数有16000多个,通过对docker,K8s的定制开发,实现业务容器在线的本地升降配。同时结合手游特点,提供一键式,业务无损的缩容方案。蓝鲸的业务方向有三点:云化的解决方案,开放式快速运维开发平台以及丰富的数据视图服务。容器管理平台的功能包括coverity,TAPD,WeTest平台几项。其中上线之前的压力测试,兼容性测试都能在WeTest平台中完成。
11:40【移动视频技术实践专题】杭州短趣网络技术经理王海华发表主题演讲《趣拍短视频SDK关键技术分享》。短视频将会成为社交/社区应用的一个标配功能,但其面临的问题也更加多样化:短视频UGC质?有待提高、平台同质化倾向严重、优质内容成为竞争核心以及营销市场的规模增长。他提出短视频具有断点拍摄、MV和动图等里程碑功能,并对其中的动态水印实现问题进行了详细介绍。如何实现动图的动态水印?资源包、精确seek和性能等问题深化了实施难度,因此需要在性能和seek上不断优化。
11:20【自动化运维与容器实践专题】来自华为PaaS的架构师&研发项目经理吴建林分享了《华为全球IT系统基于PaaS的实践分享》,他首先介绍了华为的IT现状,华为目前有全球8大数据中心、17万+固定用户、业务系统涉及用户、采购、供应链、交付、销售、财经、办公IT、流程IT等,管理着数十万台虚拟机、800多个应用、2000多个子应用。华为IT的需求主要有以下几点:1)传统IT模式业务不够敏捷,2)管理规模庞大,运维难度高,3)应用微服务化改造,个数急剧增长,4)虚拟化成本高,资源利用率低,5)全球业务访问体验差,6)平台异构,支撑难度大。为此,华为构建了PaaS平台以应对这些需求,该PaaS核心层由应用调度与资源管理、微服务运行与治理、应用开发流水线加上中间件云服务组成。吴建林接着介绍了华为FusionStage在华为IT的进展,并分享了FusionStage在华为IT实际应用中的实践,包括:1)流水线构建,一键式应用发布,2)支持应用混合编排,实现虚拟机、物理机、容器的统一调度,3)万级容器运维管理系统,4)跨数据中心的两级调度: 亲和反亲和,提高部署可靠性&部署效率,5)全球分布式动态路由,快速访问体验,应用灰度,达5个9可靠性,6)应用灰度发布、自动弹性扩缩。吴建林最后就运维中的一些问题进行了分析和总结。
11:10【架构演进专题】百度工程效率部资深工程师廖超超,分享了《百度万人协同规模下的代码管理架构演进》的主题演讲。介绍百度代码管理如何支撑百度万人规模(分布在全球十多个Office的一万多开发人员、每日近两万次的提交、代码库规模超过10TB)下的协同开发,在解决代码管理遇到的容量、吞吐量、跨地域和安全等问题的过程中,百度代码管理的架构经历了产品初创时期、发展时期、成熟时期、企业级SaaS四个阶段。现场听众在了解大规模协同开发场景下如何确保代码安全可靠的同时,对互联网企业高吞吐量的非典型web应用架构优化也有了深刻的认知。
11:00【CSDN采访间】我盈互联CTO 陈庆吉在分享完”互联网金融初创公司从0到1的架构演进之路”主题分享之后,在SDCC采访间接受了CSDN的独家专访,他对麒麟贵金属的定位以及产品布局以及用户体验等方面回答了记者的提问。
他表示,作为国内行业领先的网络现货投资平台,麒麟贵金属致力于为投资者打造出一款专业、安全、便捷的现货投资产品,降低现货投资的门槛,让投资者能够轻松获取现货投资的红利,他们的实力来自两方面。一方面,技术团队做过多年的互联网开发,他本人也负责过负载用户数亿的产品设计,运营团队非常熟悉互联网产品的市场推广、运营推广。无论是技术产品还是运营都是熟悉互联网规则的,这是很多线下公司不具备的;另一方面,公司层面和交易所有深度的合作,这样有利于他们的模式创新,有利于整个流程的快速反馈,这些又是很多互联网公司不具备的,所以,他认为在这点上,他们是跨界融合作的比较好的一种模式。
针对麒麟贵金属的创新店点,他们的产品除了纯互联网化之外,在用户体验上也做了很多创新,比如去除了交易本身的功能,增强社区互动,利用直播、引用策略提醒等一些功能。
11:00【高吞吐数据库架构专题】 网易杭州研究院资深开发工程师马进在主题《网易DDB性能优化实践》主题演讲中详细介绍了分库分表数据库DDB,及其它的架构变迁和性能优化实践。DDB的架构经历DBI、Proxy(QS)、DDB私有云架构、DDB云端架构优化几个过程;在性能提升上,开展了Proxy Buffer、DBI NIO、OSC解决方案多方面优化,并分析和展示了优化思路及优化效果。DBI NIO的优化有两种思路,(1)为自研到MySQL的NIO驱动;(2) 将Connector/j的底层通信依赖Netty。最终选用了第1种优化思路。优化后CPU使用率得到了1.2~4倍提升。针对一般的OSC解决方案,进行了多方面优化,如(1)基于binlog实现增量更改;(2)全量不加锁,增量用replace幂等语义等。在实现上,提供了DDB HamalSet工具集,也可使用gh-ost。
11:00【移动视频技术实践专题】合一集团视频技术平台高级技术经理胡帆带来主题演讲《优酷视频云SaaS及播放器技术揭秘》,包括开放的视频云SaaS、播放器介绍和防盗链探秘三方面。对接视频时代,企业所处的运营环境愈加复杂,例如成本高、门槛高、定制困难、盗链严重、违规风险、传播和变现等等。他首先为大家介绍了优酷视频独有的开放能力和核心功能,为处于内容创业者情境下的人员提供了SaaS解决方案。随后,他从七个维度展示了视频云架构,对于改动大、评估难等多重问题,还对视频云架构进行了基于IaaS的进化。同时在这里面点出了部分关键点:Key服务、客户用量统计以及阿里云MTS转码服务。此外,他还对实时筛选的系统架构、设计方法和过程进行了详细介绍。最后在防盗链研究上他给出了参考方法:渠道分离,及时发现和灵活更改。
10:40【自动化运维与容器实践专场】易宝支付架构师于涛进行了《容器云在易宝的落地》主题演讲。易宝是一家做第三方支付的公司。易宝容器云采用了Kubernetess容器平台,目前该平台升级到了1.4.6版本,包含四条新特性:两条命令创建集群;kubeadm init创建master;kubeadm join 把node并入集群;支持apt
yum源。易宝容器云是基于K8s API研发的,Go web framework, IRIS。它实现了弹性负载均衡器:资源化、无感知对外发布;内部服务发现:DNS,集群内,集群外;内部服务自动负载均衡;回滚到任意历史版本;自动扩容、缩容(CPU使用率,冷却时间)。
10:40【架构演进专题】我盈互联CTO陈庆吉发表了《互联网金融初创公司从0到1的架构演进之路》的主题演讲。与支付类公司庞大的基础架构建设相比,互联网金融初创公司更愿意快速试错,以业务为核心对架构进行演化升级。在不显著提高开发成本的同时,让系统与业务齐飞,做助推器,不做减速器,移动云开发生态技术的逐渐成熟为我们提供了解决问题的机会。在云计算基础服务,大数据处理,安全运维等方面大量使用了第三方云服务,在平台选择,服务组合,架构调整升级等方面积累了一定的经验。我们没有大型互联网公司的IT架构,要追求架构的成本可控性,在架构中占据很大的是运维管理和安全运营方面。希望我们的经验能给初创公司的IT架构搭建带来一些启示。未来,我们希望自己的在前端使用React + Redux;随着业务的增加,考虑使用微服务(Docker + SpringBoot + Dubbo);比如行情等关键服务,会考虑用Golang。
10:20【移动视频技术实践专题】阿里云高级技术专家储开颜发表主题演讲《“+ApsaraVideo”阿里视频云如何帮助客户实现客户的价值》,包括视频服务的链路、飞天视频服务的技术架构、点播/直播/画质重生服务、飞天视频服务的功能和组成、飞天视频服务的技术优势五个方面。首先他介绍了飞天视频服务的操作流程,随后对其中的点播、窄带高清、加密、直播、秒开、端、画质重生、FRC等技术要点一一作详细说明。在窄带高清上,他提到了实施过程和分辨率问题,并与非窄带高清码率进行了细致对比。最后在FRC技术上,通过丰富的示例为大家展示了应用优化效果。
10:20【架构演进专题】阅文集团首席架构师徐海峰发表了《一统三国:阅文集团内容系统架构整合》的主题演讲。徐海峰主要负责内容中心分布式framework架构和分布式存储、分布式计算工作。面对核心资产内容技术整合问题,徐海峰团队历时半年之久,通过创立内容中心、章节信息—数据路由、路由标识-id生成器、任务调度等方式,解决了从孤岛式架构演变成统一架构、海量章节内容的存储问题。整合了原来的异构数据源,统一了服务和数据层。通过开源软件和自主开发软件的有机结合,实现了快速有效对大型网站进行重构。
10:12【高吞吐数据库架构专题】NABA北美区块链协会联合发起人谭磊在《区块链和分布式数据库》主题演讲中表示区块链接是一个复杂的概念,并阐述了他对区块链的理解。区块链就是区块的链,通过树的方式链接,且每个节点上的数据是一致的。 区块链系统是不可篡改的,若篡改某个节点,其后的节点都要做出一致修改。比特币是区块链的1.0,而更有意思的是区块链2.0,它是Distributed(分布式的)、Autonomous(自治的,共同约定的)、Contractual(按照合约执行的)、Trackable(可追溯的)。
09:50【移动视频技术实践专题】Video++公司COO董慧智带来主题演讲《视频中人工智能与应用场景创建》,包括视频内容结构化、视频应用场景创建、开放平台生态以及未来的设想四个方面,为大家提供了图像识别技术转化和应用落地的实践参考。视频应用构建具有三要素:模数转换、建立情感链接以及大数据精准匹配用户情感需求,本次分享着重介绍专注于消费级视频的人工智能技术,包括电商场景和广告场景。应该如何实现这类消费级视频?他首先对视频识别与图像识别的不同、消费级视频与安防等视频的识别要求区别进行了对比,并简要介绍了消费级视频的关键扫描目标和输出数据。此外对大家比较关注的明星识别、商品识别、物体识别和品牌识别等技术一一说明。
9:40【自动化运维与容器实践专题】来自IBM Platform Computing的软件工程师邱见给与会的观众带来了主题演讲《BlueDock:如何构建企业级容器管理平台》,邱见首先介绍了Platform Computing,接着分析了自身团队的需求,即:可靠和可扩展的资源管理、易于使用的API和高效稳定容器运行时,介绍了基于该需求建立的BlueDock系统的总体架构,并阐述了为何使用Mesos的两个原因:广泛应用于生产环境、高可扩展性,邱见接着解释了为何选择Kubernetes构建于Mesos上的原因,即由Google开源,脱胎于borg系统、开放,活跃的社区、定义完整且易用的API,并介绍了其优势。邱见还介绍了BlueDock解决方案、主要组件以及该平台的应用生命周期管理、用户认证授权、资源管理。最后,邱见对未来进行了展望,他表示如何改善Kubernetes on Mesos Framework、生产环境中是否需要替代Docker、更好的网络和存储解决方案是未来需要考虑的三大问题。
09:30【高吞吐数据库架构专题】腾讯微信支付高级DBA莫晓东在《微信红包数据库架构演变》主题演讲中表示2015年春节红包项目面临着很大技术挑战,其数据量预估是日常的100倍。没有可借鉴案例,只能摸着石头过河。鉴于MySQL支持事物,满足一致性要求;为结构化存储,紧凑、连续; 支持多索引;部署简单,工具支持及团队对该技术有较多积累,最终选用MySQL为数据库方案,并对其做了多方面优化。
9:25【架构演进专题】腾讯后台资深架构师王帅,从事后台系统开发7+年,目前主要负责QQ空间后台的架构设计、系统优化等工作。王帅介绍了QQ空间的系统架构,QQ空间底层基础数据包括:个人资料、权限、关系链、个性化设置;UGC层包括说说系统、相册系统、日志系统、商城系统;FEEDS层包括好友动态、计数、落地动态、push;移动端是MSF/WNS接入层;最上层的客户端手机QQ和手机QZONE。通过QQ空间后台做的一系列优化,围绕系统选型、容灾调度、柔性可用等方面,介绍了QQ空间亿级用户服务背后的网络架构。针对海量请求和突发状况,分享了有损服务和系统容灾的深刻理解。
09:20【移动视频技术实践专题】七牛首席布道师何李石发表主题演讲《移动视频自适应播放实践》,包括播放器使用场景、播放器构成、自适应播放、开源播放引擎推荐四部分内容。点播和直播是最常见的视频播放场景,但是平台、尺寸及网络等复杂的设备环境导致用户需求并不能很好地满足。对此他给出了解决方案:定制播放器。定制播放器由UI界面、富媒体引擎、播放和DRM三部分构成,他简要介绍了视频播放流程并列举了典型的播放引擎。此外,还涉及自适应播放的内容,包括注意要点、播放流程及播放原理,并重点分析了速度vs质量、网络容错度vs缓冲率的问题,提出多Buffer管理策略的解决方案,在最后还推荐一些开源播放引擎。
9:15【自动化运维与容器实践专题】阿里云高级研发工程师莫源进行了《基于阿里云容器服务的持续集成与云端交付》主题演讲。支付的过程中交互和维护是非常重要的两项,而交互的变革会影响运维的手段。Docker是一种轻量级的操作系统虚拟化方案,它改变了一种交互方式。莫源在分享中着重讲解了Docke的具体用法。调查显示85%的用户有意愿使用容器技术。阿里云容器服务主要包括:集群调度与容器,网络,存储,监控和日志几项。现场还具体展示了蓝绿发布的具体流程。
9:00【高吞吐数据库架构专题】热璞科技CTO金官丁的主持下正式开始。举办该专题的原因,缘于无论传统行业还是互联网行业,大家都面临着巨大用户量。本专题涉及到MySQL、DDB、PostgreSQL、Tribe、分布式数据库、区块链等多个数据库领域技术话题,有来自百度、 腾讯、京东、网易、微博等多家企业的技术专家。
17:10【云计算安全与可信计算论坛】武汉大学计算机学院教授,博士生导师张焕国和中国电子学会云计算专委会委员,英特尔中国研发中心数据中心企业部首席系统软件构架师李彦共同分享了一个主题《端到端可信云解决方案》。张焕国表示:云计算也存在如设备、数据、内容和行文的共性安全,也有如资源的共享所引发的个性安全。目前可信计算已经取得了系列规范、产业化等成绩,如公布了3个可信计算技术标准;TCG公布了TPM2.0和TSS2.0新规范,并将陆续发布其它规范;微软发布了WIN-8,全面支持可信计算等。在端到端方面,要实现可信云基础设施、可信云平台、可信云终端、可信云系统、可信云服务,需要多方共建中国可信社区。李彦重点介绍了英特尔可信执行技术(TXT)、可信计算池 (TCP)、开源远程认证 (OAT),如何帮助更多企业实现安全和身份保护。
17:00【云计算大数据智能交通行业应用论坛】宝船网2.0产品总监杜忠平在题为《宝船网2.

我要回帖

更多关于 鸿运国际官网 的文章

 

随机推荐