专栏名称: CSDN
CSDN精彩内容每日推荐。我们关注IT产品研发背后的那些人、技术和故事。
51好读  ›  专栏  ›  CSDN

CCTC 2016 精彩掠影:春和景明日,予你一场技术芳菲的邂逅

CSDN  · 公众号  · 科技媒体  · 2017-03-21 13:02

正文

中国云计算技术大会将于2017年5月17日-19日在北京隆重举行。中国云计算技术大会(CCTC,Cloud Computing Technology Conference)由国内最大的开发者社区CSDN主办,是业内极具影响力的云计算和大数据技术年度盛会。届时,技术社区骨干、典型行业案例代表将齐聚京师,解读本年度国内外云计算技术发展最新趋势,深度剖析云计算与大数据核心技术和架构,聚焦云计算技术在金融、电商、制造、能源等垂直领域的深度实践和应用,献上一场最纯粹的技术盛宴。



大会官网:http://cctc.csdn.net/



互联网技术发展瞬息万变,让人目不暇接,其中云计算开源技术的演变更是扶摇直上、日新月异。从“百团大战”、“O2O浪潮”、“视频直播”、“全民VR”再到火透半边天的“人工智能”,云计算技术的重要性不言而喻,它不仅为互联网技术的发展带来了前所未有的机遇,并且早已渗透行业脉络,成为创新的原动力。


作为云计算发展的见证者,中国云计算技术大会始终以国际化视野,将云计算领域的最佳实践带给行业用户以及众多开发者。2016年CCTC更是凭借专业的技术案例和丰富的技术分享,吸引了超过2000名高质量参会者,并在业内树立了良好的口碑。2017年CCTC已蓄势待发,现在就让我们回顾下2016年CCTC的精彩瞬间,最具实战性和前瞻性的分享即将来袭,看官们摆好姿势了吗?


(注:下文中所有的内容均可点击阅读原文下载到对应PPT)


Keynote




微软申元庆:微软智能云的核心DNA


微软亚太科技有限公司董事长、微软亚太研发集团首席运营官、微软中国云计算与企业事业部总经理申元庆发表《微软智能云的核心DNA》主题演讲,分享了微软在云计算方面的战略布局。各个企业运用云计算其实还处于初级阶段,数据中心是云计算的第一步,而Azure基于此致力于企业级服务、选择多与灵活性、生产力提升,并开启物联网智能云探索,具体包含云基础架构、IoT、数据分析、和开发者与App平台四个部分。微软智能云不仅提供底层的技术支持,更着力于为开发者提供完善的平台服务,并积极拥抱开源。


普元焦烈焱:面向微服务的企业云计算架构转型


普元信息技术股份有限公司CTO焦烈焱进行了的分享是《面向微服务的企业云计算架构转型》。他主要介绍了企业内服务向互联网服务转变过程、基于微服务的企业云计算架构和实施微服务架构过程中遭遇的挑战三方面内容及其关键技术。他认为企业应该突破狭义互联网的限制,大胆地在企业云计算架构中启用微服务,从 IT 精益运营入手逐步实施,实现架构、治理、协作效率的提升,成本的降低。


Container技术峰会




轻元科技王昕:基于OpenStack和Kubernetes构建组合云平台


轻元科技的王昕分享了《基于OpenStack和Kubernetes构建组合云平台》,在基础技术选型阶段,他们最终选择了开源的Kubernetes和OpenStack,这是因为OpenStack提供了IaaS层服务也提供了诸多PaaS层服务,容器和Docker成为微服务架构的交付标准,Kubernetes的统一资源模型和丰富的标签选择器。对于容器和虚拟机的组合编排和跨容器和虚拟机的网络服务以及跨容器和虚拟机的存储服务,他有针对性的分享了一些技术细节。最后他还介绍了云平台基本服务架构和应用部署架构和趟过的坑。


广发证券杨涛:容器化技术在股票交易系统的应用


广发证券信息技术部资深架构师,交易云技术研发团队负责人杨涛带来《容器化技术在股票交易系统的应用》的主题分享,以在股票交易系统里面的应用做一些分享。由于硬件资源低、系统升级时间长、快速部署难、测试环境搭建麻烦等都是为什么要做容器化的原因。他表示,Docker 的出现,让他们有一个弯道超车的机会。紧接着对Docker 进行了详细的介绍,并指出云要落地一定要解决编排和调度的问题。最后,又对Rancher和Docker的研发流程分别做了介绍。


大数据核心技术与应用实战峰会




Hulu董西成:Hadoop YARN在异构环境下应用与实践


Hulu大数据架构组负责人董西成 ,他本次分享的主题是《Hadoop YARN在异构环境下应用与实践》。在演讲开始,他首先介绍了异构导致的原因,其主要包括两个方面:首先是机器 ,因为购买时期不同,集群中可能存在多种型号不同(CPU、memory、network、OS、libraries)的机器,其次也可能是负载、网络、磁盘IO等动态因素。随后,他指出,对于静态因素,主要可以通过隔离不同型号的机器,将它们分配给不同的框架,而对于动态因素则需要在框架级别解决,比如为不同的APP安装特定的库或者服务。此外,对于一些低延时需求的关键应用更需要进行物理机级别的隔离。在之后的分享中,董西成详细分享了Label-based scheduling设计,及YARN上异构问题解决的实践经验。


万达李呈祥:FLINK:STREAM ENGINE BEYOND BATCH


来自万达金融的李呈祥带来的分享是《Apache Flink: Stream engine beyond Batch》。他主要从批处理和流处理、Flink Stream的核心和特点三个方面展开了此次演讲。演讲中,他提到Flink 最大的特点就是把所有任务当成流来处理,同时Flink 可以支持本地的快速迭代,以及一些环形的迭代任务,并且 Flink 可以定制化内存管理。 Flink与 Spark 相对比,Flink 并没有将内存完全交给应用层。这也是为什么 Spark 相对于 Flink,更容易出现 OOM 的原因,就框架本身与应用场景来说,Flink 更相似与 Storm。


云计算核心技术与架构




Cloudera韩军:hadoop架构在云上的应用实践


Cloudera大数据技术专家韩军分享了其与团队“Hadoop架构在云上的应用实践”经验,相比直接存储、数据不在集群间共享的本地模式,基于负载弹性伸缩、可在多个集群间共享数据的云模式更为灵活。当前新型Hadoop部署生态分为公有云和传统的中央存储两类,公有云部署主要有三种形式,分别为:直接在虚拟机/云上部署Hadoop集群、Hadoop作为运算集群数据存储在第三方、Hadoop直接操作后端Shared Storage。为什么要on Cloud?数据已在云上,而HDFS能够提供大数据应用统一的访问层,可将Block管理外包给第三方服务,为Cloud带来丰富的大数据生态系统。


魅族莫涵宇:魅族大数据平台架构实践


魅族flyme大数据平台经理莫涵宇基于《魅族大数据平台架构实践》分享了魅族在人员变化、数据规模、业务支持等的DT转型和大数据历程。在此之中,踩过诸多的业务和架构层的坑,比如迁就业务的不规范统计、需求管理杂乱、SDK埋点规范缺失、平台架构多次迁移、多个统计分析界面、没有数据Portal等。魅族大数据总数据量超过2PB,数据各业务近500台主机,每日运行4000个调度任务,任务繁重下其团队进行了DW2.0的建设实践,构建适合解决业务痛点的数据产品,比如在离线和实时方面使用Hadoop和Spark,以及各类KV和Spark Streaming。并进行了大数据上云的尝试,包括资源管理调度、块存储、对象存储、镜像管理、虚拟化等。


云计算平台构建与实践




京东杨海明:京东云构建行业数据的连通


京东云首席架构师杨海明发表《京东云构建行业数据的连通》主题演讲,深度分享京东云的SaaS、PaaS、IaaS业务架构体系,并提供数据共享开放平台,建立数据采集、融合、挖掘和共享机制,具体为:1. 数据经过数据清洗、脱敏、删除隐私数据后通过API形式开放;2. 由软件公司开发更加丰富的应用和服务;3. 可收集更多来自公众的数据,增加政务信息化治理的程度。从物理层、虚拟化层到包含弹性计算、网络、存储与CDN、云安全等的产品服务层,结合数据交易、集成、分析、存储和收集,提供全面的技术产品能力。


AWS代闻:基于AWS的DevOps实践指南


亚马逊AWS中国解决方案架构师代闻基于经典的What、Why、How逻辑开始了主题为《基于AWS的DevOps实践指南》的演讲。如何通过DevOps实现快速迭代、敏捷开发?AWS为DevOps提供了从代码(Programs、CLI、Scripts、DML)、框架/开发工具(AWS Services)、SDK/API(Node.js、REST API)到平台(Foundation Services)的全面支持。代闻表示,大规模基础架构的DevOps需要框架和工具,而AWS将基础平台模板化,支持基于模板快速部署,以CodePipeline来实现持续交付,可自动化编译、测试和部署,以OpsWork简化Chef环境的构建。


中国Spark技术峰会




Ram Sriharsha:Magellan Spark as a Geospatial Analytics Engine


Databricks,Spark开源版PM,Spark PMC成员Ram Sriharsha,他本次分享的主题是《Magellan: Spark as a Geospatial Analytics Engine》,他主要从Geospatial Analytics简介、Magellan中的基本操作、Magellan中使用的算法、Magellan与Spark SQL联合工作四个方面展开了此次演讲。在谈到降维方式时,他认为一个好的降维方式应该从近似保存周围空间、范围查询、小/无碰撞(Little/ no collision)三个方面入手;对于 speed up join方面,可以从预处理点、预处理多边形、在 geohash 内部进行连接、筛选出边缘情况四个方面解决。


AdMaster卢亿雷:Spark的大数据应用实践


AdMaster技术副总裁兼总架构师卢亿雷带来《Spark在大数据的应用实践》,主要分享了YARN上的各种坑、Spark与ElasticSearch的结合、Spark实践案例及流式计算几个话题。在Spark on YARN趟坑上,卢亿雷分享的要点有:Executor的内存没达到上限前被kill,这可以通过调 spark.yarn.executor.memoryOverhead解决,默认384,根据实际需求调;当有较多MapReducejob,scheduler调度压增的时候,Sparkjob会被kill掉,解决办法是升级hadoop集群到 2.6 以上版本;而对于Executor OOM,卢亿雷表示可以通过增加job的并 度,数据集切分成更小的数据,调整spark.storage.memoryFraction和spark.executor.memory ,设置spark.cleaner.ttl清理元数据等策略完成。


OpenStack技术峰会




中国移动刘军卫:中国移动OpenStack研发和实践之路


中国移动云计算产品部技术总监刘军卫带来了中国移动在OpenStack领域的实践。在介绍完自己和中国移动(苏州)研发中心之后,他重点谈到了目前中国移动OpenStack的部署架构,主要有南北两个数据中心统一管理,数据中心内部多Region部署,根据硬件类型或者guest os类型划分AZ。优化方法方面,他主要分享了API limits优化、数据库limits优化、消息队列限制、部署方式优化的技术细节,同时,他还重点介绍了性能测试和并发测试。针对中国移动OpenStack领域的未来计划,他表示未来的规模更大,将达到6000个节点,并且上线裸机服务和分布式文件系统服务等。最后,在架构选择方面他分享了Tricircle和Nova Cell。


天云软件贾琨:基于OpenStack构建混合云平台


北京天云融创软件技术有限公司研发总监&首席架构师贾琨带来了《基于OpenStack异构混合云实践》的主题演讲。他认为云归根结底就是IT资源供给技术,而IT系统必经的过程有云平台建设阶段、业务扩展及支撑阶段、云平台运维服务阶段、资源优化&精细化管理阶段,随后又对这四个阶段进行了简单的介绍。同时,贾琨主要针对基于OpenStack来构建异构混合云平台的实践做出详细的介绍,并构建混合云中对用户管理、权限管理、网络管理和系统的架构进行深入解析。最后,又详细介绍遗产VMware/CloudStack管理技术、面向业务的Cloud Bursting资源调度引擎的实践经验。


更多精彩PPT:http://bbs.csdn.net/topics/391952776?page=1




【结语】


2017年中国云计算技术大会将在技术基石上,更着重行业实践和应用。本次大会将围绕“四大主题峰会+八大专题论坛”展开。在“技术与应用,趋势与实践”的主题下,强力打造四大技术实践峰会:“中国Spark技术峰会”、 “容器与运维技术峰会”、“中国区块链技术峰会”、“大数据核心技术与应用实践峰会”。除此之外,我们在开发者和行业用户备受关注的“云计算核心技术架构”、“云计算平台构建与实践”、“云计算IT基础设施”、“行业云解决方案论坛”等主题论坛基础上,新增设“人工智能”、“微服务架构”、“区块链技术”等热点技术论坛。


60+位国内外顶级讲师将受邀在各个峰会和主题论坛进行演讲,让技术与实践、趋势与产业实现更好融合。历届大会,CCTC都得到了腾讯、百度、京东、普元、网心科技、青云以及亚马逊等企业的大力支持,相信2017中国云计算技术大会一定不负众望,在中国云计算产业发展历程上留下浓墨重彩的一笔。