随着云计算技术的飞速发展,调度技术正日益变成各大基础设施效能提升所面临的巨大挑战,而google发布的Borg论文更是让大家看到了调度的巨大潜力。近些年随着容器技术的崛起,以及任务和容器调度和编排工具Mesos、Kubernetes和Yarn等开源项目的风生水起,更是引领了调度技术领域的新一轮浪潮。
令人欣慰的是在这轮浪潮下,国内技术同行也在齐头跟进,开始布局实践。在刚过去的3个月里,阿里巴巴发布了Pouch容器开源项目,并通过双11场景大规模验证了Sigma调度技术及混部能力的可行性,促进了该技术领域在国内的进一步发展。此外,我们也在积极建设调度和容器技术的行业交流圈。我们在2018年1月20日诚邀您相聚北京,和一众国内外调度和容器技术领域的同仁一起分享目前行业最佳实践,共同探讨调度和容器技术前沿和发展趋势。
我们希望将这次沙龙办成真正的热爱调度和容器技术,并对调度能力有需求的互联网企业用户和开发者的交流会,并借此机会探讨和行业同仁一起建立线下长效可运营的技术组织的可能性,定期在各主要城市线下举办调度和容器技术Meetup,加强行业用户和开发者之间的联系。
识别上图二维码
或点击文末“阅读原文”,
立即免费报名。
时间
1月20日(周六)
13:30--18:00
地点
北京市朝阳区
光华路9号SOHO 3Q
13:00-13:30 签到
13:30-14:20 Kubernetes中的资源管理及调度
14:20-15:10 阿里巴巴Sigma调度Pouch容器创新实践
15:10-15:30 茶歇&自由交流
15:30-16:20 基于DockerOnYarn的服务调度系统
16:20-17:10 灵雀云如何利用CNI接口在 Kubernetes上实现 Pod的静态IP功能
17:10-18:00 今日头条Hadoop Yarn调度实践
Kubernetes中的资源管理及调度
随着Kubernetes的流行,越来越多的作业希望运行在 Kubernetes上,例如TensorFlow, Spark等;但目前的 Kubernetes调度还无法完美支持这些作业模式。在本次讨论中,主要介绍kubernetes社区在支持多种作业模式方面所做的工作,并分享这方面的想法及建议。
马达:Kubernetes Maintainer,IBM中国系统部软件架构师;吉林大学硕士毕业,主修网格计算,分布式计算;毕业后加入IBM,专注于集群管理、资源及作业调度,服务治理等,在分布式领域有超过十年的工作经验。
阿里巴巴Sigma调度Pouch容器创新实践
阿里云化技术战略是阿里基础技术团队近年来一直在努力的方向,是阿里的下一代技术架构。包括混合云、Pouch容器化、Sigma统一调度、存储计算分离和混部等多项技术的不断突破和创新。云化架构使多个数据中心像一台计算机一样来管理,可以跨多个不同的平台来调度业务发展所需的资源,构建混合云以极低成本拿到服务器,通过混合部署大幅提升资源利用率。本分享介绍云化架构关键技术Sigma调度的演进、Pouch容器的路线选择及后续发展规划。
丁宇(叔同):阿里巴巴资深技术专家,阿里高可用架构负责人、双11稳定性负责人,阿里容器、调度、集群管理、运维技术负责人。2010年加入淘宝网、8次参与双11作战,并推动和参与了双11几代技术架构的演进和升级。
基于DockerOnYarn的服务调度系统
DockerOnYarn容器管理系统是大数据平台部自研的微服务容器管理平台,包括编译构建、调度运行、镜像存储等系统工具。结合YARN支持批处理任务与长服务管理,同时支持GPU的板卡隔离和资源调度,目前每天能够稳定调度近30W+的任务/服务。
申贤强:搜狗大数据平台部资深开发工程师,主要负责 Hadoop,HBase,Docker 等基础平台的开发和建设,以及提供一站式数据分析服务。
灵雀云如何利用CNI接口在Kubernetes上实现Pod的静态IP功能
CNI 作为 CNCF 的项目提供了构建容器网络的接口和类库,可以方便 kubernetes 扩展使用不同的网络模型,这次会介绍一下 CNI 的工作方式以及如何进行开发。同时会结合灵雀云的实践来介绍现有网络模型在传统环境存在的一些缺陷以及灵雀云如何根据 CNI 的接口实现的 pod 静态 IP 方面的工作。
刘梦馨:灵雀云k8s首席专家,北京大学硕士研究生,曾在阿里技术保障部担任系统工程师,后加入灵雀云从事容器云平台调度系统和容器网络相关方向的开发,专注于分布式系统方向的研究和动向。曾翻译《数据科学实战手册》《Mesos:大数据资源调度与大规模容器运行最佳实践》。
今日头条Hadoop Yarn调度实践
1)Hadoop 技术概述:简要介绍 Hadoop 平台的架构,发展历史以及演进;
2)Hadoop 目前在头条的概况:介绍 Hadoop 平台是如何支持头条 1亿+ DAU的产品,我们在实践 Hadoop 时遇到了什么挑战,是如何解决的;
3)未来的 Hadoop 在头条,未来 Hadoop 平台在头条的规划以及思考;