金秋十月,QCon上海2016将如期而至。每次QCon,我们都会尽力邀请最好的专家,挖掘最新的技术干货。这次当然也不例外。本届QCon上海,我们邀请了来自Google、Twitter、Netflix、Spotify、LinkedIn等世界著名互联网公司的技术专家,分享他们的实践经验,希望能给参会者带来一些启发和思考。
届时将会有哪些专家带来分享呢?我们一起来看看。
黄科
Google在线显示广告部门工程师
《在线显示广告中的优化问题》
过去九年任职于Google在线显示广告部门,其中一半时间在山景城总部AdSense团队,一半时间在纽约市分部DoubleClick团队。一直从事后台技术开发工作。在总部工作范围包括使用机器学习方法提高广告相关性及营收。对在线广告的全系统,包括广告的买方、卖方及中间的交易平台有深入了解。
在线广告是一个很大的市场,随着广告从传统媒体向互联网媒体迁移,这个市场还在快速增长。有钱的地方就有江湖,不同的角色在这个市场中采取各种手段和技术来优化自身的利益。
从广告卖方的角度来看,优化问题包括:如何在线分配广告位给不同类型的买家(如预购买买家、即时买家,etc);如何平稳投放给预购买买家的流量;如何最大化出售给即时买家的广告位的收益。
从广告买方的角度,优化问题包括:各种率,如点击率、转化率的预测;作弊流量的检测;对有限预算的买家如何平稳分配预算;用户体验的预测;重复流量的检测;广告形式的轮转;系统反应时间的优化。
演讲中将一一剖析。
黄浩
Twitter高级工程师
《Twitter的监控系统是如何处理十亿量级metrics的——Twitter的Observability技术栈架构实践》
黄浩目前在Twitter主要负责Observability团队的监控报警系统。
Twitter的Observability栈包含了核心的Timeseries Database,实时的监控报表系统,报警和自动故障恢复系统,以及分布式的日志分析和tracing系统。在Twitter,它是整个公司最关键的内部架构之一,是保证各个服务可用性的关键。
目前整个监控报警系统每分钟处理25亿次的metrics写入,170万的复杂查询和25 000次的报警规则。日志分析系统和tracing系统是工程师们平时追查问题的主要平台。在本演讲中,黄浩将向大家分享整个架构的设计,以及演进中的思考和经验。
Steven Wu(吴震)
Netflix架构师
《打造万亿级别的数据流水线》
目前在Netflix的Real-time Data Infrastructure组工作,负责的数据流水线是Netflix的数据大动脉——传输数据从生产者到消费平台(如Hadoop/ElasticSearch/Kafka)。近期完成了数据流水线从Chukwa到Keystone的演化。之前在Cloud Platform组工作,构建Netflix的微服务架构的基石。
Netflix是一家数据驱动型公司,许多产品决定是基于数据分析得到的洞察。几百个微服务系统每天产生万亿条消息和PB级数据,数据流水线负责从生产者到消费平台(如 Hadoop/ElasticSearch/Kafka)传输如此大规模的数据。此演讲将分享我们是如何做到的。
我们首先看看Netflix数据流水线过去几年的演化之路,然后深入探讨新的Keystone数据流水线的架构和一些设计抉择,分享Keystone在实战中遇到的问题和得到的教训,最后浅谈对Keystone未来的一些想法。
Kinshuk Mishra
Spotify广告工程技术总监
《Spotify 广告系统架构演进》
他的团队负责Spotify的广告基础设施、多平台广告产品和广告优化。Kinshuk 擅长构建互联网消费级应用,曾涉足电商、旅游、游戏等不同领域。作为早期加入Spotify的工程师之一,他在推动Spotify工程技术演进方面做了很多工作。
在产品高速成长的公司中,随着技术的改进,系统的持续演进是不可避免的。产品和业务需求也不断演进,规模的变化又会影响运营成本。近年来,Spotify的广告系统经历了几次大的变化。
对Spotify的广告技术栈而言,性能是刚需——要做到大规模、高可用、低延迟。任何宕机或业务中断都会直接影响收入。随着新兴消费平台的兴起,后端和数据基础设施技术也已经成熟,Spotify的产品也有很多改进。广告技术系统的需求也在变化。Kinshuk 将在演讲中分享保证日常服务不中断的前提下改进 Spotify 广告系统的经验。
秦江杰
LinkedIn数据基础架构部Kafka组高级工程师
《使用Apache Kafka进行关键业务消息传输》
目前是LinkedIn的Kafka生态平台设计和开发的主要参与者,主导了包括Kafka Cruise Control,likafka-clients等多个Kafka相关项目的架构设计和整合,同时也是Kafka开源社区的主要贡献者之一。
Kafka作为高可用的分布式消息系统对消息内容和格式是完全开放的。这使得Kafka可以被用作各种应用之间和内部的消息传输。LinkedIn最近利用Kafka进行内部NoSql数据库Espresso的内部冗余数据备份。这个过程中解决了许多挑战。这些问题涉及到消息传输的可靠性和完整性,性能和延迟优化,数据安全性以及超大消息的处理等。这些问题的解决对于利用Kafka来进行关键业务的数据传输是至关重要的。演讲中将分享我们的解决方案,相关的经验和思考。
陈连平
Paddy Power Betfair高级工程师
《应对持续交付实施挑战的策略》
12年软件开发和研究经验。在软件开发的各个方面(架构,需求,团队管理,质量保证,编程,交付,过程改进等)有丰富经验;既有在国际大公司(如IBM中国研究院、Avaya等)的工作经验,也有在中小企业的开发经验。目前在Paddy Power Betfair(世界上最大的上市在线博彩和游戏公司)实施持续交付。
持续交付作为一个目标和最佳实践已经并不新鲜,在文献和书籍中已有较完善的论述和指导。但通往持续交付之路依然充满挑战,例如如何获得各个利益相关者的支持(他们的目标可能和我们的看起来相互冲突);如何在多变且复杂的企业环境中获得持续的支持;当开发团队所负责的软件需要较长时间和大量工作才能转到持续交付的工作方式上,如何维持开发团队实施改进的动力;诸如此类。
这方面供参考的书籍和文献远未完善,书本上还不能找到完美答案。为了应对这些挑战,本演讲将分享基于在世界上最大的上市在线博彩和游戏公司实施持续交付的经验总结出的6个应对持续交付实施挑战的策略。
Igor Maravić
Spotify架构师
《Spotify高度可靠的事件交付系统是如何设计与运维的》
负责开发和维护Spotify的事件交付系统。
Spotify的事件交付系统是Spotify数据基础设施的核心要素之一。该系统的一个关键需求是,应该在可预测的延迟下可靠完整地交付数据,供开发人员通过定义好的接口获取。交付的数据用于支持Discover Weekly、Fresh Finds和Spotify Party等产品功能。
目前,该系统每秒会交付100万事件。为实现系统的无缝伸缩,它被设计为一组微服务。系统使用Google Cloud Pub/Sub在Spotify的数据中心之间转移海量数据。
本次演讲将分享Spotify高度可靠的事件交付系统的设计与运维细节。
赵晟 (左)LinkedIn业务分析经理
童奎松 (右)LinkedIn高级工程师
《多维度实时可视化分析》
赵晟在LinkedIn的分析部门主要负责开发Merlin等一系列内部工具,帮助整个团队更高效地运作。
童奎松,专注基于Java平台的企业系统开发15年。目前在LinkedIn负责业务分析平台架构的设计和实现。
LinkedIn的业务部门需要在10亿量级的数据上做多维度的数据分析,传统的按照维度组合的预先计算的方式和可视化工具不能在有限的时间和资源内很好的解决这个问题。这个主题将要展示LinkedIn如何使用Pinot进行实时多维度数据分析,以及定制化的可视化展现过程。
尤雨溪
Vue Technology LLC创始人, Vue.js作者
《Vue 2.0: 渐进式前端解决方案》
尤雨溪,设计师,开发者,开源爱好者,前端框架Vue.js的作者。曾就职于Google Creative Lab,参与多个实验项目的界面原型研发,后加入Meteor,参与Meteor框架本身的维护和Meteor Galaxy平台的交互设计与前端开发。现全职投入Vue.js的开发与维护,立志将Vue.js打造成与Angular/React平起平坐的世界顶级框架。
Vue.js自去年10月发布1.0以来,增长势头迅猛。目前在GitHub有超过2万的关注,npm每月下载量超过10万。在最近发布的2.0版本中,在保留1.0开发体验的基础上引入了更高效的Virtual DOM渲染层,更灵活的开发方式(同时支持模板/JSX),以及完善的服务端渲染支持(流式渲染 + 组件级缓存)。
在本次分享中,我将从几个方面深入的剖析Vue.js的独特之处:
响应式模型:无缝将原生js对象转化为响应式的数据源;
全自动的性能优化:基于 (1) 解决 Virtual DOM 的性能症结;
开发体验:极简的API,完善的工具链;
渐进式架构:视图层核心 -> 路由 -> 状态管理方案 -> CLI;
多端复用:基于Node.js的服务端渲染和基于Weex的移动端原生渲染。
Jakub Jedryszek
Microsoft工程师
《使用TypeScript构建大型Web应用》
他在Microsoft负责Azure Portal的开发。Azure Portal是用TypeScript实现的世界上最大、最先进的单页Web应用之一。
与20年前相比,JavaScript有着长足发展。今天,它已经是最流行的编程语言。然而,维护大规模的JavaScript代码库越来越困难。TypeScript就是为构建大规模应用而生的,诞生四年以来,也发展迅速。很多大型项目都用到了TypeScript,如Angular 2、Ionic、Visual Studio Code和Azure Portal等。
作为Azure Portal的核心开发人员,Jakub将分享使用TypeScript构建大型Web应用的一手经验。
更多精彩内容,可访问QCon官网
http://2016.qconshanghai.com/
是不是很期待?那就抓紧报名吧。8月21日前报名,可享8折优惠。可点击“阅读原文”,直接报名。
在此也感谢各家赞助商对QCon上海2016的大力支持。