专栏名称: InfoQ
有内容的技术社区媒体。
目录
51好读  ›  专栏  ›  InfoQ

站在研发最前线,与Google、Twitter、Netflix、Spotify、LinkedIn专家相约QCon上海

InfoQ  · 公众号  · 科技媒体  · 2016-08-12 08:00

正文


金秋十月,QCon上海2016将如期而至。每次QCon,我们都会尽力邀请最好的专家,挖掘最新的技术干货。这次当然也不例外。本届QCon上海,我们邀请了来自Google、Twitter、Netflix、Spotify、LinkedIn等世界著名互联网公司的技术专家,分享他们的实践经验,希望能给参会者带来一些启发和思考。

届时将会有哪些专家带来分享呢?我们一起来看看。

黄科

Google在线显示广告部门工程师

《在线显示广告中的优化问题》

过去九年任职于Google在线显示广告部门,其中一半时间在山景城总部AdSense团队,一半时间在纽约市分部DoubleClick团队。一直从事后台技术开发工作。在总部工作范围包括使用机器学习方法提高广告相关性及营收。对在线广告的全系统,包括广告的买方、卖方及中间的交易平台有深入了解。

在线广告是一个很大的市场,随着广告从传统媒体向互联网媒体迁移,这个市场还在快速增长。有钱的地方就有江湖,不同的角色在这个市场中采取各种手段和技术来优化自身的利益。

从广告卖方的角度来看,优化问题包括:如何在线分配广告位给不同类型的买家(如预购买买家、即时买家,etc);如何平稳投放给预购买买家的流量;如何最大化出售给即时买家的广告位的收益。

从广告买方的角度,优化问题包括:各种率,如点击率、转化率的预测;作弊流量的检测;对有限预算的买家如何平稳分配预算;用户体验的预测;重复流量的检测;广告形式的轮转;系统反应时间的优化。

演讲中将一一剖析。

黄浩

Twitter高级工程师

《Twitter的监控系统是如何处理十亿量级metrics的——Twitter的Observability技术栈架构实践》

黄浩目前在Twitter主要负责Observability团队的监控报警系统。

Twitter的Observability栈包含了核心的Timeseries Database,实时的监控报表系统,报警和自动故障恢复系统,以及分布式的日志分析和tracing系统。在Twitter,它是整个公司最关键的内部架构之一,是保证各个服务可用性的关键。

目前整个监控报警系统每分钟处理25亿次的metrics写入,170万的复杂查询和25 000次的报警规则。日志分析系统和tracing系统是工程师们平时追查问题的主要平台。在本演讲中,黄浩将向大家分享整个架构的设计,以及演进中的思考和经验。

Steven Wu(吴震)

Netflix架构师

《打造万亿级别的数据流水线》

目前在Netflix的Real-time Data Infrastructure组工作,负责的数据流水线是Netflix的数据大动脉——传输数据从生产者到消费平台(如Hadoop/ElasticSearch/Kafka)。近期完成了数据流水线从Chukwa到Keystone的演化。之前在Cloud Platform组工作,构建Netflix的微服务架构的基石。

Netflix是一家数据驱动型公司,许多产品决定是基于数据分析得到的洞察。几百个微服务系统每天产生万亿条消息和PB级数据,数据流水线负责从生产者到消费平台(如 Hadoop/ElasticSearch/Kafka)传输如此大规模的数据。此演讲将分享我们是如何做到的。

我们首先看看Netflix数据流水线过去几年的演化之路,然后深入探讨新的Keystone数据流水线的架构和一些设计抉择,分享Keystone在实战中遇到的问题和得到的教训,最后浅谈对Keystone未来的一些想法。

Kinshuk Mishra

Spotify广告工程技术总监

《Spotify 广告系统架构演进》

他的团队负责Spotify的广告基础设施、多平台广告产品和广告优化。Kinshuk 擅长构建互联网消费级应用,曾涉足电商、旅游、游戏等不同领域。作为早期加入Spotify的工程师之一,他在推动Spotify工程技术演进方面做了很多工作。

在产品高速成长的公司中,随着技术的改进,系统的持续演进是不可避免的。产品和业务需求也不断演进,规模的变化又会影响运营成本。近年来,Spotify的广告系统经历了几次大的变化。

对Spotify的广告技术栈而言,性能是刚需——要做到大规模、高可用、低延迟。任何宕机或业务中断都会直接影响收入。随着新兴消费平台的兴起,后端和数据基础设施技术也已经成熟,Spotify的产品也有很多改进。广告技术系统的需求也在变化。Kinshuk 将在演讲中分享保证日常服务不中断的前提下改进 Spotify 广告系统的经验。

秦江杰

LinkedIn数据基础架构部Kafka组高级工程师

《使用Apache Kafka进行关键业务消息传输》

目前是LinkedIn的Kafka生态平台设计和开发的主要参与者,主导了包括Kafka Cruise Control,likafka-clients等多个Kafka相关项目的架构设计和整合,同时也是Kafka开源社区的主要贡献者之一。

Kafka作为高可用的分布式消息系统对消息内容和格式是完全开放的。这使得Kafka可以被用作各种应用之间和内部的消息传输。LinkedIn最近利用Kafka进行内部NoSql数据库Espresso的内部冗余数据备份。这个过程中解决了许多挑战。这些问题涉及到消息传输的可靠性和完整性,性能和延迟优化,数据安全性以及超大消息的处理等。这些问题的解决对于利用Kafka来进行关键业务的数据传输是至关重要的。演讲中将分享我们的解决方案,相关的经验和思考。

陈连平







请到「今天看啥」查看全文