左林右狸频道按:
毫无疑问,快手是有危机感的,这种危机感不仅来自于竞品的增长,也来自于自身成长变化带来的失控感。
过去的两三年时间里,快手的员工人数增长了十倍以上,从一个数百人的小型团队,增长成了万人以上的巨型团队,这也意味着管理难度的几何式增长。怎样让一支庞大的队伍心往一处想,劲往一处使,高效运转起来,这是快手高层必须回答的问题。
2019年6月份,宿华程一笑给快手全体员工发布了一封内部信,文中将“伟大”定为目标,表示快手的愿景不仅仅是成就伟大的产品,更是要成就伟大的公司,并且提出了3亿DAU的目标,为这艘万吨巨轮指引了方向。
让一匹马跑起来,只需策马扬鞭,让一艘万吨巨轮开动起来,就必须得有一声响彻天际的汽笛长啸。
有了方向的快手还差一个推力,春晚来的正是时机——这个流量世界的地狱关卡。
只有经历巨大的挑战,只有付出艰苦卓绝的努力,才可能成就一家伟大的公司,经历春晚的快手再也不会和“佛系”沾边。
文 | 林觉民
如果把做春晚红包比作登珠峰,快手无疑是选择了最危险最难爬的北麓,他们前所未有的选择了最难做的视频红包作为载体。
大众最常见的网络信息介质莫过于文字、图片、视频三种,稍有经验的网民都会知道,传输文字、图片和传输视频完全是两回事。
如果把文字、图片比作网络公路上的行人、自行车,那视频无疑是重型货车。
快手之前做过春晚红包项目的BAT三家无一例外都是采用了前两种。
即便如此,当春晚洪峰来临的时候,还是有成千上万的人“堵”在了路上,走在前面的更是出现了服务器瞬间超过负荷的事故,以至于网络上有人调侃“春晚红包宕机史,就是半部中国互联网技术进步史”。
现在快手拿到了春晚红包的接力棒,却选择了最难的道路,这也就意味着“宕机史”和“进步史”快手只能继承其中之一,再也不可能有妥协的中间形态。
从某种意义上来说,这也是快手唯一的道路。
“你们想一下,如果因为这件事,春节回来后公司就倒闭了,那么你们现在要怎么做?”
在讨论红包形式的产品决策会上,CTO陈定佳说出了这句话。快手对春晚红包活动的重视程度可想而知。
经历了8年的发展,“慢公司”的标签曾经像影子一样贴在快手身上,肌肉变得无力,反应变得迟钝。快手要重新跑起来,K3战役的打响已经让这家公司飞速的跑了起来,春晚红包这场战役将是一场披荆斩棘的挑战与重生。
一、“不可能实现的方案”
时间回到2019年国庆后,春晚红包的第一次产品方案讨论会,这次的参会人员不但包括产品线所有核心成员,还有研发线的众多高管,宿华、程一笑两位创始人也在场,CTO陈定佳因人在深圳,通过视频电话接入。
很显然,第一次讨论会没有得出令人满意的方案。
陈定佳说出了上文那句事关生死的话,宿华也表达了两点意见,一是他认为目前方案思考太浅;二是他认为产生方案的方法有缺陷,他不能接受一个成本如此巨大,甚至决定生死的方案就是这么定下来的。
为了选出最佳方案,快手高层决定做一次方案赛马:首先确定8支参赛队伍,每支队伍各自提出方案进行初赛;然后从8支队伍中选出四组,再进行一次决赛。
10月份的一个月对于参与方案赛马的同学来说,一定是职业生涯内难忘的经历。
在项目保密阶段,很多快手的同学还不知道公司今年要在春晚发红包,参与赛马的产品部、市场品牌部、商业化等多个部门的几十位同学已经开始通宵达旦。
每组同学为了达到最好的效果,在规定的短时间内出创意、设计方案、演示、迭代,参与的人都拼尽了全力。
快手最终选择了“视频+点赞”这一组的红包方案。
快手视频点赞红包
截图
这是比较特殊的一组,其他的组基本都是同部门人组队,这组的参与人员由商业化、市场品牌部、运营部等多个部门的同学组成。他们提了一个“视频+点赞”的红包方案,春晚主持人口播的时候,几亿人一起看视频并双击屏幕点赞,最后弹出来红包。
这个玩法方案演示的时候,团队里走出一个学过播音主持的女同事模拟春晚当晚的主持人,她口播的同时,一段视频随即播放,解说的声音和视频播放完全同步,配合着主持人的口播,APP端用户同时点赞,最后弹出红包。
主持人的口播十分精彩,两分钟包含大国重器、坦克、飞机的混剪视频又燃又爆,这个演示确实打动了在场的众位评选人。(这个方案大致就是除夕当晚使用的方案,参与过抢快手春晚红包的各位邻里,可以尝试回想一下。)
随着方案赛马的结束,视频红包的方案最终被敲定。快手这次要玩和以往春晚红包不一样的!产品方案赛马的整个过程,技术人员全程在参与。对于技术人员来说,方案早一天确认,他们上战场前的准备时间就延长了一天。但这个方案的确定,引起了技术人员的很大反应。
这里给各位邻里解释一下,往年互联网公司参与春晚,是用图片和文字来玩转红包,而今年快手要用视频来玩。这个难度是怎样的?
视频的大小是图片、文字大小的几十倍甚至上百倍,快手APP这款短视频产品本身是一款重依赖富媒体能力和AI能力的产品,这款本身已经“负重”不少的产品,要在春晚的极端流量海啸下提供视频红包的高质量服务。这就是快手选择的攀爬珠峰的“北麓”。
产品方案确定,到了技术人员拿过“接力棒”奋力奔跑的时候。
“这不可能实现,如果不做优化,全国的带宽都拿过来都不够用”。快手的研发部门从2017年的200多人发展到目前的2000多人,两年多的时间积累了精兵强将。因为技术人员能力强,日常工作中,很少有技术人员拒绝产品需求的时候。但这次,几条技术线得知这个方案玩法后,给出的反馈是,这不可能实现!
春晚项目技术总指挥韦彬后来对左林右狸频道谈起了当时的感觉:“第一次看到方案确实觉得新颖,然后就立马觉得技术上不可实现。”无论是需要消耗的资源,还是实时交互,都是极其困难的。
往年的摇一摇发红包传递的是需求指令,而现在他们选择传递的却是几十秒钟的视频,这背后就是要消耗海量的网络带宽和服务器资源。
甚至有技术人员当场算出了需要的带宽总量,这个需求与此时中国所有的带宽加在一起的总量相当。
关于方案选定的决策发生了很多的激烈的讨论,技术研发线的很多人提出了理智的质疑,背后的指向只有一个,如果不做优化,绝无实现的可能。
这个方案给技术团队带来了极大的压力,这种玩法没有别的公司做过,所有事情之前都没有人做过,也没有经验可以借鉴,很多同事挑出来方案中不可实现的点。“如果我们什么都不能做,那我们做的事情也太没有挑战了。”在大家一筹莫展的时候,有人说了这样一句话,并提醒大家需要换个思路,想想能做什么。
李伟博是快手春晚项目后端稳定性负责人,他记得很清楚,当时有技术同事说了这句鼓舞士气的话。
众人为之一振。
在2019年6月宿华程一笑发表的内部信中,两人痛感“慢公司”带来的羞愧,并定下3亿日活的目标,立下了“追求极致”的军规,
现在,K3战役尚未结束,士兵岂能畏葸避战!
快手春晚团队军令状
那个“不可能实现”的方案终于被加上了“看似”的前缀,它最后真的众人被选中,没有人想像做梦一样的度过职业生涯,每个人都渴望有一个关于战斗的故事。
二、“只有基建狂魔才配的上视频红包”
百度作为一家领跑二十年的互联网公司,高层的一句话就可以将5万台服务器从凤巢转到春晚红包,一下子解决一半的算力问题,这样的家底是快手所不具备的。
快手负责基础设施建设的包能辉也是最早知道春晚红包项目的一批人,CTO陈定佳在9月末告诉他,快手正在争取这件事,让他可以提前准备了。
包能辉后来对左林右狸频道回忆起当时的感觉,用了两个字——“吃惊”,他说:“拿下的信心比较高,做成的信心是一点也没有,当时要面临的问题太多了。”
之前百度用了十万台服务器,这一次快手注定只多不少。
在定下了视频红包的方案后,快手需要的服务器数量更是暴增。任务量更大的同时,包能辉所能调用的人手大约只有百度对应事宜人手的十分之一。
与百度相比,包能辉团队唯一的优势就是多出来两个月的准备时间。
既然如此,那就抢先一步,开始战斗吧!
当众人还在等待方案细化的时候,包能辉作为先锋官,已经踏上了建设基础设施的征程。
第一场:服务器伏击战
这是一场准备已久的战斗。在开始之前,包能辉需要先向内部争取预算。
在讨论产品方案的时候,包能辉做了一份关于资源估算的报告,当他把最终算出来的价钱拿到众位核心高管面前的时候,虽然大家当时没有说,但在之后的私下沟通中,每个人都觉得太过庞大,负责财务的同学更是急的跳脚。
基础设施建设的开销都是长期投入,快手的高速发展,需要的服务器数量每年都在翻番,现在购置基础设施就是提前把以后需要的东西提前买了。财务同学又对预算做了很多精细的计算,最终定下预算方案。
快手是幸运的。春节之后疫情的原因,线上数据增长,服务器需求增加,春节项目积攒下来的服务器派上了用场。疫情期间买服务器很困难,不但厂家缺货,运输也是问题。
但是光有钱还不行,有钱人家也未必有货卖。
2019年Q3全国的服务器厂家的销售量是80多万台,快手需要拿下一个季度超过10%的产能, 服务器厂家对于这么多额外的需求,出现了不同程度的原料缺货。
也庆幸快手这几年的高速发展与供应链的上游厂家建立了很多联系,和厂家一起协调全球供应链。SSD,内存,CPU,GPU这些上游配件厂家没少受快手的骚扰,各厂家帮忙从全球各地的调货,12月底前这批货陆续汇集到快手的机房。
在做上面这些工作的同时,包能辉团队还得做机房建设,上万台服务器轮番到货的时候,还得有机房等基础设施支持。
但是现在只有三个月时间,数据中心建设正常情况下都是以年为单位,临时搭建肯定来不及。包能辉采取了两手措施:
一是想方设法在快手现有机房上进行扩容,设法在有限的空间里容纳更多的设备;
二是让团队在北京寻找现成的机房,一时之间北京周边几乎所有适合的数据中心都被他们跑遍。
也得亏快手这几年高速发展,拿下了不少数据中心,不过这些数据中心虽然不是空地,很多都是半成品,没通电,没网络是普遍现象。为了加快建设速度,不仅是IDC供应商,他们后面施工队,市政电力,运营商,机电设备商 也承担了巨大的压力,大家一起加班加点建设采取各种方式保障建设的进度。像电力未及时就位,电机先上;设备未到位,布线先行 这些非常规的方式也被一一用上。
包能辉告诉左林右狸频道这里有一点比较幸运,大家对于春晚的重视程度都是非常高的, 像三大运营商经历过百度的春晚活动,在配合快手的时候也表现的相当高效,甚至会灵活调整一些规则流程——先办事,后补手续。
所有的人都特别希望,2020年的这个春晚,快手能顺顺利利给全国人民发红包。
除
了自建的数据中心外, 快手在云上的业务需求量也很大。快手一直以来是以混合云的模式进行运作,混合云平台与多家云厂家合作,并结合快手自有IDC使用。百度春晚直接使用百度云就可以,快手要扩容混合云平台,就要和多家云厂家对接,这代表的是N倍的工作量,对云厂家和快手同学都有很大挑战。
虽然几家云厂家都参加过之前的春晚活动,但快手这次给出的需求量依然吓到了他们。短时间快速将大量级资源接入混合云平台,几家云厂家之前没有操作过, 这里仅仅云机房和快手自有数据中心间的网络传输就需要扩容超过20倍,成本和工作量都是巨大的。
从10月份到春节前的最后一刻,快手的同学与多家云厂家持续协作,针对不同厂家的能力制定不同的方案,在双方的努力下,最终完成了混合云平台的扩容。
第二场:CDN歼灭战
2019年中国境内CDN,这一次快手直接包揽了四分之一左右。用包能辉自己的话说,他们基本上把市面上所有能用的CDN全都包圆了。
但是光买到CDN还不行,包能辉还必须要确认CDN厂家到底有多大能力。举了个例子,有些地方两个厂家都告诉自己有10个T 的CDN,结果实际上两家加在一起才有10个T,两家运行的时候都要找运营商。
为了保证质量,每一家CDN快手的资源团队都会去压测验证,做好扫尾工作。
第三场:应用商店攻坚战
前一年的春晚红包,百度APP本身没有出什么事故,应用商店却因为CDN不足宕机,阻碍了更多用户参与活动。
在接到春晚红包任务后,作为百度云服务和CDN采购者,包能辉跟百度相关人员取经。
对方告诉他,其实百度之前也跟应用商店进行了沟通,但从百度最终结果来看,应用商店的技术人员并没有完全了解到百度的需求。这条经验总结对于只有一次机会的快手极为宝贵,包能辉立刻行动起来。
在这一次快手与各家应用商店的沟通,包能辉要求技术和商务的同学都要到位,该方向负责人连博前往深圳与OPPO、华为等厂家进行拜访,确保与具体负责该项目的技术人员沟通到位。
在这过程中,有些厂家此前被“打挂”这次表现积极,有些厂家还是没有意识到春晚流量的含义。某一线厂家技术人员开始并未出现,包能辉便通过其他渠道去督促其老大,后来该部门领导出面处理,态度有了很大的改观。为了确保除夕当晚的稳定,快手甚至帮助某些厂家改良应用商店架构,以及分出部分CDN提供协助。
然而人手不足,事务众多,具体落实到每件事上,时间和人力还是捉襟见肘。
包能辉回忆的时候苦笑道,一开始问题很多自己并不害怕,但是到了12月问题还是不断冒出来,每次看日报和周报的时候,各个方向都是问题,自己也不免心里发毛,但也只能硬着头皮做下去。
在快手团队选择视频作为红包载体的一瞬间,包能辉的部门就注定要化身基建狂魔,他必须尽一切可能将网络道路拓宽再拓宽,因为在除夕之夜,主持人口播的那十几秒钟,将会有上亿辆载着视频的重型货车在上面同时奔跑。
至于这些基础设施到底坚固不坚固,能不能经受住流量洪峰的冲击,也只有那天晚上他才能得到最终答案。
时间很快就到了元旦,东方卫视的中场模拟考即将临近。
三、“即使断网,我们也要接着玩下去”
尽管前面已经模拟测试过几次,但是东方卫视元旦晚会这次小考还是切切实实的告诉快手团队,真正的战场和模拟完全是两回事。
为了保证在元旦前客户端更新的覆盖量,快手客户端团队定下的封版时间是12月初,时间便显得异常急迫。
客户端负责人刘春雨告诉左林右狸频道:“公司之前曾经参加过春晚的竞标,那次就挺期待的,但最后没做成,团队非常想参与这次特别重大的战役。”
刘春雨加入快手的时候,整个公司还不到60人,入职后一直负责客户端和测试团队。
他第一次知道春晚红包这件事是在研发线技术核心的群里,当时看到消息,心里是既兴奋又高兴。早在2018年快手就曾经参与过央视春晚的竞标,但是最后没有成功,这件事让他情绪上颇有起伏。
客户端团队真正介入已经是11月初。