献给在印尼自然灾害中网络通信保障的奋斗者们。——题记
2017年11月21日,沉寂了54年的巴厘岛阿贡火山终于还是爆发了。
2017年11月28日,东爪哇两个区域接连发生洪灾,200多个站点业务中断,影响三个大客户。
2017年11月30日,西爪哇发生龙卷风,800多个站点业务中断,两家客户的网络受灾较严重。
短短10天时间里,印度尼西亚连续遭遇三次自然灾害,对通信保障工作而言是极高的挑战。但是,打硬仗,我们不怕。
其实早在2017年10月初,巴厘岛的阿贡火山就处于断断续续冒烟状态,印尼政府发布了一系列警告。我们印尼运维团队一看到险情预警,就第一时间与客户联系,沟通当前的网络风险及保障诉求,成立保障小组、识别危险站点、核查备件单板库存、扩充电池容量、给VIP站点加防尘措施、区域团队加强健康安全预防,从各个方面制定了应对预防措施。还有代表处AMS部长孙涛牵头,开展针对火山喷发的应急演习。
11月21日,阿贡火山喷出火山灰和烟雾,火山灰柱最高达到4000米并伴有红光。11月27日,印尼国家抗灾署将预警提升至最高级,当地国际机场临时关闭,疏散区覆盖22个村庄、大约10万人。由于我们前期的准备比较充分,未造成人员安全事件,网络设备也未遭受大的影响。
喷发的阿贡火山
但其间也出现一个小插曲,在火山喷发当天,有一台无线Hub中心站点宕机,并影响了下挂的5个基站,这些站点位于VIP区域,眼看就要威胁到客户网络。迫在眉睫的时刻,华为员工Joedyatnowo冒着火山灰雨,独自驾车前往站点。由于空中满是火山灰,路上能见度只有几米远,车速不能太快,原本30分钟左右能够到达的路途,这次磕磕绊绊用了3个小时才艰难抵达。到站点后他用一个小时快速地排除了故障,归来时,他头顶和脸上已落了厚厚的灰尘,不过却满脸胜利的喜悦,并自豪地说,“我做成了一件意义重大的事情。”
维护工程师赶往站点恢复业务
12月6日,火山情况已有所好转,运维保障团队为了确保通信安全,继续与客户肩并肩坚守着岗位,用行动履行华为员工坚决以客户为中心的价值观。
11月28日,东爪哇Pacitan区域于早上9时、Yogyakarta区域于下午13时相继发生洪灾,总计导致200多个站点业务中断,其中三个大客户网络影响较大。事发突然,代表处立即通报事故并成立War Room,与客户一起对网络实时监控,通报网络运行状况,备件团队紧急启动备件核查、调拨,区域保障团队实时更新最新灾情状况。
事发1小时后,我们基本摸清了一线灾情——洪水短时间无法退去,有200多个站点中断,主道路山体滑坡导致无法通行进入灾区,短时间客户无法确定物料需求等。这种情况下,我们保障团队不能被动等待,主动与客户一起,根据站点历史信息评估物料损失及需求,提前从中心库房准备站点物料,以便洪水退去后能立即提供物料。同时,保障应急团队对站点的优先级进行排序,对于高优先级VIP站点,想尽一切方法扫除道路障碍进入灾区,利用携带的20多台移动油机保持给VIP站点供电。
位于雅加达维护总部的NOC BO团队,在TD崔欣玮的组织下进行“重路由”快速恢复方案的讨论,客户也参与其中,经过排查有20多个站点可以执行此方案,经客户同意后,运维团队开始手工配置路由。由于灾区很多传输链路被洪水冲断,方案执行过程中,有两三次传输路由配置后,链路不通,然后再集结专家和客户进行路由重选,几经往复,终于在3个小时后,很艰难得恢复了预计的20多个站点业务。完成之后,崔欣玮向客户汇报说:“我们已经用完了全部的可用传输资源,就像打完了手头的最后一颗炮弹”,客户给予回应,“我从未怀疑过你们的专业性和努力,非常感谢”。
10个小时后洪水褪去,我们调用推土机扫清道路障碍进入灾区。物料运输车辆也连夜从中央库房进入灾区,经过团队连续30多个小时的奋战,所有站点终于恢复正常。而War Room监控团队并未因此解散,继续联合NOC团队与客户一起监控网络,一直到12月2日14:00,网络告警全部清零。从灾情发生后,华为将士们在灾区坚守阵地,无暇顾及食宿,灾情不恢复,人不离战场。经过100多个小时的奋战,业务全部恢复。
洪水无情
屋漏偏逢连夜雨,在东爪哇洪灾保障期间,西爪哇Banten和Sukabumi区域于11月30日晚19:00发生龙卷风,致使800多个站点业务中断。其中两个客户网络受灾较严重,主要原因是电源中断、电源杆和站点塔倒塌。
这种情况下,最关键的是快速协调油机给核心站点供电,由于该区域分包商油机队伍不足,需要从其他区域紧急协调,情况紧急,为了能快速集结资源,AMS部长挂帅,与客户一起摸清需求,然后紧急协调CEG从其他区域协调油机分包商。因协调过程中正值周末,很多分包商已经放假,AMS联合CEG安排人盯人战术,蹲点在分包商仓库,协调分包商紧急出库油机,并配备队伍一起上站。这种战术很快得到效果,从其他分包商队伍一共挤出16支队伍、18台油机。
万事俱备,只欠东风,由于经过台风的洗礼,树木被吹倒了,桥梁被洪水冲垮了,使得进入灾区非常艰难,但代维将士们不畏艰难,自己手工临时搭桥、清理路障,实在无法通行的,就绕道而行。其中一个兄弟绕路4个小时终于将油机送达站点。
在恢复业务的过程中,华为代维项目员工Rangga Utama在一个关键站点连续蹲守3天3夜,吃、喝、睡都在站点,为的就是确保发电机能够连续供电,保障站点业务运行正常。故障未除,何以家为?当电力恢复正常,客户再次到达站点后,了解到这个兄弟的保障情况,对他表达了由衷的感谢。同时客户也对华为英勇无畏的支持和保障非常满意,客户CTO 表示“Great News”。很多保障的兄弟私下都讲,面对客户的满意评价和感谢,所有的辛苦都是值得的。
保障客户网络安全是运维团队的神圣职责,以客户为中心是运维团队的聚焦点。在自然灾害面前,考验的是我们华为人的使命感:不成就客户,何以成就华为?在这三次自然灾情中,运维保障团队共投入约200人,含站点紧急保障和救灾154人,保障车辆77车次3850小时,保障移动油机(Portable Genset)92个,向客户高层及中基层的值守通报共计约500次。我们心甘情愿地付出,只为一个信念:保障客户网络工作,没有最好,只有更好;网络维护,我们永远在路上。
勇往无前的将士们