和很多客户打交道,也积累了一些手机厂商的版本测试策略和测试周期。
今天就分享一个话题:一个TA版本/发货版本该测试多长时间?
接触手机测试的同学应该都知道:TA版本和发货版本意味着什么,意味着我们的软件要直面运营商和用户,在信息互通和互联网Free的大环境下,一个运营商在意的BUG/体验类问题代表着TA失败;一个用户在意的BUG/体验类问题都可能导致大批量的粉丝的流失和负面元素的蔓延。
在竞争越趋激烈的今天,手机厂商想要在市场上占有一席之地,就必须做好软件质量和用户体验。
说了这么多,无非是想强调 软件测试的重要性,更是想突出TA版本和发货版本的重要性。
下面简单列举我接触过的几个比较典型类型的公司:
1.公司A
A公司是国内一家上市公司,中华酷联中的一员。
A公司的TA版本和发货版本控制的非常严格,一个TA版本和发货版本在SW release版本后,必须要经历测试团队5个工作日的测试,测试团队出具测试报告并给出结果Pass后,才允许释放给运营商和产线投产;测试团队拥有不错的话语权,若测试报告结果是Fail(Fail的规则不详细阐述),即时Dealy,也不会把有问题的版本释放出去。
5天的测试都做哪些测试呢?
冒烟测试+BUG修复Free与拓展+用例执行(筛选出货标准的case执行)+自由测试(工程师保障模块稳定的前提下,想尽一切办法发现BUG)
从工作量来评估:如果工程师够负责,2-3天左右的时间可以完成全部测试任务,并可以做自由测试。
2.公司B
B公司同样是国内一家上市公司,在海外也拥有不俗的出货量和知名度。
B公司的TA版本和发货版本同样控制的很严格,和A公司不同的是,各级管理层对测试的介入很多,不光控制任务进度,同样控制任务质量。和A公司不同的是B公司比较注重把控Milestone,TA版本和出货版本 正常情况 测试1天/2天就投放给运营商和工厂。
2天的测试都做哪些测试呢?
冒烟测试+BUG修复Free与拓展+用例执行(筛选出货标准的case执行)+自由测试
从工作量来评估,如果工程师够负责,2天左右的时间是可以完成全部测试任务,但自由测试的时间无法保障(虽一再强调要多做Free)。B公司的有个策略做的较好,就是会协同很多测试团队的资源,在每个项目的关键节点,安排其他团队对该项目进行验收测试(在一段时间,一个项目可能会有2个团队同时在测,类似于QA),这样从一定程度上降低了版本的风险。
3. 公司C
C公司泛指在质量和资源上做平衡的公司,如一些方案公司/追求短期收益的公司等等
对于C公司这边不分析,只列举类型。
下面重点分析公司A和公司B各自的优势和体系:
1. 公司A
A公司的测试策略
优势在于:
a.给予测试团队足够的测试时间,一方面依靠测试case的质量,一方面依靠测试团队的主观能动性;
b.研发团队(开发和测试)有足够的时间自我思考,可以静下心来做一些需要思考和逻辑的事情。测试可以花时间研究一些新的测试方法,同样也可以花时间做一些Monitor严重BUG的强化复现等等;
缺点不言而喻:
a.如版本出问题要重出,版本测试周期较长,导致关键节点可能Delay,让运营商和用户等待。
b.员工富余的时间较多,有想法的员工会深入学习和测试,没有想法的员工有了太多打酱油的时间。
2. 公司B
A公司的测试策略
优势在于:
a.紧跟项目节点,效率高,对测试资源的把控力度大,资源利用率高;
缺点也比较明显:
a.版本节奏快,存在研发团队(开发和测试)赶任务的情况,开发没有足够的时间解BUG,匆匆忙忙解BUG,容易造成REG率高,测试没有足够的时间测试,依赖基础任务的覆盖率和员工的执行力。
b.资源利用率高,导致员工忙于机器版周而复始的测试,没有时间考虑深入测试和Free test。员工很难培养良好的质量意识,把所有的项目都当成任务去做。
c.压力大,测试团队流动性大。
当然上面提到的优势和缺点,在不一样的公司、不一样的体系里,优势也有可能是缺点,缺点同样也有可能是优势。如:缺点中的资源利用率高,如果员工综合能力强,公司有良好的绩效和奖励机制,阶段性给予员工肯定。那就是一个富有狼性的团队,创造力不可估量。
这是一个交流的平台,也希望大家能够辩证的看待优劣,如果能够综合两家,扬长避短,那更是妙哉~