测试背景:14年参与的一次项目高保真测试经验总结。当时对am系统做了一次比较大的交互优化,希望通过这次接近生产环境的测试,来验证优化的效果是否理想。
整个测试过程共分3个步骤:
前期准备工作
进入测试环节
测试数据报告和交互优化方案
一、前期准备工作:
1.1、确定测试目标
目标:
验证优化后的系统,用户完成主要任务是否高效。
某些细节上的交互改动比较有争议,希望通过测试验证此类改动是否合理。
1.2、准备各类测试案例和测试问卷
(如图一、图二)
测试案例:
当时是围绕系统整体优化方案验证这个目标的。所以选择的案例,是整个系统中最主要的3个高频任务。
案例的编写如下:
编写一个真实的任务场景。目的:真实场景能得出更客观的测试结果。
针对这个任务思考测试的关注点,这些关注点都跟交互方案紧密相连。目的:在测试中,能及时发现方案的可行性。
操作。需要包含2个部分,模拟操作和可能出现的操作。模拟操作就是设计师为用户设定的理想操作,可能出现的操作就是用户真实场景下出现的其他操作。目的:在最后测试的时候能够发现用户实际的操作路径与设计师设定的路径差异有多大,差异点具体在哪里。
测试的用户、环境、需要准备的测试细节。
案例如图一:
图一
测试问卷:
当时设定分为了几类:
a. 用户基本信息问卷+系统整体满意度问卷
基本信息(用户的年龄、工作经验等)
满意度(系统的友好性、美观性等)
b. 针对可用性测试(任务)的测试问卷
用户对任务交互的整体评分(如图二)
图二
c. 测试后的访谈表
每个任务完成后,记录员和用户进行一对一的访谈,将用户的主观感受和意见记录下来
d. 观察员记录表
结合图一的思考维度,观察员将用户在测试时的用户行为过程,记录在记录表中,便于后续总结。
1.3、自测并优化问卷和案例
目的,及时在测试前发现问题并修正。
1.4、安排观察员并准备测试工具
录屏软件,眼动仪等。
1.5、预约测试场地。
场地要根据实际情况来。需要保证足够的安静和放松。
1.6、根据测试案例,预约特定的测试用户
当时共测试11人,一个会议室同时测试3-4个用户,测试3批,但是出现了测试信息被互相影响的问题。最佳的情况是测试用户被隔离开单独测试。
1.7、测试当天准备
测试当天,观察员和主持人提前到场地,准备好相关测试材料(问卷、录屏软件等)和小礼品。通常需要保证测试环境是准确无误的,不然会影响测试的流程性。
1.8、待测试用户均到场后,开始进行测试。
二、进入测试环节
2.1、主持人开场白
自我介绍、测试目的、信息保护告知等。
2.2、开始测试
用户了解后,开始进行测试,完成相关的测试任务。
2.3、测试过程
用户在测试过程中,观察员需要记录用户的行为。
用户在困难时,可以向观察员求助。在测试过程中,主持人需要把控测试时间。
该环节记录员就会进行实时的录入记录表信息,如果观察员提示2次用户还是无法完成任务,我们就设定该任务完成失败。
2.4、填写问卷
用户完成测试后。进行问卷的填写,并回答观察员的一些问题。观察员与用户是一对一的。
当时设定了3个测试任务,所以基本是完成1个任务,用户就填写一下可用性测试问卷。填完后,继续进行下一个测试任务。中间填写的时间都是一开始规定好的,过程太长都会影响整个测试的流畅性。
整体满意度问卷是在所有测试完成后,让用户填写的。
2.5、结束测试
用户完成测试和问卷后,主持人发放小礼品。
三、 测试数据分析报告和后续的优化解决方案
3.1、测试完后,用研人员收集之前的问卷数据、录屏软件信息、埋点数据等。
当时我们主要参考了问卷的数据,录屏是主要做补充遗漏点准备的。比如用户的信息输入不明确或是打分特别低时,可以参考录屏的回放内容来验证。埋点数据这块当时做的是纯数据收集,没有做一个合理的维度划分,所以最后分析报告中没有使用到。
3.2、根据相关的数据,提炼出最终的数据分析报告(如图3)
分析报告的分析方法是采用纯人工的。当时是2个人花了2周时间完成的ppt报告。
报告分为几个部分:任务测试分析报告和系统整体报告。
任务测试报告分几个维度:
a. 每个用户对于任务的评分和优化建议
b. 任务总结(评分总结,包括单个任务的评分,整体任务的评分;建议总结,需要优化的信息)- 部分内容如图3
图3
3.3、通过测试报告,最后找出产品存在的问题及相关的解决方案(如图4)
分为几个维度:任务名称、遇到的问题、ppt具体截图、问题的重要度、修改建议。最后输出解决方案报告
图4
最后,根据优化方案评估实现难易度,进行后续的用户体验优化