picture from Internet
解析文章首发于唧唧堂网站www.jijitang.com
解析作者 | 唧唧堂心理学小组:
刘蚊厌
;审校编辑 |
悠悠 糖糖
本文是针对论文《双手如何帮助我们理解信息:
一项关于手势对于理解的作用的元分析(When Our Hands Help Us Understand: A Meta-Analysis Into the Effects of Gesture on Comprehension)》的一篇论文解析, 该论文于2019年6月发表于《心理学通报(Psychological Bulletin)》杂志上。
该研究作者为来自澳大利亚麦考瑞大学的Nicole Dargue,Naomi Sweller和Michael Jones。
语音和手势是沟通的两大要素。
目前,越来越多的研究证明手势可以帮助语言的理解。
然而也有一部分研究发展观察手势或者产生手势对于理解没有明显的帮助。
研究者认为,应用的手势种类、手势提供的信息、手势的作用、参与者的年龄、“理解”的测量方式等因素可能都会对手势的理解产生影响。
目前仍不确定哪种因素会对手势帮助理解的效果有影响。
在文章中,作者主要考虑考虑了以下影响手势帮助理解的关键变量:
理解的测量方式
:目前理解的策略方式包括回忆测验(包括自由回忆与基于开放式问题的回忆),多选题或迫选题,以及多种方式混合测量。不同的测量方式可能会伴随不同的结果,例如自由回忆的方式测量出手势对理解帮助的效应量可能会更小,因为手势只对伴随的部分信息理解有帮助。
参与者的年龄
:普遍认为手势能够帮助解释复杂语音中的信息,语言能力较差的幼儿更加依赖视觉线索,因而幼儿可以从手势中获得更大的帮助。
手势提供的信息量
:许多研究认为,手势根据提供的信息量多少,对于理解帮助程度不同。普遍认为,手势提供的有效信息越多,对于理解的帮助越大。而另一些方式发现,手势即使并不提供冗余信息,仅重复讲话内容也可以起到促进理解的作用。
观察手势或产生手势
:研究认为,手势不仅可以帮助观看者理解,同时可以促进讲话者表达。手势的产生将部分认知资源分配到手势中,可以减轻讲话者的认知负荷。
手势的种类
:根据McNeill(1992)的研究,手势可以分为四类,分别是图像手势(iconic gestures),隐喻手势(metaphor gestures),指示手势(deictic gestures)和节奏手势(beat gestures)。其中,图像手势指一具体的动作,事件或者物体,隐喻手势代指某一抽象的物体。这两种手势均与语义密切相关,一般认为,手势与语义越相关,对于理解的帮助越大。此外,有些研究发现,一些强调内容的指示手势或者节奏手势可以通过吸引听者注意力的方式促进理解。然而这种解释也不尽然。
研究问题
考虑到以上背景,研究者对现有文章中手势对于理解的效果进行了总结和分析。
具体而言,本研究的目的包括:
1)综合已有研究,分析使用手势与不使用手势相比,是否能够更好地帮助语音信息的理解;
2)综合已有研究,分析
手势的种类
(图像手势,隐喻手势,指示手势,节奏手势,混合手势),
手势提供的信息量
(额外信息,冗余信息),
参与者年龄
(学龄前儿童,小学生,青少年,成年人),
观察手势或产生手势以及理解的测量方式
(自由回忆,开放问题,选择题,多种测量方式)是否会更好地帮助语音信息的理解;
3)分析以上因素是否调节了手势对于语音理解的帮助作用。
picture from Internet
研究方法
本研究中使用的数据来源与2017年10月至2018年4月发布的相关数据库,包含了64个研究中的83个独立样本。
筛选标准包括:
采用人作为研究对象;
研究对象无发展性视听疾病;
通过实验对比有手势和无手势对于手势产生者和观察者理解的影响;
研究参与者在3岁以上;
研究包括客观测量的理解程度等。
在选定相关研究样本后,对于上述考虑的因素进行编码。
最后,研究者对于纳入分析的研究进行质量评估,根据原始研究中的实验设计情况进行打分(1-5分),打分维度包括被试间设计是否随机分配实验条件、被试内设计是否平衡顺序效应,是否为双盲实验,是否挑选被试等。
最终的元分析只采用研究质量在4分以上的研究。
综合来自64个研究中的83个独立样本数据,对于荟萃样本的效果量(Cohen’s d)进行分析,并通过随机效应模型分析样本间异质性(Q)和样本间异质性百分比(I2)。
研究发现
总的来看,
使用手势对于语音信息的理解有中等程度的帮助作用
。
对于不同种类手势的分析显示,图像手势对于理解有中等程度的帮助,隐喻手势对于理解有很大的帮助效果,指示手势和混合手势有微弱程度的帮助,而节奏手势无明显帮助。
图像手势与隐喻手势的效果支持了手势对理解的帮助与语义相关。
而节奏手势对于理解的帮助作用则提示了手势除语义相关外可能存在多种作用机制。
有研究认为节奏手势在复杂任务中帮助更大,而在简单任务中对理解可能没有帮助,进一步的结论仍需探讨。
对于手势提供的信息量,手势提供的额外信息或冗余信息均对语音理解有中等程度的帮助,两种信息提供方式对于语音理解的帮助程度没有明显差别。
提供额外信息的手势可能仅在消除模糊语音的歧义的情况下比提供冗余信息的手势更有助于理解。
对于参与者年龄,元分析认为手势对于学龄前儿童、小学生和成年人的理解均有中等程度的帮助作用,而对于青少年的语音信息理解无明显帮助作用。
有研究认为,手势对于不同年龄参与者的理解帮助程度可能呈倒U型曲线分布,文章中未发现倒U型分布一是因为年龄分类广度较大,尤其是成年人被试;
二是因为青少年样本较少,仅涵盖两个独立样本。
针对理解的测量方式,研究发现不论何种测量方式,手势均有助于语音信息的理解。
元分析结果同时证明,理解程度可以通过自由回忆,开放问题,选择题等多种测量方式进行有效测量。
同时,通过元回归分析对于以上变量的调节效果进行分析。结果发现手势对于产生者的帮助作用远大于观察者。以往研究认为,
在演讲中产生手势可以有效减少工作记忆中的认知负荷
。
总结
本文分析了手势的使用是否对于语音理解有帮助作用,同时对于在不同手势类型、手势包含信息量、参与者年龄、以及理解的测量方式下手势的效果进行精细化分析。
在纳入荟萃样本时采用了严格的采用标准,可能导致在具体的细分场景下可用于分析的样本数较小导致相应的小样本偏差,未来可以采用更多样本进一步验证本研究结论。
另外,本文中在进行调节效应分析时有些分析结果异质性偏大,未来研究需要将其他潜在的调节变量纳入分析,例如进一步细分手势的类别,以及涉及到的认知过程。
参考文献:
Dargue, N., Sweller, N., & Jones, M. P. (2019). When our hands help us understand: A meta-analysis into the effects of gesture on comprehension. Psychological Bulletin, 145(8), 765-784.
解析作者: 刘蚊厌