我们做个小实验吧:
拿出手机,闭上眼睛,请朋友发给你一张图片。
你要怎样才能知道图片的内容?
这年头,发张图就胜过千言万语。但对于视障用户来说,就不是这么回事了。
我们知道,许多智能手机里都有读屏功能,可以让视障用户听到文字。
安卓和ios系统都有视障辅助功能
但很多时候,文章中的配图、好友动态里的照片,是“读”不出来的。视障用户只能听见“图片”、“图片”、“图片”......
那么,我们能不能让图片“说话”呢?
在最新安卓版QQ空间APP中,我们做了一个尝试:增加了「图片语音即时描述功能」
。它能识别图片的内容,并“说出”一句文字描述。
这意味着,视障用户也可以阅读图片了。就像这样——
使用
安卓系统
的小伙伴只要打开手机里的
系统设置—辅助功能—开启talkback
,随后打开
最新版QQ空间APP
就能体验图片描述功能。
之前,视障用户碰上图片动态时,只能知道这里有图片,或者需要旁人帮忙讲述图片的内容。这就让他们跟好友的评论互动显得不那么顺畅。
而现在,图片的内容能够被“读”出来,无疑让视障用户获得了更好的社交体验。
一位参与内测体验的视障小伙伴是这么评价的:
刚听说QQ空间客户端推出可以描述文字配图的功能时我有些错愕,因为自己一直也没想到会有一天能有这种体验。怀着好奇试了一下,正好一个好友在晒她做的美味,虽然空间客户端的图片描述没有告诉我那是什么饭,但却说“图片——一名女士在吃饭。”
可能你不会觉得有什么,甚至认为参考性不是很大,但对我而言却仿佛打开了一扇全新的大门。
之前我对于一般熟的好友动态,只会通过文字揣摩他要表达的意思,关系好的才会评论问图片是什么?而以后这一步基本可以省掉,再也不必让好友描述配图了。
就在刚刚,我给那条分享美食的好友评论:你做的美味,看起来很好吃的样子。看到我的评论她立刻秒回,表示特别惊讶,因为她只发了图片,没有配任何文字。
QQ空间这个看上去简单的功能,其实需要解决这么两个“老大难”:
机器需要能识别图片中的主要物体有哪些——
看得懂;
机器需要学习和组织语言,以通顺并符合人类语言习惯描述图片——
说人话
。
解决难题的,是来自
腾讯AI Lab的“图像描述生成技术”。
这个自主研发的强化学习算法,在国际顶级大赛MS COCO的该类别挑战赛上取得第一的成绩,甚至超越了微软和谷歌等公司。有了它“撑腰”,用户体验才得到保障。