专栏名称: 腾讯
腾讯公司唯一官方帐号。
目录
相关文章推荐
白鲸出海  ·  百度完成对YY直播的收购,Anthropic ... ·  8 小时前  
阿里开发者  ·  select `*` from table ... ·  12 小时前  
白鲸出海  ·  出货量破10万台,追觅科技押对了 ·  昨天  
51好读  ›  专栏  ›  腾讯

我们做了一个小功能,让视障者也能“看见”图片

腾讯  · 公众号  · 科技公司  · 2018-01-31 11:45

正文

我们做个小实验吧: 拿出手机,闭上眼睛,请朋友发给你一张图片。


你要怎样才能知道图片的内容?


这年头,发张图就胜过千言万语。但对于视障用户来说,就不是这么回事了。


我们知道,许多智能手机里都有读屏功能,可以让视障用户听到文字。


安卓和ios系统都有视障辅助功能


但很多时候,文章中的配图、好友动态里的照片,是“读”不出来的。视障用户只能听见“图片”、“图片”、“图片”......


那么,我们能不能让图片“说话”呢?



在最新安卓版QQ空间APP中,我们做了一个尝试:增加了「图片语音即时描述功能」 。它能识别图片的内容,并“说出”一句文字描述。


这意味着,视障用户也可以阅读图片了。就像这样——




使用 安卓系统 的小伙伴只要打开手机里的 系统设置—辅助功能—开启talkback ,随后打开 最新版QQ空间APP 就能体验图片描述功能。


之前,视障用户碰上图片动态时,只能知道这里有图片,或者需要旁人帮忙讲述图片的内容。这就让他们跟好友的评论互动显得不那么顺畅。


而现在,图片的内容能够被“读”出来,无疑让视障用户获得了更好的社交体验。



一位参与内测体验的视障小伙伴是这么评价的:

刚听说QQ空间客户端推出可以描述文字配图的功能时我有些错愕,因为自己一直也没想到会有一天能有这种体验。怀着好奇试了一下,正好一个好友在晒她做的美味,虽然空间客户端的图片描述没有告诉我那是什么饭,但却说“图片——一名女士在吃饭。”

可能你不会觉得有什么,甚至认为参考性不是很大,但对我而言却仿佛打开了一扇全新的大门。

之前我对于一般熟的好友动态,只会通过文字揣摩他要表达的意思,关系好的才会评论问图片是什么?而以后这一步基本可以省掉,再也不必让好友描述配图了。

就在刚刚,我给那条分享美食的好友评论:你做的美味,看起来很好吃的样子。看到我的评论她立刻秒回,表示特别惊讶,因为她只发了图片,没有配任何文字。


QQ空间这个看上去简单的功能,其实需要解决这么两个“老大难”:


机器需要能识别图片中的主要物体有哪些—— 看得懂;


机器需要学习和组织语言,以通顺并符合人类语言习惯描述图片—— 说人话


解决难题的,是来自 腾讯AI Lab的“图像描述生成技术”。


这个自主研发的强化学习算法,在国际顶级大赛MS COCO的该类别挑战赛上取得第一的成绩,甚至超越了微软和谷歌等公司。有了它“撑腰”,用户体验才得到保障。








请到「今天看啥」查看全文