向善而生的AI助盲,让AI多一点,障碍少一点******
有人说,盲人与世界之间,相差的只是一个黎明。在浪潮信息研发人员的心中,失去视力的盲人不会陷入永夜,科技的进步正在力图给每一个人以光明未来。
AI助盲在人工智能赛道上一直是最热门的话题之一。以前,让失明者重见光明依靠的是医学的进步或“奇迹”。而随着以“机器视觉+自然语言理解”为代表的多模态智能技术的爆发式突破,更多的失明者正在借助AI提供的感知、理解与交互能力,以另一种方式重新“看见世界”。
新契机:多模态算法或将造福数以亿计失明者
科学实验表明,在人类获取的外界信息中,来自视觉的占比高达70%~80%,因此基于AI构建机器视觉系统,帮助视障患者拥有对外界环境的视觉感知与视觉理解能力,无疑是最直接有效的解决方案。
一个优秀的AI助盲技术,需要通过智能传感、智能用户意图推理和智能信息呈现的系统化发展,才能构建信息无障碍的交互界面。仅仅依靠“一枝独秀”超越人类水平的单模态人工智能比如计算机视觉技术还远远不够,以“机器视觉+自然语言理解”为代表的多模态算法的突破才是正确的新方向和新契机。
多个模态的交互可以提升AI的感知、理解与交互能力,也为AI理解并帮助残障人士带来了更多可能。浪潮信息研发人员介绍说,多模态算法在AI助盲领域的应用一旦成熟,将能够造福数以亿计的失明者。据世卫组织统计,全球至少22亿人视力受损或失明,而我国是世界上盲人最多的国家,占世界盲人总数的18%-20%,每年新增的盲人数量甚至高达45万。
大挑战:如何看到盲人“眼中”的千人千面
AI助盲看似简单,但多模态算法依然面临重大挑战。
多模态智能算法,营造的是沉浸式人机交互体验。在该领域,盲人视觉问答任务成为学术界研究AI助盲的起点和核心研究方向之一,这项研究已经吸引了全球数以万计的视障患者参与,这些患者们上传自己拍摄的图像数据和相匹配的文本问题,形成了最真实的模型训练数据集。
但是在现有技术条件下,盲人视觉问答任务的精度提升面临巨大挑战:一方面是盲人上传的问题类型很复杂,比如说分辨冰箱里的肉类、咨询药品的服用说明、挑选独特颜色的衬衣、介绍书籍内容等等。
另一方面,由于盲人的特殊性,很难提取面前物体的有效特征。比如盲人在拍照时,经常会产生虚焦的情况,可能上传的照片是模糊的或者没有拍全,或者没拍到关键信息,这就给AI推理增加了难度。
为推动相关研究,来自卡内基梅隆大学等机构的学者们共同构建了一个盲人视觉数据库“VizWiz”,并发起全球多模态视觉问答挑战赛。挑战赛是给定一张盲人拍摄的图片和问题,然后要求给出相应的答案,解决盲人的求助。
另外,盲人的视觉问答还会遭遇到噪声干扰的衍生问题。比如说,盲人逛超市,由于商品外观触感相似,很容易犯错,他可能会拿起一瓶醋却询问酱油的成分表,拿起酸奶却询问牛奶的保质期等等。这种噪声干扰往往会导致现有AI模型失效,没法给出有效信息。
最后,针对不同盲人患者的个性化交互服务以及算法自有的反馈闭环机制,同样也是现阶段的研发难点。
多解法:浪潮信息AI助盲靶向消灭痛点
AI助盲哪怕形式百变,无一例外都是消灭痛点,逐光而行。浪潮信息多模态算法研发团队正在推动多个领域的AI助盲研究,只为帮助盲人“看”到愈发精彩的世界。
在VizWiz官网上公布的2万份求助中,盲人最多的提问就是想知道他们面前的是什么东西,很多情况下这些物品没法靠触觉或嗅觉来做出判断,例如 “这本书书名是什么?”为此研发团队在双流多模态锚点对齐模型的基础上,提出了自监督旋转多模态模型,通过自动修正图像角度及字符语义增强,结合光学字符检测识别技术解决“是什么”的问题。
盲人所拍摄图片模糊、有效信息少?研发团队提出了答案驱动视觉定位与大模型图文匹配结合的算法,并提出多阶段交叉训练策略,具备更充分的常识能力,低质量图像、残缺的信息,依然能够精准的解答用户的求助。
目前浪潮信息研发团队在盲人视觉问答任务VizWiz-VQA上算法精度已领先人类表现9.5个百分点,在AI助盲领域斩获世界冠军两项、亚军两项。
真实场景中的盲人在口述时往往会有口误、歧义、修辞等噪声。为此,研发团队首次提出视觉定位文本去噪推理任务FREC,FREC提供3万图片和超过25万的文本标注,囊括了口误、歧义、主观偏差等多种噪声,还提供噪声纠错、含噪证据等可解释标签。同时,该团队还构建了首个可解释去噪视觉定位模型FCTR,噪声文本描述条件下精度较传统模型提升11个百分点。上述研究成果已发表于ACM Multimedia 2022会议,该会议为国际多媒体领域最顶级会议、也是该领域唯一CCF推荐A类国际会议。
在智能交互研究方面上,浪潮信息研发团队构建了可解释智能体视觉交互问答任务AI-VQA,同时给出首个智能体交互行为理解算法模型ARE。该研究成果已发表于ACM Multimedia 2022会议。该研究项目的底层技术未来可广泛应用于AI医疗诊断、故事续写、剧情推理、危情告警、智能政务等多模态交互推理场景。
眼球虽然对温度并不敏感,但浪潮信息的研发团队,却在努力让盲人能“看”到科技的温度,也希望吸引更多人一起推动人工智能技术在AI助盲、AI反诈、AI诊疗、AI灾情预警等更多场景中的落地。有AI无碍,跨越山海。科技的伟大之处不仅仅在于改变世界,更重要的是如何造福人类,让更多的不可能变成可能。当科技成为人的延伸,当AI充满人性光辉,我们终将在瞬息万变的科技浪潮中感受到更加细腻温柔的善意,见证着更加光明宏大的远方。
“这场盛会恰逢其时”——外国嘉宾看世界互联网大会******
【乌镇聚焦】
光明日报记者 陈海波 光明网记者 张安迪
乌镇的青砖黛瓦和声光电影,正成为2022年世界互联网大会乌镇峰会期间与会外国嘉宾认识中国的窗口。
“这场盛会恰逢其时”,联合国教科文组织驻华代表处代表夏泽翰在乌镇峰会上的这句话,是120多个国家和地区的2100多位参会代表的共同心声。
这些不同国家和地区的参会代表,无不在表达对数字鸿沟的担忧,对对话交流的渴望。他们从乌镇看到了古老的中国在数字时代的生机,从互联网大会看到了中国在推动构建网络空间命运共同体上的担当和努力。
“谢谢你们坚持助力这一全球盛会的召开。”中国美国商会总裁何迈可真诚地说。
“过去和未来在这里交融”
古朴的江南小镇与新潮的数字技术,会发生什么样的联系?这是英国小伙子卢克这次来乌镇之前,怎么也想不到的。
卢克是上海交通大学的留学博士生,研究方向是人工智能在癌症诊断方面的应用。尽管三年前已来过乌镇,但参加世界互联网大会还是头一次。在“互联网之光”博览会上,记者与他偶遇。“这里的东西真让人兴奋。”他告诉记者。
让他感到兴奋的,不仅是这些前沿的数字技术,还有悠久的中国文化。这两者,在乌镇交融。
“乌镇是一个非常有趣的地方,因为它所有的数字技术都是与它原本的气质相反的。这是一个非常古老的城镇,在这里我看到一种独特的文化融合,就好像是过去和未来在这里交融。”卢克说。
第一次来乌镇的中阿卫视记者、主持人方浩明,与卢克有着类似的感觉。“这里的建筑真让人沉醉,让我感觉仿佛融入了这个地方。”他说,“我特别喜欢中国的这种文化风格。”
这几天方浩明很忙,参加论坛,撰写报道,“感觉每一个论坛都很有意思”。工作之外还体验了元宇宙和裸眼3D。这些数字技术带来的奇妙体验,让他感觉“特别高级、特别真实”。
“这里的氛围很美,很吸引人。”津巴布韦共和国驻华大使馆参赞坎布里亚·迪咋也被中国文化所吸引,他告诉记者,“昨天有机会参观了你们的一个博物馆,那里展示了古老的中国文化,还有现代化的演变。”
“这是一个很好的交流机会”
“世界互联网大会是一个非常有意义的平台,因为我们看到了国际合作和互动对话。”坎布里亚向记者分享他这两天的参会感受。
他刚参加完两个分论坛,与来自各国的嘉宾交流探讨网络空间国际规则和“一带一路”互联网国际合作。“在论坛上,我真实地体会到互联网让每个人的生活都变得更容易,但也面临巨大机遇和挑战,国际社会需要对话合作。”他说。
“这是一个很好的面对面交流的机会。”卢克也认为,世界互联网大会是一个极好的对话平台,“因为有各种各样的代表参加,可以接触到各种各样的想法。”
可以面对面交流,也可以云端对话。
“尽管不能亲自到场参加会议,我仍然很开心能通过视频形式与大家交流。”新加坡网络安全专员、网络安全局首席执行官戴维·科赫说,“能聚集在一起讨论如何进一步加强网络空间中基于规则的多边秩序,非常重要。”
是的,世界互联网大会把大家聚在了一起。
何迈可说,世界互联网大会已成为中国美国商会的年度大事,“很高兴能有此参会机会,促使我们知新求进”。思科董事长、首席执行官罗卓克说,世界互联网大会是一个汇聚全球政商界领袖,分享创新、技术发展和互联网治理理念的重要平台。埃塞俄比亚驻华使馆公使衔参赞格塔丘说,世界互联网大会在建设更美好的社会方面发挥了巨大作用。
“参加世界互联网大会可以帮助大家互相认识、互相了解,取长补短。”方浩明告诉记者,他在互联网大会上也认识了许多同行,学到了很多东西。
“中国在国际数字合作中起了很好的领导作用”
“如果没有一个好的引导,数字化有可能加剧已有的不平等,扩大数字鸿沟。”夏泽翰认为,此次乌镇峰会恰逢其时,会议内容与联合国教科文组织在世界开展的工作也高度一致。
夏泽翰指出,当前的数字革命正为社会和个人的发展提供巨大机遇,但仍然存在因缺乏平等获取信息的机会而加剧边缘化的情况。中国倡导的数字丝绸之路,正在为全球数字化进程注入强劲动能。联合国教科文组织已与中国合作,通过“一带一路”倡议、南南合作等机制,为其他发展中国家提供帮助。
世界互联网大会以及中国在构建网络空间命运共同体方面的其他实践探索,本身就是一个很好的引导。“未来,联合国教科文组织还将继续利用中国的知识和经验,将中国优秀实践分享至全球,在全球范围内促进更包容和更平等的发展。”夏泽翰说。
坎布里亚的看法与夏泽翰不谋而合。“中国在国际数字合作中起到了很好的领导作用。”他向记者表示。
坎布里亚认为,世界互联网大会的主旨与中国此前提出的“全球发展倡议”十分契合。这次参会经历,让他看到了中国在寻求解决人类面临的共同挑战上的一以贯之的努力和贡献。
“在数字化转型领域,中国的数字经济充满活力和竞争力。”国际商业机器公司董事长、首席执行官阿尔温德·克里希纳表示,尽管当今世界充满不确定性,但他相信,信任与合作将确保我们能够一起共克时艰、砥砺前行。
《光明日报》( 2022年11月11日 07版)
扫描二维码 看乌镇峰会电子会刊
(文图:赵筱尘 巫邓炎)