分享好友 资讯头条首页 频道列表

VR技术赋予视障人士辨别方向和物体识别的能力

2020-03-31 13:423990

计算机有视觉而人没有,我们为什么不试图让前者帮助后者呢?或许这就CARA背后的主旨,CARA 是加州理工学院开发的一款新的 HoloLens 应用程序。

该软件借助 HoloLens 的深度感知能力,使用计算机视觉算法扫描环境并识别物体。然后,该应用程序向视力受损的用户告知物体的存在,使用空间音频让用户确定物体在他们空间中的相对位置。

加州理工学院(Caltech)生物科学教授、神经生物学执行官马库斯 · 梅斯特(Markus Meister)博士和本杰明 · f · 比亚吉尼(Benjamin f. Biaggini)博士在一份声明中表示:“想象一下,在这个世界里你周围所有的物体都有声音,都能和你说话。无论你注视着什么,你关注的不同物体都会被激活,并对你说出它们的名字。你能想象在这样一个世界里四处走动,完成一些我们通常使用视觉系统完成的任务吗?这就是我们在这里所做的——为物体赋予声音。”

VR技术赋予视障人士辨别方向和物体识别的能力

Cara 是由研究生 Yang Liu 领导的科学家团队在 Meister 的实验室开发的,可以提供了几种模式来帮助使用者。当 HoloLens 扫描环境时,系统的聚光模式可以根据用户的视线来识别物体,而Scan模式则可以从左到右来识别物体。

研究小组通过设计一条通往加州理工学院贝克曼行为生物学大楼的路线来测试这个应用程序。在使用Cara 系统时,每个测试对象都成功地根据HoloLens的导航走出迷宫。 此外,研究小组还设计了一个虚拟现实环境,作为其他研究人员评估自己辅助设备的考试。

VR技术赋予视障人士辨别方向和物体识别的能力

该应用程序仍在开发中,目前的工作包括改进和加强计算机视觉算法。这个团队设想在银行、酒店和商店等场所部署软件来帮助客户浏览他们的环境。Meister 、 Liu以及合著者、南加州大学的博士后学者 Noelle Stiles,在一篇名为《AR为盲人提供认知帮助的能力》的研究论文中详细说明了该研究小组的发现。

去年,游戏开发者 Javier Davalos 用 HoloLens 创造了一个类似的概念验证。他的版本也使用环境扫描识别表面和空间音频给用户提示他们的相对位置,但不是以口述识别的对象的形式:演示应用程序会在用户接近障碍物的时候增强音量,并发出警报。

我们很欣喜的看到,越来越多的从事增强现实和视觉辅助工具应用的公司在用各种技术来帮助残疾人。比如,此外VR网曾报道过的纽约大学的学生团队开发了一个可以实时翻译手语的应用程序,甚至 Magic Leap 也获得了类似的专利技术。与此同时,Starks 的AR耳机也可以通过头戴式显示器为听力受损的人提供字幕。经常有人把增强现实描述为给普通人“超能力”,如果你了解自己的超级英雄传说,这可能是件好事,当然也可能是件坏事。但是现在,为了给那些没有拥有能力的人提供虚拟视觉的礼物,至少我们在用这些能力做好事。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容图片侵权或者其他问题,请联系本站作侵删。 侵权投诉


反对 0
举报 0
打赏 0
相关信息
虚拟人不“虚”:一年新增20万家,以500万入局千亿市场
字节跳动旗下虚拟偶像组合A-SOUL近日因成员休眠登上热搜,再次将虚拟人推到了前台。出圈登上热搜足以证明虚拟人用户群体已经不小。实际上虚拟人已经成为元宇宙热潮之后最热的一个方向,除了字节,网易、腾讯、百度等诸多互联网大厂也在这个赛道发力。天眼查数据显示,我国现有虚拟数字人相关企业28.8万余家,有近七成的虚拟

0评论2024-01-1819774

虚拟人音乐会上,你会粉哪位“歌者”?
AI大模型的火爆,让虚拟数字人再度成为市场宠儿。技术的突破,驱动着其加速驶向商业化落地......在文娱产业,虚拟数字人也为数字经济带来一番热闹景象。虚拟人,从“人仿AI”走向“AI仿人”1985年,英国卡尔顿电视台第四频道决定推出一档音乐视频节目。节目如何能够快速获得观众的喜爱?从主持人身上做文章!不久后,“第一

0评论2024-01-1817869

三星在CES 2024推出全球首款透明MicroLED显示屏
IT之家1 月 8 日消息,在今日的CES 2024展台,三星展示了全球首款透明 MicroLED 屏幕。三星官方没有透露这项技术的成本,或者何时将这项技术用于零售设备。根据外媒 Engadget 的报道,三星展示了三种不同透明度的 MicroLED 显示屏,其中两个采用有色玻璃,另一个采用透明玻璃,拥有无边框设计。三星官方人员表示,由于透明

0评论2024-01-1518658

“联通向5G 童眼看未来”童学会小记者采访团走进陕西联通
1月7日上午,童学会小记者采访团走进陕西联通,感受联通5G数字科技魅力,零距离了解云计算、物联网、数字人等在实际场景中的应用,更有全息投影、元宇宙数字人对话、直播助农带货等沉浸式互动体验,小记者采访团身临其境地感受到了联通5G神奇的“新世界”。陕西联通数字科技创新馆  一走进陕西联通数字科技创新馆,小记者

0评论2024-01-1220417

幻影成像是什么意思?带你详细了解幻影成像原理构成
近年来幻影成像技术以其神秘而引人入胜的特性,逐渐引起科技领域和创新企业的关注。神奇的幻影成像,原理是什么呢?幻影成像技术常用于发布会、演唱会、企业年会等大型舞台,它以斜置的框架作为支撑,把具有一定透明度的反射膜绷装于框架内。投影机画面投射在或上或下的水平成像幕上,成像幕中的影像依靠反射原理将光线反射

0评论2024-01-0324552

评论

0

收藏

点赞