中国高校研发视障辅助设备,助力视障人群的智能生活

浏览: 时间:2023-10-30

2019 年,世界卫生组织 (WHO) 发布了第一份「世界视力报告」。报告称,全球至少有 22 亿视力受损者,其中 2.85 亿人为视障人群,3,900 万人彻底失明。受全球人口增长和人口老龄化的影响,视障人群的数量在 2040 年可能会增长 3 倍。

0 (6)

全球视力受损者估计人数


视障者无法通过视觉系统接收外界的信息,在日常生活中面临着诸多不便。他们很难躲避附近的障碍物,也无法从书籍或是屏幕中获取信息。


但是针对视障人群的辅助设备却存在成本高、维护困难、操作复杂等问题,很难满足他们的生活需求。


为此,广东技术师范大学和武汉科技大学的研究者基于智慧物联网共同开发了一套视障辅助设备,通过 AI 算法和传感器为视障人群的生活带来便利。


这套设备主要包括智能眼镜和智能盲杖,总造价约 480 元。它可以通过多种传感器监测使用者和环境的状态,帮助使用者与环境进行交互并在危险状况下发出警报。这一成果已发表于「Electronics」。


0 (1)_20231030_16986326408911510



视障辅助设备应兼具便利和可靠性,以满足视障人群的日常需要。为此,研究人员通过双目相机收集图像,随后通过轻量级网格模型 YOLO v5 对物体及其距离进行分析,或是通过光学字符识别 (OCR) 阅读文字。


物体识别过程中,YOLO v5 算法会将图片划分为网格,随后预测每个网格单元的边界框,并在创建边界框的同时识别出图片中的不同物体。


除图像识别外,YOLO v5 算法还能通过对比双目相机的图像计算用户与障碍物之间的距离。


智能眼镜的 OCR 功能通过调用百度 OCR 的 API 实现。OCR 过程包括图像获取、降噪、二值化 (Binarizatoin)、文字区域提取、字符分割、字符识别、优化及音频输出。

pihdf vh

OCR过程示意图


总结来说,就是智能眼镜通过对图片(指示牌)和其他障碍物进行一系列视觉处理后,最后通过语音传输到使用者耳朵里。


研究人员在常见室内外环境中对设备的物体识别能力进行了 20 次测试。结果显示,室内外环境下 YOLO v5 算法均能比较准确地识别出环境中的物体,并对物体与使用者之间的距离作出判断。

nmche

室内环境下的测试结果

eoihgjh

室外环境下的测试结果


实验中发现,随着图像中物体数量增加,错误率会随之提高,尤其是对于具有相似特征的物体,比如电视与显示器,或是自行车与摩托车等。最终,智能眼镜的识别准确率为 92.16%。

但是即使 YOLO v5 算法认错了物体,它依然能对距离作出判断。与商用的 APP 相比,YOLO v5 算法判断距离的偏离率在 0.28-6.32% 之间,随着距离的增加而增加。


基于这一判断,当使用者与物体之间的距离小于 0.7 m 时,智能盲杖会发出警报,同时接管微控制器以避开障碍物。


而智能盲杖的主要功能之一是健康监测,因此在盲杖上集成了心率、体温等传感器和数据收集模组。为实现非接触测量,心率传感器使用光体积变化描记图法 (PPG, Photoplethysmography) 进行监测,体温传感器使用红外辐射进行监测。


6724df

智能盲杖的结构示意图


此外,为增强视障者对环境的感知,盲杖上还集成了温度、湿度和姿势传感器。姿势传感器由加速度计和陀螺仪组成,通过计算使用者的组合加速度 (ACLR),监测其是否有跌倒的风险。


如果使用者距离障碍物过近,或是姿势传感器察觉到使用者可能会跌倒,盲杖将通过震动和蜂鸣器发出警报。(这里是通过智能眼镜传输数据到盲杖触发警报,盲杖本身未设置雷达)


这里值得一提的是,盲杖还设置了烟雾识别,对于有火险这样的特殊使用场景是非常必要的。

0 (3)

用于跌倒监测的 3 维坐标系



其实,早在几年前,就曾出现过类似的产品,名为Theia Vision,是一款智能眼镜。


Theia Vision系统由一个可搭载在眼镜腿上的相机和手机 APP 应用程序组成,可以把实况视频转换为音频反馈让佩戴者听到,它可以帮助视障者认知周围环境,是视障用户的超级眼睛。


0237854
9854897


它可以接入到 AI 神经网络实时进行物体检测,从而为视障患者提供以下五种“超能力”:


物体检测:寻找并识别镜头正对的物体并转化成语音告诉佩戴者;

导航:通过提醒帮助佩戴者识别标志、交通信号、路牌和导航指示;

颜色检测:帮助视障人士识别颜色;

货币识别:帮助佩戴者解决交易的问题;

文本转语音:识别镜头内文本并转化成音频阅读;


848451


一直以来,由于群体小、设施成本高,视障人群的无障碍设施很难普及。盲道、盲文等便利视障人群的设施,则会因缺乏维护和管理,无法发挥效用。


不过,随着经济发展,科学技术的支持,已有相当多的个人和企业参与到了帮助视障人群的行动中。目前绝大多数主流手机品牌也已经有了专为视障人群设计的操作方式,视障人群也可以拥有自己的智能手机。


希望未来,能有更多的智能产品可以服务于需要帮助的特殊群体。