返回今日爆点

谷歌Gemini推出实时视觉辅助功能,开摄像头就能语音读字认物体

据外媒 The Verge 报道,谷歌于10月2日面向兼容的安卓设备在 Gemini Live 中上线了名为“Guided Vision”(引导视觉)的实时辅助功能。用户只要在 Gemini Live 中共享手机摄像头画面,AI 就能对镜头所指的内容进行实时语音描述,帮用户识别周围物品、看清环境以及读取包装上细小的文字标签。用户还能针对画面实时追问,比如让它查找并读出具体物品的保质期;如果想看的东西没拍全,Gemini 还会通过语音提示引导用户挪动手机调整取景。

该功能主要面向视障、低视力人群及临时需要视觉辅助的场景,类似于苹果在 iPhone 和 Vision Pro 上推出的旁白实时识别功能,除了 Gemini 应用外也已整合进 Android 9 及以上系统的 TalkBack 辅助工具中。不过谷歌明确提醒,该功能绝不能用于出行导航、避障或替代导盲手杖等辅助器具。

把多模态大模型的实时视觉能力做进无障碍工具确实切中痛点,尤其是找药瓶保质期、读说明书这种日常细微琐事,加上能语音引导对准镜头的交互,整体非常人性化,比单纯炫技的 AI 功能实用得多。

周末睡懒觉
周末睡懒觉2级 楼主
直接回复0 / 1000
0