Guided Vision：实时语音看世界
打开 Gemini Live、共享摄像头，Gemini 会一边描述周围一边提醒你调整角度：往右慢慢平移、往下倾一点、退后一步。它不是给视力正常的人做玩具，而是和盲人与低视力社群一起做出来的辅助功能——训练时与 Aira 合作，用数万小时的真实视觉解读数据，一千多名 Aira 测试者参与了打磨。已在 Android 9 及以上、Gemini Live 支持的地区和语言上线
工具界面
交互式工具即将上线
功能特点
- ✓ 共享摄像头后获得实时语音描述，可追问细节，也能收到主动的语音引导
- ✓ 角度不对会主动提示怎么调整：慢速右移、向下倾斜、后退一步、靠近一点
- ✓ 典型场景：读细小文字与包装标签、找掉在地上的耳机、分辨颜色与图案、了解陌生空间布局
- ✓ 与 Aira 合作训练，使用数万小时的专业视觉解读数据，一千多名 Aira 可信测试者参与压力测试
- ✓ Aira 专家作为领域专家参与安全护栏的建立与评估
- ✓ 在 Android 9 及以上、Gemini Live 支持的地区与语言可用，需更新 Gemini 应用与系统
使用步骤
- 先确认设备：Android 9 及以上，且所在地区与语言支持 Gemini Live
- 把 Gemini 应用和 Android 系统更新到最新版本，否则 Guided Vision 可能不出现
- 打开 Gemini Live 会话，共享摄像头，开启 Guided Vision
- 用自然语言提问（这是什么颜色、说明书上写什么），听不清就让它重复或换个角度
- 跟着语音提示调整机位，先让它看清再问细节，回答质量会明显不同
常见问题
Guided Vision 是什么？
Gemini Live 里的一项实时视觉辅助能力：共享摄像头后，Gemini 用语音描述你面前的东西，并给出自然的机位调整提示。Google 官方发布说明见 https://blog.google/innovation-and-ai/products/gemini-app/guided-vision-gemini-live/
和普通的多模态问答有区别吗？
区别在「主动引导」和「为无障碍设计」。它会在你机位偏了的时候主动说往哪调，而不是被动等你问；整套能力是与盲人和低视力社群共同开发的。
哪些设备能用？
Android 9 及以上的设备，且所在地区与语言支持 Gemini Live。需要把 Gemini 应用和 Android 系统更新到最新版本。
训练数据是怎么来的？
Google 与 Aira 合作，用数万小时的专业视觉解读数据训练，超过 1,000 名 Aira 可信测试者参与压力测试与打磨，Aira 专家还参与建立和评估安全护栏。
能用来做什么？
官方点名的场景包括读食品包装上的营养标签、看清家电旋钮与洗衣机程序、读灯光昏暗餐厅里的菜单、找掉在地上的耳机或调料柜里的黑胡椒、判断衬衫和裤子是否搭配、了解陌生房间的布局。