V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
fish19901010
V2EX  ›  奇思妙想

LiDAR 是否可以用于给视障群体提供机器视觉能力?

  •  
  •   fish19901010 · 2021-07-31 15:01:54 +08:00 · 2514 次点击
    这是一个创建于 1245 天前的主题,其中的信息可能已经有所发展或是发生改变。

    刚刚中午摸鱼的时候,看到了 Veritasium 关于自动驾驶的体验。 下一个想法就是,LiDAR 既然可以成为车子的眼睛,那也可以成为人类的下一只眼睛。

    What if 视障增强背包,是否现实?是否已经有类似的项目? 这个背包里面是一个重复充电的大容量电池,然后连接到头顶的一个 LiDAR 摄像头,为其提供动力和运算单元。通过耳麦来和视障群体沟通。

    场景如下: 视障群体:我要去菜市场逛逛。 背包:

    • 请出门乘坐北京地铁一号线,全程大约 50 分钟,背包电量为 80%,可以支撑 3 小时运行,请放心出行。
    • (出门)前方 10 米左转,您的前方 2 米有一个障碍物,请往左移动半米绕开。
    • 前方 20 米有自行车在人行道通行,为保证安全,请原地稍等 5 秒,5,4,3,2,1,请继续前进。
    • 前方请乘坐电梯,电梯按钮在离地高度约 1 米 2 。
    • 前方 200 米为菜市场入口,请继续前进。
    • 您面前有 5 级楼梯,前小心行走。
    • 右前方 2 米处,有凹坑障碍物,请保持直行不要靠右。
    • 您已经到达 XXX 菜市场,是否需要我帮你扫描店铺名称?

    用户:帮我朗读面前的店铺招牌的文字

    背包:

    • 好的,您正前方是小黄食杂店,左侧是小红黄牛肉,右侧是阿强鱼档。

    如果这样的项目没人做,那有朝一日我财富自由之后(现在的情况估计很难了),应该会自己起一个团队来做这样的事情。

    14 条回复    2021-08-09 17:40:30 +08:00
    shpkng
        1
    shpkng  
       2021-07-31 15:14:59 +08:00
    类似的产品很早就有企业做了
    印象里微软给一个盲人员工做过类似的一副眼镜
    Pandroid
        2
    Pandroid  
       2021-07-31 15:46:09 +08:00
    然而 LIDAR 暂时只支持空间感知能力,并不能做很强的语义理解。
    其实依靠单目 RGB 摄像头+算法已经可以做很多事情了,我们公司有团队就做过类似项目。
    ryougifujino
        3
    ryougifujino  
       2021-07-31 15:55:13 +08:00 via iPhone
    事实上 iOS 已经有类似的功能了。打开旁白和相关设置,进入放大器 App 会为你描述当前镜头场景,B 站有 up 做过相关视频。
    viator42
        4
    viator42  
       2021-07-31 15:56:43 +08:00
    百度也做过一个,BaiduEye,真正的盲人眼镜
    Yien
        5
    Yien  
       2021-07-31 15:59:46 +08:00 via Android
    歪樓,比較好奇降噪耳機能不能當助聽器使用(
    zhucelws
        6
    zhucelws  
       2021-07-31 16:23:24 +08:00 via iPhone
    iPhone 辅助功能打开放大器,然后打开放大器应用,如果是带 Lidar 的机型,设置里面会有人物检测,可以完成一部分测距和识别功能
    zhucelws
        7
    zhucelws  
       2021-07-31 16:25:39 +08:00 via iPhone   ❤️ 1
    @Yien AirPods 可以,打开控制中心的“听觉”功能,点“实时收听”,然后把手机放的靠近说话的人,就可以从耳机里听见手机麦克风收到的声音,还可以看见目前声音有多少分贝
    imydou
        8
    imydou  
       2021-07-31 16:25:54 +08:00
    有了 LIDAR,比正常人还厉害。一眼能看出来准确 size
    Yien
        9
    Yien  
       2021-07-31 16:50:51 +08:00 via Android
    @zhucelws 有畫面了,就像記者採訪😄
    whywaoxaks
        10
    whywaoxaks  
       2021-07-31 17:59:20 +08:00
    摄像头+lidar,针对盲人,我司有计划,但 pending 中,因为这东西不可能挣钱,只能提高声誉。
    kickcellardoor
        11
    kickcellardoor  
       2021-07-31 20:39:46 +08:00
    这对感知的需求比自动驾驶还高,高精地图,lidar,camera,v2x 应该都少不了
    Wolfsin
        12
    Wolfsin  
       2021-07-31 20:47:12 +08:00
    摄像头的解决方案是有的,
    https://www.orcam.com/en/
    lidar 主要是之前小型化有问题。现在估计也有公司在做了。
    Themyth
        13
    Themyth  
       2021-08-02 14:47:56 +08:00
    我所知道的 iOS 现在的旁白辅助功能里面的屏幕识别,图像识别,文字识别可以部分实现楼主想要的功能。如果配合 siri,应该可以实现的更丰富,不知道 iOS 的摄像头能不能换成远程的,这样不用把 iPhone 挂到胸前。
    其次就是百度以前有个项目叫小度 eye,但是貌似流产了,当时看过介绍,是最完美的状态,还有人工帮助呢,可惜了。。百度最近几年做啥啥不成。。。
    xhelin
        14
    xhelin  
       2021-08-09 17:40:30 +08:00
    @imydou 然而只能脑补
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   957 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 22:35 · PVG 06:35 · LAX 14:35 · JFK 17:35
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.