Разработчики Гарварда создали приложение с ИИ, чтобы помочь пользователям с нарушениями зрения ориентироваться.

      Mobilio использует камеру смартфона, GPS и датчики движения, чтобы направлять пользователей вокруг препятствий

      Инструменты доступности на основе ИИ тихо стали одними из более практичных применений этой технологии. Мы уже видели, как смартфоны помогают людям с нарушениями зрения находить близлежащие объекты, а умные очки соединяют их с людьми, которые могут описать, что происходит вокруг. Исследователи Гарварда теперь развивают эту идею с помощью приложения, созданного специально для навигации.

      Называемое Mobilio, это приложение использует камеру смартфона, GPS, датчики движения и LiDAR, когда это возможно, чтобы помочь слепым и слабовидящим пользователям следовать маршрутам, оставаться на проходимых путях и избегать препятствий. Исследователи из Школы инженерии и прикладных наук имени Джона А. Полсона Гарварда разработали систему после опроса более 100 слепых и слабовидящих людей о том, что они на самом деле хотят от навигационных технологий.

      Ранние испытания многообещающие. В исследовании с участием 14 участников Mobilio в паре с белой тростью помог пользователям пройти наружный маршрут примерно на 13% быстрее, чем Google Maps с тростью. На внутреннем курсе контакт с препятствиями снизился примерно на 41%.

      Как Mobilio превращает смартфон в пешеходного гида

      Традиционные навигационные приложения могут сообщить, когда повернуть, но эта информация сама по себе не особенно полезна при безопасном следовании по тротуару или избегании чего-то прямо перед собой.

      Mobilio постоянно анализирует окружающую среду через камеру телефона, в то время как GPS и датчики движения отслеживают движение. Направляющие сигналы сообщают пользователям, куда двигаться, и система может корректировать эти подсказки в зависимости от того, как каждый человек на них реагирует.

      Исследователи также обучили свою модель компьютерного зрения с точки зрения пешехода, поскольку многие существующие наборы данных о улицах собираются с автомобилей и не особенно полезны для понимания тротуаров, пешеходных переходов и других областей, по которым люди действительно ходят.

      ИИ находит действительно полезную роль в доступности

      Это не первый случай, когда мы видим, как ИИ решает эти проблемы. NaviSense из Пенсильванского университета использует смартфон, чтобы помочь людям с нарушениями зрения находить конкретные объекты с помощью звука и вибрации, в то время как умные очки Ray-Ban от Meta были объединены с Be My Eyes, чтобы позволить удаленным волонтерам направлять слепых пользователей в их окружении.

      Mobilio сосредоточен на самом путешествии, используя телефон в качестве непрерывного навигационного помощника, а не просто определяя, что находится поблизости. Технология все еще экспериментальная, и 14 участников — это небольшое начальное исследование. Гарвард теперь планирует более широкие испытания в Бостоне, исследуя, как Mobilio может в конечном итоге выйти за рамки исследовательской стадии.