Brain2Qwerty от Meta считывает напечатанные предложения из мозга

      Meta утверждает, что может превратить активность мозга в напечатанные предложения, не открывая череп. Прыжок реален. Такова и уловка: система учится на наборе текста, единственном, что её предполагаемые пользователи не могут делать.

      В понедельник Meta представила вторую версию Brain2Qwerty, системы, которая считывает сигналы мозга, которые люди производят во время набора текста, и восстанавливает слова. Она неинвазивна. Никакой операции и никаких имплантатов. Доброволец носит магнитно-энцефалографический (MEG) сканер, шлемоподобное устройство, которое улавливает крошечные магнитные поля, излучаемые мозгом. Остальное делает ИИ.

      Основное число — это настоящий скачок. Brain2Qwerty v2 достигла средней точности слов в 61 процент, увеличившись до 78 процентов для лучшего участника, сообщила Meta. Ранее неинвазивные системы справлялись только с однозначными цифрами. В прошлом году версия v1 достигла около 48 процентов.

      Чтобы достичь этого, Meta обучила систему на примерно 22 000 предложений, которые набрали девять добровольцев, каждый из которых носил сканер около 10 часов. Meta провела исследование в исследовательском центре в Сан-Себастьяне, Испания, сообщила Gizmodo.

      Чат-боты для мозга

      Трюк заключается в той же технологии, что и у ChatGPT. Сначала конвейер преобразует нечеткий сигнал сканера в символы. Вторая модель соединяет их в слова. Затем большая языковая модель, настроенная на данные мозга, использует контекст, чтобы угадать предложение, которое имел в виду человек, подобно тому, как телефон предсказывает ваше следующее слово.

      Meta утверждает, что это первый случай, когда LLM расшифровал шумную активность мозга в целые предложения. Она даже задействовала ИИ-агентов для улучшения собственного конвейера декодирования, хотя инженеры принимали окончательные решения.

      Выбор сканера оказался более важным, чем ожидалось. Meta протестировала как MEG, так и более дешевый, более распространенный ЭЭГ. MEG показал гораздо лучшие результаты, с уровнем ошибок символов 29 процентов против 65 процентов для ЭЭГ.

      Meta открыла исходный код и набор данных, поддерживая более широкую инициативу по открытой работе ИИ для науки. Она рассматривает проект как способ помочь миллионам, которые теряют речь из-за травмы мозга или болезни.

      Все еще застряли в лаборатории

      Затем идут оговорки, и они значительны. Система еще далеко от продукта. MEG-сканер занимает целую комнату, стоит целое состояние и должен находиться в больнице, а не дома. Она также не может работать в реальном времени. Моделям нужно завершить полную сессию набора текста, прежде чем они что-либо произведут, так что обратной связи в реальном времени нет.

      Существует более глубокая проблема. Brain2Qwerty учится на сигналах мозга людей, которые печатают. Её предполагаемые пользователи, те, кто заперт параличом или болезнью, не могут печатать вообще. Meta признает это. Люди с ограниченной подвижностью могут извлечь выгоду, но полностью запертые вряд ли смогут. Это потребует перестройки задачи вокруг воображаемого движения, а не реальных нажатий клавиш.

      Текущий дизайн даже должен точно знать, когда пользователь нажимает каждую клавишу, и Meta называет путь к непрерывному, свободному от триггеров декодированию «неопределенным».

      Хирурги все еще впереди

      На данный момент инвазивный подход выигрывает по результатам. Имплантированные системы достигают гораздо более высокой точности, отметил The Register, с недавними хирургическими работами, достигающими 92 процентов точности на уровне предложений. Один хирургический интерфейс позволил мужчине с БАС работать на полной ставке, декодируя его попытки речи с почти идеальной точностью. Компании от Neuralink до её конкурентов соревнуются за коммерциализацию такого рода имплантатов.

      Предложение Meta заключается в том, что она может сократить разрыв без сверла, потому что точность постоянно растет по мере того, как она предоставляет моделям больше данных.

      Это может оказаться правдой, и работа в открытом доступе должна помочь другим протестировать это. Но считыватель мозга, который занимает целую комнату, ждет, пока вы закончите, и зависит от того, что вы можете печатать, находится далеко от спасательного круга. Более широкие амбиции Meta в области ИИ, как правило, приходят громко и рано. Эта действительно является значительным достижением в лаборатории и честным напоминанием о том, как далеко лаборатория все еще находится от палаты.