Искусственный интеллект научили переводить мысли человека в текст

Технологию, способную превращать беззвучные мысли в текст, разработали австралийские ученые.

Пользователь технологии DeWave способен переводить мысли в текст с помощью специального шлема, передает Science Alert.

В тестировании приняли участие 20 человек. Они молча читали, пока техника записывала их мозговые волны с помощью электроэнцефалограммы и расшифровывала их в текст.

"Это исследование - новаторская попытка перевода необработанных волн ЭЭГ непосредственно в язык, это событие знаменует собой значительный прорыв в этой области", - сказал компьютерный ученый из Технологического университета Сиднея Чин-Тенг Лин.

DeWave достигла около 40% точности, но это на 3% лучше, чем предыдущий стандарт перевода мыслей по записям ЭЭГ. Исследователи хотят повысить точность до 90%. Этот показатель соответствует традиционным методам перевода языка и программному обеспечению для распознавания речи.

Для применения других технологий перевода сигналов мозга в слова нужно имплантировать электроды в тело человека или использовать громоздкие и дорогостоящие МРТ-аппараты. Для использования в обиходе такие методы не будут практичными.

Также подобные разработки в большинстве случаев должны постоянно отслеживать движение глаза, чтобы превратить сигналы мозга в текст. Когда глаза переходят от одного слова к другому, мозг человека делает небольшой перерыв между обработкой каждого слова. С помощью отслеживания глаз программа устанавливает каждое слово-цель. Без этого гораздо сложнее перевести необработанную ЭЭГ-волну.

ЧИТАЙТЕ ТАКЖЕ: Маск заявил о своем искусственном интеллекте

Мозговые волны разных людей отражают перерывы между словами по-разному. Это тоже усложняет перевод искусственным интеллектом.

Кодер DeWave после длительного обучения смог превращать волны ЭЭГ в код. Его можно будет сопоставить с конкретными словами на основе того, насколько они близки к записям в книге кодов.

"Это первая программа, которая использует методы дискретного кодирования в процессе перевода из мозга в текст, внедряя инновационный подход к нейронному декодированию. Интеграция с большими языковыми моделями открывает новые горизонты в нейронауках и ИИ", - рассказал Лин.

Команда ученых использовала обученные языковые модели, включавшие комбинацию системы BERT с GPT. Их протестировали на наборах данных, полученных учеными, отслеживая движение глаз и активность мозга во время чтения. С помощью этого система научилась соотносить волновые паттерны мозга со словами. DeWave обучали с помощью большой языковой модели с открытым исходным кодом, которая составляет предложение из слов.

DeWave лучше всего удается расшифровывать глаголы. Существительные обычно переводятся парами слов, которые означают примерно то же, но не были точным переводом. Программа вместо слова "автор" могла прочесть "мужчина". Один из авторов исследования Икун Дуань объяснил, что семантически схожие слова могут вызвать схожие волновые паттерны в мозгу.

"Несмотря на трудности, наша модель дает значимые результаты, сочетая ключевые слова и формируя схожие структуры предложений", - добавил он.

Команда ученых говорит, что их исследования более надежны, чем предыдущие благодаря относительно большому размеру выборки протестированных людей. Распределение волн ЭЭГ у разных людей сильно варьируется.

Сигнал DeWave пока довольно зашумлен из-за того, что ЭЭГ-сигналы поступают через шлем, а не имплантированные в мозг электроды.

"Перевод мыслей непосредственно с мозга является ценной, но сложной задачей, требующей значительных постоянных усилий", - отметили разработчики.

×