Российские учёные научились читать мысли (3 фото)

«Энцефалограмма — следовой сигнал от работы нервных клеток, снимаемый с поверхности головы. Раньше считалось, что исследовать процессы в мозге по ЭЭГ — это все равно, что пытаться узнать устройство двигателя паровоза по его дыму. Мы не предполагали, что в ней содержится достаточно информации, чтобы хотя бы частично реконструировать изображение, которое видит человек. Однако оказалось, что такая реконструкция возможна и демонстрирует хорошие результаты. Более того, на ее основе даже можно создать работающий в реальном времени интерфейс «мозг — компьютер». Это очень обнадеживает. Сейчас создание инвазивных нейроинтерфейсов, о которых говорит Илон Маск, упирается в сложность хирургической операции и то, что через несколько месяцев из-за окисления и естественных процессов они выходят из строя. Мы надеемся, что в будущем сможем сделать более доступные нейроинтерфейсы, не требующие имплантации», — подчеркнул один из авторов работы, младший научный сотрудник МФТИ и программист-математик компании «Нейроботикс» Григорий Рашков.

Существующие решения по распознаванию изображений с помощью сигналов мозга используют функциональную магнитно-резонансную томографию (фМРТ) или анализ получаемого непосредственно с нейронов сигнала. А разработка учёных из МФТИ и «Нейроботикс» использует электроэнцефалограмму (ЭЭГ), снимаемую с поверхности головы, и нейросети, которые в реальном времени реконструируют просматриваемое человеком видео.

В рамках первой части эксперимента испытуемым показали 10-секундные видеоролики с YouTube («абстракции», «водопады», «лица людей», «скорость» — видеосъемку от первого лица гонок на снегоходах, водных мотоциклах, ралли — и «движущиеся механизмы»), снимая при этом показатели ЭЭГ общей продолжительностью 20 минут. Собранные данные позволили доказать, что частотные характеристики волновой активности (спектры) ЭЭГ для разных категорий видеороликов достоверно различаются и позволяют в реальном времени анализировать реакцию мозга на видео.

Во второй части эксперимента на основе трёх произвольно выбранных роликов были созданы две нейросети: первая генерировала произвольные изображения этих же категорий из «шума», вторая — создавала похожий «шум» из ЭЭГ. После того учёным удалось работать нейросети совместно, что позволило по записанному сигналу ЭЭГ воспроизводить кадры, похожие на те, которые видели люди в момент записи. В итоге в 90% случаев удалось получить кадры, которые совпадали с изначальным видеороликом.