Исследователи впервые описали, как нейронная активность позволяет человеку управлять компьютером путем намеренного концентрации взгляда. Экспериментаторы наблюдали за участниками, играющими в специально созданную игру EyeLines. Полученные результаты могут поспособствовать совершенствованию технологий управления взглядом для людей с ограниченными возможностями и повысить удобство использования систем виртуальной и дополненной реальности. Дополнительные детали можно найти в материале «Известий».

Как компьютер управляется взглядом

Исследователи из МГППУ, МГУ и Высшей школы экономики изучили механизмы, которые человек использует для управления компьютером, фокусируя взгляд. Они записали 306-канальные магнитоэнцефалограммы у 32 участников, которые играли в игру EyeLines. В этой игре необходимо манипулировать предметами и создавать из них комбинации, используя только взгляд.

Фото: МЭГ-центр МГППУ/Дарисий Чжао Основной автор исследования Анатолий Васильев трудится над разработкой технологии управления компьютером с помощью взгляда и нейронной активности.

Во время записи изменялось движение глаз игроков. Благодаря разработанной методике удалось различить намеренные задержки взгляда, используемые для управления, и случайные, которые возникали, например, во время изучения позиции. Сопоставление данных нейроактивности и перемещений взгляда позволило различить эти типы задержек.

Фото: МЭГ-центр МГППУ Соавторы исследования Евгений Свирин и Сергей Шишкин продолжают работу над дизайном эксперимента.

Выяснилось, что намеренные задержки связаны с двумя последовательными процессами мозга. Сначала в зонах, ответственных за движение глаз, появляется тормозящий сигнал, передающий остановку автоматического перемещения взгляда. Затем задействуются височные коры, ответственные за фокусирование на объекте. Эти процессы начинаются в течение первых 0,2–0,3 секунд после перевода взгляда. Учёные отметили отсутствие таких процессов при спонтанных задержках.

— Благодаря изучению процессов в головном мозге, мы поняли, как человек осознанно удерживает взгляд для управления устройствами. Ранее технологии управления компьютером с помощью взгляда создавались без полного понимания физиологических механизмов задержки взгляда, — объяснил Сергей Шишкин, ведущий научный сотрудник МЭГ-центра МГППУ.

Перспективы нейроинтерфейсов

Полученная информация из многоканальной магнитоэнцефалограммы в МЭГ-центре МГППУ пригодится для дальнейшего развития интерфейсов.

— Эти находки могут быть полезны и в других научных областях. Люди уже используют взгляд в общении, например, указывая на предметы. Такая коммуникация схожа с выбором объектов в нашей игре. Следовательно, результаты и методики могут быть полезны в исследованиях человеческого взаимодействия, — отметил Сергей Шишкин.

Такие технологии способны поспособствовать развитию интерфейсов «человек — компьютер», считает Антон Аверьянов, гендиректор ST IT и эксперт рынка TechNet НТИ.

— На сегодняшний день системы управления взглядом основаны на отслеживании движений глаз. Однако они могут быть не всегда точными. Новая технология может улучшить точность систем виртуальной реальности, делая их более интуитивными, — подчеркнул эксперт.

Фото: МЭГ-центр МГППУ Евгений Свирин тестирует управление взглядом в установке для регистрации магнитоэнцефалограммы.

Система управления компьютером с помощью взгляда достигла уровня, на котором ее используют в VR/AR и для помощи людям с ограниченной подвижностью. Текущие трекеры могут с высокой точностью фиксировать направление и длительность взгляда, определяя команды пользователя. Но ранее практически не учитывались нейрофизиологические аспекты контроля взгляда, отметил Ярослав Селиверстов из Университета 2035.

— Это открытие — важный шаг к созданию обоснованных интерфейсов. Перспективы включают развитие интерфейсов без дополнительных устройств, на основе взгляда. Это также поможет сократить количество ложных срабатываний и улучшить взаимодействие в VR/AR средах. Объединение данных о взгляде с сигналами мозга возможно в будущем для создания гибридных нейроинтерфейсов. Это особенно актуально для людей с нарушением речи и моторики, — добавил он.

Фото: МЭГ-центр МГППУ Руководители исследования Сергей Шишкин и Татьяна Строганова обсуждают результаты эксперимента.

Результаты исследования, поддержанного грантом Российского научного фонда (РНФ), опубликованы в журнале Cortex.