Оценка алгоритмов машинного обучения для классификации ЭЭГ-сигналов, вызванных визуальной стимуляцией, при просмотре 2D и 3D VR-видео

Понимание различий в восприятии двухмерной и трёхмерной виртуальной реальности (VR) на уровне нейронной активности открывает новые горизонты в разработке адаптивных VR-сред. В данной статье мы рассматриваем исследование, в котором применяется машинное обучение для классификации сигналов электроэнцефалографии (ЭЭГ), полученных во время просмотра 2D и 3D VR-видео. Используя два типа признаков — спектральные (PSD) и пространственные (CSP) — исследователи достигают точности классификации выше 95%. Эти результаты демонстрируют потенциал построения нейроадаптивных систем в виртуальных средах и подчеркивают ценность пространственных признаков для анализа ЭЭГ в контексте иммерсивного восприятия.

Развитие виртуальной реальности происходит стремительно, проникая в медицину, образование, психологию, спорт и другие сферы. Однако, несмотря на технологические достижения, понимание нейрофизиологических эффектов VR остаётся ограниченным. Особенно малоизученным остаётся вопрос: по-разному ли мозг воспринимает 2D и 3D виртуальные среды, и если да — как это можно зафиксировать объективно?

Ответ на этот вопрос открывает дорогу к созданию систем, которые адаптируются под текущее состояние пользователя, повышая эффективность VR-интерфейсов. В данной работе рассматривается подход, основанный на анализе ЭЭГ и использовании машинного обучения для классификации нейронных реакций на разные форматы VR.

В исследовании приняли участие 20 здоровых добровольцев, просматривающих VR-видео в двух форматах: 2D (плоское изображение) и 3D (объёмное, стереоскопическое изображение). Для стандартизации условий использовались идентичные видеосцены в обоих форматах (природные и космические пейзажи), а просмотр осуществлялся через смартфон и гарнитуру Google Cardboard.

ЭЭГ-сигналы записывались с помощью 56-канального устройства в соответствии с системой 10–20. Далее данные подвергались очистке от артефактов (включая ICA), фильтрации и сегментации на 2-секундные интервалы.

Для последующей классификации из ЭЭГ извлекались два типа признаков:

Комбинирование этих подходов позволило охватить как частотные, так и топографические особенности нейронного отклика на VR-стимулы.

Были протестированы восемь алгоритмов:

Для обучения использовалась 70% выборка, оставшиеся 30% применялись для тестирования. Каждая модель проходила 10 повторных запусков с различными случайными разбиениями. Для оценки применялись: точность, полнота, F1-score и AUC-ROC.

Анализ показал, что CSP-признаки значительно превосходят PSD в задачах классификации нейронного ответа на VR. Особенно высокую стабильность показал Random Forest, достигший не только лучшей точности, но и наименьшей вариативности между экспериментами.

Дополнительно, визуализация данных методом t-SNE показала чёткое разделение кластеров 2D и 3D в CSP-пространстве, в отличие от PSD, где границы между классами были размыты.

Полученные результаты подтверждают гипотезу о том, что формат VR напрямую влияет на характер нейронной активности, и что этот эффект можно детектировать автоматически. CSP-признаки отражают перераспределение нейронной активности между форматами, что позволяет интерпретировать 3D-восприятие как более пространственно и когнитивно нагруженное.

Эти выводы потенциально значимы для разработки:

Данное исследование демонстрирует, что машинное обучение, примененное к пространственным признакам ЭЭГ, позволяет с высокой точностью классифицировать нейронную реакцию на различный формат VR. Это не только подтверждает различие в восприятии 2D и 3D на уровне мозга, но и открывает путь к созданию интеллектуальных систем, реагирующих на состояние пользователя в реальном времени.

В будущем такие технологии могут стать основой для:

Наблюдать за активностью мозга становится не только возможным, но и практически применимым. И в этом новая реальность — уже не виртуальная, а нейроинтерактивная.

Исследование демонстрирует, что анализ пространственных характеристик ЭЭГ с помощью алгоритмов машинного обучения позволяет с высокой точностью различать мозговую активность, вызванную просмотром 2D и 3D VR-видео. Это не только подтверждает различия в глубине восприятия, но и открывает путь к построению нейроадаптивных виртуальных интерфейсов, в которых мозг — полноправный участник взаимодействия.

Мы движемся к реальности, в которой цифровая среда будет откликаться на нейронную активность так же естественно, как на прикосновение или голос. И этот переход уже начался.