Эффект Мак-Гурка: почему ваши глаза могут повлиять на то, что вы слышите? (9 фото)

Когда вы смотрите плохо дублированный иностранный фильм, то очень легко заметить, что звуки, которые вылетают из ртов актеров, не совпадают с движениями их губ.

Другими словами, даже когда наше зрение и слух стимулируются одновременно во время фильма, наш мозг должен выполнять действительно хорошую работу, обращая внимание на соответствие движения губ и звуков.

Эффект Мак-Гурка: почему ваши глаза могут повлиять на то, что вы слышите? (9 фото)

Что такое эффект Мак-Гурка

Но мозг также может быть введен в заблуждение. В интригующей иллюзии, известной как эффект Мак-Гурка, наблюдение за движениями губ человека может обманом заставить мозг услышать неправильный звук.

Эффект Мак-Гурка возникает, когда существует конфликт между зрительной речью, то есть движением чьего-либо рта и губ, и слуховой речью, представленной звуками, которые человек слышит. И это может привести к восприятию совершенно другого сообщения.

Эффект Мак-Гурка: почему ваши глаза могут повлиять на то, что вы слышите? (9 фото)

Исследование с помощью компьютерной модели

В новом исследовании неврологи из медицинского колледжа «Бэйлора» в Хьюстоне попытались предложить количественное объяснение причин эффекта Мак-Гурка. Они разработали компьютерную модель, которая была в состоянии точно предсказать, когда эффект Мак-Гурка должен или не должен произойти у людей, согласно результатам, опубликованным 16 февраля в журнале PLOS Computational Biology.

Эффект Мак-Гурка: почему ваши глаза могут повлиять на то, что вы слышите? (9 фото)

В демонстрации эффекта Мак-Гурка, используемого в исследовании, участнику предлагалось оставить глаза закрытыми во время прослушивания видео, которое показывает человека, производя его звуки «ба-ба-ба». Затем этого участника просили открыть глаза и внимательно посмотреть на рот человека в видео, но без звука. Для участника визуальные эффекты выглядели так, как будто человек говорил «га-га-га». На последнем этапе эксперимента воспроизводилось то же самое видео, но на этот раз звук был включен, а участнику предложили его посмотреть. Чувствительные к эффекту Мак-Гурка люди сообщали о том, что в третий раз они слышали звук «да-да-да», который не соответствовал ни слуховым, ни визуальным сигналам, замеченным ранее.

Эффект Мак-Гурка: почему ваши глаза могут повлиять на то, что вы слышите? (9 фото)

Так происходит потому, что мозг пытается решить, какой, по его мнению, звук ближе к тому, что он видит визуально. Когда участник снова закрывал глаза, и ученые воспроизводили звук видео, он снова слышал оригинальный звук «ба-ба-ба».

Эффект был впервые описан в эксперименте, проведенном в 1976 году психологами Гарри Мак-Гурком и Джоном Макдональдом. Он показал, что визуальная информация, предоставляемая движениями рта, может влиять и переопределять то, как думает человек, что он слышит.

Эффект Мак-Гурка: почему ваши глаза могут повлиять на то, что вы слышите? (9 фото)

Прогнозирование иллюзии

«Эффект Мак-Гурка – это мощная, мультисенсорная иллюзия, — сказал соавтор исследования Джон Магнотти, докторант в отделе нейрохирургии в «Бейлоре». — Мозг воспринимает слуховую и визуальную речь и объединяет их, чтобы сформировать что-то новое».

Когда люди общаются лицом к лицу, мозг занимается сложной деятельностью, поскольку он пытается решить, как совместить движения губ со звуками речи, которые слышит, отметил Магнотти.

Эффект Мак-Гурка: почему ваши глаза могут повлиять на то, что вы слышите? (9 фото)

В исследовании ученые пытались понять, почему мозг может лучше складывать некоторые слоги, чтобы интерпретировать звук, который был услышан правильно, а другие нет.

Причинно-следственный вывод

Чтобы понять это, их модель полагалась на идею, известную как причинно-следственный вывод, или процесс, при котором мозг человека решает, были ли звуковые и визуальные звуки речи произведены одним и тем же источником. Другие исследователи разработали модели, чтобы помочь предсказать, когда может произойти эффект Мак-Гурка, но это новое исследование является первым, которое включает причинно-следственную связь в свое вычисление, отметил Магнотти. Факторинг в причинном умозаключении, возможно, улучшил точность новой модели по сравнению с предыдущими, которые также должны были предсказывать иллюзии.

Эффект Мак-Гурка: почему ваши глаза могут повлиять на то, что вы слышите? (9 фото)

Чтобы проверить точность своей модели предсказания, исследователи набрали 60 участников и попросили их послушать пару слуховой и зрительной речи от одного оратора. Затем участников попросили решить, какой звук они слышали: «ба», «да» или «га».

Их результаты показали, что разработанная модель может достоверно предсказать, когда большинство участников эксперимента испытают эффект Мак-Гурка. Но, как и ожидалось в их расчете, были выявлены люди, которые оказались не восприимчивы к этому, поделился Магнотти.

Интересно отметить, что, когда этот же тест был проведен со студентами в Китае, а не в Соединенных Штатах, было доказано, что эффект Мак-Гурка работает на других языках.

Эффект Мак-Гурка: почему ваши глаза могут повлиять на то, что вы слышите? (9 фото)

Практическое применение использованных компьютерных моделей

Магнотти сказал, что, по его мнению, компьютерные модели, разработанные для этого исследования, могут также иметь практическое применение. Например, эта модель может быть полезна для компаний, которые создают компьютеры, помогающие распознавать речь, таких как Google Home или Amazon Echo.

Если бы у этих технологии были камеры, они могли бы интегрировать движение губ людей в то, что они говорят, чтобы повысить точность своих систем распознавания речи.

Модель также может помочь детям с кохлеарными имплантатами, улучшая понимание исследователями механизма, как визуальная речь влияет на то, что человек слышит, отметил Магнотти.