Чтение по губам

Чтение по губам, также чтение с губ — понимание речи наблюдением артикуляции говорящего.

Развитие

При чтении с губ активируется не только зрительная кора мозга, но и слуховая^[en], что происходит и при распознавании слышимой речи^[1].

Даже новорождённые дети пытаются имитировать движения губами и языком, увиденные у взрослых^[2]. Младенцы дольше смотрят на источник визуального стимула, если ему соответствует одновременно происходящий аудиальный стимул (в отличие от, например, записи звука)^[3]. Дети в 4—8 месяцев обращают особое внимание на движения губ говорящих как на родном для себя языке, так и на других языках. После 12 месяцев они перестают следить за губами говорящих на родном языке^[4]. Во взрослом возрасте глухие читают по губам лучше слышащих из-за постоянной практики, разница начинает быть заметной с 14 лет^[5]. Среди глухих данный навык лучше развит у тех, кто терял слух постепенно, а не внезапно^[6].

В основном чтение по губам используется глухими и слабослышащими. При этом у слабослышащих оно более успешно, если при этом речь слышна хотя бы частично^[7]. Для упрощения чтения по губам может использоваться вспомогательная жестовая система, к примеру, маноральная речь. Существуют также автоматизированные средства чтения с губ^[8]. Успешность чтения по губам зависит от способности к образному мышлению и аналитическому восприятию, а также зрительной памяти^[9]. Чтение по губам усложняется при плохом освещении и наличии у говорящего бороды или усов^[10].

Различение звуков

Читать по губам сложнее, чем слышать^[11]. В случае с русским языком, читающим по губам видны только гласные и артикулируемые губами согласные; звонкость-глухота, мягкость-твёрдость, йотирование^[en] и его отсутствие, а также ударение зрительно либо почти не видны, либо не видны совсем. Наиболее просто определить гласные пары [i]~[ɨ], [a]~[e], [o]~[u]. Немного труднее для определения губно-губные согласные [p]~[p ʲ]~[b]~[b ʲ]~[m]~[m ʲ] и губно-зубные согласные [f]~[f ʲ]~[v]~[v ʲ]. Довольно информативны звуки [ʂ]~[ɕ ː]~[ʐ]~[ʑː]~[ʨ]. Если кончик языка говорящего хорошо виден при произношении [l] и [l ʲ], то эти звуки также относятся к легко идентифицируемым. Звуки [t]~[t ʲ]~[d]~[d ʲ]~[n]~[n ʲ] слабоопознаваемы, остальные стабильно неопознаваемы ([s]~[s ʲ]~[z]~[z ʲ]~[j]~[ʦ]) или совершенно невидимы ([k]~[k ʲ]~[g]~[g ʲ]~[x]~[x ʲ])^[12].

Примечания

↑ Calvert, 1997.
↑ Meltzoff, 1983.
↑ Spelke, 1976.
↑ Lewkowicz, 2012.
↑ MacSweeney, 2013.
↑ Bergeson, Pisoni, Reese, Kirk, 2003.
↑ Ewing, 1944, p. 21.
↑ Petajan, 1984.
↑ Потапова, 2006, p. 301.
↑ Компьютерам пока тяжело читать по губам (неопр.). Дата обращения: 1 сентября 2015. Архивировано 4 марта 2016 года.
↑ Rosen, 1981.
↑ Потапова, 2006, p. 301—303.

Литература

M. Aharon and R. Kimmel. (2006) Representation analysis and synthesis of lip images using dimensionality reduction, International Journal of Computer Vision, 67(3):297-312.
Потапова Р., Потапов В. Язык, речь, личность. — Языки славянской культуры, 2006. — 496 с. — ISBN 5-9551-0123-3.
David J. Lewkowicz, Amy M. Hansen-Tift. Infants deploy selective attention to the mouth of a talking face when learning speech (англ.) // Psychological and Cognitive Sciences. — 2012. — No. 109. — P. 1431—1436. — doi:10.1073/pnas.1114783109.
Mairéad MacSweeney. Read my lips - Advances in speechreading research with deaf children (неопр.). ESRC Deafness Cognition and Language Research Centre (11 мая 2013).
Calvert, Gemma A.; Edward T. Bullmore; Michael J. Brammer; Ruth Campbell; Steven C. R. Williams; Philip K. McGuire; Peter W. R. Woodruff; Susan D. Iversen; Anthony S. David. Activation of Auditory Cortex During Silent Lipreading (англ.) // Science : journal. — 1997. — 25 April (vol. 276, no. 5312). — P. 593—596. — doi:10.1126/science.276.5312.593.
Bergeson, Tonya; Pisoni, DB; Reese, L; Kirk, KI (2003), Audiovisual Speech Perception in Adult Cochlear Implant Users: Effects of Sudden vs. Progressive Hearing Loss, Daytona Beach, Florida: MidWinter Meeting of the Association for Research in Otolaryngology Архивная копия от 4 марта 2016 на Wayback Machine
Meltzoff, AN; Moore, M. K. Newborn infants imitate adult facial gestures (неопр.) // Child Development. — 1983. — June (т. 54, № 3). — С. 702—709. — JSTOR 1130058.
Spelke, Elizabeth. Infants' intermodal perception of events (неопр.) // Cognitive Psychology. — 1976. — October (т. 8, № 4). — С. 553—560. — doi:10.1016/0010-0285(76)90018-9.
Ewing I.R. Lipreading and Hearing Aids. — Manchester University Press, 1944.
Rosen S., Fourchin A., Moore B. Voice pitch as an aid to lipreading (англ.) // Nature. — 1981. — No. 291. — P. 150—152. — doi:10.1038/291150a0.
Petajan, Eric David. Automatic Lipreading to Enhance Speech Recognition (Speech Reading) (англ.) // University of Illinois at Urbana-Champaign. — 1984.