Summary

Explorando o uso de expressões isoladas e clipes de filmes para avaliar Emoção Reconhecimento por pessoas com lesão cerebral traumática

Published: May 15, 2016
doi:

Summary

Este artigo descreve como implementar uma bateria de tarefas comportamentais para examinar reconhecimento de emoções de emoção expressões faciais e vocais isoladas, e uma nova tarefa usando televisão e cinema clipes comerciais para avaliar multimodal reconhecimento de emoções que inclui pistas contextuais.

Abstract

O presente estudo apresentou 60 pessoas com traumatismo crânio-encefálico (TCE) e 60 controles com emoção expressões faciais isolados, emoção expressões vocais isolados, e multimodal (ie., Clipes de filmes) estímulos que incluíram pistas contextuais. Todos os estímulos foram apresentados via computador. Os participantes foram obrigados a indicar a forma como a pessoa em cada estímulo estava sentindo usando um formato de escolha forçada. Além disso, para os clipes de filmes, os participantes tiveram de indicar como se sentiam em resposta ao estímulo, e o nível de intensidade com que eles experimentaram essa emoção.

Introduction

Traumatismo crânio-encefálico (TCE) afeta aproximadamente 10 milhões de pessoas a cada ano em todo o mundo 1. Seguindo o TCE, a capacidade de reconhecer emoções em outras pessoas usando sinais não-verbais, tais como expressões faciais e vocais (ie., Tom de voz) e as pistas contextuais, é muitas vezes comprometida significativamente 2-7. Desde interações interpessoais de sucesso e relacionamentos de qualidade são, pelo menos parcialmente dependente interpretação precisa das emoções dos outros 7-10, não é surpreendente que a dificuldade com reconhecimento de emoções tem sido relatada a contribuir para os pobres resultados sociais comumente relatados seguinte TBI 3,8, 11,12.

Estudos investigando reconhecimento de emoções por pessoas com TCE tendem a se concentrar em pistas isoladas, particularmente reconhecimento de expressões faciais de emoção usando fotografias estáticas 2. Embora este trabalho foi importante para informar o desenvolvimento de pro tratamentogramas, ele não representa adequadamente a capacidade de reconhecer e interpretar sinais não-verbais da emoção nas interações diárias. Não somente imagens estáticas dar tempo para interpretar a emoção retratada aumento, eles também normalmente só retratam o ápice (ie., A representação máxima) das expressões 13-16. Além disso, as imagens estáticas não têm as pistas temporais que ocorrem com o movimento 12,13,15, e não são representativos dos mudando rapidamente expressões faciais de emoção encontrados em situações cotidianas. Além disso, não há evidências que indicam que expressões visuais estáticas e dinâmicas são processados ​​em diferentes áreas do cérebro, com respostas mais precisas a estímulos dinâmica 17-24.

Vocal emoção reconhecimento por pessoas com TCE também foi estudado, com e sem conteúdo verbal significativa. Tem sido sugerido que a presença de conteúdo verbal aumenta exigências perceptuais porque inte precisasrpretation requer o processamento simultâneo de o tom não verbal de voz com o conteúdo semântico incluído na mensagem verbal 25. Enquanto muitos estudos têm mostrado um melhor reconhecimento de voz afeta na ausência de conteúdo verbal significativa, Dimoska et al. 25 não encontraram nenhuma diferença no desempenho. Eles argumentam que as pessoas com TCE tem um viés em direção conteúdo semântico em frases afetivos; assim mesmo quando o conteúdo é semanticamente neutro ou eliminado, eles continuam a concentrar-se na informação verbal na sentença. Assim, os seus resultados não mostram claramente se o conteúdo verbal significativa ajuda ou atrapalha vocal emoção expressão.

Além do conteúdo verbal significativa que pode acompanhar os sinais vocais não-verbais, o contexto também é fornecido através da própria situação social. contexto situacional fornece informações básicas sobre as circunstâncias em que a expressão emoção foi produzido e pode, assim, muito emfluência a interpretação da expressão. Ao avaliar como alguém está sentindo, usamos contexto para determinar se a situação é consistente com desejos e expectativas dessa pessoa. Esta última análise, afeta o modo como alguém se sente, por isso o conhecimento do contexto situacional deve resultar em inferência mais precisa da emoção dos outros 26. A capacidade de fazer isso é conhecido como teoria da mente, uma construção encontrados para ser significativamente prejudicada após o TCE 6,27-31. Milders et al. 8,31 relatório que as pessoas com TCE têm dificuldade significativa fazer julgamentos precisos sobre e compreender as intenções e sentimentos de personagens das histórias breves.

Embora esses estudos têm destacado déficits na não-verbal e situacional processamento de emoções, é difícil generalizar os resultados para as interações sociais cotidianas, onde estes sinais ocorrem lado a lado e dentro de um contexto social. Para entender melhor como as pessoascom TCE interpretar emoção nas interações sociais cotidianas, precisamos usar os estímulos que são multimodal na natureza. Apenas dois estudos anteriores incluíram estímulos multimodais como parte de sua investigação sobre a forma como as pessoas com TCE pistas processo de emoção. McDonald e Saunders 15 e Williams e Wood 16 extraído estímulos do Emoção Teste de Avaliação (EET), que faz parte da consciência de uma Inference social Teste 26. A EET consiste em vinhetas filmadas que mostram sexo masculino e feminino atores que interpretam sinais não-verbais emoção enquanto se envolve na conversa. O conteúdo verbal nas conversas é semanticamente neutro; sugestões a respeito de como os atores estão sentindo e informação contextual não são fornecidos. Assim, a necessidade de processar e integrar o conteúdo verbal significativa, ao mesmo tempo fazendo isso com os sinais faciais e vocais não-verbais foi eliminado. Os resultados destes estudos indicaram que as pessoas com TCE foram significanqüentemente menos precisos do que os controles em sua capacidade de identificar a emoção a partir de estímulos multimodais. Uma vez que nenhum estudo considerou a influência da informação semântica ou contextual na interpretação de expressões de emoção, não fica claro se a adição deste tipo de informação seria facilitar o processamento por causa do aumento de redundância intersensory ou negativamente afetar a percepção por causa do aumento das demandas cognitivas.

Este artigo descreve um conjunto de tarefas usados ​​para comparar a percepção de pistas emocionais faciais e vocais de forma isolada, e percepção desses sinais que ocorrem simultaneamente no contexto situacional significativa. As tarefas isolamentos fazem parte de um teste maior de não-verbal reconhecimento de emoções – a análise diagnóstica de Precisão não verbal 2 (DANVA2) 32. Neste protocolo, usamos os rostos de adultos (DANVA-faces) e Adulto Paralinguagem (DANVA-Vozes) subtestes. Cada um destes subensaios inclui 24 estímulos,representando seis representações cada uma das emoções felizes, tristes, com raiva, e medo. O DANVA2 exige dos participantes a identificar a emoção retratada usando uma escolha forçada formato (4 opções). Aqui, uma quinta opção (Eu não sei) é fornecido para ambos os subtestes. A quantidade de tempo cada expressão facial foi mostrado foi aumentado de dois segundos para cinco segundos para garantir que estávamos avaliando afetar o reconhecimento e não a velocidade de processamento. Nós não alterou o subteste adulto paralanguage além de adicionar a opção adicional no formato de resposta da escolha forçada. Os participantes ouviram cada frase apenas uma vez. O feedback não foi fornecido em qualquer tarefa.

clipes de filmes foram usadas para avaliar a percepção de pistas emoções faciais e vocais que ocorrem simultaneamente no contexto situacional. Embora o conteúdo verbal dentro desses clipes de não declarar explicitamente que os personagens os clipes estavam sentindo, foi significativa para o contexto situacional. Quinze clipes extraídos de cofilmes mmercial e séries de televisão foram incluídos no estudo, cada um variando 45-103 (média = 71,87) segundos. O feedback não foi fornecido aos participantes durante esta tarefa. Havia três clips que representam cada uma das seguintes categorias emoção: feliz, triste, irritado, temível, neutro. Estes clipes foram escolhidos com base nos resultados de um estudo realizado com adultos jovens (n = 70) Zupan, B. & Babbage, DR estímulos Emoção elicitação de clipes de filmes e texto narrativo. Manuscrito submetido a J Soc Psyc. Nesse estudo, os participantes foram apresentados com seis clipes de filmes para cada uma das categorias-alvo emoção, e seis clipes de filmes neutros, variando de 24 a 127 segundos (média = 77,3 segundos). Embora o objetivo era incluir clipes de filmes relativamente curtos, cada clipe escolhido para inclusão precisava ter informações contextuais suficientes de que poderia ser entendido pelos telespectadores sem ter conhecimento adicional do filme a partir do qual ela foi tirada 33.

<p class = "jove_content"> Os clipes selecionados para o estudo tinha sido correctamente identificados nas Zupan e Babbage estudo Emoção estímulos elicitação de clipes de filmes e texto narrativo, já referido, como a emoção alvo entre 83 e 89% para feliz, 86-93 % para triste, 63-93% para raiva, 77-96% para o medo, e 81 – 87% para neutro. Apesar de ter o mesmo número de exemplares de cada categoria emoção como foi nas tarefas DANVA2 (n = 6) teria sido ideal, optamos por apenas três devido ao aumento da duração dos estímulos clipe em comparação com estímulos nos DANVA-Faces e as tarefas DANVA-vozes.

Os dados destas tarefas foram coletados de 60 participantes com TCE e 60 anos de idade e sexo controles pareados. Os participantes foram vistos individualmente ou em pequenos grupos (max = 3) e a ordem das três tarefas foi randomizada entre sessões de teste.

Protocol

Este protocolo foi aprovado pelos conselhos de revisão institucionais da Universidade Brock e nas Carolinas Reabilitação. 1. Antes do teste Criar 3 listas separadas para os 15 clipes de filmes, cada um listando os clipes em uma ordem restrito diferente. Assegurar que cada lista começa e termina com um estímulo neutro e que há dois clipes que têm como alvo a mesma emoção ocorrem consecutivamente. Criar uma pasta separada na área de trabalho para cada l…

Representative Results

Esta bateria tarefa foi utilizado para comparar o reconhecimento emoção para emoção expressões isoladas (isto é, face-only;. Exclusivamente vocal) e emoção expressões combinadas (. Ie, rosto e voz), que ocorrem dentro de um contexto situacional. Um total de 60 (37 homens e 23 mulheres) participantes com moderada a grave TCE entre as idades de 21 e 63 anos (média = 40,98) e 60 (38 homens e 22 mulheres) de idade -matched Controls (intervalo = 18-63; média = 40,…

Discussion

O manuscrito descreve três tarefas usadas para avaliar habilidades emoção de reconhecimento de pessoas com TCE. O objetivo do método descrito foi comparar a precisão de resposta para pistas emocionais faciais e vocais de forma isolada, a percepção desses sinais que ocorrem simultaneamente no contexto situacional significativa. clipes de filmes foram incluídos no estudo porque a sua aproximação de situações cotidianas fez ecologicamente mais válido do que representações isoladas de expressões da emoção….

Disclosures

The authors have nothing to disclose.

Acknowledgements

This work was supported by the Humanities Research Institute at Brock University in St. Catharines, Ontario, Canada and by the Cannon Research Center at Carolinas Rehabilitation in Charlotte, North Carolina, USA.

Materials

Diagnostic Analysis of Nonverbal Accuracy-2 Department of Pychology, Emory University. Atlanta, GA DANVA-Faces subtest, DANVA-Voices subtest
Computer Apple iMac Desktop, 27" display
Statistical Analysis Software SPSS University Licensed software for data analysis
Happy Film Clip 1 Sweet Home Alabama, D&D Films, 2002, Director: A Tennant A man surprises his girlfriend by proposing in a jewelry store
Happy Film Clip 2 Wedding Crashers, New Line Cinema, 2005, Director: D. Dobkin A couple is sitting on the beach and flirting while playing a hand game
Happy Film Clip 3 Reme-mber the Titans, Jerry Bruckheimer Films, 2000, Director: B. Yakin An African American football coach and his family are accepted by their community when the school team wins the football championship
Sad Film Clip 1 Grey's Anatomy, ABC, 2006, Director: P. Horton A father is only able to communicate with his family using his eyes. 
Sad Film Clip 2 Armageddon, Touchstone Pictures, 1998, Director: M. Bay A daughter is saying goodbye to her father who is in space on a dangerous mission
Sad Film Clip 3 Grey's Anatomy, ABC, 2006, Director: M. Tinker A woman is heartbroken her fiance has died
Angry Film Clip 1 Anne of Green Gables, Canadian Broadcast Corporation, 1985, Director: K. Sullivan An older woman speaks openly about a child's physical appearance in front of her
Angry Film Clip 2 Enough, Columbia Pictures, 2002, Director: M. Apted A wife confronts her husband about an affair when she smells another woman's perfume on his clothing
Angry Film Clip 3 Pretty Woman, Touchstone Pictures, 1990, Director: G. Marshall A call girl attempts to purchase clothing in an expensive boutique and is turned away
Fearful Film Clip 1 Blood Diamond, Warner Bros Pictures, 2006, Director: E. Zwick Numerous vehicles carrying militia approach a man and his son while they are out walking
Fearful Film Clip 2 The Life Before Her Eyes, 2929 Productions, 2007, Directors: V. Perelman Two teenaged gilrs are talking in the school bathroom when they hear gunshots that continue to get closer
Fearful Film Clip 3 The Sixth Sense, Barry Mendel Productions, 1999, Director: M. N. Shyamalan A young boy enters the kitchen in the middle of the night and finds his mother behaving very atypically
Neutral Film Clip 1 The Other Sister, Mandeville Films, 1999, Director: G. Marshall A mother and daughter are discussing an art book while sitting in their living room
Neutral Film Clip 2 The Game, Polygram Filmed Entertainment, 1999, Director: D. Fincher One gentleman is explaining the rules of a game to another
Neutral Film Clip 3 The Notebook, New Line Cinema, 2004, Director: N. Cassavetes An older gentleman and his doctor are conversing during a routine check-up

References

  1. Langlois, J., Rutland-Brown, W., Wald, M. The epidemiology and impact of traumatic brain injury: A brief overview. J. Head Trauma Rehabil. 21 (5), 375-378 (2006).
  2. Babbage, D. R., Yim, J., Zupan, B., Neumann, D., Tomita, M. R., Willer, B. Meta-analysis of facial affect recognition difficulties after traumatic brain injury. Neuropsychology. 25 (3), 277-285 (2011).
  3. Neumann, D., Zupan, B., Tomita, M., Willer, B. Training emotional processing in persons with brain injury. J. Head Trauma Rehabil. 24, 313-323 (2009).
  4. Bornhofen, C., McDonald, S. Treating deficits in emotion perception following traumatic brain injury. Neuropsychol Rehabil. 18 (1), 22-44 (2008).
  5. Zupan, B., Neumann, D., Babbage, D. R., Willer, B. The importance of vocal affect to bimodal processing of emotion: implications for individuals with traumatic brain injury. J Commun Disord. 42 (1), 1-17 (2009).
  6. Bibby, H., McDonald, S. Theory of mind after traumatic brain injury. Neuropsychologia. 43 (1), 99-114 (2005).
  7. Ferstl, E. C., Rinck, M., von Cramon, D. Y. Emotional and temporal aspects of situation model processing during text comprehension: an event-related fMRI study. J. Cogn. Neurosci. 17 (5), 724-739 (2005).
  8. Milders, M., Fuchs, S., Crawford, J. R. Neuropsychological impairments and changes in emotional and social behaviour following severe traumatic brain injury. J. Clin. Exp. Neuropsychol. 25 (2), 157-172 (2003).
  9. Spikman, J., Milders, M., Visser-Keizer, A., Westerhof-Evers, H., Herben-Dekker, M., van der Naalt, J. Deficits in facial emotion recognition indicate behavioral changes and impaired self-awareness after moderate to severe tramatic brain injury. PloS One. 8 (6), e65581 (2013).
  10. Zupan, B., Neumann, D. Affect Recognition in Traumatic Brain Injury: Responses to Unimodal and Multimodal Media. J. Head Trauma Rehabil. 29 (4), E1-E12 (2013).
  11. Radice-Neumann, D., Zupan, B., Babbage, D. R., Willer, B. Overview of impaired facial affect recognition in persons with traumatic brain injury. Brain Inj. 21 (8), 807-816 (2007).
  12. McDonald, S. Are You Crying or Laughing? Emotion Recognition Deficits After Severe Traumatic Brain Injury. Brain Impair. 6 (01), 56-67 (2005).
  13. Cunningham, D. W., Wallraven, C. Dynamic information for the recognition of conversational expressions. J. Vis. 9 (13), 1-17 (2009).
  14. Elfenbein, H. A., Marsh, A. A., Ambady, W. I. N. Emotional Intelligence and the Recognition of Emotion from Facid Expressions. The Wisdom in Feeling: Psychological Processes in Emotional Intelligence. , 37-59 (2002).
  15. McDonald, S., Saunders, J. C. Differential impairment in recognition of emotion across different media in people with severe traumatic brain injury. J. Int Neuropsycho. Soc. : JINS. 11 (4), 392-399 (2005).
  16. Williams, C., Wood, R. L. Impairment in the recognition of emotion across different media following traumatic brain injury. J. Clin. Exp. Neuropsychol. 32 (2), 113-122 (2010).
  17. Adolphs, R., Tranel, D., Damasio, A. R. Dissociable neural systems for recognizing emotions. Brain Cogn. 52 (1), 61-69 (2003).
  18. Biele, C., Grabowska, A. Sex differences in perception of emotion intensity in dynamic and static facial expressions. Exp. Brain Res. 171, 1-6 (2006).
  19. Collignon, O., Girard, S., et al. Audio-visual integration of emotion expression. Brain Res. 1242, 126-135 (2008).
  20. LaBar, K. S., Crupain, M. J., Voyvodic, J. T., McCarthy, G. Dynamic perception of facial affect and identity in the human brain. Cereb. Cortex. 13 (10), 1023-1033 (2003).
  21. Mayes, A. K., Pipingas, A., Silberstein, R. B., Johnston, P. Steady state visually evoked potential correlates of static and dynamic emotional face processing. Brain Topogr. 22 (3), 145-157 (2009).
  22. Sato, W., Yoshikawa, S. Enhanced Experience of Emotional Arousal in Response to Dynamic Facial Expressions. J. Nonverbal Behav. 31 (2), 119-135 (2007).
  23. Schulz, J., Pilz, K. S. Natural facial motion enhances cortical responses to faces. Exp. Brain Res. 194 (3), 465-475 (2009).
  24. O’Toole, A., Roark, D., Abdi, H. Recognizing moving faces: A psychological and neural synthesis. Trends Cogn. Sci. 6 (6), 261-266 (2002).
  25. Dimoska, A., McDonald, S., Pell, M. C., Tate, R. L., James, C. M. Recognizing vocal expressions of emotion in patients with social skills deficits following traumatic brain injury. J. Int. Neuropsyco. Soc.: JINS. 16 (2), 369-382 (2010).
  26. McDonald, S., Flanagan, S., Rollins, J., Kinch, J. TASIT: A new clinical tool for assessing social perception after traumatic brain injury. J. Head Trauma Rehab. 18 (3), 219-238 (2003).
  27. Channon, S., Pellijeff, A., Rule, A. Social cognition after head injury: sarcasm and theory of mind. Brain Lang. 93 (2), 123-134 (2005).
  28. Henry, J. D., Phillips, L. H., Crawford, J. R., Theodorou, G., Summers, F. Cognitive and psychosocial correlates of alexithymia following traumatic brain injury. Neuropsychologia. 44 (1), 62-72 (2006).
  29. Martìn-Rodrìguez, J. F., Leòn-Carriòn, J. Theory of mind deficits in patients with acquired brain injury: a quantitative review. Neuropsychologia. 48 (5), 1181-1191 (2010).
  30. McDonald, S., Flanagan, S. Social perception deficits after traumatic brain injury: interaction between emotion recognition, mentalizing ability, and social communication. Neuropsychology. 18 (3), 572-579 (2004).
  31. Milders, M., Ietswaart, M., Crawford, J. R., Currie, D. Impairments in theory of mind shortly after traumatic brain injury and at 1-year follow-up. Neuropsychology. 20 (4), 400-408 (2006).
  32. Nowicki, S. . The Manual for the Receptive Tests of the Diagnostic Analysis of Nonverbal Accuracy 2 (DANVA2). , (2008).
  33. Gross, J. J., Levenson, R. W. Emotion Elicitation Using Films. Cogn. Emot. 9 (1), 87-108 (1995).
  34. Spell, L. A., Frank, E. Recognition of Nonverbal Communication of Affect Following Traumatic Brain Injury. J. Nonverbal Behav. 24 (4), 285-300 (2000).
  35. Edgar, C., McRorie, M., Sneddon, I. Emotional intelligence, personality and the decoding of non-verbal expressions of emotion. Pers. Ind. Dif. 52, 295-300 (2012).
  36. Nowicki, S., Mitchell, J. Accuracy in Identifying Affect in Child and Adult Faces and Voices and Social Competence in Preschool Children. Genet. Soc. Gen. Psychol. 124 (1), (1998).
  37. Astesano, C., Besson, M., Alter, K. Brain potentials during semantic and prosodic processing in French. Cogn. Brain Res. 18, 172-184 (2004).
  38. Kotz, S. A., Paulmann, S. When emotional prosody and semantics dance cheek to cheek: ERP evidence. Brain Res. 115, 107-118 (2007).
  39. Paulmann, S., Pell, M. D., Kotz, S. How aging affects the recognition of emotional speech. Brain Lang. 104 (3), 262-269 (2008).
  40. Pell, M. D., Jaywant, A., Monetta, L., Kotz, S. A. Emotional speech processing: disentangling the effects of prosody and semantic cues. Cogn. Emot. 25 (5), 834-853 (2011).
  41. Bänziger, T., Scherer, K. R. Using Actor Portrayals to Systematically Study Multimodal Emotion Expression: The GEMEP Corpus. Affective Computing and Intelligent Interaction, LNCS 4738. , 476-487 (2007).
  42. Busselle, R., Bilandzic, H. Fictionality and Perceived Realism in Experiencing Stories: A Model of Narrative Comprehension and Engagement. Commun. Theory. 18 (2), 255-280 (2008).
  43. Zagalo, N., Barker, A., Branco, V. Story reaction structures to emotion detection. Proceedings of the 1st ACM Work. Story Represent. Mech. Context – SRMC. 04, 33-38 (2004).
  44. Hagemann, D., Naumann, E., Maier, S., Becker, G., Lurken, A., Bartussek, D. The Assessment of Affective Reactivity Using Films: Validity, Reliability and Sex Differences. Pers. Ind. Dif. 26, 627-639 (1999).
  45. Hewig, J., Hagemann, D., Seifert, J., Gollwitzer, M., Naumann, E., Bartussek, D. Brief Report. A revised film set for the induction of basic emotions. Cogn. Emot. 19 (7), 1095-1109 (2005).
  46. Wranik, T., Scherer, K. R. Why Do I Get Angry? A Componential Appraisal Approach. International Handbook of Anger. , 243-266 (2010).
  47. Neumann, D., Zupan, B., Malec, J. F., Hammond, F. M. Relationships between alexithymia, affect recognition, and empathy after traumatic brain injury. J. Head Trauma Rehabil. 29 (1), E18-E27 (2013).
  48. Russell, J. A. Is there universal recognition of emotion from facial expression? A review of the cross-cultural studies. Psychol. Bull. 115 (1), 102-141 (1994).

Play Video

Cite This Article
Zupan, B., Neumann, D. Exploring the Use of Isolated Expressions and Film Clips to Evaluate Emotion Recognition by People with Traumatic Brain Injury. J. Vis. Exp. (111), e53774, doi:10.3791/53774 (2016).

View Video