Summary

外傷性脳損傷を持つ人々によって感情の認識を評価するために単離された式とフィルムクリップの使用を探ります

Published: May 15, 2016
doi:

Summary

本稿では、単離された顔と声の感情表現の感情認識、および文脈手がかりを含んでマルチモーダル感情認識を評価するために、商業テレビや映画のクリップを用いた新規タスクを調べるために行動タスクのバッテリーを実装する方法について説明します。

Abstract

現在の研究では、外傷性脳損傷(TBI)と分離された顔の感情表現と60コントロール、孤立したボーカルの感情表現、およびマルチモーダル( すなわち 、フィルムクリップ)文脈手がかりを含めた刺激で60人を発表しました。すべての刺激は、コンピュータを介して提示されました。参加者は各刺激者が強制選択形式を使用して感じていたかを示すために必要でした。さらに、フィルムクリップのために、参加者は刺激に応答して、彼らはその感情を経験すると強度のレベルでどう感じたかを示す必要がありました。

Introduction

外傷性脳損傷(TBI)世界1を挟んで年間約10万人に影響を与えます。 TBI、このような顔や声の表情などの非言語的手がかりを使用して、他で感情を認識する能力を、次の( すなわち 、声のトーン)、および文脈手がかりは、多くの場合、大幅2-7を侵害されました。成功対人相互作用と品質の関係は、少なくとも他者の感情7-10の正確な解釈に部分的に依存しているので、感情認識の難しさは、一般的にTBI 3,8次報告貧しい社会的成果に貢献することが報告されていることは驚くべきことではありません11,12。

TBIを持つ人々によって感情認識を調査した研究は、単離された手がかり、静的写真2を使用して、顔の感情表現の特に認識に集中する傾向がありました。この作業は、治療プロの開発を知らせるに重要であったがグラムは、それは十分に認識し、日常の相互作用に感情の非言語的な手がかりを解釈する自分の能力を示すものではありません。だけでなく、静止画が描か感情を解釈するための時間が向上していない、彼らはまた、典型的には式だけ13-16の( すなわち 、最大の表現)頂点を描きます。また、静止画像は動き12,13,15で発生する一時的な手がかりを欠いており、日常生活で遭遇する感情の急速に変化する表情を示すものではありません。また、静的および動的な視覚表現は動的刺激17-24へのより正確な応答と、脳の異なる領域で処理されていることを示す証拠があります。

TBIを持つ人々によってボーカル感情認識もとし、意味のある言葉によるコンテンツなしの両方、研究されています。言葉によるコンテンツの存在が正確INTEので知覚需要を増加させることが示唆されていますrpretationは口頭メッセージ25に含まれる意味内容と音声の非言語音の同時処理が必要となります。多くの研究は、ボーカルの改善された認識を示しているが、性能に差は認められなかっDimoska 25意味のある言葉によるコンテンツが存在しない場合、に影響を与えます。彼らは、TBIを持つ人々は、感情の文章で意味内容へのバイアスを持っていると主張しています。コンテンツは意味的に中性または排除された場合であってもそう、彼らは文の言語情報に注力していき。したがって、その結果は明らかに意味のある言葉によるコンテンツが役立ちますかボーカルの感情表現を妨げるかどうかは表示されませんでした。

非言語ボーカル手がかりに同行することができ、意味のある言葉によるコンテンツに加えて、コンテキストはまた、社会情勢自体を介して提供されます。状況的文脈は感情表現がで大幅に生産することができた状況についての背景情報を提供します表現の解釈をフルエンス。誰かがどのように感じているのか評価する際に、我々は状況がその人の欲求や期待と一致しているかどうかを判断するためにコンテキストを使用しています。これは最終的に、誰かが感じる方法に影響するので、状況コンテキストの知識は、他者の感情26のより正確な推論をもたらすはずです。これを行うための能力は、心の理論、大幅TBI 6,27-31次損なわれることがわかっコンストラクトと呼ばれています。 Milders 8,31レポートTBIを持つ人々は、かなりの難易度について正確な判断をすると簡単なストーリー内の文字の意図や感情の理解を持っていること。

これらの研究は、非言語的と状況感情処理で赤字を強調しているが、これらの手がかりは、互いに並んや社会的文脈の中で起こる日常の社会的相互作用に結果を一般化することは困難です。より良いどのように人々を理解するために、TBIは、日常の社会的相互作用で感情を解釈して、私たちは自然の中でマルチモーダルある刺激を使用する必要があります。 2つだけ以前の研究は、TBIのプロセス感情手がかりとどのように人々に彼らの調査の一環として、マルチモーダル刺激を含んでいました。マクドナルドとサンダース15とウィリアムズと木材16は、 社会的推論テスト 26 の意識の一部であるエモーション評価試験(EET)から刺激を抽出しました。 EETは、会話に従事しながら、非言語的感情手がかりを描いた男性と女性の俳優を示すビデオ撮影ビネットで構成されています。会話中の口頭コンテンツは意味的に中性です。俳優が感じているとコンテキスト情報が提供されていないかについての手がかり。このように、同時に非言語顔と声の手がかりでこれをしている間に意味のある言葉によるコンテンツを処理し、統合する必要性が排除されました。これらの研究の結果は、TBIを持つ人々がsignificanであることが示されましたマルチモーダル刺激から感情を同定する能力において対照よりTLYそれほど正確。どちらの研究では、感情表現の解釈に関する意味論的またはコンテキスト情報の影響を考えているので、このタイプの情報の追加が原因で増加し、認知需要の増加のため複数の感覚機能を同時に使った冗長性の処理を促進または負の知覚に影響を与えるかどうかは依然として不明です。

この記事では、分離して、顔と声の感情的な手がかりの知覚、および意味のある状況のコンテキスト内で同時に発生し、これらの手がかりの知覚を比較するために使用される一連のタスクの概要を説明します。 ノンバーバル精度の診断解析2(DANVA2)32 -アイソレーション・タスクは、非言語的感情認識の大きなテストの一部です。このプロトコルでは、我々は大人の顔 (DANVA-顔)と大人のパラ言語 (DANVA-声)サブテストを使用していました。これらのサブテストのそれぞれは、24の刺激を含みます、6表現、幸せ、悲しい、怒っている、と恐ろしい感情のそれぞれを描きました。 DANVA2は感情を識別するために、参加者を必要とする強制選択形式(4選択肢)を使用して演じました。ここでは、5番目のオプションは、(私は知らない)両方のサブテストのために提供されています。各表情が示された時間は、私たちが認識し、処理のない速度に影響を与える評価されたことを確認するために、5秒に2秒から増加しました。私たちは、強制選択応答の形式で追加の選択肢を追加することを超えて大人のパラ言語サブテストを変化させませんでした。参加者は1時間だけそれぞれの文を聞きました。フィードバックは、いずれのタスクで提供されていませんでした。

フィルムクリップは状況コンテキスト内で同時に生じる顔面ボーカル感情手がかりの知覚を評価しました。これらのクリップ内の口頭コンテンツが明示的にクリップ内の文字が感じていたものを明記しなかったが、それは状況コンテキストに有意義でした。 coから抽出さフィフティーンクリップmmercial映画やテレビシリーズは、45から103までの各秒(= 71.87を意味する)、研究に含めました。フィードバックは、このタスクの実行中に参加者に提供されていませんでした。ニュートラル、恐ろしい、幸せ、悲しい、怒っている:以下の感情の各カテゴリを表す3つのクリップがありました。これらのクリップは、若年成人で行われた調査の結果に基づいて選択した(N = 70) ズパン、B.&バベッジ、フィルムクリップと物語テキストからDR感情誘発刺激。原稿は、JのSoc PSYCに提出しました 。その研究では、参加者は24〜127秒(= 77.3秒を意味する)に至るまで、対象の感情の各カテゴリのための6つのフィルムクリップ、6ニュートラルなフィルムクリップで発表されました。目標は、比較的短い映画クリップを含むようであったが、包含のために選択された各クリップは、それが33を撮影されたフィルムの付加的な知識を有することなく、視聴者によって理解され得ることが十分なコンテキスト情報を有することが必要。

<p cla93 – ssは= "jove_content">現在の研究のために選択されたクリップが正しくフィルムクリップと物語テキストからズパンとバベッジ研究感情誘発刺激で同定されていた幸せ、86のための83と89%の間でターゲット感情として引用しました %悲しい、63のために – 怒りのための93%、77 – 恐ろしいのための96%、および81 – 中立のための87%。 DANVA2タスクであった(n = 6)が理想的であったであろうとして、各感情カテゴリの手本と同じ数を持ちながら、我々はDANVA-顔で刺激に比べてフィルムクリップ刺激の長さの増加に起因する3つだけを選択しましたそして、DANVA-声タスク。

これらのタスクからのデータは、TBIと60の参加者と60年齢と性別適合させた対照から採取しました。参加者は、個別に、または小グループ(最大= 3)と3つのタスクの順序で見られ​​たテストセッション間でランダム化されました。

Protocol

このプロトコルは、ブロック大学でとキャロライナリハビリテーションでの治験審査委員会によって承認されました。 1.試験前にそれぞれが異なる制限された順序でクリップを一覧表示する、15のフィルムクリップの3つの別々のリストを作成します。 各リストが始まると中性刺激で、同じ感情をターゲットにどの2つのクリップが連続して発生していない?…

Representative Results

このタスク電池は、単離された感情表現のための感情認識を比較するために使用された( すなわち 、顔だけ;。音声のみ)状況のコンテキスト内で発生すると組み合わせた感情表現(。 すなわち 、顔や声)。 60の合計(37人の男性と23人の女性)21と63歳の重度のTBIに中等度(= 40.98平均)と60(38人の男性と22人の女性)を持つ参加者の年齢は、範囲= 18〜6…

Discussion

原稿は、TBIを持つ人々の感情認識能力を評価するために使用される3つのタスクについて説明します。記載された方法の目標は、意味のある状況のコンテキスト内で同時に発生し、これらの手がかりの知覚に、孤立して顔と声の感情的な手がかりの応答精度を比較することでした。日常生活の彼らの近似は感情表現の分離された表現よりも、それらをより生態学的に有効になるので、フィルム…

Disclosures

The authors have nothing to disclose.

Acknowledgements

This work was supported by the Humanities Research Institute at Brock University in St. Catharines, Ontario, Canada and by the Cannon Research Center at Carolinas Rehabilitation in Charlotte, North Carolina, USA.

Materials

Diagnostic Analysis of Nonverbal Accuracy-2 Department of Pychology, Emory University. Atlanta, GA DANVA-Faces subtest, DANVA-Voices subtest
Computer Apple iMac Desktop, 27" display
Statistical Analysis Software SPSS University Licensed software for data analysis
Happy Film Clip 1 Sweet Home Alabama, D&D Films, 2002, Director: A Tennant A man surprises his girlfriend by proposing in a jewelry store
Happy Film Clip 2 Wedding Crashers, New Line Cinema, 2005, Director: D. Dobkin A couple is sitting on the beach and flirting while playing a hand game
Happy Film Clip 3 Reme-mber the Titans, Jerry Bruckheimer Films, 2000, Director: B. Yakin An African American football coach and his family are accepted by their community when the school team wins the football championship
Sad Film Clip 1 Grey's Anatomy, ABC, 2006, Director: P. Horton A father is only able to communicate with his family using his eyes. 
Sad Film Clip 2 Armageddon, Touchstone Pictures, 1998, Director: M. Bay A daughter is saying goodbye to her father who is in space on a dangerous mission
Sad Film Clip 3 Grey's Anatomy, ABC, 2006, Director: M. Tinker A woman is heartbroken her fiance has died
Angry Film Clip 1 Anne of Green Gables, Canadian Broadcast Corporation, 1985, Director: K. Sullivan An older woman speaks openly about a child's physical appearance in front of her
Angry Film Clip 2 Enough, Columbia Pictures, 2002, Director: M. Apted A wife confronts her husband about an affair when she smells another woman's perfume on his clothing
Angry Film Clip 3 Pretty Woman, Touchstone Pictures, 1990, Director: G. Marshall A call girl attempts to purchase clothing in an expensive boutique and is turned away
Fearful Film Clip 1 Blood Diamond, Warner Bros Pictures, 2006, Director: E. Zwick Numerous vehicles carrying militia approach a man and his son while they are out walking
Fearful Film Clip 2 The Life Before Her Eyes, 2929 Productions, 2007, Directors: V. Perelman Two teenaged gilrs are talking in the school bathroom when they hear gunshots that continue to get closer
Fearful Film Clip 3 The Sixth Sense, Barry Mendel Productions, 1999, Director: M. N. Shyamalan A young boy enters the kitchen in the middle of the night and finds his mother behaving very atypically
Neutral Film Clip 1 The Other Sister, Mandeville Films, 1999, Director: G. Marshall A mother and daughter are discussing an art book while sitting in their living room
Neutral Film Clip 2 The Game, Polygram Filmed Entertainment, 1999, Director: D. Fincher One gentleman is explaining the rules of a game to another
Neutral Film Clip 3 The Notebook, New Line Cinema, 2004, Director: N. Cassavetes An older gentleman and his doctor are conversing during a routine check-up

References

  1. Langlois, J., Rutland-Brown, W., Wald, M. The epidemiology and impact of traumatic brain injury: A brief overview. J. Head Trauma Rehabil. 21 (5), 375-378 (2006).
  2. Babbage, D. R., Yim, J., Zupan, B., Neumann, D., Tomita, M. R., Willer, B. Meta-analysis of facial affect recognition difficulties after traumatic brain injury. Neuropsychology. 25 (3), 277-285 (2011).
  3. Neumann, D., Zupan, B., Tomita, M., Willer, B. Training emotional processing in persons with brain injury. J. Head Trauma Rehabil. 24, 313-323 (2009).
  4. Bornhofen, C., McDonald, S. Treating deficits in emotion perception following traumatic brain injury. Neuropsychol Rehabil. 18 (1), 22-44 (2008).
  5. Zupan, B., Neumann, D., Babbage, D. R., Willer, B. The importance of vocal affect to bimodal processing of emotion: implications for individuals with traumatic brain injury. J Commun Disord. 42 (1), 1-17 (2009).
  6. Bibby, H., McDonald, S. Theory of mind after traumatic brain injury. Neuropsychologia. 43 (1), 99-114 (2005).
  7. Ferstl, E. C., Rinck, M., von Cramon, D. Y. Emotional and temporal aspects of situation model processing during text comprehension: an event-related fMRI study. J. Cogn. Neurosci. 17 (5), 724-739 (2005).
  8. Milders, M., Fuchs, S., Crawford, J. R. Neuropsychological impairments and changes in emotional and social behaviour following severe traumatic brain injury. J. Clin. Exp. Neuropsychol. 25 (2), 157-172 (2003).
  9. Spikman, J., Milders, M., Visser-Keizer, A., Westerhof-Evers, H., Herben-Dekker, M., van der Naalt, J. Deficits in facial emotion recognition indicate behavioral changes and impaired self-awareness after moderate to severe tramatic brain injury. PloS One. 8 (6), e65581 (2013).
  10. Zupan, B., Neumann, D. Affect Recognition in Traumatic Brain Injury: Responses to Unimodal and Multimodal Media. J. Head Trauma Rehabil. 29 (4), E1-E12 (2013).
  11. Radice-Neumann, D., Zupan, B., Babbage, D. R., Willer, B. Overview of impaired facial affect recognition in persons with traumatic brain injury. Brain Inj. 21 (8), 807-816 (2007).
  12. McDonald, S. Are You Crying or Laughing? Emotion Recognition Deficits After Severe Traumatic Brain Injury. Brain Impair. 6 (01), 56-67 (2005).
  13. Cunningham, D. W., Wallraven, C. Dynamic information for the recognition of conversational expressions. J. Vis. 9 (13), 1-17 (2009).
  14. Elfenbein, H. A., Marsh, A. A., Ambady, W. I. N. Emotional Intelligence and the Recognition of Emotion from Facid Expressions. The Wisdom in Feeling: Psychological Processes in Emotional Intelligence. , 37-59 (2002).
  15. McDonald, S., Saunders, J. C. Differential impairment in recognition of emotion across different media in people with severe traumatic brain injury. J. Int Neuropsycho. Soc. : JINS. 11 (4), 392-399 (2005).
  16. Williams, C., Wood, R. L. Impairment in the recognition of emotion across different media following traumatic brain injury. J. Clin. Exp. Neuropsychol. 32 (2), 113-122 (2010).
  17. Adolphs, R., Tranel, D., Damasio, A. R. Dissociable neural systems for recognizing emotions. Brain Cogn. 52 (1), 61-69 (2003).
  18. Biele, C., Grabowska, A. Sex differences in perception of emotion intensity in dynamic and static facial expressions. Exp. Brain Res. 171, 1-6 (2006).
  19. Collignon, O., Girard, S., et al. Audio-visual integration of emotion expression. Brain Res. 1242, 126-135 (2008).
  20. LaBar, K. S., Crupain, M. J., Voyvodic, J. T., McCarthy, G. Dynamic perception of facial affect and identity in the human brain. Cereb. Cortex. 13 (10), 1023-1033 (2003).
  21. Mayes, A. K., Pipingas, A., Silberstein, R. B., Johnston, P. Steady state visually evoked potential correlates of static and dynamic emotional face processing. Brain Topogr. 22 (3), 145-157 (2009).
  22. Sato, W., Yoshikawa, S. Enhanced Experience of Emotional Arousal in Response to Dynamic Facial Expressions. J. Nonverbal Behav. 31 (2), 119-135 (2007).
  23. Schulz, J., Pilz, K. S. Natural facial motion enhances cortical responses to faces. Exp. Brain Res. 194 (3), 465-475 (2009).
  24. O’Toole, A., Roark, D., Abdi, H. Recognizing moving faces: A psychological and neural synthesis. Trends Cogn. Sci. 6 (6), 261-266 (2002).
  25. Dimoska, A., McDonald, S., Pell, M. C., Tate, R. L., James, C. M. Recognizing vocal expressions of emotion in patients with social skills deficits following traumatic brain injury. J. Int. Neuropsyco. Soc.: JINS. 16 (2), 369-382 (2010).
  26. McDonald, S., Flanagan, S., Rollins, J., Kinch, J. TASIT: A new clinical tool for assessing social perception after traumatic brain injury. J. Head Trauma Rehab. 18 (3), 219-238 (2003).
  27. Channon, S., Pellijeff, A., Rule, A. Social cognition after head injury: sarcasm and theory of mind. Brain Lang. 93 (2), 123-134 (2005).
  28. Henry, J. D., Phillips, L. H., Crawford, J. R., Theodorou, G., Summers, F. Cognitive and psychosocial correlates of alexithymia following traumatic brain injury. Neuropsychologia. 44 (1), 62-72 (2006).
  29. Martìn-Rodrìguez, J. F., Leòn-Carriòn, J. Theory of mind deficits in patients with acquired brain injury: a quantitative review. Neuropsychologia. 48 (5), 1181-1191 (2010).
  30. McDonald, S., Flanagan, S. Social perception deficits after traumatic brain injury: interaction between emotion recognition, mentalizing ability, and social communication. Neuropsychology. 18 (3), 572-579 (2004).
  31. Milders, M., Ietswaart, M., Crawford, J. R., Currie, D. Impairments in theory of mind shortly after traumatic brain injury and at 1-year follow-up. Neuropsychology. 20 (4), 400-408 (2006).
  32. Nowicki, S. . The Manual for the Receptive Tests of the Diagnostic Analysis of Nonverbal Accuracy 2 (DANVA2). , (2008).
  33. Gross, J. J., Levenson, R. W. Emotion Elicitation Using Films. Cogn. Emot. 9 (1), 87-108 (1995).
  34. Spell, L. A., Frank, E. Recognition of Nonverbal Communication of Affect Following Traumatic Brain Injury. J. Nonverbal Behav. 24 (4), 285-300 (2000).
  35. Edgar, C., McRorie, M., Sneddon, I. Emotional intelligence, personality and the decoding of non-verbal expressions of emotion. Pers. Ind. Dif. 52, 295-300 (2012).
  36. Nowicki, S., Mitchell, J. Accuracy in Identifying Affect in Child and Adult Faces and Voices and Social Competence in Preschool Children. Genet. Soc. Gen. Psychol. 124 (1), (1998).
  37. Astesano, C., Besson, M., Alter, K. Brain potentials during semantic and prosodic processing in French. Cogn. Brain Res. 18, 172-184 (2004).
  38. Kotz, S. A., Paulmann, S. When emotional prosody and semantics dance cheek to cheek: ERP evidence. Brain Res. 115, 107-118 (2007).
  39. Paulmann, S., Pell, M. D., Kotz, S. How aging affects the recognition of emotional speech. Brain Lang. 104 (3), 262-269 (2008).
  40. Pell, M. D., Jaywant, A., Monetta, L., Kotz, S. A. Emotional speech processing: disentangling the effects of prosody and semantic cues. Cogn. Emot. 25 (5), 834-853 (2011).
  41. Bänziger, T., Scherer, K. R. Using Actor Portrayals to Systematically Study Multimodal Emotion Expression: The GEMEP Corpus. Affective Computing and Intelligent Interaction, LNCS 4738. , 476-487 (2007).
  42. Busselle, R., Bilandzic, H. Fictionality and Perceived Realism in Experiencing Stories: A Model of Narrative Comprehension and Engagement. Commun. Theory. 18 (2), 255-280 (2008).
  43. Zagalo, N., Barker, A., Branco, V. Story reaction structures to emotion detection. Proceedings of the 1st ACM Work. Story Represent. Mech. Context – SRMC. 04, 33-38 (2004).
  44. Hagemann, D., Naumann, E., Maier, S., Becker, G., Lurken, A., Bartussek, D. The Assessment of Affective Reactivity Using Films: Validity, Reliability and Sex Differences. Pers. Ind. Dif. 26, 627-639 (1999).
  45. Hewig, J., Hagemann, D., Seifert, J., Gollwitzer, M., Naumann, E., Bartussek, D. Brief Report. A revised film set for the induction of basic emotions. Cogn. Emot. 19 (7), 1095-1109 (2005).
  46. Wranik, T., Scherer, K. R. Why Do I Get Angry? A Componential Appraisal Approach. International Handbook of Anger. , 243-266 (2010).
  47. Neumann, D., Zupan, B., Malec, J. F., Hammond, F. M. Relationships between alexithymia, affect recognition, and empathy after traumatic brain injury. J. Head Trauma Rehabil. 29 (1), E18-E27 (2013).
  48. Russell, J. A. Is there universal recognition of emotion from facial expression? A review of the cross-cultural studies. Psychol. Bull. 115 (1), 102-141 (1994).

Play Video

Cite This Article
Zupan, B., Neumann, D. Exploring the Use of Isolated Expressions and Film Clips to Evaluate Emotion Recognition by People with Traumatic Brain Injury. J. Vis. Exp. (111), e53774, doi:10.3791/53774 (2016).

View Video