本稿では、単離された顔と声の感情表現の感情認識、および文脈手がかりを含んでマルチモーダル感情認識を評価するために、商業テレビや映画のクリップを用いた新規タスクを調べるために行動タスクのバッテリーを実装する方法について説明します。
現在の研究では、外傷性脳損傷(TBI)と分離された顔の感情表現と60コントロール、孤立したボーカルの感情表現、およびマルチモーダル( すなわち 、フィルムクリップ)文脈手がかりを含めた刺激で60人を発表しました。すべての刺激は、コンピュータを介して提示されました。参加者は各刺激者が強制選択形式を使用して感じていたかを示すために必要でした。さらに、フィルムクリップのために、参加者は刺激に応答して、彼らはその感情を経験すると強度のレベルでどう感じたかを示す必要がありました。
外傷性脳損傷(TBI)世界1を挟んで年間約10万人に影響を与えます。 TBI、このような顔や声の表情などの非言語的手がかりを使用して、他で感情を認識する能力を、次の( すなわち 、声のトーン)、および文脈手がかりは、多くの場合、大幅2-7を侵害されました。成功対人相互作用と品質の関係は、少なくとも他者の感情7-10の正確な解釈に部分的に依存しているので、感情認識の難しさは、一般的にTBI 3,8次報告貧しい社会的成果に貢献することが報告されていることは驚くべきことではありません11,12。
TBIを持つ人々によって感情認識を調査した研究は、単離された手がかり、静的写真2を使用して、顔の感情表現の特に認識に集中する傾向がありました。この作業は、治療プロの開発を知らせるに重要であったがグラムは、それは十分に認識し、日常の相互作用に感情の非言語的な手がかりを解釈する自分の能力を示すものではありません。だけでなく、静止画が描か感情を解釈するための時間が向上していない、彼らはまた、典型的には式だけ13-16の( すなわち 、最大の表現)頂点を描きます。また、静止画像は動き12,13,15で発生する一時的な手がかりを欠いており、日常生活で遭遇する感情の急速に変化する表情を示すものではありません。また、静的および動的な視覚表現は動的刺激17-24へのより正確な応答と、脳の異なる領域で処理されていることを示す証拠があります。
TBIを持つ人々によってボーカル感情認識もとし、意味のある言葉によるコンテンツなしの両方、研究されています。言葉によるコンテンツの存在が正確INTEので知覚需要を増加させることが示唆されていますrpretationは口頭メッセージ25に含まれる意味内容と音声の非言語音の同時処理が必要となります。多くの研究は、ボーカルの改善された認識を示しているが、性能に差は認められなかっDimoska ら 25意味のある言葉によるコンテンツが存在しない場合、に影響を与えます。彼らは、TBIを持つ人々は、感情の文章で意味内容へのバイアスを持っていると主張しています。コンテンツは意味的に中性または排除された場合であってもそう、彼らは文の言語情報に注力していき。したがって、その結果は明らかに意味のある言葉によるコンテンツが役立ちますかボーカルの感情表現を妨げるかどうかは表示されませんでした。
非言語ボーカル手がかりに同行することができ、意味のある言葉によるコンテンツに加えて、コンテキストはまた、社会情勢自体を介して提供されます。状況的文脈は感情表現がで大幅に生産することができた状況についての背景情報を提供します表現の解釈をフルエンス。誰かがどのように感じているのか評価する際に、我々は状況がその人の欲求や期待と一致しているかどうかを判断するためにコンテキストを使用しています。これは最終的に、誰かが感じる方法に影響するので、状況コンテキストの知識は、他者の感情26のより正確な推論をもたらすはずです。これを行うための能力は、心の理論、大幅TBI 6,27-31次損なわれることがわかっコンストラクトと呼ばれています。 Milders ら 8,31レポートTBIを持つ人々は、かなりの難易度について正確な判断をすると簡単なストーリー内の文字の意図や感情の理解を持っていること。
これらの研究は、非言語的と状況感情処理で赤字を強調しているが、これらの手がかりは、互いに並んや社会的文脈の中で起こる日常の社会的相互作用に結果を一般化することは困難です。より良いどのように人々を理解するために、TBIは、日常の社会的相互作用で感情を解釈して、私たちは自然の中でマルチモーダルある刺激を使用する必要があります。 2つだけ以前の研究は、TBIのプロセス感情手がかりとどのように人々に彼らの調査の一環として、マルチモーダル刺激を含んでいました。マクドナルドとサンダース15とウィリアムズと木材16は、 社会的推論テスト 26 の意識の一部であるエモーション評価試験(EET)から刺激を抽出しました。 EETは、会話に従事しながら、非言語的感情手がかりを描いた男性と女性の俳優を示すビデオ撮影ビネットで構成されています。会話中の口頭コンテンツは意味的に中性です。俳優が感じているとコンテキスト情報が提供されていないかについての手がかり。このように、同時に非言語顔と声の手がかりでこれをしている間に意味のある言葉によるコンテンツを処理し、統合する必要性が排除されました。これらの研究の結果は、TBIを持つ人々がsignificanであることが示されましたマルチモーダル刺激から感情を同定する能力において対照よりTLYそれほど正確。どちらの研究では、感情表現の解釈に関する意味論的またはコンテキスト情報の影響を考えているので、このタイプの情報の追加が原因で増加し、認知需要の増加のため複数の感覚機能を同時に使った冗長性の処理を促進または負の知覚に影響を与えるかどうかは依然として不明です。
この記事では、分離して、顔と声の感情的な手がかりの知覚、および意味のある状況のコンテキスト内で同時に発生し、これらの手がかりの知覚を比較するために使用される一連のタスクの概要を説明します。 ノンバーバル精度の診断解析2(DANVA2)32 -アイソレーション・タスクは、非言語的感情認識の大きなテストの一部です。このプロトコルでは、我々は大人の顔 (DANVA-顔)と大人のパラ言語 (DANVA-声)サブテストを使用していました。これらのサブテストのそれぞれは、24の刺激を含みます、6表現、幸せ、悲しい、怒っている、と恐ろしい感情のそれぞれを描きました。 DANVA2は感情を識別するために、参加者を必要とする強制選択形式(4選択肢)を使用して演じました。ここでは、5番目のオプションは、(私は知らない)両方のサブテストのために提供されています。各表情が示された時間は、私たちが認識し、処理のない速度に影響を与える評価されたことを確認するために、5秒に2秒から増加しました。私たちは、強制選択応答の形式で追加の選択肢を追加することを超えて大人のパラ言語サブテストを変化させませんでした。参加者は1時間だけそれぞれの文を聞きました。フィードバックは、いずれのタスクで提供されていませんでした。
フィルムクリップは状況コンテキスト内で同時に生じる顔面ボーカル感情手がかりの知覚を評価しました。これらのクリップ内の口頭コンテンツが明示的にクリップ内の文字が感じていたものを明記しなかったが、それは状況コンテキストに有意義でした。 coから抽出さフィフティーンクリップmmercial映画やテレビシリーズは、45から103までの各秒(= 71.87を意味する)、研究に含めました。フィードバックは、このタスクの実行中に参加者に提供されていませんでした。ニュートラル、恐ろしい、幸せ、悲しい、怒っている:以下の感情の各カテゴリを表す3つのクリップがありました。これらのクリップは、若年成人で行われた調査の結果に基づいて選択した(N = 70) ズパン、B.&バベッジ、フィルムクリップと物語テキストからDR感情誘発刺激。原稿は、JのSoc PSYCに提出しました 。その研究では、参加者は24〜127秒(= 77.3秒を意味する)に至るまで、対象の感情の各カテゴリのための6つのフィルムクリップ、6ニュートラルなフィルムクリップで発表されました。目標は、比較的短い映画クリップを含むようであったが、包含のために選択された各クリップは、それが33を撮影されたフィルムの付加的な知識を有することなく、視聴者によって理解され得ることが十分なコンテキスト情報を有することが必要。
<p cla93 – ssは= "jove_content">現在の研究のために選択されたクリップが正しくフィルムクリップと物語テキストからズパンとバベッジ研究感情誘発刺激で同定されていた、幸せ、86のための83と89%の間でターゲット感情として上で引用しました %悲しい、63のために – 怒りのための93%、77 – 恐ろしいのための96%、および81 – 中立のための87%。 DANVA2タスクであった(n = 6)が理想的であったであろうとして、各感情カテゴリの手本と同じ数を持ちながら、我々はDANVA-顔で刺激に比べてフィルムクリップ刺激の長さの増加に起因する3つだけを選択しましたそして、DANVA-声タスク。これらのタスクからのデータは、TBIと60の参加者と60年齢と性別適合させた対照から採取しました。参加者は、個別に、または小グループ(最大= 3)と3つのタスクの順序で見られたテストセッション間でランダム化されました。
原稿は、TBIを持つ人々の感情認識能力を評価するために使用される3つのタスクについて説明します。記載された方法の目標は、意味のある状況のコンテキスト内で同時に発生し、これらの手がかりの知覚に、孤立して顔と声の感情的な手がかりの応答精度を比較することでした。日常生活の彼らの近似は感情表現の分離された表現よりも、それらをより生態学的に有効になるので、フィルム…
The authors have nothing to disclose.
This work was supported by the Humanities Research Institute at Brock University in St. Catharines, Ontario, Canada and by the Cannon Research Center at Carolinas Rehabilitation in Charlotte, North Carolina, USA.
Diagnostic Analysis of Nonverbal Accuracy-2 | Department of Pychology, Emory University. Atlanta, GA | DANVA-Faces subtest, DANVA-Voices subtest | |
Computer | Apple iMac Desktop, 27" display | ||
Statistical Analysis Software | SPSS | University Licensed software for data analysis | |
Happy Film Clip 1 | Sweet Home Alabama, D&D Films, 2002, Director: A Tennant | A man surprises his girlfriend by proposing in a jewelry store | |
Happy Film Clip 2 | Wedding Crashers, New Line Cinema, 2005, Director: D. Dobkin | A couple is sitting on the beach and flirting while playing a hand game | |
Happy Film Clip 3 | Reme-mber the Titans, Jerry Bruckheimer Films, 2000, Director: B. Yakin | An African American football coach and his family are accepted by their community when the school team wins the football championship | |
Sad Film Clip 1 | Grey's Anatomy, ABC, 2006, Director: P. Horton | A father is only able to communicate with his family using his eyes. | |
Sad Film Clip 2 | Armageddon, Touchstone Pictures, 1998, Director: M. Bay | A daughter is saying goodbye to her father who is in space on a dangerous mission | |
Sad Film Clip 3 | Grey's Anatomy, ABC, 2006, Director: M. Tinker | A woman is heartbroken her fiance has died | |
Angry Film Clip 1 | Anne of Green Gables, Canadian Broadcast Corporation, 1985, Director: K. Sullivan | An older woman speaks openly about a child's physical appearance in front of her | |
Angry Film Clip 2 | Enough, Columbia Pictures, 2002, Director: M. Apted | A wife confronts her husband about an affair when she smells another woman's perfume on his clothing | |
Angry Film Clip 3 | Pretty Woman, Touchstone Pictures, 1990, Director: G. Marshall | A call girl attempts to purchase clothing in an expensive boutique and is turned away | |
Fearful Film Clip 1 | Blood Diamond, Warner Bros Pictures, 2006, Director: E. Zwick | Numerous vehicles carrying militia approach a man and his son while they are out walking | |
Fearful Film Clip 2 | The Life Before Her Eyes, 2929 Productions, 2007, Directors: V. Perelman | Two teenaged gilrs are talking in the school bathroom when they hear gunshots that continue to get closer | |
Fearful Film Clip 3 | The Sixth Sense, Barry Mendel Productions, 1999, Director: M. N. Shyamalan | A young boy enters the kitchen in the middle of the night and finds his mother behaving very atypically | |
Neutral Film Clip 1 | The Other Sister, Mandeville Films, 1999, Director: G. Marshall | A mother and daughter are discussing an art book while sitting in their living room | |
Neutral Film Clip 2 | The Game, Polygram Filmed Entertainment, 1999, Director: D. Fincher | One gentleman is explaining the rules of a game to another | |
Neutral Film Clip 3 | The Notebook, New Line Cinema, 2004, Director: N. Cassavetes | An older gentleman and his doctor are conversing during a routine check-up |