Summary

官能評価のための自動化された表情解析技術と時間的分析へのデータの収集と分析応用のためのプロトコル

Published: August 26, 2016
doi:

Summary

自動化された顔の表情分析ソフトウェアを用いて官能評価実験室で飲料液化食品へ集団の感情的な応答を捕捉し、統計的に分析するためのプロトコルを説明します。

Abstract

We demonstrate a method for capturing emotional response to beverages and liquefied foods in a sensory evaluation laboratory using automated facial expression analysis (AFEA) software. Additionally, we demonstrate a method for extracting relevant emotional data output and plotting the emotional response of a population over a specified time frame. By time pairing each participant’s treatment response to a control stimulus (baseline), the overall emotional response over time and across multiple participants can be quantified. AFEA is a prospective analytical tool for assessing unbiased response to food and beverages. At present, most research has mainly focused on beverages. Methodologies and analyses have not yet been standardized for the application of AFEA to beverages and foods; however, a consistent standard methodology is needed. Optimizing video capture procedures and resulting video quality aids in a successful collection of emotional response to foods. Furthermore, the methodology of data analysis is novel for extracting the pertinent data relevant to the emotional response. The combinations of video capture optimization and data analysis will aid in standardizing the protocol for automated facial expression analysis and interpretation of emotional response data.

Introduction

自動化された表情分析(AFEA)飲料や食品に感情的な反応を特徴付けるための前向きな分析ツールです。感情的な分析は、既存の感覚科学の方法論、食品の評価の実践、および一般的に研究し、業界の設定の両方で使用快楽規模の評価に余分な次元を追加することができます。感情的な分析は、食品や飲料へのより正確な応答を明らかにし、追加のメトリックを提供することができます。反応1を記録するために、障害に起因する快楽スコアは、参加者の偏りを含んでもよいです。

AFEAの研究は、コンピュータゲーム、ユーザーの行動、教育/教育学、および共感と詐欺に心理学の研究を含む多くの研究用途に使用されています。ほとんどの食品関連の研究は、食品の品質と食品と人間の行動に感情的な反応を特徴付けるに焦点を当てています。食品の行動への洞察を得るの最近の傾向では、文学の成長体はAFEAの使用を報告します食品、飲料、及び臭気物質1-12に関連した人間の感情的な反応を特徴付けるため。

AFEAは顔面動作分析法(FACS)に由来します。顔面行動コーディングシステム(FACS)は5ポイント強度スケール13上で動作単位(AUS)によって特徴づけられる顔の動きを判別します。 FACSのアプローチは、訓練された審査の専門家、マニュアルコーディング、かなりの評価時間を必要とし、限られたデータの分析オプションを提供します。 AFEA感情を決定するための迅速な評価方法として開発されました。 AFEAソフトウェアは、感情的な反応14-18を特徴づけるために、顔の筋肉の動き、顔のデータベース、およびアルゴリズムに依存しています。本研究で用いたAFEAソフトウェアは、感情的な表情の写真(WSEFEP)のワルシャワセットと0.70の標準的な合意に近いですアムステルダムダイナミック表情セット(ADFES)、両方の平均で0.67の合意の「FACSインデックスに達し手動コーディング"19のための</sup>。分析に含まユニバーサル感情は1から0までの別々のスケール(上の各幸せ(正)、(負の)悲しい、うんざり(負)、びっくり(正または負)、怒っている(負)、怖がっ(負)と中性であります0は発現していない=; 1 =完全に)20表明しました。また、心理学の文献は、「撤退」の感情(離れ嫌悪刺激から)21のような、幸せな驚き、そして(刺激に向かって)「アプローチ」の感情として怒っていると悲しい、怖い、とうんざり含まれています。

食品に関連した感情を特徴付けるための現在のAFEAソフトウェアの1つの制限は、咀嚼や嚥下だけでなく、このような極端な頭の動きなど、他の粗大運動の動きに関連した顔の動きからの干渉です。ソフトウェアは、顔16,17上の500以上の筋肉の点に基づいて位置や動きの度合いを、関連する、小さい顔の筋肉の動きを対象としています。咀嚼運動は、式の分類を妨害します。この制限ationが液化食品を使用して対処することができます。しかし、他の方法論の課題はまた、データ収集環境、技術、研究者の指示、参加者の行動、および参加者の属性を含むビデオ感度とAFEA分析を減少させることができます。

標準的な方法が開発され、最適なビデオキャプチャと官能評価実験室の設定で食品や飲料への感情的な反応のためAFEAを使用して、データ分析のために確認されていません。多くの側面が原因照明、参加者の方向、参加者の行動、参加者の高さだけでなく、カメラの高さ、カメラ釣り、および機器の設定にシャドーイング、照明などのビデオキャプチャ環境に影響を与えることができます。また、データ分析の方法論は矛盾していると感情的な反応を評価するための標準的な方法論を欠いています。ここで、我々は(飲み物を使用して、意味のある結果に感情的なデータや処理データを取得するため、当社の標準的な操作手順を紹介します評価のための風味のミルク、味付けされていない牛乳と味付けされていない水)。我々の知る唯一の査読出版物に、私たちの研究室のグループから、感情分析8のためのデータ解析のための時系列を利用しています。しかし、この方法は、私たちの提示方法のために更新されました。私たちの目的は、官能評価実験室の設定で再現性を助けるために改良された一貫性のある方法論を開発することです。デモでは、研究モデルの目的は、AFEAは、風味のミルクの伝統的な快楽受容性評価、味付けされていない牛乳と味付けされていない水を補うことができれば評価することです。このビデオプロトコルの意図は、AFEA方法論を確立する助け官能評価実験室におけるビデオキャプチャ条件(感覚ブース設定)を標準化し、集団の時間的感情的データ分析のための方法を示すことです。

Protocol

倫理に関する声明:本研究​​は、従来のプロジェクトを開始するバージニア工科大学施設内倫理委員会(IRB)(IRB 14から229)によって事前に承認されました。 注意:人体実験は、参加する前にインフォームドコンセントが必要です。静止画や動画画像の使用のためのIRB承認、同意に加えて、印刷、ビデオ、またはグラフィックイメージングのために任意の画像を解放する前に必要とされます。さら?…

Representative Results

この方法は、AFEAデータ収集のための標準プロトコルを提案しています。提案したプロトコルステップに従っている場合は、使用できない感情的なデータ出力悪いデータ収集に起因する( 図1)( 図2:A;左の写真)が制限される場合があります。これは悪いデータ( 図1)であるとして、ログファイル形式(.txt)は、主に「FIND_FAIL…

Discussion

食品や飲料に関連する文献で​​AFEAアプリケーションは1-11非常に限られています。食品への応用は、方法論とデータ解釈を確立するための機会を作成し、新しく追加されました。 Arnadeは、(2013年)7は、チョコレートミルクと曲線分析と分散分析下の面積を用いた白色ミルクに個々の感情的な反応の間で高い個体差を発見しました。悲しいとうんざりするが、短い時間応答<…

Disclosures

The authors have nothing to disclose.

Acknowledgements

This project was funded, in part, by ConAgra Foods (Omaha, NE, USA), the Virginia Agricultural Experiment Station, the Hatch Program of the National Institute of Food and Agriculture, U.S. Department of Agriculture, and the Virginia Tech Water INTERface Interdisciplinary Graduate Education Program.

Materials

2% Reduced Fat Milk Kroger Brand, Cincinnati, OH or DZA Brands, LLC, Salisbury, NC na for solutions
Drinking Water Kroger Brand, Cincinnati, OH na for solutions
Imitation Clear Vanilla Flavor Kroger Brand, Cincinnati, OH na for solutions
Iodized Salt Kroger Brand, Cincinnati, OH na for solutions
FaceReader 6 Noldus Information Technology, Wageningen, The Netherlands na For Facial Analysis
Sensory Information Management System (SIMS) 2000 Sensory Computer Systems, Berkeley Heights, NJ Version 6 For Sensory Data Capture
Rhapsody Acuity Brands Lighting, Inc., Conyers, GA For Environment Illumination
R Version  R Core Team 2015 3.1.1 For Statistical Analysis
Microsoft Office Microsoft na For Statistical Analysis
JMP Statistical Analysis Software (SAS) Version 9.2, SAS Institute, Cary, NC na For Statistical Analysis
Media Recorder 2.5 Noldus Information Technology, Wageningen, The Netherlands na For capturing participants sensory evaluation
Axis M1054 Camera Axis Communications, Lund, Sweden na
Beverage na Beverage or soft food for evaluation

References

  1. De Wijk, R. A., Kooijman, V., Verhoeven, R. H. G., Holthuysen, N. T. E., De Graaf, C. Autonomic nervous system responses on and facial expressions to the sight, smell, and taste of liked and disliked foods. Food Qual Prefer. 26 (2), 196-203 (2012).
  2. De Wijk, R. A., He, W., Mensink, M. G. J., Verhoeven, R. H. G., De Graaf, C. ANS responses and facial expression differentiate between the taste of commercial breakfast drinks. PLoS ONE. 9 (4), 1-9 (2014).
  3. He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. Behavioural and physiological responses to two food odours. Appetite. 59 (2), 628 (2012).
  4. He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. Dynamics of autonomic nervous system responses and facial expressions to odors. Front Psychol. 5 (110), 1-8 (2014).
  5. Danner, L., Sidorkina, L., Joechl, M., Duerrschmid, K. Make a face! Implicit and explicit measurement of facial expressions elicited by orange juices using face reading technology. Food Qual Prefer. 32 (2014), 167-172 (2013).
  6. Danner, L., Haindl, S., Joechl, M., Duerrschmid, K. Facial expression and autonomous nervous system responses elicited by tasting different juices. Food Res Int. 64 (2014), 81-90 (2014).
  7. Arnade, E. A. . Measuring consumer emotional response to tastes and foods through facial expression analysis [thesis]. , 1-187 (2013).
  8. Leitch, K. A., Duncan, S. E., O’Keefe, S., Rudd, R., Gallagher, D. L. Characterizing consumer emotional response to sweeteners using an emotion terminology questionnaire and facial expression analysis. Food Res Int. 76, 283-292 (2015).
  9. Crist, C. A., et al. Application of emotional facial analysis technology to consumer acceptability using a basic tastes model. , (2014).
  10. Garcia-Burgos, D., Zamora, M. C. Facial affective reactions to bitter-tasting foods and body mass index in adults. Appetite. 71 (2013), 178-186 (2013).
  11. Garcia-Burgos, D., Zamora, M. C. Exploring the hedonic and incentive properties in preferences for bitter foods via self-reports, facial expressions and instrumental behaviours. Food Qual Prefer. 39 (2015), 73-81 (2015).
  12. Lewinski, P., Fransen, M. L., Tan, E. S. H. Predicting advertising effectiveness by facial expressions in response to amusing persuasive stimuli. J. Neurosci. Psychol. Econ. 7 (1), 1-14 (2014).
  13. Ekman, P., Friesen, W. V. Facial action coding system: A technique for the measurement of facial movement. , (1978).
  14. Viola, P., Jones, M. Rapid object detection using a boosted cascade of simple features. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern. 1, 511-518 (2001).
  15. Sung, K. K., Poggio, T. Example-based learning for view-based human face detection. IEEE Trans. Pattern Anal. Mach. Intell. 20 (1), 39-51 (1998).
  16. . . FaceReader 5™ Technical Specifications. , (2014).
  17. Cootes, T., Taylor, C. . Statistical models of appearance for computer vision: Technical report. , (2000).
  18. Bishop, C. M. . Neural networks for pattern recognition. , (1995).
  19. Lewinski, P., den Uyl, T. M., Butler, C. Automated facial coding: validation of basic emotions and FACS AUs in FaceReader. J. Neurosci. Psychol. Econ. 7 (4), 227-236 (2014).
  20. Noldus Information Technology. . FaceReader Reference Manual Version 6. , (2014).
  21. Alves, N. T., Fukusima, S. S., Aznar-Casanova, J. A. Models of brain asymmetry in emotional processing. Psychol Neurosci. 1 (1), 63-66 (2008).
  22. Costello, M., Clark, S., Clark, S., Costello, M., Drake, M., Bodyfelt, F. Preparation of samples for instructing students and staff in dairy products evaluation (Appendix F). The sensory evaluation of dairy foods. , 551-560 (2009).
  23. Porcherot, C., et al. How do you feel when you smell this? Optimization of a verbal measurement of odor-elicited emotions. Food Qual Prefer. 21, 938-947 (2010).
  24. Warrenburg, S. Effects of fragrance on emotions: Moods and physiology. Chem. Senses. 30, i248-i249 (2005).
  25. Bredie, W. L. P., Tan, H. S. G., Wendin, K. A comparative study on facially expressed emotions in response to basic tastes. Chem. Percept. 7 (1), 1-9 (2014).
  26. Wendin, K., Allesen-Holm, B. H., Bredie, L. P. Do facial reactions add new dimensions to measuring sensory responses to basic tastes?. Food Qual Prefer. 22, 346-354 (2011).
  27. Rosenstein, D., Oster, H. Differential facial responses to four basic tastes in newborns. Child Dev. 59 (6), 1555-1568 (1988).
  28. Rosenstein, D., Oster, H., P, E. k. m. a. n., E, R. o. s. e. n. b. e. r. g. Differential facial responses to four basic tastes in newborns. What the face reveals: Basic and applied studies of spontaneous expression using the facial action coding system (FACS). , 302-327 (1997).
  29. Rozin, P., Fallon, A. E. A perspective on disgust. Psychol. Rev. 94 (1), 23-41 (1987).
  30. Delarue, J., Blumenthal, D. Temporal aspects of consumer preferences. Curr. Opin. Food Sci. 3, 41-46 (2015).
  31. Sudre, J., Pineau, N., Loret, C., Marin, N. Comparison of methods to monitor liking of food during consumption. Food Qual Prefer. 24 (1), 179-189 (2012).
  32. Weiland, R., Ellgring, H., Macht, M. Gustofacial and olfactofacial responses in human adults. Chem. Senses. 35 (9), 841-853 (2010).
  33. Ekman, P., Cole, J. Universal and cultural differences in facial expressions of emotion. Nebraska symposium on motivation. , 207-283 (1971).
  34. Griemel, E., Macht, M., Krumhuber, E., Ellgring, H. Facial and affective reactions to tastes and their modulation by sadness and joy. Physiol Behav. 89 (2), 261-269 (2006).

Play Video

Cite This Article
Crist, C. A., Duncan, S. E., Gallagher, D. L. Protocol for Data Collection and Analysis Applied to Automated Facial Expression Analysis Technology and Temporal Analysis for Sensory Evaluation. J. Vis. Exp. (114), e54046, doi:10.3791/54046 (2016).

View Video