بروتوكول لجمع البيانات وتحليل التطبيقية لالآلي الوجه تقنية تحليل التعبير والتحليل الزمني للتقييم الحسي
Summary
يوصف بروتوكول لالتقاط وتحليل إحصائيا ردود فعل عاطفية من السكان إلى المشروبات والأطعمة المسال في مختبر التقييم الحسي باستخدام الآلي الوجه برمجيات تحليل التعبير.
Abstract
We demonstrate a method for capturing emotional response to beverages and liquefied foods in a sensory evaluation laboratory using automated facial expression analysis (AFEA) software. Additionally, we demonstrate a method for extracting relevant emotional data output and plotting the emotional response of a population over a specified time frame. By time pairing each participant’s treatment response to a control stimulus (baseline), the overall emotional response over time and across multiple participants can be quantified. AFEA is a prospective analytical tool for assessing unbiased response to food and beverages. At present, most research has mainly focused on beverages. Methodologies and analyses have not yet been standardized for the application of AFEA to beverages and foods; however, a consistent standard methodology is needed. Optimizing video capture procedures and resulting video quality aids in a successful collection of emotional response to foods. Furthermore, the methodology of data analysis is novel for extracting the pertinent data relevant to the emotional response. The combinations of video capture optimization and data analysis will aid in standardizing the protocol for automated facial expression analysis and interpretation of emotional response data.
Introduction
آلية تحليل تعبيرات الوجه (AFEA) هو أداة تحليلية مستقبلية لوصف الاستجابات الانفعالية لالمشروبات والأطعمة. التحليل النفسي يمكن أن تضيف بعدا جديدا لالمنهجيات القائمة الحسية العلوم وممارسات التقييم الغذاء، ومقياس التصنيف المتعة عادة ما تستخدم في كل من إعدادات البحث والصناعة. التحليل النفسي يمكن أن توفر مقياسا الإضافي الذي يكشف عن استجابة أكثر دقة للأطعمة والمشروبات. ويمكن أن تشمل المتعة التهديف التحيز المشاركين نظرا لعدم تسجيل ردود الفعل 1.
وقد استخدم البحث AFEA في العديد من التطبيقات البحثية بما في ذلك ألعاب الكمبيوتر، وسلوك المستخدم والتعليم / التربية، والدراسات علم النفس على التعاطف والخداع. وقد ركزت معظم البحوث المرتبطة الطعام على تميز استجابة عاطفية لنوعية الغذاء والسلوك البشري مع الطعام. مع الاتجاه الأخير في الحصول على نظرة ثاقبة السلوكيات الغذائية، مجموعة متزايدة من التقارير الأدب تستخدم من AFEAلوصف رد فعل عاطفي الإنسان المرتبطة الأطعمة والمشروبات، وعطر 1-12.
مشتق AFEA من نظام العمل الترميز الوجه (FACS). نظام الترميز عمل الوجه (FACS) يميز حركات الوجه التي تتميز وحدات العمل (AUS) على 5 نقاط كثافة نطاق 13. يتطلب نهج نظام مراقبة الأصول الميدانية خبراء الاستعراض المدربين، الترميز اليدوي، والوقت واسعا للتقييم، ويوفر خيارات تحليل بيانات محدودة. وقد وضعت AFEA كوسيلة من وسائل تقييم سريع لتحديد العواطف. AFEA البرنامج يعتمد على حركة الوجه العضلات، وقواعد البيانات الوجه، والخوارزميات لوصف رد فعل عاطفي 14-18. البرنامج AFEA المستخدمة في هذه الدراسة التوصل إلى "مؤشر FACS اتفاق 0.67 في المتوسط على كل مجموعة وارسو للالعاطفية صور التعبير بالوجه (WSEFEP) وأمستردام التعبير الوجه الديناميكي تعيين (ADFES)، وهي قريبة إلى اتفاق موحد من 0.70 لالترميز اليدوي "19 </sup>. العواطف العالمية المدرجة في التحليل هي سعيدة (إيجابية)، حزينة (سلبية)، بالاشمئزاز (سلبية)، فاجأ (إيجابية أو سلبية)، غاضبة (سلبية)، خائفة (السلبية) ومحايدة كل على نطاق منفصل من 0-1 ( 0 = لم يبد؛ 1 = أعرب بالكامل) 20. وبالإضافة إلى ذلك، يتضمن الأدب وعلم النفس سعيد، تفاجأ، والغضب كما العواطف "نهج" (نحو المحفزات) وحزينا، خائفا، وبالاشمئزاز كما العواطف "انسحاب" (بعيدا عن المثيرات مكره) 21.
واحد الحد من البرنامج AFEA الحالي لوصف المشاعر المرتبطة الأطعمة غير تدخل من حركات الوجه المرتبطة المضغ والبلع وغيرها من الحركات الحركية، مثل حركات الرأس الشديدة. البرنامج يستهدف أصغر الاقتراحات الوجه العضلات، وموقف فيما ودرجة حركة، تقوم على أكثر من 500 نقطة العضلات على وجه 16،17. حركات المضغ تتداخل مع تصنيف من التعبيرات. هذا الحدويمكن معالجة أوجه استعمال الأغذية المسال. ومع ذلك، يمكن التحديات المنهجية الأخرى أيضا انخفاض حساسية الفيديو وتحليل AFEA بما في ذلك البيئة جمع البيانات، والتكنولوجيا، تعليمات الباحث، السلوك مشارك، ومشارك سمات.
لم يتم وضع منهجية موحدة والتحقق منها لالتقاط الفيديو الأمثل وتحليل البيانات باستخدام AFEA عن الاستجابة العاطفية للأطعمة والمشروبات في إعداد مختبر التقييم الحسي. يمكن للعديد من الجوانب تؤثر على البيئة التقاط الفيديو بما في ذلك الإضاءة، التظليل بسبب الإضاءة، والاتجاهات مشارك، سلوك المشاركين، ارتفاع مشارك، وكذلك، ارتفاع الكاميرا، صيد الكاميرا، وضبط المعدات. وعلاوة على ذلك، ومنهجيات تحليل بيانات غير متناسقة وتفتقر إلى منهجية موحدة لتقييم ردود فعل عاطفية. هنا، سوف نظهر لدينا إجراءات التشغيل القياسية للحصول على البيانات ومعالجة البيانات العاطفية إلى نتائج ذات معنى باستخدام المشروبات (الحليب المنكه والحليب بدون نكهة والماء بدون نكهة) للتقييم. على حد علمنا فقط استعراض الأقران نشر واحد من مجموعة مختبرنا، وقد استخدمت سلسلة زمنية لتفسير البيانات لتحليل العواطف 8؛ ومع ذلك، فقد تم تحديث طريقة لطريقة عرضنا. هدفنا هو تطوير منهجية محسنة ومتسقة للمساعدة في إعادة الإنتاج في إعداد مختبر التقييم الحسي. للمظاهرة، والهدف من نموذج الدراسة هو تقييم ما إذا AFEA يمكن أن تكمل تقييم القبول المتعة التقليدي من الحليب المنكه والحليب بدون نكهة والماء بدون نكهة. والقصد من هذا البروتوكول الفيديو للمساعدة في تأسيس منهجية AFEA، وتوحيد معايير التقاط الفيديو في مختبر التقييم الحسي (الإعداد كشك الحسي)، وتوضيح طريقة لتحليل البيانات العاطفي الزمني للسكان.
Protocol
Representative Results
Discussion
AFEA التطبيق في الأدب المتعلقة بالأغذية والمشروبات غير محدودة للغاية 11/1. تطبيق في الغذاء هو جديد، وخلق فرصة لتأسيس منهجية وبيانات التفسير. Arnade (2013) 7 جدت التباين كبيرا على الأفراد بين الاستجابة العاطفية الفردية لحليب الشوكولاته والحليب الأبيض باستخدام الم?…
Disclosures
The authors have nothing to disclose.
Acknowledgements
This project was funded, in part, by ConAgra Foods (Omaha, NE, USA), the Virginia Agricultural Experiment Station, the Hatch Program of the National Institute of Food and Agriculture, U.S. Department of Agriculture, and the Virginia Tech Water INTERface Interdisciplinary Graduate Education Program.
Materials
| 2% Reduced Fat Milk | Kroger Brand, Cincinnati, OH or DZA Brands, LLC, Salisbury, NC | na | for solutions |
| Drinking Water | Kroger Brand, Cincinnati, OH | na | for solutions |
| Imitation Clear Vanilla Flavor | Kroger Brand, Cincinnati, OH | na | for solutions |
| Iodized Salt | Kroger Brand, Cincinnati, OH | na | for solutions |
| FaceReader 6 | Noldus Information Technology, Wageningen, The Netherlands | na | For Facial Analysis |
| Sensory Information Management System (SIMS) 2000 | Sensory Computer Systems, Berkeley Heights, NJ | Version 6 | For Sensory Data Capture |
| Rhapsody | Acuity Brands Lighting, Inc., Conyers, GA | For Environment Illumination | |
| R Version | R Core Team 2015 | 3.1.1 | For Statistical Analysis |
| Microsoft Office | Microsoft | na | For Statistical Analysis |
| JMP | Statistical Analysis Software (SAS) Version 9.2, SAS Institute, Cary, NC | na | For Statistical Analysis |
| Media Recorder 2.5 | Noldus Information Technology, Wageningen, The Netherlands | na | For capturing participants sensory evaluation |
| Axis M1054 Camera | Axis Communications, Lund, Sweden | na | |
| Beverage | na | Beverage or soft food for evaluation |
References
- De Wijk, R. A., Kooijman, V., Verhoeven, R. H. G., Holthuysen, N. T. E., De Graaf, C. Autonomic nervous system responses on and facial expressions to the sight, smell, and taste of liked and disliked foods. Food Qual Prefer. 26 (2), 196-203 (2012).
- De Wijk, R. A., He, W., Mensink, M. G. J., Verhoeven, R. H. G., De Graaf, C. ANS responses and facial expression differentiate between the taste of commercial breakfast drinks. PLoS ONE. 9 (4), 1-9 (2014).
- He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. Behavioural and physiological responses to two food odours. Appetite. 59 (2), 628 (2012).
- He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. Dynamics of autonomic nervous system responses and facial expressions to odors. Front Psychol. 5 (110), 1-8 (2014).
- Danner, L., Sidorkina, L., Joechl, M., Duerrschmid, K. Make a face! Implicit and explicit measurement of facial expressions elicited by orange juices using face reading technology. Food Qual Prefer. 32 (2014), 167-172 (2013).
- Danner, L., Haindl, S., Joechl, M., Duerrschmid, K. Facial expression and autonomous nervous system responses elicited by tasting different juices. Food Res Int. 64 (2014), 81-90 (2014).
- Arnade, E. A. . Measuring consumer emotional response to tastes and foods through facial expression analysis [thesis]. , 1-187 (2013).
- Leitch, K. A., Duncan, S. E., O’Keefe, S., Rudd, R., Gallagher, D. L. Characterizing consumer emotional response to sweeteners using an emotion terminology questionnaire and facial expression analysis. Food Res Int. 76, 283-292 (2015).
- Crist, C. A., et al. Application of emotional facial analysis technology to consumer acceptability using a basic tastes model. , (2014).
- Garcia-Burgos, D., Zamora, M. C. Facial affective reactions to bitter-tasting foods and body mass index in adults. Appetite. 71 (2013), 178-186 (2013).
- Garcia-Burgos, D., Zamora, M. C. Exploring the hedonic and incentive properties in preferences for bitter foods via self-reports, facial expressions and instrumental behaviours. Food Qual Prefer. 39 (2015), 73-81 (2015).
- Lewinski, P., Fransen, M. L., Tan, E. S. H. Predicting advertising effectiveness by facial expressions in response to amusing persuasive stimuli. J. Neurosci. Psychol. Econ. 7 (1), 1-14 (2014).
- Ekman, P., Friesen, W. V. Facial action coding system: A technique for the measurement of facial movement. , (1978).
- Viola, P., Jones, M. Rapid object detection using a boosted cascade of simple features. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern. 1, 511-518 (2001).
- Sung, K. K., Poggio, T. Example-based learning for view-based human face detection. IEEE Trans. Pattern Anal. Mach. Intell. 20 (1), 39-51 (1998).
- . . FaceReader 5™ Technical Specifications. , (2014).
- Cootes, T., Taylor, C. . Statistical models of appearance for computer vision: Technical report. , (2000).
- Bishop, C. M. . Neural networks for pattern recognition. , (1995).
- Lewinski, P., den Uyl, T. M., Butler, C. Automated facial coding: validation of basic emotions and FACS AUs in FaceReader. J. Neurosci. Psychol. Econ. 7 (4), 227-236 (2014).
- Noldus Information Technology. . FaceReader Reference Manual Version 6. , (2014).
- Alves, N. T., Fukusima, S. S., Aznar-Casanova, J. A. Models of brain asymmetry in emotional processing. Psychol Neurosci. 1 (1), 63-66 (2008).
- Costello, M., Clark, S., Clark, S., Costello, M., Drake, M., Bodyfelt, F. Preparation of samples for instructing students and staff in dairy products evaluation (Appendix F). The sensory evaluation of dairy foods. , 551-560 (2009).
- Porcherot, C., et al. How do you feel when you smell this? Optimization of a verbal measurement of odor-elicited emotions. Food Qual Prefer. 21, 938-947 (2010).
- Warrenburg, S. Effects of fragrance on emotions: Moods and physiology. Chem. Senses. 30, i248-i249 (2005).
- Bredie, W. L. P., Tan, H. S. G., Wendin, K. A comparative study on facially expressed emotions in response to basic tastes. Chem. Percept. 7 (1), 1-9 (2014).
- Wendin, K., Allesen-Holm, B. H., Bredie, L. P. Do facial reactions add new dimensions to measuring sensory responses to basic tastes?. Food Qual Prefer. 22, 346-354 (2011).
- Rosenstein, D., Oster, H. Differential facial responses to four basic tastes in newborns. Child Dev. 59 (6), 1555-1568 (1988).
- Rosenstein, D., Oster, H., P, E. k. m. a. n., E, R. o. s. e. n. b. e. r. g. Differential facial responses to four basic tastes in newborns. What the face reveals: Basic and applied studies of spontaneous expression using the facial action coding system (FACS). , 302-327 (1997).
- Rozin, P., Fallon, A. E. A perspective on disgust. Psychol. Rev. 94 (1), 23-41 (1987).
- Delarue, J., Blumenthal, D. Temporal aspects of consumer preferences. Curr. Opin. Food Sci. 3, 41-46 (2015).
- Sudre, J., Pineau, N., Loret, C., Marin, N. Comparison of methods to monitor liking of food during consumption. Food Qual Prefer. 24 (1), 179-189 (2012).
- Weiland, R., Ellgring, H., Macht, M. Gustofacial and olfactofacial responses in human adults. Chem. Senses. 35 (9), 841-853 (2010).
- Ekman, P., Cole, J. Universal and cultural differences in facial expressions of emotion. Nebraska symposium on motivation. , 207-283 (1971).
- Griemel, E., Macht, M., Krumhuber, E., Ellgring, H. Facial and affective reactions to tastes and their modulation by sadness and joy. Physiol Behav. 89 (2), 261-269 (2006).
