Протокол для сбора и анализа данных прикладной к автоматизированным мимические технологии анализа и временного анализа для сенсорной оценке
Summary
Протокол для сбора и статистического анализа эмоционального отклика населения к напиткам и сжиженных продуктов в сенсорной лаборатории оценки с использованием автоматизированного программного обеспечения для анализа лица выражение описано.
Abstract
We demonstrate a method for capturing emotional response to beverages and liquefied foods in a sensory evaluation laboratory using automated facial expression analysis (AFEA) software. Additionally, we demonstrate a method for extracting relevant emotional data output and plotting the emotional response of a population over a specified time frame. By time pairing each participant’s treatment response to a control stimulus (baseline), the overall emotional response over time and across multiple participants can be quantified. AFEA is a prospective analytical tool for assessing unbiased response to food and beverages. At present, most research has mainly focused on beverages. Methodologies and analyses have not yet been standardized for the application of AFEA to beverages and foods; however, a consistent standard methodology is needed. Optimizing video capture procedures and resulting video quality aids in a successful collection of emotional response to foods. Furthermore, the methodology of data analysis is novel for extracting the pertinent data relevant to the emotional response. The combinations of video capture optimization and data analysis will aid in standardizing the protocol for automated facial expression analysis and interpretation of emotional response data.
Introduction
Автоматизированный анализ выражение лица (Afea) является перспективным аналитическим инструментом для характеристики эмоциональных ответов на напитки и продукты питания. Эмоциональный анализ может добавить дополнительное измерение к существующим сенсорными методологии науки, практики оценки пищевых продуктов, и гедонистических рейтинговой шкале, как правило, используются как в научно-исследовательских и промышленных установок. Эмоциональный анализ мог бы обеспечить дополнительный показатель, который показывает более точную реакцию на пищевые продукты и напитки. Гедонические скоринг может включать в себя смещение участника из – за сбоя записи реакций 1.
Afea исследования были использованы во многих научно-исследовательских приложений, включая компьютерные игры, поведения пользователей, образования / педагогики и психологии исследований по эмпатии и обмана. Большинство пищевых продуктов связаны исследования были направлены на характеризующие эмоциональную реакцию на качество продуктов питания и поведения человека с пищей. С недавней тенденции в получении способность проникновения в продукты питания поведения, растущее число докладов литературы использовать Афеидля характеристики человека эмоциональный отклик , связанный с пищевыми продуктами, включая напитки, и отдушек 1-12.
Afea происходит от лицевой Action Coding System (FACS). Система кодирования действия лица (FACS) дискриминирует лица движений , характеризуемых единиц действия (AUS) по шкале от 13 интенсивности 5-балльной. Подход FACS требует подготовленных экспертов по рассмотрению, ручное кодирование, значительное время оценки, а также предоставляет ограниченные возможности для анализа данных. Afea был разработан в качестве экспресс-метода оценки для определения эмоций. Afea программное обеспечение полагается на лицевой мышечной движения, базы данных лицевых и алгоритмов , чтобы охарактеризовать эмоциональный отклик 14-18. Программное обеспечение Afea используется в данном исследовании достигли "индекс FACS договора 0,67 в среднем на обоих Варшавской Набор Эмоциональные для лица Pictures Expression (WSEFEP) и Амстердам Динамическое выражение лица Set (ADFES), что близко к стандартному соглашению 0,70 для ручного кодирования "19 </sup>. Универсальные эмоции включены в анализ счастливы (положительный), грустный (отрицательный), отвращение (отрицательный), удивил (положительный или отрицательный), гнев (отрицательный), испуг (отрицательный) и нейтрально каждый на отдельной шкале от 0 до 1 ( 0 = не выражен; 1 = полное выражение) 20. Кроме того, психология литература включает в себя счастливым, удивление, и зол , как "подход" эмоции (к раздражителям) и грустно, страшно, и противно , как "уход" эмоций (от аверсивного раздражителей) 21.
Одно ограничение текущего программного обеспечения Afea для характеристики эмоции, связанные с пищевыми продуктами, являются помехи от лицевых движений, связанных с жевания и глотания, а также другие грубые моторные движения, такие, как экстремальных движений головы. Программное обеспечение предназначается для более мелких лицевых мышечных движений, касающуюся положения и степени движения, основанные на более чем 500 точек мышц на лице 16,17. Жевательные движения мешают классификации выражений. Этот пределвания могут быть решены с использованием сжиженных продуктов. Тем не менее, другие проблемы, методология может также уменьшить чувствительность видео и анализ Afea включая окружающую среду данных сбора, технологии, инструкции исследователя, поведения участника и участника атрибутов.
Стандартная методология не была разработана и проверена для оптимального захвата видео и анализа данных с использованием Afea для эмоциональной реакции на пищевые продукты и напитки в сенсорной лаборатории оценки обстановке. Многие аспекты могут повлиять на окружающую среду захвата видео, включая освещение, затенение из-за освещения, направления участников, поведение участника, рост участника, а также, высота камеры, камеры рыбной ловли и настройки оборудования. Кроме того, методологии анализа данных противоречивы и не имеют стандартную методологию оценки эмоционального отклика. Здесь мы продемонстрируем нашу стандартную операционную процедуру для захвата эмоциональных данных и обработки данных в значимые результаты с использованием напитков (ароматизированное молоко, неприправленный молоко и неприправленный вода) для оценки. Насколько нам известно , только один рецензируемых публикации, из нашей лаборатории группы, использовал временные ряды для интерпретации данных для анализа эмоций 8; Тем не менее, этот метод был обновлен для нашего предложенного метода. Наша цель состоит в том, чтобы разработать более совершенную и последовательную методологию, чтобы помочь с воспроизводимости в сенсорной лабораторной оценки обстановке. Для демонстрации, цель модели исследования заключается в оценке, если Afea может дополнить традиционную оценку гедоническая приемлемости ароматизированного молока, неприправленный молока и неприправленный воды. Цель этого видео протокола, чтобы помочь установить методологию Afea, стандартизировать критерии захвата видео в сенсорной лаборатории оценки (сенсорные настройки стенда) и иллюстрируют способ временного эмоционального анализа данных населения.
Protocol
Representative Results
Discussion
Afea применение в литературе , связанной с продуктов питания и напитков очень ограничено 1-11. Приложение к продуктам питания является новым, создавая возможность для создания методологии и данных интерпретации. Arnade (2013) 7 нашел высокую индивидуальную вариабельность индивидуа?…
Disclosures
The authors have nothing to disclose.
Acknowledgements
This project was funded, in part, by ConAgra Foods (Omaha, NE, USA), the Virginia Agricultural Experiment Station, the Hatch Program of the National Institute of Food and Agriculture, U.S. Department of Agriculture, and the Virginia Tech Water INTERface Interdisciplinary Graduate Education Program.
Materials
| 2% Reduced Fat Milk | Kroger Brand, Cincinnati, OH or DZA Brands, LLC, Salisbury, NC | na | for solutions |
| Drinking Water | Kroger Brand, Cincinnati, OH | na | for solutions |
| Imitation Clear Vanilla Flavor | Kroger Brand, Cincinnati, OH | na | for solutions |
| Iodized Salt | Kroger Brand, Cincinnati, OH | na | for solutions |
| FaceReader 6 | Noldus Information Technology, Wageningen, The Netherlands | na | For Facial Analysis |
| Sensory Information Management System (SIMS) 2000 | Sensory Computer Systems, Berkeley Heights, NJ | Version 6 | For Sensory Data Capture |
| Rhapsody | Acuity Brands Lighting, Inc., Conyers, GA | For Environment Illumination | |
| R Version | R Core Team 2015 | 3.1.1 | For Statistical Analysis |
| Microsoft Office | Microsoft | na | For Statistical Analysis |
| JMP | Statistical Analysis Software (SAS) Version 9.2, SAS Institute, Cary, NC | na | For Statistical Analysis |
| Media Recorder 2.5 | Noldus Information Technology, Wageningen, The Netherlands | na | For capturing participants sensory evaluation |
| Axis M1054 Camera | Axis Communications, Lund, Sweden | na | |
| Beverage | na | Beverage or soft food for evaluation |
References
- De Wijk, R. A., Kooijman, V., Verhoeven, R. H. G., Holthuysen, N. T. E., De Graaf, C. Autonomic nervous system responses on and facial expressions to the sight, smell, and taste of liked and disliked foods. Food Qual Prefer. 26 (2), 196-203 (2012).
- De Wijk, R. A., He, W., Mensink, M. G. J., Verhoeven, R. H. G., De Graaf, C. ANS responses and facial expression differentiate between the taste of commercial breakfast drinks. PLoS ONE. 9 (4), 1-9 (2014).
- He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. Behavioural and physiological responses to two food odours. Appetite. 59 (2), 628 (2012).
- He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. Dynamics of autonomic nervous system responses and facial expressions to odors. Front Psychol. 5 (110), 1-8 (2014).
- Danner, L., Sidorkina, L., Joechl, M., Duerrschmid, K. Make a face! Implicit and explicit measurement of facial expressions elicited by orange juices using face reading technology. Food Qual Prefer. 32 (2014), 167-172 (2013).
- Danner, L., Haindl, S., Joechl, M., Duerrschmid, K. Facial expression and autonomous nervous system responses elicited by tasting different juices. Food Res Int. 64 (2014), 81-90 (2014).
- Arnade, E. A. . Measuring consumer emotional response to tastes and foods through facial expression analysis [thesis]. , 1-187 (2013).
- Leitch, K. A., Duncan, S. E., O’Keefe, S., Rudd, R., Gallagher, D. L. Characterizing consumer emotional response to sweeteners using an emotion terminology questionnaire and facial expression analysis. Food Res Int. 76, 283-292 (2015).
- Crist, C. A., et al. Application of emotional facial analysis technology to consumer acceptability using a basic tastes model. , (2014).
- Garcia-Burgos, D., Zamora, M. C. Facial affective reactions to bitter-tasting foods and body mass index in adults. Appetite. 71 (2013), 178-186 (2013).
- Garcia-Burgos, D., Zamora, M. C. Exploring the hedonic and incentive properties in preferences for bitter foods via self-reports, facial expressions and instrumental behaviours. Food Qual Prefer. 39 (2015), 73-81 (2015).
- Lewinski, P., Fransen, M. L., Tan, E. S. H. Predicting advertising effectiveness by facial expressions in response to amusing persuasive stimuli. J. Neurosci. Psychol. Econ. 7 (1), 1-14 (2014).
- Ekman, P., Friesen, W. V. Facial action coding system: A technique for the measurement of facial movement. , (1978).
- Viola, P., Jones, M. Rapid object detection using a boosted cascade of simple features. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern. 1, 511-518 (2001).
- Sung, K. K., Poggio, T. Example-based learning for view-based human face detection. IEEE Trans. Pattern Anal. Mach. Intell. 20 (1), 39-51 (1998).
- . . FaceReader 5™ Technical Specifications. , (2014).
- Cootes, T., Taylor, C. . Statistical models of appearance for computer vision: Technical report. , (2000).
- Bishop, C. M. . Neural networks for pattern recognition. , (1995).
- Lewinski, P., den Uyl, T. M., Butler, C. Automated facial coding: validation of basic emotions and FACS AUs in FaceReader. J. Neurosci. Psychol. Econ. 7 (4), 227-236 (2014).
- Noldus Information Technology. . FaceReader Reference Manual Version 6. , (2014).
- Alves, N. T., Fukusima, S. S., Aznar-Casanova, J. A. Models of brain asymmetry in emotional processing. Psychol Neurosci. 1 (1), 63-66 (2008).
- Costello, M., Clark, S., Clark, S., Costello, M., Drake, M., Bodyfelt, F. Preparation of samples for instructing students and staff in dairy products evaluation (Appendix F). The sensory evaluation of dairy foods. , 551-560 (2009).
- Porcherot, C., et al. How do you feel when you smell this? Optimization of a verbal measurement of odor-elicited emotions. Food Qual Prefer. 21, 938-947 (2010).
- Warrenburg, S. Effects of fragrance on emotions: Moods and physiology. Chem. Senses. 30, i248-i249 (2005).
- Bredie, W. L. P., Tan, H. S. G., Wendin, K. A comparative study on facially expressed emotions in response to basic tastes. Chem. Percept. 7 (1), 1-9 (2014).
- Wendin, K., Allesen-Holm, B. H., Bredie, L. P. Do facial reactions add new dimensions to measuring sensory responses to basic tastes?. Food Qual Prefer. 22, 346-354 (2011).
- Rosenstein, D., Oster, H. Differential facial responses to four basic tastes in newborns. Child Dev. 59 (6), 1555-1568 (1988).
- Rosenstein, D., Oster, H., P, E. k. m. a. n., E, R. o. s. e. n. b. e. r. g. Differential facial responses to four basic tastes in newborns. What the face reveals: Basic and applied studies of spontaneous expression using the facial action coding system (FACS). , 302-327 (1997).
- Rozin, P., Fallon, A. E. A perspective on disgust. Psychol. Rev. 94 (1), 23-41 (1987).
- Delarue, J., Blumenthal, D. Temporal aspects of consumer preferences. Curr. Opin. Food Sci. 3, 41-46 (2015).
- Sudre, J., Pineau, N., Loret, C., Marin, N. Comparison of methods to monitor liking of food during consumption. Food Qual Prefer. 24 (1), 179-189 (2012).
- Weiland, R., Ellgring, H., Macht, M. Gustofacial and olfactofacial responses in human adults. Chem. Senses. 35 (9), 841-853 (2010).
- Ekman, P., Cole, J. Universal and cultural differences in facial expressions of emotion. Nebraska symposium on motivation. , 207-283 (1971).
- Griemel, E., Macht, M., Krumhuber, E., Ellgring, H. Facial and affective reactions to tastes and their modulation by sadness and joy. Physiol Behav. 89 (2), 261-269 (2006).
