Protocolo para la Recolección de Datos y Análisis Aplicado a Automatizado facial Tecnología de Análisis de Expresión y Análisis temporal para la Evaluación Sensorial
Summary
Se describe un protocolo para capturar y analizar estadísticamente respuesta emocional de una población a las bebidas y alimentos licuados en un laboratorio de evaluación sensorial usando software de análisis de la expresión facial automatizado.
Abstract
We demonstrate a method for capturing emotional response to beverages and liquefied foods in a sensory evaluation laboratory using automated facial expression analysis (AFEA) software. Additionally, we demonstrate a method for extracting relevant emotional data output and plotting the emotional response of a population over a specified time frame. By time pairing each participant’s treatment response to a control stimulus (baseline), the overall emotional response over time and across multiple participants can be quantified. AFEA is a prospective analytical tool for assessing unbiased response to food and beverages. At present, most research has mainly focused on beverages. Methodologies and analyses have not yet been standardized for the application of AFEA to beverages and foods; however, a consistent standard methodology is needed. Optimizing video capture procedures and resulting video quality aids in a successful collection of emotional response to foods. Furthermore, the methodology of data analysis is novel for extracting the pertinent data relevant to the emotional response. The combinations of video capture optimization and data analysis will aid in standardizing the protocol for automated facial expression analysis and interpretation of emotional response data.
Introduction
Automatizado de análisis de la expresión facial (AFEA) es una herramienta de análisis prospectivo para caracterizar las respuestas emocionales a bebidas y alimentos. El análisis emocional puede añadir una dimensión extra a las metodologías existentes sensoriales ciencia, las prácticas de evaluación de alimentos, y las calificaciones en escala hedónica suele utilizar tanto en entornos de investigación y de la industria. análisis emocional podría proporcionar una métrica adicional que revela una respuesta más precisa a los alimentos y bebidas. Puntuación hedónica puede incluir sesgo participante debido a la falta de registro de las reacciones 1.
AFEA la investigación se ha utilizado en muchas aplicaciones de investigación, incluyendo los juegos de ordenador, el comportamiento del usuario, la educación / pedagogía, psicología y los estudios sobre la empatía y el engaño. La mayoría de las investigaciones asociadas alimentos se ha centrado en la caracterización de la respuesta emocional a la calidad de los alimentos y el comportamiento humano con los alimentos. Con la reciente tendencia en la promoción de conocimientos sobre los comportamientos alimentarios, un creciente cuerpo de literatura informes uso de AFEApara la caracterización de la respuesta emocional humana asociados con los alimentos, bebidas y odorantes 1-12.
AFEA se deriva de la acción Codificación de Facial (FACS). El sistema de codificación de acción facial (FACS) discrimina movimientos faciales que se caracterizan por unidades de actuación (AUS) en una escala de intensidad de 5 puntos 13. El enfoque requiere FACS expertos examinadores entrenados, la codificación manual, tiempo de evaluación significativa, y proporciona opciones de análisis de datos limitados. AFEA fue desarrollado como un método de evaluación rápida para determinar las emociones. AFEA software se basa en el movimiento facial muscular, bases de datos faciales, y los algoritmos para caracterizar la respuesta emocional 14-18. El software AFEA utilizada en este estudio se llega a un "índice de FACS de acuerdo de 0,67 en promedio tanto en el Varsovia conjunto de imágenes faciales de expresión emocional (WSEFEP) y Amsterdam dinámico Expresión facial Set (ADFES), que está cerca de un acuerdo de nivel de 0,70 para la codificación manual "19 </sup>. emociones universales incluidos en el análisis son felices (positivo), triste (negativo), disgustado (negativo), sorprendido (positivo o negativo), enojado (negativo), asustado (negativo) y neutro cada uno en una escala separada de 0 a 1 ( 0 = no se expresen; 1 = totalmente expresado) 20. Además, la literatura de psicología incluye feliz, sorprendido y enojado como emociones "enfoque" (hacia estímulos) y triste, asustado, y disgustado como las emociones "retirada" (lejos de los estímulos aversivos) 21.
Una de las limitaciones del software AFEA actual para la caracterización de las emociones asociadas con los alimentos es la interferencia de los movimientos faciales asociadas a masticar y tragar, así como otros movimientos motoras gruesas, tales como movimientos de la cabeza extremas. El software se dirige a pequeños movimientos faciales musculares, la posición relativa y grado de movimiento, basado en más de 500 puntos musculares en la cara 16,17. movimientos de masticación interfieren con la clasificación de las expresiones. este límiteación se puede abordar el uso de alimentos licuados. Sin embargo, otros retos metodología también puede disminuir la sensibilidad de vídeo y análisis AFEA incluyendo el entorno recopilación de datos, la tecnología, las instrucciones del investigador, el comportamiento de los participantes, y participante atributos.
Una metodología estándar no se ha desarrollado y verificado para la captura de vídeo óptima y análisis de datos utilizando AFEA de respuesta emocional a alimentos y bebidas en un entorno de laboratorio de evaluación sensorial. Muchos aspectos pueden afectar al medio ambiente de captura de vídeo incluyendo la iluminación, sombras debido a la iluminación, las direcciones de los participantes, comportamiento de los participantes, la altura de participante, así como, la altura de la cámara, la pesca de la cámara, y la configuración del equipo. Por otra parte, las metodologías de análisis de datos son inconsistentes y carecen de una metodología estándar para evaluar la respuesta emocional. A continuación, vamos a demostrar nuestro procedimiento operativo estándar para la captura de datos de datos y de procesamiento emocional en resultados significativos utilizando bebidas (leche saborizada, leche sin sabor y sin sabor del agua) para su evaluación. A nuestro entender sólo una publicación revisada por pares, de nuestro grupo de laboratorio, se ha utilizado para la interpretación de series temporales de datos para el análisis de las emociones 8; Sin embargo, el método se ha actualizado para nuestro método presentado. Nuestro objetivo es desarrollar una metodología mejorada y consistente para ayudar con la reproducibilidad en un entorno de laboratorio de evaluación sensorial. Para la demostración, el objetivo del modelo de estudio es evaluar si AFEA podría complementar la evaluación de aceptabilidad hedónica tradicional de leche saborizada, leche sin sabor y sin sabor del agua. La intención de este protocolo de vídeo es ayudar a establecer la metodología AFEA, estandarizar los criterios de captura de vídeo en un laboratorio de evaluación sensorial (ajuste stand sensorial), e ilustrar un método para el análisis de datos emocional temporal de una población.
Protocol
Representative Results
Discussion
AFEA aplicación en la literatura relacionada con los alimentos y bebidas es muy limitada 1-11. La aplicación a la alimentación es nuevo, la creación de una oportunidad para el establecimiento de la metodología y la interpretación de los datos. Arnade (2013) 7 encontró alta variabilidad individual entre la respuesta emocional individual a la leche con chocolate y leche blanca usando el área bajo análisis y análisis de la varianza curva. Sin embargo, incluso con la variabilidad de los parti…
Disclosures
The authors have nothing to disclose.
Acknowledgements
This project was funded, in part, by ConAgra Foods (Omaha, NE, USA), the Virginia Agricultural Experiment Station, the Hatch Program of the National Institute of Food and Agriculture, U.S. Department of Agriculture, and the Virginia Tech Water INTERface Interdisciplinary Graduate Education Program.
Materials
| 2% Reduced Fat Milk | Kroger Brand, Cincinnati, OH or DZA Brands, LLC, Salisbury, NC | na | for solutions |
| Drinking Water | Kroger Brand, Cincinnati, OH | na | for solutions |
| Imitation Clear Vanilla Flavor | Kroger Brand, Cincinnati, OH | na | for solutions |
| Iodized Salt | Kroger Brand, Cincinnati, OH | na | for solutions |
| FaceReader 6 | Noldus Information Technology, Wageningen, The Netherlands | na | For Facial Analysis |
| Sensory Information Management System (SIMS) 2000 | Sensory Computer Systems, Berkeley Heights, NJ | Version 6 | For Sensory Data Capture |
| Rhapsody | Acuity Brands Lighting, Inc., Conyers, GA | For Environment Illumination | |
| R Version | R Core Team 2015 | 3.1.1 | For Statistical Analysis |
| Microsoft Office | Microsoft | na | For Statistical Analysis |
| JMP | Statistical Analysis Software (SAS) Version 9.2, SAS Institute, Cary, NC | na | For Statistical Analysis |
| Media Recorder 2.5 | Noldus Information Technology, Wageningen, The Netherlands | na | For capturing participants sensory evaluation |
| Axis M1054 Camera | Axis Communications, Lund, Sweden | na | |
| Beverage | na | Beverage or soft food for evaluation |
References
- De Wijk, R. A., Kooijman, V., Verhoeven, R. H. G., Holthuysen, N. T. E., De Graaf, C. Autonomic nervous system responses on and facial expressions to the sight, smell, and taste of liked and disliked foods. Food Qual Prefer. 26 (2), 196-203 (2012).
- De Wijk, R. A., He, W., Mensink, M. G. J., Verhoeven, R. H. G., De Graaf, C. ANS responses and facial expression differentiate between the taste of commercial breakfast drinks. PLoS ONE. 9 (4), 1-9 (2014).
- He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. Behavioural and physiological responses to two food odours. Appetite. 59 (2), 628 (2012).
- He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. Dynamics of autonomic nervous system responses and facial expressions to odors. Front Psychol. 5 (110), 1-8 (2014).
- Danner, L., Sidorkina, L., Joechl, M., Duerrschmid, K. Make a face! Implicit and explicit measurement of facial expressions elicited by orange juices using face reading technology. Food Qual Prefer. 32 (2014), 167-172 (2013).
- Danner, L., Haindl, S., Joechl, M., Duerrschmid, K. Facial expression and autonomous nervous system responses elicited by tasting different juices. Food Res Int. 64 (2014), 81-90 (2014).
- Arnade, E. A. . Measuring consumer emotional response to tastes and foods through facial expression analysis [thesis]. , 1-187 (2013).
- Leitch, K. A., Duncan, S. E., O’Keefe, S., Rudd, R., Gallagher, D. L. Characterizing consumer emotional response to sweeteners using an emotion terminology questionnaire and facial expression analysis. Food Res Int. 76, 283-292 (2015).
- Crist, C. A., et al. Application of emotional facial analysis technology to consumer acceptability using a basic tastes model. , (2014).
- Garcia-Burgos, D., Zamora, M. C. Facial affective reactions to bitter-tasting foods and body mass index in adults. Appetite. 71 (2013), 178-186 (2013).
- Garcia-Burgos, D., Zamora, M. C. Exploring the hedonic and incentive properties in preferences for bitter foods via self-reports, facial expressions and instrumental behaviours. Food Qual Prefer. 39 (2015), 73-81 (2015).
- Lewinski, P., Fransen, M. L., Tan, E. S. H. Predicting advertising effectiveness by facial expressions in response to amusing persuasive stimuli. J. Neurosci. Psychol. Econ. 7 (1), 1-14 (2014).
- Ekman, P., Friesen, W. V. Facial action coding system: A technique for the measurement of facial movement. , (1978).
- Viola, P., Jones, M. Rapid object detection using a boosted cascade of simple features. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern. 1, 511-518 (2001).
- Sung, K. K., Poggio, T. Example-based learning for view-based human face detection. IEEE Trans. Pattern Anal. Mach. Intell. 20 (1), 39-51 (1998).
- . . FaceReader 5™ Technical Specifications. , (2014).
- Cootes, T., Taylor, C. . Statistical models of appearance for computer vision: Technical report. , (2000).
- Bishop, C. M. . Neural networks for pattern recognition. , (1995).
- Lewinski, P., den Uyl, T. M., Butler, C. Automated facial coding: validation of basic emotions and FACS AUs in FaceReader. J. Neurosci. Psychol. Econ. 7 (4), 227-236 (2014).
- Noldus Information Technology. . FaceReader Reference Manual Version 6. , (2014).
- Alves, N. T., Fukusima, S. S., Aznar-Casanova, J. A. Models of brain asymmetry in emotional processing. Psychol Neurosci. 1 (1), 63-66 (2008).
- Costello, M., Clark, S., Clark, S., Costello, M., Drake, M., Bodyfelt, F. Preparation of samples for instructing students and staff in dairy products evaluation (Appendix F). The sensory evaluation of dairy foods. , 551-560 (2009).
- Porcherot, C., et al. How do you feel when you smell this? Optimization of a verbal measurement of odor-elicited emotions. Food Qual Prefer. 21, 938-947 (2010).
- Warrenburg, S. Effects of fragrance on emotions: Moods and physiology. Chem. Senses. 30, i248-i249 (2005).
- Bredie, W. L. P., Tan, H. S. G., Wendin, K. A comparative study on facially expressed emotions in response to basic tastes. Chem. Percept. 7 (1), 1-9 (2014).
- Wendin, K., Allesen-Holm, B. H., Bredie, L. P. Do facial reactions add new dimensions to measuring sensory responses to basic tastes?. Food Qual Prefer. 22, 346-354 (2011).
- Rosenstein, D., Oster, H. Differential facial responses to four basic tastes in newborns. Child Dev. 59 (6), 1555-1568 (1988).
- Rosenstein, D., Oster, H., P, E. k. m. a. n., E, R. o. s. e. n. b. e. r. g. Differential facial responses to four basic tastes in newborns. What the face reveals: Basic and applied studies of spontaneous expression using the facial action coding system (FACS). , 302-327 (1997).
- Rozin, P., Fallon, A. E. A perspective on disgust. Psychol. Rev. 94 (1), 23-41 (1987).
- Delarue, J., Blumenthal, D. Temporal aspects of consumer preferences. Curr. Opin. Food Sci. 3, 41-46 (2015).
- Sudre, J., Pineau, N., Loret, C., Marin, N. Comparison of methods to monitor liking of food during consumption. Food Qual Prefer. 24 (1), 179-189 (2012).
- Weiland, R., Ellgring, H., Macht, M. Gustofacial and olfactofacial responses in human adults. Chem. Senses. 35 (9), 841-853 (2010).
- Ekman, P., Cole, J. Universal and cultural differences in facial expressions of emotion. Nebraska symposium on motivation. , 207-283 (1971).
- Griemel, E., Macht, M., Krumhuber, E., Ellgring, H. Facial and affective reactions to tastes and their modulation by sadness and joy. Physiol Behav. 89 (2), 261-269 (2006).
