Protocole de collecte de données et d'analyse appliquée à la technologie d'analyse de l'expression du visage automatisé et analyse temporelle pour l'évaluation sensorielle
Summary
Un protocole pour la capture et l'analyse statistique de la réponse émotionnelle d'une population de boissons et d'aliments liquéfié dans un laboratoire d'analyse sensorielle en utilisant un logiciel d'analyse d'expression faciale automatisée est décrite.
Abstract
We demonstrate a method for capturing emotional response to beverages and liquefied foods in a sensory evaluation laboratory using automated facial expression analysis (AFEA) software. Additionally, we demonstrate a method for extracting relevant emotional data output and plotting the emotional response of a population over a specified time frame. By time pairing each participant’s treatment response to a control stimulus (baseline), the overall emotional response over time and across multiple participants can be quantified. AFEA is a prospective analytical tool for assessing unbiased response to food and beverages. At present, most research has mainly focused on beverages. Methodologies and analyses have not yet been standardized for the application of AFEA to beverages and foods; however, a consistent standard methodology is needed. Optimizing video capture procedures and resulting video quality aids in a successful collection of emotional response to foods. Furthermore, the methodology of data analysis is novel for extracting the pertinent data relevant to the emotional response. The combinations of video capture optimization and data analysis will aid in standardizing the protocol for automated facial expression analysis and interpretation of emotional response data.
Introduction
analyse de l'expression du visage automatique (AFEA) est un outil d'analyse prospective pour caractériser les réponses émotionnelles à des boissons et des aliments. analyse émotionnelle peut ajouter une dimension supplémentaire aux méthodologies existantes sensorielles scientifiques, les pratiques d'évaluation des aliments et évaluations à l'échelle hédonique généralement utilisé à la fois dans les milieux de la recherche et de l'industrie. analyse émotionnelle pourrait fournir une mesure supplémentaire qui révèle une réponse plus précise aux aliments et aux boissons. Notation hédonique peut comprendre le biais des participants en raison de l' échec d'enregistrer les réactions 1.
la recherche AFEA a été utilisé dans de nombreuses applications de recherche, y compris les jeux d'ordinateur, le comportement de l'utilisateur, l'éducation / pédagogie et des études de psychologie sur l'empathie et la tromperie. La plupart des recherches de la nourriture associée a mis l'accent sur la caractérisation réponse émotionnelle à la qualité des aliments et le comportement humain avec de la nourriture. Avec la récente tendance à obtenir un aperçu des comportements alimentaires, un nombre croissant de rapports de la littérature utilisent des AFEApour caractériser la réponse émotionnelle humaine associés aux aliments, boissons et odorants 1-12.
AFEA est dérivé de l'action du système de codage facial (FACS). Le système de codage d'action du visage (FACS) discrimine les mouvements du visage , caractérisé par des unités d'action (AUS) sur une échelle d'intensité de 5 points 13. L'approche FACS exige des experts d'examen formés, le codage manuel, temps d'évaluation significative, et fournit des options limitées d'analyse des données. AFEA a été développé comme une méthode d'évaluation rapide pour déterminer les émotions. AFEA logiciel repose sur les mouvements du visage musculaire, les bases de données du visage, et des algorithmes pour caractériser la réponse émotionnelle 14-18. Le logiciel AFEA utilisé dans cette étude a atteint un «indice FACS d'un accord de 0,67 en moyenne, à la fois sur l'Ensemble de Varsovie de Emotional Photos Facial Expression (WSEFEP) et Amsterdam dynamique Visage expressif Set (ADFES), qui est proche d'un accord type de 0,70 pour le codage manuel "19 </sup>. émotions universelles incluses dans l'analyse sont heureux (positif), triste (négatif), dégoûté (négatif), surpris (positif ou négatif), en colère (négatif), effrayé (négatif) et neutre chacun sur une échelle distincte de 0 à 1 ( 0 = pas exprimé; 1 = entièrement exprimé) 20. En outre, la littérature de la psychologie comprend heureux, surpris et en colère que les émotions "approche" (vers stimuli) et triste, effrayé, et dégoûté que les émotions de «sevrage» (loin de stimuli aversif) 21.
Une limitation du logiciel AFEA courant pour caractériser les émotions associées à des aliments est l'interférence des mouvements du visage associés à la mastication et la déglutition ainsi que d'autres mouvements de motricité globale, tels que les mouvements de la tête extrêmes. Le logiciel cible des mouvements plus petits visage musculaires, la position relative et le degré de mouvement, basé sur plus de 500 points de muscle sur le visage 16,17. Chewing mouvements interfèrent avec la classification des expressions. Cette limiteation peut être traitée en utilisant des aliments liquéfiés. Cependant, d'autres défis méthodologiques peuvent également diminuer la sensibilité de la vidéo et de l'analyse AFEA y compris l'environnement de données de collecte, de la technologie, des instructions de chercheur, le comportement des participants, et participant attributs.
Une méthodologie standard n'a pas été mis au point et vérifié pour la capture vidéo optimale et l'analyse des données en utilisant AFEA pour une réponse émotionnelle à des aliments et des boissons dans un environnement de laboratoire d'évaluation sensorielle. De nombreux aspects peuvent affecter l'environnement de capture vidéo, y compris l'éclairage, ombrage en raison de l'éclairage, les directions des participants, le comportement des participants, la hauteur des participants, ainsi que, la hauteur de la caméra, appareil photo pêche à la ligne, et les réglages de l'équipement. En outre, les méthodes d'analyse des données sont incohérentes et manquent d'une méthodologie standard pour l'évaluation de la réponse émotionnelle. Ici, nous allons démontrer notre procédure d'exploitation standard pour la capture de données de données et de traitement émotionnel dans des résultats significatifs à l'aide de boissons (lait aromatisé, le lait et l'eau unflavored unflavored) pour l'évaluation. À notre connaissance , un seul examen par les pairs publication, de notre groupe de laboratoire, a utilisé des séries chronologiques pour l' interprétation des données pour l' analyse des émotions 8; Cependant, la méthode a été mise à jour pour notre méthode présentée. Notre objectif est de développer une méthodologie améliorée et cohérente pour aider à la reproductibilité dans un laboratoire d'évaluation sensorielle. Pour la démonstration, l'objectif du modèle d'étude est d'évaluer si AFEA pourrait compléter l'évaluation de l'acceptabilité hédonique traditionnelle du lait aromatisé, le lait et l'eau unflavored unflavored. Le but de ce protocole vidéo est d'aider à établir la méthodologie de AFEA, normaliser les critères de capture vidéo dans un laboratoire d'évaluation sensorielle (réglage de la cabine sensorielle), et illustrent une méthode pour émotionnelle analyse temporelle des données d'une population.
Protocol
Representative Results
Discussion
AFEA application dans la littérature liée à la nourriture et des boissons est très limitée 1-11. L'application à l'alimentation est nouvelle, créant ainsi une opportunité pour établir la méthodologie et l'interprétation des données. Arnade (2013) 7 ont trouvé une grande variabilité individuelle entre réponse émotionnelle individuelle au lait au chocolat et le lait blanc en utilisant l' aire sous l'analyse et de l' analyse de la variance courbe. Cependant, mê…
Disclosures
The authors have nothing to disclose.
Acknowledgements
This project was funded, in part, by ConAgra Foods (Omaha, NE, USA), the Virginia Agricultural Experiment Station, the Hatch Program of the National Institute of Food and Agriculture, U.S. Department of Agriculture, and the Virginia Tech Water INTERface Interdisciplinary Graduate Education Program.
Materials
| 2% Reduced Fat Milk | Kroger Brand, Cincinnati, OH or DZA Brands, LLC, Salisbury, NC | na | for solutions |
| Drinking Water | Kroger Brand, Cincinnati, OH | na | for solutions |
| Imitation Clear Vanilla Flavor | Kroger Brand, Cincinnati, OH | na | for solutions |
| Iodized Salt | Kroger Brand, Cincinnati, OH | na | for solutions |
| FaceReader 6 | Noldus Information Technology, Wageningen, The Netherlands | na | For Facial Analysis |
| Sensory Information Management System (SIMS) 2000 | Sensory Computer Systems, Berkeley Heights, NJ | Version 6 | For Sensory Data Capture |
| Rhapsody | Acuity Brands Lighting, Inc., Conyers, GA | For Environment Illumination | |
| R Version | R Core Team 2015 | 3.1.1 | For Statistical Analysis |
| Microsoft Office | Microsoft | na | For Statistical Analysis |
| JMP | Statistical Analysis Software (SAS) Version 9.2, SAS Institute, Cary, NC | na | For Statistical Analysis |
| Media Recorder 2.5 | Noldus Information Technology, Wageningen, The Netherlands | na | For capturing participants sensory evaluation |
| Axis M1054 Camera | Axis Communications, Lund, Sweden | na | |
| Beverage | na | Beverage or soft food for evaluation |
References
- De Wijk, R. A., Kooijman, V., Verhoeven, R. H. G., Holthuysen, N. T. E., De Graaf, C. Autonomic nervous system responses on and facial expressions to the sight, smell, and taste of liked and disliked foods. Food Qual Prefer. 26 (2), 196-203 (2012).
- De Wijk, R. A., He, W., Mensink, M. G. J., Verhoeven, R. H. G., De Graaf, C. ANS responses and facial expression differentiate between the taste of commercial breakfast drinks. PLoS ONE. 9 (4), 1-9 (2014).
- He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. Behavioural and physiological responses to two food odours. Appetite. 59 (2), 628 (2012).
- He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. Dynamics of autonomic nervous system responses and facial expressions to odors. Front Psychol. 5 (110), 1-8 (2014).
- Danner, L., Sidorkina, L., Joechl, M., Duerrschmid, K. Make a face! Implicit and explicit measurement of facial expressions elicited by orange juices using face reading technology. Food Qual Prefer. 32 (2014), 167-172 (2013).
- Danner, L., Haindl, S., Joechl, M., Duerrschmid, K. Facial expression and autonomous nervous system responses elicited by tasting different juices. Food Res Int. 64 (2014), 81-90 (2014).
- Arnade, E. A. . Measuring consumer emotional response to tastes and foods through facial expression analysis [thesis]. , 1-187 (2013).
- Leitch, K. A., Duncan, S. E., O’Keefe, S., Rudd, R., Gallagher, D. L. Characterizing consumer emotional response to sweeteners using an emotion terminology questionnaire and facial expression analysis. Food Res Int. 76, 283-292 (2015).
- Crist, C. A., et al. Application of emotional facial analysis technology to consumer acceptability using a basic tastes model. , (2014).
- Garcia-Burgos, D., Zamora, M. C. Facial affective reactions to bitter-tasting foods and body mass index in adults. Appetite. 71 (2013), 178-186 (2013).
- Garcia-Burgos, D., Zamora, M. C. Exploring the hedonic and incentive properties in preferences for bitter foods via self-reports, facial expressions and instrumental behaviours. Food Qual Prefer. 39 (2015), 73-81 (2015).
- Lewinski, P., Fransen, M. L., Tan, E. S. H. Predicting advertising effectiveness by facial expressions in response to amusing persuasive stimuli. J. Neurosci. Psychol. Econ. 7 (1), 1-14 (2014).
- Ekman, P., Friesen, W. V. Facial action coding system: A technique for the measurement of facial movement. , (1978).
- Viola, P., Jones, M. Rapid object detection using a boosted cascade of simple features. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern. 1, 511-518 (2001).
- Sung, K. K., Poggio, T. Example-based learning for view-based human face detection. IEEE Trans. Pattern Anal. Mach. Intell. 20 (1), 39-51 (1998).
- . . FaceReader 5™ Technical Specifications. , (2014).
- Cootes, T., Taylor, C. . Statistical models of appearance for computer vision: Technical report. , (2000).
- Bishop, C. M. . Neural networks for pattern recognition. , (1995).
- Lewinski, P., den Uyl, T. M., Butler, C. Automated facial coding: validation of basic emotions and FACS AUs in FaceReader. J. Neurosci. Psychol. Econ. 7 (4), 227-236 (2014).
- Noldus Information Technology. . FaceReader Reference Manual Version 6. , (2014).
- Alves, N. T., Fukusima, S. S., Aznar-Casanova, J. A. Models of brain asymmetry in emotional processing. Psychol Neurosci. 1 (1), 63-66 (2008).
- Costello, M., Clark, S., Clark, S., Costello, M., Drake, M., Bodyfelt, F. Preparation of samples for instructing students and staff in dairy products evaluation (Appendix F). The sensory evaluation of dairy foods. , 551-560 (2009).
- Porcherot, C., et al. How do you feel when you smell this? Optimization of a verbal measurement of odor-elicited emotions. Food Qual Prefer. 21, 938-947 (2010).
- Warrenburg, S. Effects of fragrance on emotions: Moods and physiology. Chem. Senses. 30, i248-i249 (2005).
- Bredie, W. L. P., Tan, H. S. G., Wendin, K. A comparative study on facially expressed emotions in response to basic tastes. Chem. Percept. 7 (1), 1-9 (2014).
- Wendin, K., Allesen-Holm, B. H., Bredie, L. P. Do facial reactions add new dimensions to measuring sensory responses to basic tastes?. Food Qual Prefer. 22, 346-354 (2011).
- Rosenstein, D., Oster, H. Differential facial responses to four basic tastes in newborns. Child Dev. 59 (6), 1555-1568 (1988).
- Rosenstein, D., Oster, H., P, E. k. m. a. n., E, R. o. s. e. n. b. e. r. g. Differential facial responses to four basic tastes in newborns. What the face reveals: Basic and applied studies of spontaneous expression using the facial action coding system (FACS). , 302-327 (1997).
- Rozin, P., Fallon, A. E. A perspective on disgust. Psychol. Rev. 94 (1), 23-41 (1987).
- Delarue, J., Blumenthal, D. Temporal aspects of consumer preferences. Curr. Opin. Food Sci. 3, 41-46 (2015).
- Sudre, J., Pineau, N., Loret, C., Marin, N. Comparison of methods to monitor liking of food during consumption. Food Qual Prefer. 24 (1), 179-189 (2012).
- Weiland, R., Ellgring, H., Macht, M. Gustofacial and olfactofacial responses in human adults. Chem. Senses. 35 (9), 841-853 (2010).
- Ekman, P., Cole, J. Universal and cultural differences in facial expressions of emotion. Nebraska symposium on motivation. , 207-283 (1971).
- Griemel, E., Macht, M., Krumhuber, E., Ellgring, H. Facial and affective reactions to tastes and their modulation by sadness and joy. Physiol Behav. 89 (2), 261-269 (2006).
