Protocol voor gegevensverzameling en analyse Toegepast op Automated Gezichtsuitdrukking Analysis Technology and Temporal Analysis voor de sensorische evaluatie
Summary
Een protocol voor het verzamelen en statistisch analyseren emotionele reactie van een populatie aan dranken en vloeibare voedingsmiddelen in een sensorische evaluatie laboratorium met geautomatiseerde gezichtsuitdrukking analysesoftware wordt beschreven.
Abstract
We demonstrate a method for capturing emotional response to beverages and liquefied foods in a sensory evaluation laboratory using automated facial expression analysis (AFEA) software. Additionally, we demonstrate a method for extracting relevant emotional data output and plotting the emotional response of a population over a specified time frame. By time pairing each participant’s treatment response to a control stimulus (baseline), the overall emotional response over time and across multiple participants can be quantified. AFEA is a prospective analytical tool for assessing unbiased response to food and beverages. At present, most research has mainly focused on beverages. Methodologies and analyses have not yet been standardized for the application of AFEA to beverages and foods; however, a consistent standard methodology is needed. Optimizing video capture procedures and resulting video quality aids in a successful collection of emotional response to foods. Furthermore, the methodology of data analysis is novel for extracting the pertinent data relevant to the emotional response. The combinations of video capture optimization and data analysis will aid in standardizing the protocol for automated facial expression analysis and interpretation of emotional response data.
Introduction
Geautomatiseerde gezichtsuitdrukking analyse (Afea) is een prospectieve analyse-instrument voor het karakteriseren van emotionele reacties op dranken en voedingsmiddelen. Emotionele analyse kan een extra dimensie toe te voegen aan bestaande zintuiglijke wetenschap methodologieën, evaluatie voedsel praktijken en hedonistische schaal ratings meestal gebruikt zowel in onderzoek en industrie instellingen. Emotionele analyse zou een extra gegeven dat een nauwkeuriger reactie op voedingsmiddelen en dranken openbaart verlenen. Hedonistische scoren kan deelnemer vertekening onder meer te wijten aan gebrek aan reacties 1 op te nemen.
Afea onderzoek is gebruikt in veel onderzoek toepassingen, zoals computer games, het gedrag van gebruikers, onderwijs / pedagogie, psychologie en studies op empathie en bedrog. De meeste voedsel geassocieerd onderzoek heeft zich gericht op het karakteriseren van emotionele reactie op de kwaliteit van levensmiddelen en menselijk gedrag met voedsel. Met de recente trend in het verkrijgen van inzicht in voedsel gedrag, een groeiende hoeveelheid literatuur rapporten gebruiken van Afeavoor het karakteriseren van de menselijke emotionele respons in verband met voedingsmiddelen, dranken, en geurstoffen 1-12.
Afea is afgeleid van het Facial Action Coding System (FACS). De facial actie coderingssysteem (FACS) discrimineert gezicht bewegingen gekenmerkt door actie eenheden (AUS) op een 5-punts intensiteit schaal 13. De FACS aanpak vereist getrainde beoordeling experts, handmatige codering, aanzienlijke evaluatie tijd, en biedt beperkte data-analyse opties. Afea werd ontwikkeld als een snelle evaluatie methode om emoties te bepalen. Afea software is gebaseerd op het gezicht spierbewegingen, gezichts databases en algoritmen om de emotionele reactie 14-18 karakteriseren. De Afea software die wordt gebruikt in deze studie bereikte een "FACS index van overeenstemming van 0,67 gemiddeld op zowel de Warsaw Set van emotionele gelaatsuitdrukkingen Pictures (WSEFEP) en Amsterdam Dynamic Gezichtsuitdrukking Set (ADFES), dat dicht bij een modelovereenkomst van 0,70 voor handmatige codering "19 </sup>. Universele emoties opgenomen in de analyse zijn blij (positief), verdrietig (negatief), walgen (negatief), verrast (positief of negatief), boos (negatief), bang (negatief) en neutrale elk op een aparte schaal van 0 tot 1 ( 0 = niet uitgedrukt; 1 = volledig uitgedrukt) 20. Bovendien, psychologie literatuur omvat blij, verrast en boos als "aanpak" emoties (in de richting van stimuli) en verdrietig, bang, en verontwaardigd als "terugtrekking" emoties (weg van aversieve stimuli) 21.
Een beperking van de huidige Afea software voor het karakteriseren emotionele verwerking voedingsmiddelen interferentie van gezicht bewegingen geassocieerd met kauwen en slikken en andere grove motorische bewegingen, zoals extreme hoofdbewegingen. De software richt zich op kleinere gezicht gespierde bewegingen, met betrekking positie en de mate van beweging, gebaseerd op meer dan 500 spieren punten op het gezicht 16,17. Kauwen bewegingen interfereren met de indeling van uitdrukkingen. deze limietatie kunnen worden aangepakt met behulp van vloeibaar voedsel. Maar ook andere methodologie uitdagingen ook video-gevoeligheid en Afea analyse met inbegrip van het verzamelen van gegevens milieu, technologie, onderzoeker instructies, deelnemer gedrag en deelnemer attributen afnemen.
Een standaard methode is niet ontwikkeld en gecontroleerd voor een optimale video-opname en data-analyse met behulp van Afea voor emotionele reactie op voedingsmiddelen en dranken in een sensorische evaluatie laboratorium setting. Veel aspecten kunnen hebben voor de video-opname-omgeving, waaronder verlichting, shadowing gevolg van verlichting, deelnemer richtingen, deelnemer gedrag, deelnemer hoogte, evenals, camera hoogte, camera vissen, en apparatuur instellingen. Bovendien, data-analyse methoden zijn inconsistent en missen een standaardmethode voor het beoordelen van emotionele reactie. Hier zullen wij onze standaard procedure aan te tonen voor het vastleggen van emotionele data en verwerken van gegevens in zinvolle resultaten met behulp van dranken (gearomatiseerde melk, unflavored melk en unflavored water) voor evaluatie. Voor zover wij weten slechts een peer-reviewed publicatie van ons lab groep heeft gebruikt tijdreeksen voor interpretatie van gegevens voor emoties analyse 8; Echter, de werkwijze bijgewerkt voor onze onderhavige methode. Ons doel is om een verbeterde en consistente methode om met een reproduceerbaarheid in sensorische evaluatie laboratoriumomgeving ontwikkelen. Voor demonstratie, het doel van de studie model is om te evalueren of Afea kon aanvullen traditionele hedonistische aanvaardbaarheid beoordeling van gearomatiseerde melk, unflavored melk en unflavored water. De bedoeling van deze video protocol is om te helpen bij het vaststellen Afea methodologie, de standaardisering van video capture criteria in een sensorische evaluatie laboratorium (zintuiglijke stand instelling), en illustreren een methode voor het tijdelijke emotionele data-analyse van een populatie.
Protocol
Representative Results
Discussion
Afea toepassing in de literatuur met betrekking tot eten en drinken is zeer beperkt 1-11. Het verzoek tot eten is nieuw, het creëren van een kans voor vaststelling van de methodologie en interpretatie van de gegevens. Arnade (2013) 7 gevonden hoge variabiliteit tussen individuele emotionele reactie op chocolade melk en witte melk met behulp van het gebied onder de curve analyse en variantie-analyse. Maar zelfs met deelnemer variabiliteit deelnemers gegenereerd een gelukkig reactie langer terwijl v…
Disclosures
The authors have nothing to disclose.
Acknowledgements
This project was funded, in part, by ConAgra Foods (Omaha, NE, USA), the Virginia Agricultural Experiment Station, the Hatch Program of the National Institute of Food and Agriculture, U.S. Department of Agriculture, and the Virginia Tech Water INTERface Interdisciplinary Graduate Education Program.
Materials
| 2% Reduced Fat Milk | Kroger Brand, Cincinnati, OH or DZA Brands, LLC, Salisbury, NC | na | for solutions |
| Drinking Water | Kroger Brand, Cincinnati, OH | na | for solutions |
| Imitation Clear Vanilla Flavor | Kroger Brand, Cincinnati, OH | na | for solutions |
| Iodized Salt | Kroger Brand, Cincinnati, OH | na | for solutions |
| FaceReader 6 | Noldus Information Technology, Wageningen, The Netherlands | na | For Facial Analysis |
| Sensory Information Management System (SIMS) 2000 | Sensory Computer Systems, Berkeley Heights, NJ | Version 6 | For Sensory Data Capture |
| Rhapsody | Acuity Brands Lighting, Inc., Conyers, GA | For Environment Illumination | |
| R Version | R Core Team 2015 | 3.1.1 | For Statistical Analysis |
| Microsoft Office | Microsoft | na | For Statistical Analysis |
| JMP | Statistical Analysis Software (SAS) Version 9.2, SAS Institute, Cary, NC | na | For Statistical Analysis |
| Media Recorder 2.5 | Noldus Information Technology, Wageningen, The Netherlands | na | For capturing participants sensory evaluation |
| Axis M1054 Camera | Axis Communications, Lund, Sweden | na | |
| Beverage | na | Beverage or soft food for evaluation |
References
- De Wijk, R. A., Kooijman, V., Verhoeven, R. H. G., Holthuysen, N. T. E., De Graaf, C. Autonomic nervous system responses on and facial expressions to the sight, smell, and taste of liked and disliked foods. Food Qual Prefer. 26 (2), 196-203 (2012).
- De Wijk, R. A., He, W., Mensink, M. G. J., Verhoeven, R. H. G., De Graaf, C. ANS responses and facial expression differentiate between the taste of commercial breakfast drinks. PLoS ONE. 9 (4), 1-9 (2014).
- He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. Behavioural and physiological responses to two food odours. Appetite. 59 (2), 628 (2012).
- He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. Dynamics of autonomic nervous system responses and facial expressions to odors. Front Psychol. 5 (110), 1-8 (2014).
- Danner, L., Sidorkina, L., Joechl, M., Duerrschmid, K. Make a face! Implicit and explicit measurement of facial expressions elicited by orange juices using face reading technology. Food Qual Prefer. 32 (2014), 167-172 (2013).
- Danner, L., Haindl, S., Joechl, M., Duerrschmid, K. Facial expression and autonomous nervous system responses elicited by tasting different juices. Food Res Int. 64 (2014), 81-90 (2014).
- Arnade, E. A. . Measuring consumer emotional response to tastes and foods through facial expression analysis [thesis]. , 1-187 (2013).
- Leitch, K. A., Duncan, S. E., O’Keefe, S., Rudd, R., Gallagher, D. L. Characterizing consumer emotional response to sweeteners using an emotion terminology questionnaire and facial expression analysis. Food Res Int. 76, 283-292 (2015).
- Crist, C. A., et al. Application of emotional facial analysis technology to consumer acceptability using a basic tastes model. , (2014).
- Garcia-Burgos, D., Zamora, M. C. Facial affective reactions to bitter-tasting foods and body mass index in adults. Appetite. 71 (2013), 178-186 (2013).
- Garcia-Burgos, D., Zamora, M. C. Exploring the hedonic and incentive properties in preferences for bitter foods via self-reports, facial expressions and instrumental behaviours. Food Qual Prefer. 39 (2015), 73-81 (2015).
- Lewinski, P., Fransen, M. L., Tan, E. S. H. Predicting advertising effectiveness by facial expressions in response to amusing persuasive stimuli. J. Neurosci. Psychol. Econ. 7 (1), 1-14 (2014).
- Ekman, P., Friesen, W. V. Facial action coding system: A technique for the measurement of facial movement. , (1978).
- Viola, P., Jones, M. Rapid object detection using a boosted cascade of simple features. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern. 1, 511-518 (2001).
- Sung, K. K., Poggio, T. Example-based learning for view-based human face detection. IEEE Trans. Pattern Anal. Mach. Intell. 20 (1), 39-51 (1998).
- . . FaceReader 5™ Technical Specifications. , (2014).
- Cootes, T., Taylor, C. . Statistical models of appearance for computer vision: Technical report. , (2000).
- Bishop, C. M. . Neural networks for pattern recognition. , (1995).
- Lewinski, P., den Uyl, T. M., Butler, C. Automated facial coding: validation of basic emotions and FACS AUs in FaceReader. J. Neurosci. Psychol. Econ. 7 (4), 227-236 (2014).
- Noldus Information Technology. . FaceReader Reference Manual Version 6. , (2014).
- Alves, N. T., Fukusima, S. S., Aznar-Casanova, J. A. Models of brain asymmetry in emotional processing. Psychol Neurosci. 1 (1), 63-66 (2008).
- Costello, M., Clark, S., Clark, S., Costello, M., Drake, M., Bodyfelt, F. Preparation of samples for instructing students and staff in dairy products evaluation (Appendix F). The sensory evaluation of dairy foods. , 551-560 (2009).
- Porcherot, C., et al. How do you feel when you smell this? Optimization of a verbal measurement of odor-elicited emotions. Food Qual Prefer. 21, 938-947 (2010).
- Warrenburg, S. Effects of fragrance on emotions: Moods and physiology. Chem. Senses. 30, i248-i249 (2005).
- Bredie, W. L. P., Tan, H. S. G., Wendin, K. A comparative study on facially expressed emotions in response to basic tastes. Chem. Percept. 7 (1), 1-9 (2014).
- Wendin, K., Allesen-Holm, B. H., Bredie, L. P. Do facial reactions add new dimensions to measuring sensory responses to basic tastes?. Food Qual Prefer. 22, 346-354 (2011).
- Rosenstein, D., Oster, H. Differential facial responses to four basic tastes in newborns. Child Dev. 59 (6), 1555-1568 (1988).
- Rosenstein, D., Oster, H., P, E. k. m. a. n., E, R. o. s. e. n. b. e. r. g. Differential facial responses to four basic tastes in newborns. What the face reveals: Basic and applied studies of spontaneous expression using the facial action coding system (FACS). , 302-327 (1997).
- Rozin, P., Fallon, A. E. A perspective on disgust. Psychol. Rev. 94 (1), 23-41 (1987).
- Delarue, J., Blumenthal, D. Temporal aspects of consumer preferences. Curr. Opin. Food Sci. 3, 41-46 (2015).
- Sudre, J., Pineau, N., Loret, C., Marin, N. Comparison of methods to monitor liking of food during consumption. Food Qual Prefer. 24 (1), 179-189 (2012).
- Weiland, R., Ellgring, H., Macht, M. Gustofacial and olfactofacial responses in human adults. Chem. Senses. 35 (9), 841-853 (2010).
- Ekman, P., Cole, J. Universal and cultural differences in facial expressions of emotion. Nebraska symposium on motivation. , 207-283 (1971).
- Griemel, E., Macht, M., Krumhuber, E., Ellgring, H. Facial and affective reactions to tastes and their modulation by sadness and joy. Physiol Behav. 89 (2), 261-269 (2006).
