Protokol for Dataindsamling og analyse Anvendt til Automatiseret Facial Expression Analyse Teknologi og Temporal Analyse for Sanse Evaluering
Summary
En protokol til at opfange og statistisk analyse af følelsesmæssig reaktion af en befolkning til drikkevarer og flydende fødevarer i en sensorisk bedømmelse laboratorium ved hjælp automatiseret ansigtsudtryk analyse software er beskrevet.
Abstract
We demonstrate a method for capturing emotional response to beverages and liquefied foods in a sensory evaluation laboratory using automated facial expression analysis (AFEA) software. Additionally, we demonstrate a method for extracting relevant emotional data output and plotting the emotional response of a population over a specified time frame. By time pairing each participant’s treatment response to a control stimulus (baseline), the overall emotional response over time and across multiple participants can be quantified. AFEA is a prospective analytical tool for assessing unbiased response to food and beverages. At present, most research has mainly focused on beverages. Methodologies and analyses have not yet been standardized for the application of AFEA to beverages and foods; however, a consistent standard methodology is needed. Optimizing video capture procedures and resulting video quality aids in a successful collection of emotional response to foods. Furthermore, the methodology of data analysis is novel for extracting the pertinent data relevant to the emotional response. The combinations of video capture optimization and data analysis will aid in standardizing the protocol for automated facial expression analysis and interpretation of emotional response data.
Introduction
Automatiseret ansigtsudtryk analyse (Afea) er et prospektivt analytisk redskab til at karakterisere følelsesmæssige reaktioner på drikkevarer og fødevarer. Følelsesmæssig analyse kan tilføje en ekstra dimension til eksisterende sensoriske videnskab metoder, evaluering mad praksis og hedoniske skala ratings typisk anvendes både i indstillinger forskning og industri. Følelsesmæssig analyse kunne give en ekstra metrik, som afslører en mere præcis reaktion på fødevarer og drikkevarer. Hedoniske scoring kan omfatte deltager skævhed som følge af manglende optage reaktioner 1.
Afea forskning er blevet brugt i mange forskningsansøgninger, herunder computerspil, brugeradfærd, uddannelse / pædagogik og psykologi undersøgelser af empati og bedrag. Det meste mad-associeret forskning har fokuseret på karakterisering af følelsesmæssig reaktion på fødevarekvalitet og menneskelig adfærd med mad. Med den seneste tendens i at få indsigt i fødevarer adfærd, en voksende mængde af litteratur rapporter bruger af Afeatil karakterisering af det menneskelige følelsesmæssige reaktion ved fødevarer, drikkevarer og lugtstoffer 1-12.
Afea er afledt af Facial Action Coding System (FACS). Den facial handling kodesystem (FACS) diskriminerer ansigts bevægelser karakteriseret ved action enheder (AUS) på en 5-punkts intensitet skalaen 13. Den FACS tilgang kræver uddannede anmeldelse eksperter, manuel kodning, betydelig evaluering tid, og giver begrænsede data analysemuligheder. Afea blev udviklet som en hurtig evaluering metode til bestemmelse følelser. Afea software er afhængig af facial muskuløs bevægelse, ansigts databaser og algoritmer til at karakterisere den følelsesmæssige reaktion 14-18. Den Afea software, der anvendes i denne undersøgelse nåede et "FACS indeks over aftalen af 0,67 i gennemsnit på både Warszawa Sæt af Emotional ansigtsudtryk Billeder (WSEFEP) og Amsterdam Dynamisk Facial Expression Set (ADFES), hvilket er tæt på en standardaftale på 0,70 til manuel kodning "19 </sup>. Universal følelser indgår i analysen er glade (positiv), trist (negativ), væmmes (negativ), overrasket (positivt eller negativt), vred (negativ), bange (negativ) og neutral hver på en separat skala fra 0 til 1 ( 0 = ikke udtrykkes, 1 = fuldt udtrykt) 20. Desuden psykologi litteratur omfatter glad, overrasket og vred som "metode" følelser (mod stimuli) og trist, bange, og væmmes som "tilbagetrækning" følelser (væk fra afskrækningsmiddel stimuli) 21.
En begrænsning ved det nuværende Afea software til karakterisering følelser forbundet med fødevarer er interferens fra ansigts bevægelser er forbundet med at tygge og synke samt andre grovmotoriske bevægelser, såsom ekstreme hovedbevægelser. Softwaren er rettet mod mindre facial muskuløse bevægelser, der vedrører position og graden af bevægelse, baseret på over 500 muskel punkter på ansigtet 16,17. Chewing bevægelser forstyrrer klassificering af udtryk. Denne grænseation kan rettes ved hjælp af flydende fødevarer. Imidlertid kan andre metoder udfordringer også falde video følsomhed og Afea analyse, herunder dataindsamling miljø, teknologi, forsker instruktioner, deltager adfærd, og deltager attributter.
En standardmetode er ikke blevet udviklet og kontrolleret for optimal videooptagelse og dataanalyse ved hjælp Afea for følelsesmæssig reaktion på fødevarer og drikkevarer i en sensorisk bedømmelse laboratorium indstilling. Mange aspekter kan påvirke videooptagelse miljøet, herunder belysning, shadowing grundet belysning, deltager retninger, deltager adfærd, deltager højde, samt, kamera højde, kamera lystfiskeri, og indstillinger udstyr. Desuden data analysemetoder er uforenelige, og mangler en standard metode til vurdering følelsesmæssig reaktion. Her vil vi demonstrere vores standardprocedure til at opfange emotionelle data og behandling af data i meningsfulde resultater ved hjælp af drikkevarer (aromatiseret mælk, unflavored mælk og unflavored vand) til evaluering. Til vores viden kun én peer reviewed publikation, fra vores laboratorium gruppe, har udnyttet tidsserier for data tolkning for følelser analyse 8; imidlertid har metoden blevet opdateret til vores foreliggende fremgangsmåde. Vores mål er at udvikle en forbedret og konsekvent metode til at hjælpe med reproducerbarhed i en sensorisk bedømmelse laboratorium indstilling. For demonstration, at formålet med undersøgelsen modellen er at vurdere, om Afea kan supplere traditionel hedoniske accept vurdering af aromatiseret mælk, unflavored mælk og unflavored vand. Hensigten med denne video protokol er at hjælpe med at etablere Afea metode, standardisere video capture kriterier i en sensorisk bedømmelse laboratorium (sensorisk kabine indstilling), og illustrere en metode til tidsmæssig følelsesmæssige dataanalyse af en population.
Protocol
Representative Results
Discussion
Afea ansøgning i litteraturen relateret til mad og drikke er meget begrænset 1-11. Ansøgningen til fødevarer er nyt, hvilket skaber mulighed for etablering af metodologi og data fortolkning. Arnade (2013) 7 fundet høj individuel variation blandt individuelle følelsesmæssige respons på kakaomælk og hvid mælk ved hjælp areal under kurven analyse og analyse af varians. Men selv med deltageren variabilitet, deltagerne genererede en glad reaktion længere mens trist og væmmes havde kortere t…
Offenlegungen
The authors have nothing to disclose.
Acknowledgements
This project was funded, in part, by ConAgra Foods (Omaha, NE, USA), the Virginia Agricultural Experiment Station, the Hatch Program of the National Institute of Food and Agriculture, U.S. Department of Agriculture, and the Virginia Tech Water INTERface Interdisciplinary Graduate Education Program.
Materials
| 2% Reduced Fat Milk | Kroger Brand, Cincinnati, OH or DZA Brands, LLC, Salisbury, NC | na | for solutions |
| Drinking Water | Kroger Brand, Cincinnati, OH | na | for solutions |
| Imitation Clear Vanilla Flavor | Kroger Brand, Cincinnati, OH | na | for solutions |
| Iodized Salt | Kroger Brand, Cincinnati, OH | na | for solutions |
| FaceReader 6 | Noldus Information Technology, Wageningen, The Netherlands | na | For Facial Analysis |
| Sensory Information Management System (SIMS) 2000 | Sensory Computer Systems, Berkeley Heights, NJ | Version 6 | For Sensory Data Capture |
| Rhapsody | Acuity Brands Lighting, Inc., Conyers, GA | For Environment Illumination | |
| R Version | R Core Team 2015 | 3.1.1 | For Statistical Analysis |
| Microsoft Office | Microsoft | na | For Statistical Analysis |
| JMP | Statistical Analysis Software (SAS) Version 9.2, SAS Institute, Cary, NC | na | For Statistical Analysis |
| Media Recorder 2.5 | Noldus Information Technology, Wageningen, The Netherlands | na | For capturing participants sensory evaluation |
| Axis M1054 Camera | Axis Communications, Lund, Sweden | na | |
| Beverage | na | Beverage or soft food for evaluation |
Referenzen
- De Wijk, R. A., Kooijman, V., Verhoeven, R. H. G., Holthuysen, N. T. E., De Graaf, C. Autonomic nervous system responses on and facial expressions to the sight, smell, and taste of liked and disliked foods. Food Qual Prefer. 26 (2), 196-203 (2012).
- De Wijk, R. A., He, W., Mensink, M. G. J., Verhoeven, R. H. G., De Graaf, C. ANS responses and facial expression differentiate between the taste of commercial breakfast drinks. PLoS ONE. 9 (4), 1-9 (2014).
- He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. Behavioural and physiological responses to two food odours. Appetite. 59 (2), 628 (2012).
- He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. Dynamics of autonomic nervous system responses and facial expressions to odors. Front Psychol. 5 (110), 1-8 (2014).
- Danner, L., Sidorkina, L., Joechl, M., Duerrschmid, K. Make a face! Implicit and explicit measurement of facial expressions elicited by orange juices using face reading technology. Food Qual Prefer. 32 (2014), 167-172 (2013).
- Danner, L., Haindl, S., Joechl, M., Duerrschmid, K. Facial expression and autonomous nervous system responses elicited by tasting different juices. Food Res Int. 64 (2014), 81-90 (2014).
- Arnade, E. A. . Measuring consumer emotional response to tastes and foods through facial expression analysis [thesis]. , 1-187 (2013).
- Leitch, K. A., Duncan, S. E., O’Keefe, S., Rudd, R., Gallagher, D. L. Characterizing consumer emotional response to sweeteners using an emotion terminology questionnaire and facial expression analysis. Food Res Int. 76, 283-292 (2015).
- Crist, C. A., et al. Application of emotional facial analysis technology to consumer acceptability using a basic tastes model. , (2014).
- Garcia-Burgos, D., Zamora, M. C. Facial affective reactions to bitter-tasting foods and body mass index in adults. Appetite. 71 (2013), 178-186 (2013).
- Garcia-Burgos, D., Zamora, M. C. Exploring the hedonic and incentive properties in preferences for bitter foods via self-reports, facial expressions and instrumental behaviours. Food Qual Prefer. 39 (2015), 73-81 (2015).
- Lewinski, P., Fransen, M. L., Tan, E. S. H. Predicting advertising effectiveness by facial expressions in response to amusing persuasive stimuli. J. Neurosci. Psychol. Econ. 7 (1), 1-14 (2014).
- Ekman, P., Friesen, W. V. Facial action coding system: A technique for the measurement of facial movement. , (1978).
- Viola, P., Jones, M. Rapid object detection using a boosted cascade of simple features. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern. 1, 511-518 (2001).
- Sung, K. K., Poggio, T. Example-based learning for view-based human face detection. IEEE Trans. Pattern Anal. Mach. Intell. 20 (1), 39-51 (1998).
- . . FaceReader 5™ Technical Specifications. , (2014).
- Cootes, T., Taylor, C. . Statistical models of appearance for computer vision: Technical report. , (2000).
- Bishop, C. M. . Neural networks for pattern recognition. , (1995).
- Lewinski, P., den Uyl, T. M., Butler, C. Automated facial coding: validation of basic emotions and FACS AUs in FaceReader. J. Neurosci. Psychol. Econ. 7 (4), 227-236 (2014).
- Noldus Information Technology. . FaceReader Reference Manual Version 6. , (2014).
- Alves, N. T., Fukusima, S. S., Aznar-Casanova, J. A. Models of brain asymmetry in emotional processing. Psychol Neurosci. 1 (1), 63-66 (2008).
- Costello, M., Clark, S., Clark, S., Costello, M., Drake, M., Bodyfelt, F. Preparation of samples for instructing students and staff in dairy products evaluation (Appendix F). The sensory evaluation of dairy foods. , 551-560 (2009).
- Porcherot, C., et al. How do you feel when you smell this? Optimization of a verbal measurement of odor-elicited emotions. Food Qual Prefer. 21, 938-947 (2010).
- Warrenburg, S. Effects of fragrance on emotions: Moods and physiology. Chem. Senses. 30, i248-i249 (2005).
- Bredie, W. L. P., Tan, H. S. G., Wendin, K. A comparative study on facially expressed emotions in response to basic tastes. Chem. Percept. 7 (1), 1-9 (2014).
- Wendin, K., Allesen-Holm, B. H., Bredie, L. P. Do facial reactions add new dimensions to measuring sensory responses to basic tastes?. Food Qual Prefer. 22, 346-354 (2011).
- Rosenstein, D., Oster, H. Differential facial responses to four basic tastes in newborns. Child Dev. 59 (6), 1555-1568 (1988).
- Rosenstein, D., Oster, H., P, E. k. m. a. n., E, R. o. s. e. n. b. e. r. g. Differential facial responses to four basic tastes in newborns. What the face reveals: Basic and applied studies of spontaneous expression using the facial action coding system (FACS). , 302-327 (1997).
- Rozin, P., Fallon, A. E. A perspective on disgust. Psychol. Rev. 94 (1), 23-41 (1987).
- Delarue, J., Blumenthal, D. Temporal aspects of consumer preferences. Curr. Opin. Food Sci. 3, 41-46 (2015).
- Sudre, J., Pineau, N., Loret, C., Marin, N. Comparison of methods to monitor liking of food during consumption. Food Qual Prefer. 24 (1), 179-189 (2012).
- Weiland, R., Ellgring, H., Macht, M. Gustofacial and olfactofacial responses in human adults. Chem. Senses. 35 (9), 841-853 (2010).
- Ekman, P., Cole, J. Universal and cultural differences in facial expressions of emotion. Nebraska symposium on motivation. , 207-283 (1971).
- Griemel, E., Macht, M., Krumhuber, E., Ellgring, H. Facial and affective reactions to tastes and their modulation by sadness and joy. Physiol Behav. 89 (2), 261-269 (2006).
