Een psychofysisch paradigma voor het verzamelen en analyseren van gelijkenisoordelen
Summary
Het protocol presenteert een experimenteel psychofysisch paradigma om grote hoeveelheden gelijkenisoordelen te verkrijgen, en een bijbehorende analyseworkflow. Het paradigma onderzoekt contexteffecten en maakt modellering van gelijkenisgegevens mogelijk in termen van Euclidische ruimten van ten minste vijf dimensies.
Abstract
Gelijkenisoordelen worden vaak gebruikt om mentale representaties en hun neurale correlaten te bestuderen. Deze benadering is gebruikt om perceptuele ruimtes in vele domeinen te karakteriseren: kleuren, objecten, afbeeldingen, woorden en geluiden. Idealiter zou men schattingen van waargenomen gelijkenis tussen alle paren stimuli willen vergelijken, maar dit is vaak onpraktisch. Als men bijvoorbeeld een onderwerp vraagt om de gelijkenis van twee items te vergelijken met de gelijkenis van twee andere items, groeit het aantal vergelijkingen met de vierde macht van de grootte van de stimulusset. Een alternatieve strategie is om een subject te vragen om overeenkomsten van geïsoleerde paren te beoordelen, bijvoorbeeld op een Likert-schaal. Dit is veel efficiënter (het aantal beoordelingen groeit kwadratisch met de ingestelde grootte in plaats van kwartaal), maar deze beoordelingen zijn meestal onstabiel en hebben een beperkte resolutie, en de aanpak gaat er ook van uit dat er geen contexteffecten zijn.
Hier wordt een nieuw rangschikkingsparadigma voor efficiënte verzameling van gelijkenisoordelen gepresenteerd, samen met een analysepijplijn (meegeleverde software) die test of Euclidische afstandsmodellen rekening houden met de gegevens. Typische studies bestaan uit acht stimuli rond een centrale referentieprikkel: de proefpersoon rangschikt stimuli in volgorde van hun gelijkenis met de referentie. Door een oordeelkundige selectie van combinaties van stimuli die in elk onderzoek worden gebruikt, heeft de aanpak interne controles voor consistentie en contexteffecten. De benadering werd gevalideerd voor stimuli uit Euclidische ruimten van maximaal vijf dimensies.
De aanpak wordt geïllustreerd met een experiment dat overeenkomsten meet tussen 37 woorden. Elke studie levert de resultaten op van 28 paarsgewijze vergelijkingen van de vorm: “Was A meer vergelijkbaar met de referentie dan B met de referentie?” Hoewel het direct vergelijken van alle paren van paren stimuli 221445 proeven zou hebben vereist, maakt dit ontwerp reconstructie van de perceptuele ruimte mogelijk uit 5994 dergelijke vergelijkingen verkregen uit 222 onderzoeken.
Introduction
Mensen verwerken en vertegenwoordigen mentaal binnenkomende sensorische informatie om een breed scala aan taken uit te voeren, zoals objectherkenning, navigatie, het maken van gevolgtrekkingen over de omgeving en vele anderen. Gelijkenisoordelen worden vaak gebruikt om deze mentale representaties te onderzoeken1. Inzicht in de structuur van mentale representaties kan inzicht geven in de organisatie van conceptuele kennis2. Het is ook mogelijk om inzicht te krijgen in neurale berekeningen, door gelijkenisoordelen te relateren aan hersenactivatiepatronen3. Bovendien onthullen gelijkenisoordelen kenmerken die saillant zijn in perceptie4. Onderzoek naar hoe mentale representaties veranderen tijdens de ontwikkeling kan licht werpen op hoe ze worden geleerd5. Gelijkenisoordelen geven dus waardevol inzicht in informatieverwerking in de hersenen.
Een veel voorkomend model van mentale representaties met behulp van overeenkomsten is een geometrisch ruimtemodel6,7,8. Toegepast op sensorische domeinen wordt dit soort model vaak een perceptuele ruimte genoemd9. Punten in de ruimte vertegenwoordigen stimuli en afstanden tussen punten komen overeen met de waargenomen ongelijkheid tussen hen. Uit gelijkenisoordelen kan men kwantitatieve schattingen van verschillen verkrijgen. Deze paarsgewijze verschillen (of perceptuele afstanden) kunnen vervolgens worden gebruikt om de perceptuele ruimte te modelleren via multidimensionale schaling10.
Er zijn veel methoden voor het verzamelen van gelijkenisoordelen, elk met zijn voor- en nadelen. De meest eenvoudige manier om kwantitatieve metingen van ongelijkwaardigheid te verkrijgen, is door proefpersonen te vragen om op een schaal de mate van ongelijkwaardigheid tussen elk paar stimuli te beoordelen. Hoewel dit relatief snel is, zijn schattingen meestal onstabiel tijdens lange sessies, omdat proefpersonen niet terug kunnen gaan naar eerdere oordelen en contexteffecten, indien aanwezig, niet kunnen worden gedetecteerd. (Hier wordt een contexteffect gedefinieerd als een verandering in de beoordeelde gelijkenis tussen twee stimuli, gebaseerd op de aanwezigheid van andere stimuli die niet worden vergeleken.) Als alternatief kunnen proefpersonen worden gevraagd om alle paren stimuli te vergelijken met alle andere paren stimuli. Hoewel dit een betrouwbaarder rangorde van verschillen zou opleveren, vereiste het aantal vergelijkingen schalen met de vierde macht van het aantal stimuli, waardoor het haalbaar is voor slechts kleine stimulussets. Snellere alternatieven, zoals sorteren in een vooraf gedefinieerd aantal clusters11 of gratis sorteren, hebben hun eigen beperkingen. Vrij sorteren (in een willekeurig aantal stapels) is intuïtief, maar het dwingt het onderwerp om de stimuli te categoriseren, zelfs als de stimuli zich niet gemakkelijk lenen voor categorisatie. De meer recente multi-arrangement methode, inverse MDS, omzeilt veel van deze beperkingen en is zeer efficiënt12. Deze methode vereist echter dat proefpersonen hun mentale representaties projecteren op een 2D Euclidisch vlak en overeenkomsten op een specifieke geometrische manier overwegen, waarbij de veronderstelling wordt gemaakt dat gelijkenisstructuur kan worden hersteld van Euclidische afstanden op een vlak. Er blijft dus behoefte aan een efficiënte methode om grote hoeveelheden gelijkenisoordelen te verzamelen, zonder aannames te doen over de geometrie die aan de oordelen ten grondslag ligt.
Hier beschreven is een methode die zowel redelijk efficiënt is als ook de bovenstaande mogelijke valkuilen vermijdt. Door proefpersonen te vragen stimuli te rangschikken in volgorde van gelijkenis met een centrale referentie in elke studie13, kan relatieve gelijkenis direct worden onderzocht, zonder iets aan te nemen over de geometrische structuur van de reacties van de proefpersonen. Het paradigma herhaalt een subset van vergelijkingen met zowel identieke als verschillende contexten, waardoor directe beoordeling van contexteffecten mogelijk is, evenals de verwerving van graduele responsen in termen van keuzekansen. De analyseprocedure ontleedt deze rangoordelen in meerdere paarsgewijze vergelijkingen en gebruikt ze om Euclidische modellen van perceptuele ruimten te bouwen en te zoeken die de oordelen verklaren. De methode is geschikt om de weergave van stimulussets van gemiddelde grootte (bijv. 19 tot 49) in detail te beschrijven.
Om de haalbaarheid van de aanpak aan te tonen, werd een experiment uitgevoerd, waarbij een set van 37 dieren als stimuli werd gebruikt. Gegevens werden verzameld in de loop van 10 sessies van een uur en vervolgens afzonderlijk geanalyseerd voor elk onderwerp. Analyse toonde consistentie tussen onderwerpen en verwaarloosbare contexteffecten. Het beoordeelde ook de consistentie van waargenomen verschillen tussen stimuli met Euclidische modellen van hun perceptuele ruimtes. Het paradigma en de analyseprocedures die in dit artikel worden beschreven, zijn flexibel en zullen naar verwachting van nut zijn voor onderzoekers die geïnteresseerd zijn in het karakteriseren van de geometrische eigenschappen van een reeks perceptuele ruimten.
Protocol
Representative Results
Discussion
Het hier beschreven protocol is effectief voor het verkrijgen en analyseren van gelijkenisoordelen voor stimuli die visueel kunnen worden gepresenteerd. Het experimentele paradigma, de analyse en mogelijke uitbreidingen worden eerst besproken, en later de voor- en nadelen van de methode.
Experimenteel paradigma: De voorgestelde methode wordt gedemonstreerd met behulp van een domein van 37 diernamen en er wordt een voorbeelddataset van perceptuele oordelen verstrekt, zodat men …
Disclosures
The authors have nothing to disclose.
Acknowledgements
Het werk wordt ondersteund door financiering van de National Institutes of Health (NIH), subsidie EY07977. De auteurs willen ook Usman Ayyaz bedanken voor zijn hulp bij het testen van de software en Muhammad Naeem Ayyaz voor zijn commentaar op het manuscript.
Materials
| Computer Workstation | N/A | N/A | OS: Windows/ MacOS 10 or higher/ Linux; 3.1 GHz Dual-Core Intel Core i5 or similar; 8GB or more memory; User permissions for writing and executing files |
| conda | Version 4.11 | OS: Windows/ MacOS 10 or higher/ Linux | |
| Microsoft Excel | Microsoft | Any | To open and shuffle rows and columns in trial conditions files. |
| PsychoPy | N/A | Version 2021.2 | Framework for running psychophysical studies |
| Python 3 | Python Software Foundation | Python Version 3.8 | Python3 and associated built-in libraries |
| Required Python Libraries | N/A | numpy version: 1.17.2 or higher; matplotlib version 3.4.3 or higher; scipy version 1.3.1 or higher; pandas version 0.25.3 or higher; seaborn version 0.9.0 or higher; scikit_learn version 0.23.1 or higher; yaml version 6.0 or higher | numpy, scipy and scikit_learn are computing modules with in-built functions for optimization and vector operations. matplotlib and seaborn are plotting libraries. pandas is used to reading in and edit data from csv files. |
References
- Edelman, S. Representation is representation of similarities. TheBehavioral and Brain Sciences. 21 (4), 449-498 (1998).
- Hahn, U., Chater, N. Concepts and similarity. Knowledge, Concepts and Categories. , 43-84 (1997).
- Kriegeskorte, N., Kievit, R. A. Representational geometry: integrating cognition, computation, and the brain. Trends in Cognitive Sciences. 17 (8), 401-412 (2013).
- Hebart, M. N., Zheng, C. Y., Pereira, F., Baker, C. I. Revealing the multidimensional mental representations of natural objects underlying human similarity judgements. Nature Human Behaviour. 4 (11), 1173-1185 (2020).
- Deng, W. S., Sloutsky, V. M. The development of categorization: Effects of classification and inference training on category representation. Developmental Psychology. 51 (3), 392-405 (2015).
- Shepard, R. N. Stimulus and response generalization: tests of a model relating generalization to distance in psychological space. Journal of Experimental Psychology. 55 (6), 509-523 (1958).
- Coombs, C. H. A method for the study of interstimulus similarity. Psychometrika. 19 (3), 183-194 (1954).
- Gärdenfors, P. . Conceptual Spaces: The Geometry of Thought. , (2000).
- Zaidi, Q., et al. Perceptual spaces: mathematical structures to neural mechanisms. The Journal of Neuroscience The Official Journal of the Society for Neuroscience. 33 (45), 17597-17602 (2013).
- Krishnaiah, P. R., Kanal, L. N. . Handbook of Statistics 2. , (1982).
- Tsogo, L., Masson, M. H., Bardot, A. Multidimensional Scaling Methods for Many-Object Sets: A Review. Multivariate Behavioral Research. 35 (3), 307-319 (2000).
- Kriegeskorte, N., Mur, M. Inverse MDS: Inferring dissimilarity structure from multiple item arrangements. Frontiers in Psychology. 3, 245 (2012).
- Rao, V. R., Katz, R. Alternative Multidimensional Scaling Methods for Large Stimulus Sets. Journal of Marketing Research. 8 (4), 488-494 (1971).
- Hoffman, J. I. E. Hypergeometric Distribution. Biostatistics for Medical and Biomedical Practitioners. , 179-182 (2015).
- Victor, J. D., Rizvi, S. M., Conte, M. M. Two representations of a high-dimensional perceptual space. Vision Research. 137, 1-23 (2017).
- Knoblauch, K., Maloney, L. T. Estimating classification images with generalized linear and additive models. Journal of Vision. 8 (16), 1-19 (2008).
- Maloney, L. T., Yang, J. N. Maximum likelihood difference scaling. Journal of Vision. 3 (8), 573-585 (2003).
- Logvinenko, A. D., Maloney, L. T. The proximity structure of achromatic surface colors and the impossibility of asymmetric lightness matching. Perception & Psychophysics. 68 (1), 76-83 (2006).
- Zhou, Y., Smith, B. H., Sharpee, T. O. Hyperbolic geometry of the olfactory space. Science Advances. 4 (8), (2018).
- Goldstone, R. An efficient method for obtaining similarity data. Behavior Research Methods, Instruments, & Computers. 26 (4), 381-386 (1994).
- Townsend, J. T. Theoretical analysis of an alphabetic confusion matrix. Perception & Psychophysics. 9, 40-50 (1971).
