Summary
To replicate laboratory settings, online data collection methods for visual tasks require tight control over stimulus presentation. We outline methods for the use of a web application to collect performance data on two tests of visual attention.
Abstract
Métodos de coleta de dados on-line têm um apelo especial para os cientistas comportamentais, porque eles oferecem a promessa de muito maior e muito mais amostras de dados representativos do que normalmente podem ser coletadas nos campi universitários. No entanto, antes de tais métodos podem ser amplamente adoptada, um número de desafios tecnológicos deve ser superada – em particular, em experiências em que é necessário um controlo apertado sobre as propriedades de estímulo. Aqui apresentamos métodos para a recolha de dados de desempenho em dois testes de atenção visual. Ambos os testes exigem controle sobre o ângulo visual dos estímulos (que por sua vez exige o conhecimento da distância de visualização, o tamanho do monitor, resolução de tela, etc.) e que o calendário dos estímulos (como os testes envolvem tanto brevemente brilhou estímulos ou estímulos que se movem a taxas específicas). Os dados coletados nesses testes em mais de 1.700 participantes on-line foram consistentes com dados coletados em versões com base em laboratório dos mesmos testes exatos. Estes resultadossugerem que, com os devidos cuidados, as tarefas dependentes do tamanho de temporização / estímulo pode ser implantado em configurações baseadas na web.
Introduction
Nos últimos cinco anos, tem havido uma onda de interesse no uso de métodos de coleta de dados comportamentais on-line. Embora a grande maioria das publicações no domínio da psicologia têm utilizado populações sujeitas potencialmente não-representativos 1 (ie, principalmente estudantes universitários) e muitas vezes razoavelmente pequeno tamanho das amostras, bem (ou seja, tipicamente na faixa de dezenas de indivíduos), métodos on-line oferecem a promessa de muito mais diversificadas e maiores amostras. Por exemplo, o serviço Mechanical Turk da Amazon tem sido objecto de um número de estudos recentes, tanto descrever as características da população "trabalhador" e a utilização dessa população em estudos de comportamento 2-6.
No entanto, uma preocupação significativa em relação a esses métodos é a relativa falta de controle sobre as variáveis de estímulo críticos. Por exemplo, na maioria das tarefas visuais psychophysics, estímulos são descritos em termos deângulo visual. O cálculo dos ângulos visuais requer medidas precisas de distância de visualização, tamanho da tela e resolução de tela. Embora estes parâmetros são triviais para medir e controlar num ambiente de laboratório (onde existe um monitor de participantes conhecido e visualizar estímulos enquanto em um resto queixo colocada a uma distância conhecida a partir do monitor), o mesmo não é verdadeiro para a recolha de dados on-line. Em um ambiente on-line, não só irá inevitavelmente participantes utilizam uma grande variedade de monitores de tamanhos diferentes, com diferentes configurações de software, eles também não podem ter acesso fácil aos governantes / fitas métricas que lhes permita determinar o seu tamanho do monitor ou ter o conhecimento necessário para determinar as suas configurações de hardware e software (por exemplo, taxa de atualização, resolução).
Aqui nós descrevemos um conjunto de métodos para a coleta de dados em dois testes bem conhecidos de atenção visual – o Campo de Visão Útil (UFOV) paradigma 7 eo objeto múltiplo rastreamento (MOT) tarefa <sup> 8 – enquanto evitando tanto quanto possível, as fontes de variabilidade que são inerentes nas medições em linha. Estas tarefas podem ser executados por qualquer participante com uma conexão à internet e um navegador compatível com HTML5. Os participantes que não conhecem o seu tamanho de tela são atravessou um processo de medição utilizando itens comumente disponíveis de tamanho padrão (ou seja, cartão de crédito / CD – veja a Figura 1).
Os dados sobre estas duas tarefas foram coletados de mais de 1.700 participantes de um massivo online Open Course. O desempenho médio da amostra online foi altamente consistentes com os resultados obtidos em medidas em laboratório rigidamente controladas de exatamente as mesmas tarefas 9,10. Nossos resultados são, portanto, consistentes com o crescente corpo de literatura demonstrando a eficácia dos métodos de coleta de dados on-line, mesmo em tarefas que requerem controle específico sobre condições de visualização.
Protocol
Representative Results
Discussion
Recolha de dados em linha tem um número de vantagens sobre a recolha de dados padrão baseado em laboratório. Estes incluem o potencial para provar populações muito mais representativos do que a piscina de graduação da faculdade típica utilizada no campo, e a capacidade de obter muito maiores tamanhos de amostra em menos tempo do que é preciso para obter o tamanho das amostras que são uma ordem de magnitude menor no laboratório 1-6 (por exemplo, os pontos de dados coletados de 1.700 partici…
Offenlegungen
The authors have nothing to disclose.
Acknowledgements
The authors have nothing to disclose.
Materials
| Name of Reagent/ Equipment | Company | Catalog Number | Comments/Description |
| Computer/tablet | N/A | N/A | It must have an internet connection and an HTML5 compatible browser |
| CD or credit card | N/A | N/A | May not be needed if participant already knows the monitor size |
Referenzen
- Henrich, J., Heine, S. J., Norenzayan, A. The weirdest people in the world. The Behavioral And Brain Sciences. 33, 61-135 (2010).
- Buhrmester, M., Kwang, T., Gosling, S. D. Amazon’s Mechanical Turk: A new source of inexpensive, yet high-quality, data. Perspectives on Psychological Science. 6 (1), 3-5 (2011).
- Goodman, J. K., Cryder, C. E., Cheema, A. Data collection in a flat world: the strengths and weaknesses of mechanical turk samples. Journal of Behavioral Decision Making. 26 (3), 213-224 (2013).
- Mason, W., Suri, S. Conducting behavioral research on Amazon’s Mechanical Turk. Behavior Research Methods. 44 (1), 1-23 (2012).
- Crump, M. J., McDonnell, J. V., Gureckis, T. M. Evaluating Amazon’s Mechanical Turk as a tool for experimental behavioral research. PLoS One. 8, e57410 (1371).
- Lupyan, G. The difficulties of executing simple algorithms: why brains make mistakes computers don’t. Cognition. 129, 615-636 (2013).
- Ball, K., Owsley, C. The useful field of view test: a new technique for evaluating age-related declines in visual function. J Am Optom Assoc. 64 (1), 71-79 (1993).
- Pylyshyn, Z. W., Storm, R. W. Tracking multiple independent targets: Evidence for a parallel tracking mechanism. Spatial Vision. 3 (3), 179-197 (1988).
- Dye, M. W. G., Bavelier, D. Differential development of visual attention skills in school-age children. Vision Research. 50 (4), 452-459 (2010).
- Green, C. S., Bavelier, D. Enumeration versus multiple object tracking: The case of action video game players. Cognition. 101 (1), 217-245 (2006).
- Chengalur, S. N., Rodgers, S. H., Bernard, T. E. Chapter 1. Kodak Company. Ergonomics Design Philosophy. Kodak’s Ergonomic Design for People at Work. , (2004).
- Elze, T., Bex, P. P1-7: Modern display technology in vision science: Assessment of OLED and LCD monitors for visual experiments. i-Perception. 3 (9), 621 (2012).
- Elze, T., Tanner, T. G. Temporal Properties of Liquid Crystal Displays: Implications for Vision Science Experiments. PLoS One. 7 (9), e44048 (2012).
