Summary
시각적 이벤트를 기반으로 하는 간격 비교(지속 시간 인식) 작업 중에 눈의 움직임을 모니터링하기 위해 시선 추적을 사용하는 프로토콜을 제시합니다. 목표는 지속 시간 인식 작업에 대한 안구 운동 반응(시간 간격의 비교 또는 구별)을 자극 자체에 대한 반응과 분리하기 위한 예비 가이드를 제공하는 것입니다.
Abstract
시선 추적 방법을 사용하면 참가자가 깜박이는 원과 같은 시각적 이벤트에 의해 정의된 시간 간격을 추정, 구별 또는 비교하도록 요청받는 시각적 지속 시간 인식 작업 중에 인지 처리의 온라인 모니터링이 가능할 수 있습니다. 그러나 우리가 아는 한, 이 가능성을 검증하려는 시도는 지금까지 결론을 내리지 못했으며, 결과는 자극 출현 후 내려진 오프라인 행동 결정에 초점을 맞추고 있습니다. 이 논문은 참가자들이 두 개의 연속된 간격을 보고 속도가 빨라지는지(첫 번째 간격이 두 번째 간격보다 길음) 느려지는지(두 번째 간격이 더 길어짐)를 결정해야 하는 간격 비교 작업에서 행동 반응에 선행하는 인지 과정을 탐색하기 위한 시선 추적 프로토콜을 제시합니다.
우리의 주요 관심사는 시각적 자극 자체에 대한 안구 운동 반응을 판단과 관련된 지속 시간의 상관 관계에서 분리하는 것이었습니다. 이를 달성하기 위해 우리는 중요한 사건을 기반으로 세 개의 연속적인 시간 창, 즉 기준선 시작, 첫 번째 간격의 시작, 두 번째 간격의 시작, 자극의 끝을 정의했습니다. 그런 다음 각각(고정 횟수, 동공 크기)에 대한 전통적인 안구 운동 측정을 추출하고 시간 창 관련 변화에 중점을 두어 시각적 자극에 대한 반응을 간격 비교 자체와 관련된 반응과 분리했습니다. 예시 결과에서 볼 수 있듯이 시선 추적 데이터는 행동 결과와 일치하는 유의미한 차이를 보여 관여 메커니즘에 대한 가설을 제기했습니다. 이 프로토콜은 초기 단계이며 많은 개선이 필요하지만 현재 기술 상태에서 중요한 진전을 나타냅니다.
Introduction
시간 지각 능력은 지난 몇 년 동안 점점 더 많은 연구의 관심을 끌었는데, 부분적으로는 이것이 읽기 능력이나 병리학적 상태와 관련이 있을 수 있다는 증거가 축적되었기 때문이다 1,2,3,4,5. 시각적 지속 시간 지각(시각적 이벤트에 의해 정의된 시간 간격을 추정, 구별 또는 비교하는 능력)은 시선 추적 방법이 기여할 수 있는 관심 분야 6,7 중 하나입니다. 그러나 결과는 버튼을 눌러 얼마나 많은 시간이 지났는지(추정치), 시간 간격이 같은지 다른지(구별), 일련의 시간 간격 중 어느 것이 가장 길거나 가장 짧은지를 나타내는 것과 같은 자극 후 행동 결정에 초점을 맞추고 있습니다. 몇몇 연구에서는 행동 결과와 시선추적 데이터8,9의 상관관계를 시도했으나 둘 사이의 상관관계를 찾지 못했으며, 이는 직접적인 관계가 없음을 시사한다.
본 논문에서는 시각적 지속 시간 인식 과제에서 자극 제시 중 안구 운동 반응을 등록하고 분석하기 위한 프로토콜을 제시합니다. 구체적으로, 설명은 참가자들이 두 개의 시간 간격을 정의하는 세 가지 이벤트의 시퀀스를 보고 속도가 빨라졌는지(첫 번째 간격이 두 번째보다 길음) 또는 느려졌는지(첫 번째 간격이 두 번째보다 짧음)를 판단하도록 요청받은 간격 비교 작업을 나타냅니다. 연구에 사용된 시간 간격은 133ms에서 733ms에 이르렀으며 TSF(Temporal Sampling Framework)10의 원칙을 준수했습니다. TSF는 특히 델타 진동(1-4Hz)과 같은 주파수 대역에서 뇌의 진동 활동이 일련의 스트레스 악센트와 같은 들어오는 음성 단위와 동기화됨을 시사합니다. 이 동기화는 음성 인코딩을 향상시키고, 음성 단위에 대한 주의력을 향상시키며, 비정형 저주파 진동을 나타내는 난독증과 같은 상태를 이해하는 데 관련될 수 있는 순차적 규칙성을 추출하는 데 도움이 됩니다. 본 연구에서 제시된 방법을 개발한 목적은 난독증 환자의 시각 시간 지각의 어려움(간격 비교 과제에 대한 집단 효과)이 시각 대상 자체의 처리 문제, 즉 움직임과 휘도 대비를 반영하는지 여부를 확인하는 것이었다11. 만약 그렇다면, 우리는 난독증 환자들이 움직임과 낮은 휘도 대비(집단과 자극 유형 간의 상호작용)를 가진 자극에 대해 대조군에 대한 불리함이 더 클 것으로 예상했다.
원래 연구의 주요 결과는 자극 후 행동 판단에 의해 주도되었습니다. 자극 제시 중에 기록된 시선 추적 데이터(동공 크기 및 고정 횟수)는 행동 결정에 앞선 과정을 탐색하는 데 사용되었습니다. 그러나 현재 프로토콜은 그에 따라 목표가 설정되는 경우 행동 데이터 수집과 독립적으로 사용될 수 있다고 생각합니다. 간격 구분 작업을 위해 조정할 수도 있습니다. 시간 추정 작업에 사용하는 것이 그렇게 즉각적이지는 않지만 그 가능성을 배제하지는 않습니다. 동공 크기를 사용한 이유는 인지 부하12, 13, 14 등을 반영하여 참가자의 기술에 대한 정보를 제공할 수 있기 때문입니다(부하가 높을수록 기술이 적다는 의미). 고정의 횟수와 관련하여, 더 많은 고정은 참가자들이 과제에 더 강하게 관여하는 것을 반영할 수 있다15,16. 원래 연구에서는 5가지 자극 유형을 사용했다. 단순화를 위해 현재 프로토콜에서는 두 개만 사용했습니다(움직임과 관련된 대비를 나타내는 Ball vs. Flash).
우리가 해결하려고 시도한 주요 과제는 시각 자극 자체에 대한 반응을 간격 비교와 관련된 반응과 분리하는 것인데, 이는 눈 운동 반응이 움직임이나 휘도 대비와 같은 특성에 따라 변하는 것으로 알려져 있기 때문이다17. 시각적 자극이 화면에 나타나자마자 처리되고(첫 번째 간격), 간격 비교는 두 번째 시간 간격이 시작되어야 가능하다는 전제에 따라 사전 자극 창, 첫 번째 간격, 두 번째 간격(행동 반응은 포함되지 않음)의 세 가지 시간 창을 정의했습니다. 첫 번째 간격 동안 사전 자극 창의 변화를 분석함으로써 자극 자체에 대한 참가자의 반응 지수를 얻을 수 있습니다. 첫 번째 간격과 두 번째 간격을 비교하면 간격 비교의 가능한 안구 운동 신호를 활용할 수 있습니다.
Protocol
52명의 참가자(난독증 진단을 받았거나 잠재적 사례로 신호된 25명, 대조군 27명)는 커뮤니티(소셜 미디어 및 편리한 이메일 연락처를 통해)와 대학 과정에서 모집되었습니다. 확증적 신경심리학적 평가와 후속 데이터 분석(자세한 내용은 Goswami10 참조)에 따라 7명의 참가자가 연구에서 제외되었습니다. 이 제외는 기준을 충족하지 못하는 난독증이 있는 4명의 개인, 1차 실험 과제에서 이상치 값을 가진 2명의 난독증 참가자, 시선 추적 데이터가 소음의 영향을 받는 대조군 참가자 1명으로 구성되었습니다. 최종 샘플은 참가자 45명, 난독증 성인 19명(남성 1명), 대조군 26명(남성 5명)으로 구성되었습니다. 모든 참가자는 포르투갈어 원어민이었고 정상 또는 정상으로 교정된 시력을 가지고 있었으며 청력, 신경 또는 언어 문제를 진단받은 사람은 없었습니다. 여기에 설명된 프로토콜은 포르투 대학교 심리학 및 교육 과학 학부의 지역 윤리 위원회(참조 번호 2021/06-07b)의 승인을 받았으며 모든 참가자는 헬싱키 선언에 따라 정보에 입각한 동의서에 서명했습니다.
1. 자극 창출
- 두 개의 시간 간격으로 구성된 8개의 시퀀스를 정의하고(표 1), 여기서 첫 번째 시퀀스는 두 번째 시퀀스(slow-down sequence)보다 짧습니다. 프레임 지속 시간 변환표를 사용하여 애니메이션 소프트웨어의 프레임 속도(여기서는 30프레임/초, 33MS/프레임)와 호환되는 간격을 선택합니다.
- 각 감속 시퀀스에 대해 구간의 순서를 반전하여 얻은 속도 향상 아날로그를 만듭니다(표 1).
- 스프레드시트에서 대상 간격(ms)을 33으로 나누어 간격 길이를 프레임 수로 변환합니다(예: 300-433ms 간격 시퀀스의 경우 9-13프레임을 나타냄).
- 각 시퀀스에 대한 키 프레임 정의: 프레임 7에서 자극 시작(200ms에 해당하는 6개의 빈 프레임 이후), 프레임 6에서 간격 1의 오프셋 + 간격 1의 길이(주어진 예제의 경우 6 + 9), 간격 2의 오프셋(6 + 9 + 13)과 동일합니다. 간격 2의 끝에 두 개의 프레임을 더 설정하여 자극의 끝을 표시합니다(6+ 9 + 13 +2).
- 플래시 시퀀스를 애니메이션으로 만들 수 있습니다.
- 애니메이션 소프트웨어(예: Adobe Animate)를 실행하고 검은색 배경의 새 파일을 만듭니다.
- 프레임 7에서 화면 중앙에 파란색 원을 그립니다. 치수가 계획된 화면-눈 거리(여기서는 55cm)에서 시야의 약 2°를 차지하도록 하여 볼 직경이 1.92cm인지 확인합니다.
- 이 이미지를 복사하여 인접한 다음 프레임(프레임 7에서 시작)에 붙여넣으면 각 플래시가 약 99ms 동안 지속됩니다.
- 이 두 프레임 시퀀스를 복사하여 다른 두 키 프레임(간격 1과 2의 시작)에 붙여넣습니다.
- 파일의 복사본을 만들고 간격 시작을 적절한 프레임으로 이동하여 나머지 15개의 애니메이션을 빌드합니다.
- 튀어 오르는 공 시퀀스를 애니메이션으로 만들 수 있습니다.
- 애니메이션 소프트웨어에서 플래시 애니메이션에 사용된 것과 동일한 사양(크기, 배경)으로 파일을 엽니다. 이제 키 프레임이 지면에 부딪히는 찌그러진 공에 해당하도록 키 프레임 사양이 있는 스프레드시트를 엽니다.
- 검은색 배경(99ms)이 있는 세 개의 프레임으로 시작합니다. 4번째 프레임에서 플래시에 사용된 것과 동일한 파란색 공을 상단 중앙에 그립니다.
- 자극 시작 지점에 찌그러진 공(너비가 높이보다 큼)을 3프레임(간격 1의 시작)으로 그립니다. 공이 화면 중앙 아래에 수평 중앙과 수직으로 있는지 확인하십시오.
- 개체의 Properties 버튼을 클릭한 다음 Position 및 Size를 클릭하여 선택한 스쿼시 높이에 공을 배치하고 너비를 늘리거나 높이를 줄입니다.
- tween 명령을 사용하여 맨 위에 있는 공에서 찌그러진 공(수직 하강)으로 연속적인 변화를 생성합니다.
- 찌그러진 공이 있는 3프레임 시퀀스를 다른 두 개의 키 프레임(간격 1과 2의 시작)에 복사합니다.
- 스프레드시트에서 각 간격의 지속 시간을 2로 나누어 간격 1과 2에 대한 두 스쿼시 사이의 중간 지점을 정의하며, 여기서 공은 상승 후 하강 전에 최대 높이에 도달합니다.
- 1.6.6단계에서 정의한 중간 지점에서 궤적의 가장 낮은 지점 위에 수직으로 찌그러지지 않은 공을 그립니다. 인터벌 시작(공이 지면에 닿을 때)과 가장 높은 지점 사이 및 가장 높은 지점과 다음 스쿼시 사이(내리막)에 상승 애니메이션을 생성합니다.
- 파일을 다른 15개의 시간 구조에 맞게 조정합니다.
- 모든 애니메이션을 .xvd로 내보냅니다. 옵션을 사용할 수 없는 경우 .avi로 내보낸 다음 아이링크 시스템에서 사용할 수 있도록 변환합니다.
2. 실험 준비
- 실험 폴더 만들기
- 실험 빌더 응용 프로그램을 열고 메뉴 파일에서 새로 만들기를 선택합니다.
- File(파일) | 다른 이름으로 저장을 클릭합니다. 프로젝트의 이름과 저장할 위치를 지정합니다.
참고: 이렇게 하면 자극 파일 및 기타 자료에 대한 하위 폴더가 있는 전체 폴더가 생성됩니다. 실험 파일은 확장자가 .ebd인 폴더에 나타납니다. - 프로젝트 폴더 내에서 Library 를 클릭한 다음 Video라는 폴더를 클릭합니다. .xvid 비디오 자극 파일을 이 폴더에 업로드합니다.
참고: 실험에 사용된 모든 자극은 라이브러리에 저장되어야 합니다.
- 시스템 내 및 인간-시스템 상호 작용을 위한 기본 구조 만들기
- 시작 패널과 디스플레이 화면 아이콘을 그래프 편집기 창으로 드래그합니다. 마우스를 클릭하고 첫 번째 링크에서 두 번째 링크로 끌어 링크를 만듭니다.
- 디스플레이 화면의 속성에서 Insert Multiline Text Resource 버튼을 클릭하고 다음에 나올 보정 절차를 설명하는 지침 텍스트를 입력합니다.
- 두 개의 트리거 (실험에서 앞으로 이동할 입력 채널): 키보드 및 EL 버튼 (버튼 상자)을 선택합니다. 디스플레이 화면을 둘 다에 연결합니다.
참고: 이 트리거를 사용하면 참가자 또는 실험자가 아무 버튼이나 클릭하여 계속 진행할 수 있습니다. - 카메라 설정 아이콘을 선택하고 두 트리거를 모두 연결합니다.
알림: 이렇게 하면 카메라 조정, 보정 및 검증을 위해 참가자의 눈을 모니터링할 수 있도록 시선 추적기와 통신을 설정할 수 있습니다(섹션 4 참조). - 결과 파일 아이콘을 선택하고 순서도의 오른쪽으로 끕니다.
참고: 이 작업을 통해 실험의 행동 반응을 기록할 수 있습니다.
- 블록 구조 정의하기
- 시퀀스 아이콘을 선택하고 카메라 설정에 연결합니다(2.2.1단계 참조).
- 속성에서 반복 횟수를 클릭하고 블록 수(플래시 및 공)로 2를 선택합니다.
- 알림: 이렇게 하면 플래시의 표시와 공의 표시가 분리됩니다.
- 시퀀스(블록 정의)를 입력하고 시작 패널 아이콘, 표시 아이콘, 트리거 el_button 및 키보드를 드래그합니다. 이 순서대로 연결합니다.
- 디스플레이 화면 아이콘에서 Insert Multiline Text Resource 버튼을 클릭하고 실험을 설명하는 지침 텍스트를 입력합니다.
- 임상시험 구조 정의하기
- 블록 시퀀스 내에서 새 시퀀스 아이콘을 편집기로 끌어 시행 시퀀스를 만듭니다.
참고: 블록 시퀀스 내에 시행 시퀀스를 중첩하면 각 블록에서 여러 시행을 실행할 수 있습니다. - 시험 시퀀스 내에서 시작 패널 과 시퀀스 준비 아이콘을 드래그하고 두 번째 패널을 첫 번째 시퀀스에 연결합니다.
참고: 이 작업은 참가자에게 표시될 실험적 자극을 로드합니다. - 드래그 드리프트 보정 아이콘을 인터페이스로 드래그하고 시퀀스 준비 아이콘에 연결합니다.
알림: 드리프트 보정은 자극 컴퓨터 모니터에 단일 고정 대상을 표시하고 커서 응시 위치를 기록 컴퓨터의 실제 자극 위치와 비교할 수 있도록 합니다. 드리프트 검사와 각각의 보정은 초기 교정 품질이 유지되도록 하기 위해 모든 시도 후에 자동으로 시작됩니다.
- 블록 시퀀스 내에서 새 시퀀스 아이콘을 편집기로 끌어 시행 시퀀스를 만듭니다.
- 기록 구조 정의하기
- 평가판 시퀀스 내에서 새 시퀀스 아이콘을 편집기로 끌어 기록 시퀀스를 만듭니다.
알림: 기록 시퀀스는 눈 데이터 수집을 담당하며 시각적 자극이 표시되는 곳입니다. - 이 시퀀스의 속성에서 Record 옵션을 선택합니다.
알림: 이렇게 하면 아이트래커가 자극이 시작될 때 녹화를 시작하고 자극이 끝나면 멈춥니다. - 속성에서 데이터 원본을 클릭하고 각 행에 각 자극의 정확한 파일 이름, 시험 또는 실험 유형, 각 자극이 표시되는 횟수(여기서는 1) 및 예상 응답 버튼으로 테이블(유형 또는 선택)을 채웁니다.
참고: 파일 이름은 라이브러리에 업로드된 파일 이름과 동일해야 하며 파일 확장자가 포함되어야 합니다(예: ball_sp_1.xvd). - 인터페이스의 상단 패널에서 Randomization Settings를 클릭하고 Enable trial randomization 상자를 표시하여 자극이 각 블록 내에서 무작위화되도록 합니다. 확인 버튼을 클릭하여 인터페이스로 돌아갑니다.
- 기록 순서에서 시작 패널-디스플레이 화면 연결을 만듭니다. 디스플레이 화면 내에서 비디오 리소스 삽입 버튼(카메라 아이콘)을 선택하고 인터페이스로 드래그합니다.
- 키보드 및 el 버튼 트리거를 디스플레이 아이콘에 연결하여(2.2.1단계에서와 같이) 참가자가 응답할 수 있도록 합니다.
- 정확도 확인 아이콘을 끌어 2.2.1단계와 같이 트리거에 연결합니다.
참고: 이 작업을 통해 소프트웨어는 누른 키가 데이터 소스의 올바른 응답 열 값과 일치하는지 여부를 확인할 수 있습니다.
- 평가판 시퀀스 내에서 새 시퀀스 아이콘을 편집기로 끌어 기록 시퀀스를 만듭니다.
- 실험 마무리
- 기본 패널 상단에서 실행 화살표 아이콘을 클릭하여 실험 테스트를 실행합니다.
3. 기기 설정
- 자극 컴퓨터를 5버튼 버튼 박스와 키보드에 연결합니다.
- 자극 컴퓨터(시스템 전용 프레젠테이션 소프트웨어 포함)를 모니터 아래 또는 앞에 있는 시선 추적기(그림 1)에 연결합니다.
- 아이트래커를 녹화 컴퓨터에 연결합니다.
그림 1: 시선 추적 설정. 기록 시스템의 공간 배열은 자극 컴퓨터, 기록 컴퓨터, 시선 추적기, 응답 장치(버튼 상자) 및 키보드로 구성됩니다. 참가자들은 자극 스크린에서 55cm 떨어진 곳에 앉았다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
4. 데이터 수집 준비
- 참가자로부터 정보에 입각한 동의를 얻고 실험 형식을 설명합니다. 자극 원(플래시 또는 공)이 시야의 2°(일반적인 거리 ~ 60cm)에 해당하도록 참가자를 자극 컴퓨터에서 멀리 배치합니다.
- 샘플링 주파수(고해상도의 경우 1,000Hz)와 기록할 눈(우세한 눈)을 선택합니다.
- 기록 컴퓨터에서 제공하는 시각화에서 시선 추적기가 대상(참가자의 눈썹 사이에 놓인 막대기)과 우세한 눈을 안정적인 방식으로 추적하는지 확인합니다. 필요한 경우 카메라를 위 또는 아래로 움직입니다.
- 실험을 엽니다. 기록 컴퓨터에서 시스템이 제공하는 5점 보정 및 검증 절차를 실행하여 안구 움직임을 정확하고 안정적으로 기록할 수 있습니다. 참가자에게 (5)개의 다른 위치에서 화면에 나타날 점을 응시하도록 지시합니다(보정을 위해 한 번, 검증을 위해 두 번).
알림: 0.5° 미만의 오류만 허용하십시오.
5. 실험 실행
- 참가자에게 작업을 설명합니다.
- 모의 시험을 제시하고 참가자의 의심을 명확히 합니다.
- 실행을 클릭하여 실험을 시작합니다.
- 조건 사이의 실험을 잠시 멈추고 자극은 이제 달라질 것이지만 질문은 같다고 설명합니다.
6. 분석을 위한 시간 창 만들기
- Dataviewer 소프트웨어18에서 File, Import Data, 마지막으로 Multiple EyeLink Data files로 이동합니다. 대화 상자에서 모든 참가자의 파일을 선택합니다.
- 평가판을 하나 선택합니다. 사각형 아이콘을 선택하여 관심 영역을 그립니다.
참고: 관심 영역은 화면 영역과 평가판 내의 시간 창을 모두 정의합니다. 여기서는 항상 전체 화면을 선택합니다. - TW all(그림 2)을 만들려면 그리기 아이콘을 클릭하고 전체 화면을 선택합니다. 열기 대화 상자에서 관심 영역에 TW_all 레이블을 지정하고 전체 시행과 일치하는 시간 세그먼트를 정의합니다.
- 관심 영역 세트 저장을 클릭하고 이 템플릿을 동일한 길이의 모든 시도에 적용합니다(예: 표 1의 시간 구조 1 및 8, 모든 참가자에 대해 볼과 플래시 모두에 대해).
- 표 1에서 16개의 시간 구조 중 하나를 선택합니다. 6.3단계에서와 같이 TW_0, TW_1 및 TW_2를 정의하되 그림 2에 도식화된 시간 제한(플래시 모양 및 볼 스쿼시에 해당하는 시간 창 경계)을 따릅니다. TW0의 길이는 사용자 정의할 수 있습니다.
- 각 관심 영역에 레이블을 지정하고 동일한 시간 구조(공과 플래시, 모든 참가자)의 시험에 템플릿을 적용합니다.
- 나머지 15개의 시간 구조에 대해 이 과정을 반복합니다.
그림 2: 자극 유형. 실험에 사용된 튀어 오르는 공(왼쪽)과 섬광(오른쪽)의 시퀀스. 점선은 분석에 사용된 시간 창을 나타냅니다: TW0은 사전 자극 기간입니다. TW1은 자극이 화면에 처음 나타나는 것으로, 참가자가 자극 특성과 첫 번째 간격의 길이에 대한 정보를 가지고 있을 때 첫 번째 간격을 표시하고, TW2는 참가자가 첫 번째 간격과 두 번째 간격을 비교하여 결정을 정교화할 수 있는 두 번째 간격을 표시합니다(느려짐 또는 빨라짐). 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
7. 측정값 추출
- 메뉴 모음에서 Analysis(분석) | 리포트 |관심 영역 보고서.
- 다음 측정값을 선택하여 체류 시간, 고정 횟수 및 동공 크기를 추출하고 다음을 클릭합니다.
참고: 출력에는 4개의 시간 창(TW0, TW1, TW2, TW 모두) 각각에 대해 지정된 참가자당 16개의 플래시 시도 및 참가자당 16개의 바운싱 볼 시도(32개 시도 x n개 참가자)의 데이터가 포함되어야 합니다. - 행렬을 .xlsx 파일로 내보냅니다.
8. 아티팩트가 있는 평가판 제거
- TW all에 대한 체류 시간 측도를 고려하고 신호 손실이 30% 이상인 시행을 표시합니다(시행 시간의 70%< 체류 시간).
참고: 32번의 시행 기간은 각각 다릅니다. - 잡음이 있는(표시된) 트레일을 행렬에서 제외하고 저장합니다.
9. 통계 분석
- 각 측정값에 대해 TW 0 및 1과 TW 1 및 2를 사용하여 두 개의 반복 측정값 ANOVA(TW x 그룹 x 자극)를 수행합니다.
- TW 관련 변경 사항과 동작 결과(사용 가능한 경우)의 상관 관계를 지정합니다.
Representative Results
TW 관련 변경 사항을 더 잘 이해하기 위해 분석은 시간 창의 상호 작용(TW0 vs. TW1, TW1 vs. TW2)를 자극 유형 및 그룹으로 바꿉니다. 그림 3에서 볼 수 있듯이 TW 관련 비교(TW01 및 TW12)는 자극(TW x 자극 상호 작용)에 따라 다른 수준의 변화를 보였으며, Balls는 두 그룹 모두에서 섬광보다 안구 운동 반응에서 TW 관련 변화를 더 많이 유도했습니다(TW x 자극 x 그룹 상호 작용 없음). 이것은 동공 크기와 고정 횟수 모두에서 발생했습니다. 집단 영향과 관련하여, TW0에서 TW1로의 고정 횟수 변화(자극 시작에 대한 반응)에 대한 TW x 그룹 상호작용을 발견했다: 난독증 환자는 주로 자극 수치가 낮기 때문에 변화가 감소했다. TW, 자극 및 그룹 간의 상호 작용은 없었습니다. 이것은 집단의 영향이 공과 섬광 모두에 대해 비슷하다는 것을 보여줍니다.
그림 3: 결과. 그룹(대조군 대 난독증, TW x 그룹) 및 자극 유형(공, B, vs. 플래시, F, TW x 자극)의 함수로서 동공 크기 및 고정 수의 시간 창 관련 변화. TW 0-1은 자극 없음과 자극 가시성 사이의 대조를 다룹니다. TW 1-2는 첫 번째 및 두 번째 간격을 주소 간격 비교와 비교합니다. 95% 신뢰 구간은 세로 막대로 표시됩니다. 공은 시선 추적 측정과 두 그룹 모두에서 TW1 대비 TW0(더 많은 감소)과 TW1에서 TW2(더 많은 증가)에서 플래시보다 더 많은 변화를 유도했습니다(TW x 자극, TW x 자극 x 그룹 없음). TW 0-1에 걸친 고정 횟수의 변화는 자극 유형(TW x 그룹, TW x 자극 x 그룹 없음)에 관계없이 대조군보다 난독증 환자에서 더 작았습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 4: 동작 결과. (A) 그룹별 속도 상승 및 감속 시퀀스(d-prime) 및 자극 유형 간의 구별. (B) 행동 수행(d-prime)과 안구 운동의 시간 창 관련 변화 사이의 유의한 상관관계, 둘 다 자극 평균. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
결정적으로, 이러한 값은 주요 연구와 일치하는 행동 결과(그림 4A)와 유사합니다: 행동 결과는 그룹 x 자극 상호 작용 없이 자극 효과(플래시보다 공의 정확도가 낮음)와 그룹 효과(난독증 환자의 성능 저하)를 가리켰습니다. 또한, 5가지 자극을 사용한 기존 연구에서 모든 자극 유형에 대해 평균을 낸 시선 추적 데이터(고정 횟수)와 행동의 상관관계를 분석한 결과, 난독증 그룹에서 TW1에 비해 TW0의 작은 변화가 향상된 성과와 공존하는 상관관계를 발견했습니다. 전체적으로, 결과는 이러한 (성인) 난독증 환자가 자극 전 기간에 자극 자체에 대한 주의를 의도적으로 통제하기 위해 보상 전략에 의존할 수 있다는 가설과 일치하는 것처럼 보였습니다(빈 화면에 대한 집착이 적을수록 자극이 나타날 때까지 자극에 집중하는 것이 유리할 것입니다). 대조군에서는 이러한 상관관계를 발견하지 못했으며, 이는 대조군이 집중력을 유지하기 위해 전략에 의존할 필요가 없을 수도 있음을 시사합니다. 설명을 위해 여기에 사용된 제한된 데이터 세트(두 가지 자극만, 공과 섬광)는 동일한 패턴을 보여주었습니다(그림 4B): 대조군이 아닌 난독증 환자는 d-prime(행동 차별 지수)과 TW01 관련 변화 사이에 유의미한 상관 관계를 보였습니다.
요컨대, 자극 시작(TW 0-1)과 간격 비교(TW 1-2)에 대한 참가자의 반응을 다루는 시선추적 결과는 난독증이 있는 개인과 없는 개인에서 공과 플래시가 다른 반응을 유도한다는 행동적 증거를 복제했습니다(시선 추적 측정에 대한 TW x 자극, d-prime에 대한 자극 효과). 시선 추적 결과의 한 부분은 또한 난독증 환자에서 자극 시작 시 고정 횟수(TW 0-1)의 변화가 더 작았다는 점에서 d-prime에 대한 그룹 효과와 유사했습니다. 또한, 자극과 집단 간의 상호 작용(난독증 환자와 섬광에 대한 난독증의 일탈 수준이 다름)은 행동 및 시선 추적 데이터에 대해 무효였습니다. 마지막으로, 행동 수행과 안구 운동 반응 사이의 상관 관계는 난독증 그룹에서 유의했습니다.
| 순서 | 형 | 인터벌 1 | 인터벌 2 | 다름 |
| 1 | 속도 향상 | 433 | 300 | 133 |
| 2 | 속도 향상 | 300 | 167 | 133 |
| 3 | 속도 향상 | 467 | 433 | 34 |
| 4 | 속도 향상 | 733 | 167 | 566 |
| 5 | 속도 향상 | 467 | 300 | 167 |
| 6 | 속도 향상 | 433 | 134 | 299 |
| 7 | 속도 향상 | 534 | 233 | 301 |
| 8 | 속도 향상 | 500 | 433 | 67 |
| 9 | 천천히 가 주세요 | 300 | 433 | -133 |
| 10 | 천천히 가 주세요 | 167 | 300 | -133 |
| 11 | 천천히 가 주세요 | 433 | 467 | -34 |
| 12 | 천천히 가 주세요 | 167 | 733 | -566 |
| 13 | 천천히 가 주세요 | 300 | 467 | -167 |
| 14 | 천천히 가 주세요 | 133 | 434 | -301 |
| 15 | 천천히 가 주세요 | 233 | 534 | -301 |
| 16 | 천천히 가 주세요 | 433 | 500 | -67 |
| 평균 간격 | 377.1 | |||
| 평균 차이 | 212.6 | |||
| 평균 차이/구간 | 294.8 | |||
표 1: 간격 기간. 밀리초 단위의 속도 증가 및 감속 시퀀스에 대한 자극 시퀀스입니다.
Discussion
현재 프로토콜에는 시각적 지속 시간 인식 작업에 시선 추적을 통합하는 데 대한 현재 장애물을 해결하는 데 중요할 수 있는 새로운 구성 요소가 포함되어 있습니다. 여기서 중요한 단계는 이러한 각 시간대에서 발생하는 것으로 추정되는 인지 과정을 기반으로 하는 시간대를 정의하는 것입니다. 우리가 사용한 시스템에서는 시간 창을 관심 영역(이러한 시스템에서 시간과 결합된 공간 관련 개념)으로만 정의할 수 있지만 다른 시스템에서는 시험의 다른 세그먼트를 내보내 이를 수행할 수 있습니다. 이러한 시험의 시간적 세분화 외에도 기간별 매개 변수보다는 시간 창에 걸친 변화를 분석하는 데 집중하는 것이 중요합니다.
수정해야 할 프로토콜과 관련하여 대부분 관심 영역의 차원과 관련이 있었습니다. 우리는 동적 AOI를 사용하여 전체 화면이 아닌 그 뒤에 오는 자극 주변의 공간 선택을 정의하는 첫 번째 시도를 했습니다. 그러나 우리는 곧 그 지역 밖에서 관련 이벤트를 놓칠 수 있다는 것을 깨달았습니다. 우리의 측정이 자극에 초점을 맞추는 것과 관련이 없다는 점을 감안할 때(동공 크기는 플래시나 공에 대한 주의가 아니라 인지 부하에 따라 변할 것으로 예상됨, 고정 횟수는 공간 검색을 반영할 것으로 예상됨) 전체 화면을 관심 영역으로 사용하기로 결정했습니다.
현재 프로토콜은 여전히 많은 개선이 필요한 초기 제안입니다. 개선의 여지가 훨씬 더 많음에도 불구하고 이 중 두 가지만 강조할 것입니다. 첫 번째는 고정 횟수에 대한 시간 창 효과를 해석할 수 없는 세 시간 창의 길이 차이에 관한 것입니다(예: 더 긴 시간 창은 더 많은 고정을 수반하므로 TW0에서 TW1로 감소, 그림 3 참조). 이 문제를 해결하는 한 가지 방법은 시간 단위당 고정 횟수를 고려하는 것입니다.
두 번째는 다양한 문제를 포함하는 시간 창과 추정 진행 프로세스 간의 대응과 관련이 있습니다. 하나는 TW1이 단순한 자극 외관을 나타내는 것이 아니라 간격 비교에 부수적이고 TW0에는 없을 가능성이 있는 간격 추정(첫 번째 간격)의 명시적인 형태일 수 있다는 것입니다. 유사한 방식으로, 시간 윈도우에 걸친 변화는 또한 지속적인 주의력 및 작업 기억(18)과 같은 일반적인 과정의 변화를 반영할 수 있지만, 이러한 변화들 중 일부는 간격 비교 작업에서 예상될 수 있다(작업 메모리 부하가 TW1에서 TW2에 비해 증가할 것으로 예상됨). 이러한 잠재적 혼란을 완화하는 한 가지 방법은 순수 지속 시간 추정, 지속적인 주의 및 작업 기억과 관련된 제어 작업을 도입한 다음 실험(간격 비교)과 제어 작업 간의 비교를 기반으로 시선 추적 데이터 분석을 수행하는 것입니다. 또 다른 문제는 TW0의 기간이 작업과 관련이 없다는 것이며, 작업과 관련이 없는 기간이 성능19에 해로울 수 있는 것으로 알려져 있습니다. 향후 연구는 이를 개선하는 데 초점을 맞출 수 있는데, 이는 짧은 이벤트가 단순히 시간적 근접성(20,21)에 다른 이벤트를 추가함으로써 프레젠테이션보다 빠르거나 늦게 인식되도록 편향될 수 있기 때문에 시각 처리 응답을 더 잘 구분하기 위해 TW0(관련 없는 간격)과 TW1 사이에 300ms의 차이를 만드는 것입니다.
마지막으로, 자발적인 눈 깜빡임은 시간 지각을 왜곡시킴으로써 시간 지각에 영향을 미칠 수 있으며(눈 깜빡임이 간격에 선행하면 시간이 확장되고, 동시에 발생하면 수축), 잠재적으로 개인 내 시간 수행에 변동성이 발생할 수 있다22. 이 문제를 최소화하는 한 가지 방법은 참가자의 행동 판단에 눈 깜빡임 기반 교정 인자를 적용하는 것입니다(예: 자극 전 또는 자극 중 눈 깜빡임의 존재 여부에 따라 각 판단에 신뢰도를 할당). 또한 시행을 확률 변수로 처리하는 통계적 접근 방식을 통합하는 것도 이 문제를 해결하는 데 도움이 될 수 있습니다.
향후 연구와 관련하여 다루어야 할 중요한 주제는 자발적 눈 깜박임 속도(EBR)와 시간 지각 사이의 연관성입니다. EBR은 중심 도파민 기능(DA)23의 비침습적 간접 마커로 알려져 있으며, 최근에는 높은 ERB가 시간적 지각이 좋지 않은 것과 관련이 있습니다. 이 연구는 인터벌 타이밍에서 도파민의 의미를 시사하고 도파민 측정24의 프록시로 ERB의 사용을 지적합니다. 또 다른 중요한 주제는 우리가 분석한 (변화 관련) 측정의 기능적 의미인데, 이는 우리 패러다임의 맥락에서 아직 결정되지 않았습니다. 기존 연구와 현재의 단순화된 데이터 세트에서 TW0에서 TW1로의 동공 크기 증가는 인지 부하 증가의 아이디어와 일치했지만 이 측정에 대한 그룹 효과가 없기 때문에 추가 고려 사항이 없습니다. 제시되는 것으로 보이는 한 가지 패턴은 시간 창에 따른 작은 변화가 더 나은 행동 수행과 상관 관계가 있다는 것입니다(Balls보다 Flashes가 더 좋고, 난독증 환자의 경우 d-prime은 더 작은 변화와 관련이 있음), 추가 연구가 필요합니다.
그 한계에도 불구하고, 우리가 아는 한, 현재 프로토콜은 시선 추적 및 행동 데이터(동일한 효과 프로필)에서 유사한 결과와 둘 사이의 상관관계에 대한 몇 가지 증거를 보여주는 최초의 프로토콜입니다.
Disclosures
저자는 공개할 이해 상충이 없습니다.
Acknowledgments
이 작업은 보조금 UIDB/00050/2020에 따라 포르투갈 과학 기술 재단의 지원을 받았습니다. 및 PTDC/PSI-GER/5845/2020. APC는 보조금 PTDC/PSI-GER/5845/2020(http://doi.org/10.54499/PTDC/PSI-GER/5845/2020)에 따라 포르투갈 과학 기술 재단(Portuguese Foundation for Science and Technology)에서 전액 자금을 지원했습니다.
Materials
| Name | Company | Catalog Number | Comments |
| Adobe Animate | Adobe | It is a tool for designing flash animation films, GIFs, and cartoons. | |
| EyeLink Data Viewer | It is robust software that provides a comprehensive solution for visualizing and analyzing gaze data captured by EyeLink eye trackers. It is accessible on Windows, macOS, and Linux platforms. Equipped with advanced capabilities, Data Viewer enables effortless visualization, grouping, processing, and reporting of EyeLink gaze data. | ||
| Eye-tracking system | SR Research | EyeLink 1000 Portable Duo | It has a portable duo camera, a Laptop PC Host, and a response device. The EyeLink integrates with SR Research Experiment Builder, Data Viewer, and WebLink as well as many third-party stimulus presentation software and tools. |
| Monitor | Samsung Syncmaster | 957DF | It is a 19" flat monitor |
| SR Research Experiment Builder | SR Research | It is an advanced and user-friendly drag-and-drop graphical programming platform designed for developing computer-based experiments in psychology and neuroscience. Utilizing Python as its foundation, this platform is compatible with both Windows and macOS, facilitating the creation of experiments that involve both EyeLink eye-tracking and non-eye-tracking functionalities. |
References
- Bellinger, D., Altenmüller, E., Volkmann, J. Perception of time in music in patients with parkinson's disease - The processing of musical syntax compensates for rhythmic deficits. Frontiers in Neuroscience. 11, 68 (2017).
- Plourde, M., Gamache, P. L., Laflamme, V., Grondin, S. Using time-processing skills to predict reading abilities in elementary school children. Timing & Time Perception. 5 (1), 35-60 (2017).
- Saloranta, A., Alku, P., Peltola, M. S. Listen-and-repeat training improves perception of second language vowel duration: evidence from mismatch negativity (MMN) and N1 responses and behavioral discrimination. International Journal of Psychophysiology. 147, 72-82 (2020).
- Soares, A. J. C., Sassi, F. C., Fortunato-Tavares, T., Andrade, C. R. F., Befi-Lopes, D. M. How word/non-word length influence reading acquisition in a transparent language: Implications for children's literacy and development. Children (Basel). 10 (1), 49 (2022).
- Sousa, J., Martins, M., Torres, N., Castro, S. L., Silva, S. Rhythm but not melody processing helps reading via phonological awareness and phonological memory. Scientific Reports. 12 (1), 13224 (2022).
- Torres, N. L., Luiz, C., Castro, S. L., Silva, S. The effects of visual movement on beat-based vs. duration-based temporal perception. Timing & Time Perception. 7 (2), 168-187 (2019).
- Torres, N. L., Castro, S. L., Silva, S. Visual movement impairs duration discrimination at short intervals. Quarterly Journal of Experimental Psychology. 77 (1), 57-69 (2024).
- Attard, J., Bindemann, M. Establishing the duration of crimes: an individual differences and eye-tracking investigation into time estimation. Applied Cognitive Psychology. 28 (2), 215-225 (2014).
- Warda, S., Simola, J., Terhune, D. B. Pupillometry tracks errors in interval timing. Behavioral Neuroscience. 136 (5), 495-502 (2022).
- Goswami, U. A neural basis for phonological awareness? An oscillatory temporal-sampling perspective. Current Directions in Psychological Science. 27 (1), 56-63 (2018).
- Catronas, D., et al. Time perception for visual stimuli is impaired in dyslexia but deficits in visual processing may not be the culprits. Scientific Reports. 13, 12873 (2023).
- Zagermann, J., Pfeil, U., Reiterer, H. Studying eye movements as a basis for measuring cognitive load. Extended Abstracts of the 2018 CHI Conference on Human Factors in Computing Systems. , ACM Press. New York. 1-6 (2018).
- Rafiqi, S., et al. PupilWare: Towards pervasive cognitive load measurement using commodity devices. Proceedings of the 8th ACM International Conference on PETRA. , 1-8 (2015).
- Klingner, J., Kumar, R., Hanrahan, P. Measuring the task-evoked pupillary response with a remote eye tracker. Proceedings of the 2008 Symposium on ETRA. , 69-72 (2008).
- Mahanama, B., et al. Eye movement and pupil measures: a review. Frontiers in Computer Science. 3, 733531 (2022).
- Pfleging, B., Fekety, D. K., Schmidt, A., Kun, A. L. A model relating pupil diameter to mental workload and lighting conditions. Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems. , 5776-5788 (2016).
- Cicchini, G. M.
- EyeLink Data Viewer 3.2.1. SR Research Ltd. , Available from: https://www.sr-research.com/data-viewer/ (2018).
- Spencer, R., Karmarkar, U., Ivry, R. Evaluating dedicated and intrinsic models of temporal encoding by varying contex. Philosophical Transactions of the Royal Society B. 364 (1525), 1853-1863 (2009).
- Coull, J. T. Getting the timing right: experimental protocols for investigating time with functional neuroimaging and psychopharmacology. Advances in Experimental Medicine and Biology. 829, 237-264 (2014).
- Burr, D., Rocca, E. D., Morrone, M. C. Contextual effects in interval-duration judgements in vision, audition and touch. Experimental Brain Research. 230 (1), 87-98 (2013).
- Grossman, S., Gueta, C., Pesin, S., Malach, R., Landau, A. N. Where does time go when you blink. Psychological Science. 30 (6), 907-916 (2019).
- Jongkees, B. J., Colzato, L. S. Spontaneous eye blink rate as predictor of dopamine-related cognitive function-a review. Neuroscience & Biobehavioral Reviews. 71, 58-82 (2016).
- Sadibolova, R., Monaldi, L., Terhune, D. B. A proxy measure of striatal dopamine predicts individual differences in temporal precision. Psychonomic Bulletin & Review. 29 (4), 1307-1316 (2022).
