Konuşulan dil çevrimiçi işlenmesi keşfetmek için görsel dünya paradigmada kaydedilen göz hareketleri kullanarak

Hemen kaybolur bir hızlı, sürekli bilgi akışı konuşulan dildir. Deneysel olarak bu geçici çalışma, konuşma sinyali hızla değiştirmek için bir mücadeledir. Göz hareketleri görsel dünya paradigmada kaydedilen bu zorluğu aşmak için kullanılabilir. Onlar dinlemek, ya da üretmek, konuşulan dil görsel dünya^{1 içeriğini gösteren görsel dünya paradigması kullanarak çalışma izleme tipik bir gözüne katılımcıların göz hareketleri resimleri bir görüntüleme veya görsel çalışma alanındaki gerçek nesneler için izlenir ,2,3,4}. Temel mantığı veya Bu paradigma arkasında bağlama hipotez kavrama veya bir söyleyiş planlama (açıktan veya gizlice) katılımcıların görsel dikkat görsel dünyanın belirli bir nesneye kayacak var. Bu dikkat değişim katılımlı alanı foveal vizyon getirmek için sakkadik göz hareketleri başlatmak için yüksek bir olasılık var. Bu paradigma ile araştırmacılar konuşma sinyalinde akustik bazı simgesel yapı ile ilgili olarak zamansal hangi noktada katılımcının görsel dikkat bir kayma oluşur, bir nesneye veya bir resimde görsel sakkadik göz hareketleri tarafından ölçülen belirlemek niyetinde Dünya. Ne zaman ve nerede sakkadik göz hareketleri ile ilgili olarak konuşma sinyal piyasaya sürüldü sonra online dil işleme anlamak için kullanılır. Görsel Dünya paradigma konuşulan dil anlama^1,2 ve üretim^5,6çalışma için kullanılabilir. Metodolojik Bu makalede anlama çalışmaları üzerinde durulacak. Bir anlama çalışmada katılımcıların göz görsel görüntü hakkında konuşuyor söylenen sözler için dinlerken görsel ekran hareketleri izlenir görsel dünya paradigması kullanarak.

Farklı göz izleme sistemleri tarihinin tasarladık. Basit, sadece normal video katılımcının gözleri bir görüntü kayıtları kamera, en ucuz ve en taşınabilir sistemidir. Göz hareketleri video kaydı kare kare incelenmesi el ile kodlanmıştır. Ancak, böyle bir göz-izci örnekleme oranı nispeten düşüktür ve kodlama zaman alıcı bir işlemdir. Böylece, çağdaş bir ticari göz izleme sistemi normalde optik sensörler gözlerinin içine onun yörünge^7,8,9yönünü ölçme kullanır. Çağdaş ticari göz izleme sisteminin nasıl işlediğini anlamak için aşağıdaki hususlar dikkate alınmalıdır. İlk doğru foveal vizyon, bir kızılötesi ışığı yönünü ölçmek için (normal dalga boyu ile 780-880 nm) normalde boyunca veya distinguishably daha parlak veya daha koyu hale getirir öğrencinin kameranın optik eksen kapalı yatırılır çevreleyen Iris. Öğrencinin ve/veya öğrenci kornea yansıma (normalde ilk Purkinje görüntü) görüntü daha sonra gözlerinin içine onun yörüngesinde yönünü hesaplamak için kullanılır. İkinci olarak, görsel dünyanın bakışları yeri sadece göz yönelimi ile ilgili baş aynı zamanda baş yönelimi ile ilgili görsel dünya aslında şartlı olduğunu. Doğru bir şekilde konuda göz yönlendirme üzerinden bakışları anlaması için ışık kaynağı ve kameranın göz-izci ve katılımcıların kafa (başa takılan göz-izci) ile ilgili olarak sabit veya görsel dünya ile ilgili olarak sabit (tablo monte edilmiş veya Uzaktan göz-izci). Üçüncü olarak, katılımcıların baş yönlendirme ile ilgili görsel dünya da düzeltilmesi gereken veya katılımcıların kafasını serbest ise hesaplama açısından telafi edilebilir. Uzaktan göz İzleyicisi’ni bir baş-ücretsiz-için-taşı modunda kullanıldığında, katılımcıların pozisyonu genellikle katılımcıların alnında küçük bir etiket koyarak kaydedilir. Baş yönlendirme hesaplama açısından görsel dünyanın bakışları yeri almak için göz yönünü dan çıkarılır. Dördüncü olarak, bir kalibrasyon ve doğrulama işlemi sonra göz yönünü görsel dünya bağlamda bakışları eşleştirmek için gereklidir. Kalibrasyon sürecinde katılımcıların fiksasyon örnekleri bilinen hedef noktalarından harita konum görsel dünyanın gözünü dikmek için ham göz veri kaydedilir. Doğrulama işleminde katılımcılar aynı hedef noktaları kalibrasyon işlemi olarak sunulur. Kalibre edilmiş sonuçları hesaplanan fiksasyon konumdan ve görsel dünyanın saplantısı hedefinin konumu gerçek arasında var olan fark sonra kalibrasyon doğruluğunu yargılamak için kullanılır. Daha fazla eşleme işlemi doğruluğunu onaylamak için bir drift onay normalde nerede bir tek fiksasyon hedef sunulan hesaplanan fiksasyon konumu ve gerçek konumunu arasındaki fark ölçmek katılımcılara her denemedeki uygulanır geçerli hedef.

Bir görsel dünya çalışmanın birincil veri göz izci tamamını veya kısmını deneme süresi içinde değişen, örnekleme hızında kaydedilen görsel dünya yerlerde bakışları akışıdır. Bağımlı değişken bir görsel dünya çalışmada kullanılan genellikle katılımcıların tespitlerin görsel dünya kayma belirli bölgede, belirli bir zaman penceresi arasında bulunmaktadır örnekleri oranıdır. Verileri çözümlemek için bir zaman penceresi ilk olarak seçilecek, genellikle faiz dönemi adlandırılan vardır. Zaman penceresi işitsel girişi dile ait bazı olayları tanıtımı için genellikle zaman-kilitli. Ayrıca, görsel dünya da ilgi (ROIs), her biri bir veya daha fazla nesne ile ilişkili çeşitli bölgelere bölmek için gereklidir. Böyle bir bölge için konuşulan dil, anlama doğru karşılık gelen nesne içerir ve böylece sık sık hedef alan denir. Verileri görselleştirmek için tipik bir şekilde nerede bir zaman penceresi her bin, örnekleri ilgi her bölgesine bir bakışla oranı ortalama katılımcılar ve öğeleri arasında bir fiksasyon oran komplodur.

Bir görsel dünya çalışma alınan verileri kullanarak, farklı araştırma sorularını yanıtladı: bir) katılımcıların göz hareketleri görsel dünyanın farklı işitsel dil girişi tarafından etkilenen kaba Gren .bilgili misin? b) bir etkisi ise, duruşma boyunca etkisi yörünge nedir? Bir doğrusal veya yüksek sıralı efektini mi? ve c) bir etkisi ince gren seviyesi, daha sonra ise ne zaman erken zamansal noktası nerede böyle bir etkisi ortaya çıkar ve bu etkisi ne kadar sürer son?

İstatistiksel sonuçları analiz etmek için aşağıdaki noktaları dikkate alınmalıdır. İlk olarak, yanıt değişken, yani, oranlarını tespitlerin, altında ve üstünde (0 ile 1 arasında), hangi bir normal dağılım yerine Multinom dağılımı takip edecek sınırlıdır. Oranlar gibi sınırsız değişkenlerle dönüşmüşlerdir kadar Şu andan itibaren normal dağılım doğrusal (karışık-etkisi) modelleri¹⁰, t-testi ve ANOVA gibi temel geleneksel istatistiksel yöntemler doğrudan kullanılmak olamaz ampirik logit formül¹¹ veya Öklid uzaklığı¹²gibi sınırsız bağımlı değişkenler ile yerini almış. Normal dağılım bu tür varsayımı Genelleştirilmiş Doğrusal (karışık-etkisi) modelleri¹³ gerektirmeyen istatistiksel teknikler de kullanılabilir. İkinci olarak, gözlenen etkisi değişen yörüngesini keşfetmek için modele eklenecek zaman serileri ifade eden bir değişken vardır. Bu zaman serileri aslında göz-izci değişkendir giriş dili başlangıcı için realigned puan örnekleme’nın. Değişen yörünge genellikle doğrusal olmadığına göre bir yüksek dereceden polinom işlev serisi zaman normalde (genel) doğrusal (karışık-etkisi) modeli, yani, büyüme eğrisi analizleri¹⁴eklenir. Ayrıca, katılımcıların göz pozisyonlar geçerli örnekleme noktasını önceki örnekleme noktalarının üzerinde son derece bağımlı özellikle zaman kayıt sıklığı yüksek, otokorelasyon sorun kaynaklanan. Otokorelasyon bitişik örnekleme noktaları arasında azaltmak için özgün verileri kez aşağı örnek veya dönüştüm. Son yıllarda, genelleştirilmiş katkı karma etkisi modelleri (GAMM) da autocorrelated hataları^12,15,16mücadele için kullanılmıştır. Depo gözleri genişliğini birkaç milisaniye için birkaç yüz milisaniye arasında değişen farklı çalışmalar arasında değişir. Bir çalışma seçebilirsiniz en dar bin örnekleme oranı belirli çalışmada kullanılan göz izci tarafından kısıtlanır. Bir göz izci 500 Hz örnekleme hızı varsa, örneğin, o zaman zaman pencerenin genişliğini 2 ms = 1000/500 daha küçük olamaz. Üçüncü olarak, istatistiksel çözümleme art arda faiz geçen süreler her zaman depo gözü uygulandığında, familywise hata birden fazla karşılaştırmalar ele alınması bunlardan indüklenen. Daha önce açıkladığımız gibi yörünge Analizi araştırmacı kaba Gren düzeyde gözlenen etkisi zaman, değiştirme ile ilgili doğrusal olup gözlenen etkisi ortaya çıkmaya başladığı göstermiyor ama nasıl bilgilendirir ve uzun gözlenen etkisi sürer. Gözlenen fark sapmak ve gözlenen etkisi sürer geçici süre süre anlamaya başlatıldığında geçici konumu belirlemek için art arda her zaman depo gözü için uygulanacak bir istatistik analiz vardır. Bu birden fazla karşılaştırmalar sözde familywise hata olursa olsun ne istatistik yöntemi kullanılır, tanıtacak. Familywise hata geleneksel Bonferroni düzeltmesi¹⁷ile giderilmiştir. Son zamanlarda, başlangıçta kullanılan¹⁸ under nörogörüntüleme parametrik olmayan permütasyon testi adı verilen bir yöntem familywise hata için denetime görsel kelime paradigma¹⁹ uygulandı.

Araştırmacılar görsel dünya paradigması kullanarak katılımcıların göz hareketleri görsel dünyanın bazı konuşulan dil anlayışı çıkarmak niyetinde. Bu indirimi geçerliliğini sağlamak için muhtemelen göz hareketleri etkileyen diğer faktörler ekarte veya kontrollü. Aşağıdaki iki dikkat edilmesi gereken ortak olanlar arasında etmenlerdir. İlk faktör katılımcıların açıklayıcı tespitlerin bağımsız üst içinde daha kolay olmak yatay yönde quadrat görsel dünya ve hareketli gözleri soldaki bağlayacaktın eğilimi gibi giriş dilinin sistematik bazı desenler içerir dikey yön, vb^12,20 gözlenen fiksasyon desen nesneleri ile ilgili, değil nerede nesneleri bulunmaktadır uzamsal konumları için bir nesne mekansal konumlarını karşı dengeli emin olmak için farklı denemeler veya farklı katılımcılar. Katılımcıların göz hareketleri etkileyen ikinci faktör parlaklık kontrast, renk ve kenar yönlendirme, diğerleri arasında gibi görsel dünyanın içindeki nesneler temel görüntü özelliklerinden olan²¹. Bu potansiyel karıştırıcı tanılamak için görsel ekran normalde konuşulan dil başlangıcı öncesinde veya konuşulan dil, kritik akustik işaretin başlangıcından zamansal döneminde yaklaşık 1000 Bayan için başlangıcı öncesinde sunulur Sınama görüntüsü test ses, giriş dil ve anlam ayrımı noktası giriş dilinin başlangıcı için henüz duymamıştır. Farklı koşullar arasında gözlenen herhangi bir fark karıştırıcı diğer faktörler gibi görsel ekran başına, giriş dili yerine çıkarılabilir. Şu andan itibaren bu önizleme dönemde gözlenen göz hareketleri dilsel giriş etkisini belirlemek için bir temel sağlar. Bu önizleme dönemi aynı zamanda katılımcılar görsel göstermek ile tanımaya ve konuşulan dil sunulduğunda açıklayıcı tespitlerin sistematik önyargı azaltmak için sağlar.

Tipik bir göz görsel dünya paradigması kullanarak çalışma izleme nasıl yapılır göstermek için aşağıdaki protokolünü açıklar anlam olarak karmaşık ifadeler, Yani, çevrimiçi işlenmesi keşfetmek için L. Zhan¹⁷ uyarlanmış bir deney ayırt edici ifadeler (S1 veya S2), Birleşik bildirimleri (S1 ve S2) ve ama-ifadeleri (S1 ama değil-S2). Sıradan koruma bazı sözler tarafından ifade edilen bilgi aslında onun gerçek anlamı daha güçlüdür. Bir inek veya bir horoz Xiaoming’ın kutusu içerir gibi ayırt edici ifadeler böyle sözler vardır. İki disjuncts bir inek Xiaoming’ın kutusu içerir ve bir horoz Xiaoming’ın kutusu içerir her ikisi are değil sürece mantıksal olarak, ayırt edici ifade doğrudur yanlış. Bu nedenle, iki disjuncts ilgili Birleşik deyiminde bir inek ve bir horoz Xiaoming’ın kutusu içerir da gerçek olduğu her ikisi de true olduğunda ayırt edici ifade doğrudur. Genellikle ayırt edici deyim karşılık gelen Birleşik deyimi yanlış olduğunu göstermektedir işitme normal konuşma, ancak, (skaler implicature); ve iki disjuncts gerçek değerini hoparlör (cehalet çıkarımı) tarafından bilinmeyen olduğunu göstermektedir. Literatürde hesapları iki çıkarımlar gramer veya pragmatik işlemleri^{22,23,24,25,26}olup içinde farklı. Deneme görsel dünya paradigma çevrimiçi işleme karmaşık deyimleri keşfetmek tarafından bu hesaplar arasında hakemlik için nasıl kullanılabileceğini gösterir.