Een beoordelingsmethode en toolkit om toetsenbordontwerp op smartphones te evalueren
Summary
Het gepresenteerde protocol integreert verschillende evaluatiemethoden en demonstreert een methode om het toetsenbordontwerp op smartphones te evalueren. Paren die overeenkomen met Engelse tekens worden voorgesteld als het invoermateriaal en de overgangstijd tussen twee sleutels wordt gebruikt als de afhankelijke variabele.
Abstract
Toetsenbordinvoer heeft een essentiële rol gespeeld in de interactie tussen mens en computer met een groot aantal gebruikers, en het toetsenbordontwerp is altijd een van de fundamentele objecten geweest van studies op slimme apparaten. Met de ontwikkeling van schermtechnologie kunnen nauwkeurigere gegevens en indicatoren door smartphones worden verzameld om het toetsenbordontwerp diepgaand te evalueren. De vergroting van het telefoonscherm heeft geleid tot onbevredigende invoerervaring en vingerpijn, vooral voor invoer met één hand. De invoerefficiëntie en het comfort hebben de aandacht getrokken van onderzoekers en ontwerpers, en het gebogen toetsenbord met in grootte verstelbare knoppen, dat ruwweg overeenkwam met de fysiologische structuur van duimen, werd voorgesteld om het gebruik met één hand op smartphones met groot scherm te optimaliseren. De werkelijke effecten bleven echter dubbelzinnig. Daarom demonstreerde dit protocol een algemene en samengevatte methode om het effect van gebogen QWERTY-toetsenbordontwerp op een 5-inch smartphone te evalueren via een zelfontwikkelde software met gedetailleerde variabelen, waaronder objectieve gedragsgegevens, subjectieve feedback en de coördinatengegevens van elk aanraakpunt. Er is voldoende literatuur over het evalueren van virtuele toetsenborden; slechts enkele van hen hebben echter systematisch de evaluatiemethoden en -processen samengevat en beraadstrokken. Daarom vult dit protocol de leemte op en presenteert het een proces en methode voor de systematische evaluatie van toetsenbordontwerp met beschikbare codes voor analyse en visualisatie. Het heeft geen extra of dure apparatuur nodig en is gemakkelijk uit te voeren en te bedienen. Bovendien helpt het protocol ook om mogelijke redenen te krijgen voor de nadelen van het ontwerp en verlicht het de optimalisatie van ontwerpen. Kortom, dit protocol met de open-source bronnen kan niet alleen een demonstratief experiment in zijn klasse zijn om de beginner te inspireren om zijn studie te starten, maar draagt ook bij aan het verbeteren van de gebruikerservaring en de inkomsten van bedrijven die invoermethode-editors gebruiken.
Introduction
Toetsenbordinvoer is de mainstream methode van de interactie tussen mens en smartphone1,2,en met de penetratie van smartphones krijgt toetsenbordinvoer miljarden gebruikers. In 2019 had de wereldwijde penetratiegraad van smartphones 41,5%bereikt 3, terwijl de Verenigde Staten, met de hoogste penetratie, waren gekomen tot 79,1%4. Tot het eerste kwartaal van 2020 had het Sogou mobiele toetsenbord ongeveer 480 miljoen dagelijks actieve gebruikers5. Tot 6 mei 2020 was het Google Gboard meer dan 1 miljard keer gedownload6.
Onbevredigende toetsenbordinvoerervaring neemt toe met de vergroting van het telefoonscherm. Hoewel het vergrote scherm bedoeld was om de kijkervaring te verbeteren, heeft het de zwaartekracht, grootte en het gewicht van smartphones veranderd, waardoor gebruikers herhaaldelijk van houding veranderen om afgelegen gebieden te bereiken (bijv. Knop A en Q voor rechtshandige gebruikers), wat leidt tot invoerinefficiëntie. De uitrekking van spieren kan ervoor zorgen dat gebruikers lijden aan musculoskeletale aandoeningen, handpijn en verschillende soorten ziekten (bijv. Carpaal tunnelsyndroom, duimartrose en duimtenosynovitis7,8,9,10). Gebruikers die de voorkeur geven aan gebruik met één hand zijn onder slechtere omstandigheden11,12.
Daarom zijn de evaluatie en optimalisatie van toetsenbordontwerp hot topics geworden van psychologisch, technisch en ergonomisch onderzoek. Variabele toetsenbordontwerpen en -concepten zijn voortdurend voorgesteld door IME-bedrijven en onderzoekers (Input Method Editor) om de invoerervaring en efficiëntie te optimaliseren, inclusief lay-out-gewijzigde en karakter-opnieuw gerangschikte toetsenborden: Microsoft WordFlow Keyboard13,Functional Button Area in Glory of Kings14, IJQWERTY15en Quasi-QWERTY16.
Bestaande evaluatiemethoden voor toetsenbordontwerp variëren van onderzoeker tot onderzoeker, behalve voor verschillende zeer geaccepteerde indicatoren, en nauwkeurigere indicatoren worden voorgesteld. Met een verscheidenheid aan indicatoren is er echter geen samengevat en systematisch protocol beschikbaar om het proces van het evalueren en analyseren van het toetsenbordontwerp aan te tonen. Fitts ‘Law17 en de uitgebreide versie FFitts Law18, die de interactie tussen mens en computer beschreef, werden op grote schaal aangenomen om de toetsenbordprestaties te evalueren19,20,21,22. Bovendien werd het functionele gebied van de duim voorgesteld om het toetsenbordontwerp te verbeteren en het beschreef een gebogen bewegingsgebied voor de duim om de invoertaak comfortabel tevoltooien 23. Op basis van deze theorieën werden indicatoren zoals woord per minuut, woordfoutpercentage en subjectieve feedback (waargenomen bruikbaarheid, waargenomen prestaties, waargenomen snelheid, subjectieve werklast, waargenomen inspanning en pijn, en intentie om te gebruiken, enz.), Die sterk werden gebruikt, gedeeltelijk gebruikt in eerdere studies24,25,26,27,28,29 behalve voor modellerings- en simulatiemethoden. Bovendien werden de aangebrachte ellips van touchpoints op elke knop en de offset30,31 ervan de afgelopen jaren gebruikt om de nauwkeurige prestaties van invoergebeurtenissen te onderzoeken. Ook werden de galvanische huidrespons, hartslag, elektromyografische activiteit, handgebaar enlichaamsbeweging 32,33,34,35 aangenomen om spiervermoeidheid, comfort en tevredenheid van de gebruikers direct of indirect te evalueren. Deze verschillende methoden missen echter reflectie op de geschiktheid van de gebruikte indicatoren en een beginnende onderzoeker kan in de war raken om de juiste indicatoren voor zijn of haar onderzoek te selecteren.
Het onderzoek naar toetsenbordontwerp is ook eenvoudig uit te voeren, te bedienen en te analyseren. Met de hausse aan schermtechnologie kunnen eenvoudig meer gedragsgegevens worden verzameld om het toetsenbordontwerp diepgaand te evalueren (bijvoorbeeld de overgangstijd tussen twee toetsen en de coördinatengegevens van elk aanraakpunt). Op basis van de genoemde gegevens konden onderzoekers de details van het toetsenbordontwerp nauwkeurig verkennen en de nadelen en voordelen ervan analyseren. In vergelijking met ander onderzoek naar mens-computerinteractie heeft het onderzoek naar toetsenbordontwerp op draagbare smartphones ook een hoge toepassingswaarde voor zijn enorme gebruikersbestand zonder dure apparatuur, gecompliceerde materialen of enorme laboratoriumruimte. De vragenlijsten, schalen en Python-script over het onderzoek zijn open-source en gemakkelijk toegankelijk.
Het doel van dit onderzoek is om de vorige methoden samen te vatten om een systematisch, nauwkeurig en algemeen protocol aan te tonen om het toetsenbordontwerp op smartphones te evalueren en te analyseren. Het voorbeeldexperiment en de resultaten zijn bedoeld om te laten zien of het gebogen QWERTY-toetsenbord met in grootte verstelbare knoppen de invoerervaring van invoer met één hand op een 5-inch smartphone kan optimaliseren in vergelijking met het traditionele QWERTY-toetsenbord en de visualisatiemethode en het Python-script van gegevensanalyse kan delen.
Protocol
Representative Results
Discussion
In deze studie, gebaseerd op de ontwikkeling van schermtechnologie, presenteerden we een samengevat en algemeen protocol van toetsenbordontwerpevaluatie om het toetsenbordontwerp systematisch en nauwkeurig te beoordelen. Bestaande indicatoren en methoden uit eerdere studies, paren die overeenkomen met Engelse tekens en overgangstijd tussen twee sleutels zijn geïntegreerd en aangepast om een effectief protocol te genereren.
Verschillende kritieke punten moeten in dit protocol worden opgemerkt….
Disclosures
The authors have nothing to disclose.
Acknowledgements
Dit onderzoek wordt ondersteund door het Tsinghua University Initiative Scientific Research Program (Ergonomisch ontwerp van gebogen toetsenbord op slimme apparaten). De auteurs waarderen Tianyu Liu voor zijn vriendelijke suggesties en codeerhulp bij cijfers.
Materials
| Changxiang 6S smartphone | Huawei | Smartphone used in the examplar study | |
| Curved QWERTY keyboard software | Tsinghua University | Developed by authors | |
| SPSS software | IBM | Data analysis software | |
| G*Power software | Heinrich-Heine-Universität Düsseldorf | Sample size calculation | |
| E4 portable wireless wristband | Empatica | Recording galvanic skin response and heart rate | |
| Arqus | Qualysis | Motion capture camera platform | |
| Passive marker | Qualysis | Appropriate sizes: 2.5 mm, 4 mm, and 6.5 mm | |
| Trigno sEMG | Delsys | Recording electromyographic activity | |
| Visual Studio Code | Microsoft | Python editor |
References
- Lee, S., Zhai, S. The performance of touch screen soft buttons. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. , (2009).
- Smith, B. A., Bi, X., Zhai, S. Optimizing touchscreen keyboards for gesture typing. Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems. , (2015).
- . Global smartphone penetration rate as share of population from 2016 to 2020 [Fact sheet] Available from: https://www.statista.com/statistics/203734/global-smartphone-penetration-per-capita-since-2005 (2020)
- Top Countries by Smartphone Users [Fact sheet]. Newzoo Available from: https://newzoo.com/insights/rankings/top-countries-by-smartphone-penetration-and-users (2019)
- Gboard – the Google Keyboard [Press release]. Google Play Available from: https://play.google.com/store/apps/details?id=com.google.android.inputmethod.latin (2020)
- Eitivipart, A. C., Viriyarojanakul, S., Redhead, L. Musculoskeletal disorder and pain associated with smartphone use: A systematic review of biomechanical evidence. Hong Kong Physiotherapy Journal. 38 (2), 77-90 (2018).
- Chang, J., Choi, B., Tjolleng, A., Jung, K. Effects of button position on a soft keyboard: Muscle activity, touch time, and discomfort in two-thumb text entry. Applied Ergonomics. 60, 282-292 (2017).
- Gehrmann, S. V., et al. Motion deficit of the thumb in CMC joint arthritis. Journal of Hand Surgery. 35 (9), 1449-1453 (2010).
- Kim, G., Ahn, C. S., Jeon, H. W., Lee, C. R. Effects of the Use of Smartphones on Pain and Muscle Fatigue in the Upper Extremity. Journal of Physical Therapy Science. 24 (12), 1255-1258 (2012).
- Girouard, A., et al. One-handed bend interactions with deformable smartphones. Proceedings of the 33rd annual ACM conference on human factors in computing systems. , (2015).
- Lee, M., Hong, Y., Lee, S., Won, J., Yang, J., Park, S. The effects of smartphone use on upper extremity muscle activity and pain threshold. Journal of Physical Therapy Science. 27 (6), 1743-1745 (2015).
- Word Flow keyboard [Press release]. Microsoft Garage Available from: https://www.microsoft.com/en-us/garage/profiles/word-flow-keyboard/ (2020)
- The glory of kings [Press release]. Tencent Games Available from: https://pvp.qq.com/ (2020)
- Bi, X., Zhai, S. Ijqwerty: what difference does one key change make? Gesture typing keyboard optimization bounded by one key position change from qwerty. Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems. , (2016).
- Bi, X., Smith, B. A., Zhai, S. Quasi-qwerty soft keyboard optimization. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. , (2010).
- Fitts, P. The information capacity of the human motor system is controlled by the amplitude of movement. Journal of Experimental Psychology. 47, 381-391 (1954).
- Bi, X., Li, Y., Zhai, S. FFitts law: modeling finger touch with fitts’ law. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. , (2013).
- Dunlop, M., Levine, J. Multidimensional pareto optimization of touchscreen keyboards for speed, familiarity and improved spell checking. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. , (2012).
- Li, Y., Chen, L., Goonetilleke, R. S. A heuristic-based approach to optimize keyboard design for single-finger keying applications. International Journal of Industrial Ergonomics. 36 (8), 695-704 (2006).
- Benligiray, B., Topal, C., Akinlar, C. SliceType: fast gaze typing with a merging keyboard. Journal on Multimodal User Interfaces. 13 (4), 321-334 (2019).
- Wang, Y., Ai, H., Liang, Q., Chang, W., He, J. How to optimize the input efficiency of keyboard buttons in large smartphone? A comparison of curved keyboard and keyboard area size [Conference presentation]. International Conference on Human-Computer Interaction. , (2019).
- Bergstrom-Lehtovirta, J., Oulasvirta, A. Modeling the functional area of the thumb on mobile touchscreen surfaces. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. , (2014).
- Brooke, J. SUS: A retrospective. Journal of Usability Studies. 8 (2), 29-40 (2013).
- Borg, G. Principles in scaling pain and the Borg CR Scales. Psychologica. 37, 35-47 (2004).
- Hart, S. G., Staveland, L. E., Hancock, P. A., Meshkati, N. Development of NASA-TLX (task load index): results of empirical and theoretical research. Human mental workload. , 139-183 (1988).
- Trudeau, M. B., Asakawa, D. S., Jindrich, D. L., Dennerlein, J. T. Two-handed grip on a mobile phone affords greater thumb motor performance, decreased variability, and a more extended thumb posture than a one-handed grip. Applied Ergonomics. 52, 24-28 (2016).
- Turner, C. J., Chaparro, B. S., He, J. Text input on a smartwatch qwerty keyboard: tap vs. trace. International Journal of Human Computer Interaction. 33 (1-3), 143-150 (2017).
- Zhai, S., Kristensson, P. O. The word-gesture keyboard: reimagining keyboard interaction. Communications of the ACM. 55 (9), 91-101 (2012).
- Azenkot, S., Zhai, S. Touch behavior with different postures on soft smartphone keyboards. Proceedings of the 14th international conference on Human-computer interaction with mobile devices and services. , (2012).
- Yi, X., Yu, C., Shi, W., Shi, Y. Is it too small?: Investigating the performances and preferences of users when typing on tiny qwerty keyboards. International Journal of Human Computer Studies. 106, 44-62 (2017).
- Li, Y., You, F., Ji, M., You, X. Smartphone text input: effects of experience and phrase complexity on user performance, physiological reaction, and perceived usability. Applied Ergonomics. 80, 200-208 (2019).
- Gerard, M. J., Jones, S. K., Smith, L. A., Thomas, R. E., Wang, T. An ergonomic evaluation of the Kinesis ergonomic computer keyboard. Ergonomics. 37 (10), 1661-1668 (1994).
- Van Galen, G. P., Liesker, H., Haan, A. Effects of a vertical keyboard design on typing performance, user comfort and muscle tension. Applied Ergonomics. 38 (1), 99-107 (2007).
- Baker, N. A., Cham, R., Cidboy, E. H., Cook, J., Redfern, M. S. Kinematics of the fingers and hands during computer keyboard use. Clinical Biomechanics. 22 (1), 34-43 (2007).
- Soukoref, R. W., MacKenzie, I. S. Metrics for text input research: an evaluation of MSD and KSPC, and a new unified error metric. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. , 113-120 (2003).
- Mackenzie, I. S., Soukoreff, R. W. Phrase sets for evaluating text entry techniques. CHI’03 Extended Abstracts on Human Factors in Computing Systems. , 754-755 (2003).
- Trudeau, M. B., Sunderland, E. M., Jindrich, D. L., Dennerlein, J. T., Federici, S. A data-driven design evaluation tool for handheld device soft keyboards. Plos One. 9 (9), 107070 (2014).
- Cao, S., Ho, A., He, J. Modeling and predicting mobile phone touchscreen transcription typing using an integrated cognitive architecture. International Journal of Human-Computer Interaction. 34 (4-6), 544-556 (2018).
