Une méthode d’évaluation et une boîte à outils pour évaluer la conception du clavier sur les smartphones
Summary
Le protocole présenté intègre diverses méthodes d’évaluation et démontre une méthode pour évaluer la conception du clavier sur les smartphones. Les paires correspondant à des caractères anglais sont proposées comme matériau d’entrée, et le temps de transition entre deux touches est utilisé comme variable dépendante.
Abstract
La saisie au clavier a joué un rôle essentiel dans l’interaction homme-machine avec une vaste base d’utilisateurs, et la conception du clavier a toujours été l’un des objets fondamentaux des études sur les appareils intelligents. Avec le développement de la technologie d’écran, des données et des indicateurs plus précis pourraient être collectés par les smartphones pour évaluer en profondeur la conception du clavier. L’agrandissement de l’écran du téléphone a entraîné une expérience de saisie insatisfaisante et des douleurs aux doigts, en particulier pour la saisie à une main. L’efficacité et le confort d’entrée ont attiré l’attention des chercheurs et des concepteurs, et le clavier incurvé avec des boutons réglables en taille, qui correspondait à peu près à la structure physiologique des pouces, a été proposé pour optimiser l’utilisation d’une seule main sur les smartphones à grand écran. Cependant, ses effets réels sont restés ambigus. Par conséquent, ce protocole a démontré une méthode générale et résumée pour évaluer l’effet de la conception incurvée du clavier QWERTY sur un smartphone de 5 pouces grâce à un logiciel auto-développé avec des variables détaillées, y compris des données comportementales objectives, des commentaires subjectifs et les données de coordonnées de chaque point de contact. Il existe suffisamment de documentation sur l’évaluation des claviers virtuels; cependant, seuls quelques-uns d’entre eux ont systématiquement résumé et pris en réflexion sur les méthodes et les processus d’évaluation. Par conséquent, ce protocole comble la lacune et présente un processus et une méthode d’évaluation systématique de la conception du clavier avec les codes disponibles pour l’analyse et la visualisation. Il ne nécessite aucun équipement supplémentaire ou coûteux et est facile à conduire et à utiliser. En outre, le protocole aide également à obtenir des raisons potentielles pour les inconvénients de la conception et éclaire l’optimisation des conceptions. En conclusion, ce protocole avec les ressources open-source pourrait non seulement être une expérience démonstrative en classe pour inspirer le novice à commencer ses études, mais contribue également à améliorer l’expérience utilisateur et les revenus des entreprises d’édition de méthodes d’entrée.
Introduction
La saisie au clavier est la méthode principale de l’interaction homme-smartphone1,2, et avec la pénétration des smartphones, la saisie au clavier obtient des milliards d’utilisateurs. En 2019, le taux de pénétration mondial des smartphones avait atteint 41,5%3, tandis que les États-Unis, avec la pénétration la plus élevée, s’étaient élevés à 79,1%4. Jusqu’au premier trimestre 2020, le clavier mobile Sogou comptait environ 480 millions d’utilisateurs actifs quotidiens5. Jusqu’au 6 mai 2020, le Google Gboard avait été téléchargé plus de 1 milliard de fois6.
L’expérience de saisie au clavier insatisfaisante augmente avec l’agrandissement de l’écran du téléphone. Bien que l’écran agrandi visait à améliorer l’expérience visuelle, il a modifié la gravité, la taille et le poids des smartphones, obligeant les utilisateurs à changer de posture de maintien à plusieurs reprises pour atteindre des zones éloignées (par exemple, les boutons A et Q pour les droitiers), entraînant ainsi une inefficacité de saisie. L’étirement musculaire peut amener les utilisateurs à souffrir de troubles musculo-squelettiques, de douleurs à la main et de différents types de maladies (par exemple, le syndrome du canal carpien, l’arthrose du pouce et la ténosynovite du pouce7,8,9,10). Les utilisateurs qui préfèrent une utilisation à une main sont dans des conditions pires11,12.
Par conséquent, l’évaluation et l’optimisation de la conception du clavier sont devenues des sujets brûlants de recherche psychologique, technique et ergonomique. Des conceptions et des concepts de claviers variables ont constamment été proposés par des sociétés d’éditeur de méthode d’entrée (IME) et des chercheurs pour optimiser l’expérience et l’efficacité de la saisie, y compris les claviers modifiés et réorganisés par caractères: Microsoft WordFlow Keyboard13, Functional Button Area in Glory of Kings14, IJQWERTY15et Quasi-QWERTY16.
Les méthodes d’évaluation existantes de la conception du clavier varient d’un chercheur à l’autre, à l’exception de plusieurs indicateurs très acceptés, et des indicateurs plus précis sont proposés. Cependant, avec une variété d’indicateurs, il n’y a pas de protocole résumé et systématique fourni pour démontrer le processus d’évaluation et d’analyse de la conception du clavier. La loi17 de Fitts et sa version étendue FFitts Law18, qui décrivait l’interaction homme-machine, ont été largement adoptées pour évaluer les performances du clavier19,20,21,22. De plus, la zone fonctionnelle du pouce a été proposée pour améliorer la conception du clavier, et elle décrivait une zone de mouvement incurvée pour que le pouce remplisse confortablement la tâche de saisie23. Sur la base de ces théories, des indicateurs comprenant le mot par minute, le taux d’erreur des mots et la rétroaction subjective (convivialité perçue, performance perçue, vitesse perçue, charge de travail subjective, effort et douleur perçus, intention d’utilisation, etc.), qui ont été fortement adoptés, ont été partiellement utilisés danslesétudes précédentes24,25,26 ,27,28,29 sauf pour les méthodes de modélisation et de simulation. En outre, l’ellipse de points de contact sur chaque bouton et son décalagede 30,31 ont été utilisés ces dernières années pour étudier les performances précises des événements de saisie. En outre, la réponse galvanique de la peau, la fréquence cardiaque, l’activité électromyographique, le geste de la main et le mouvement du corps32,33,34,35 ont été adoptés pour évaluer directement ou indirectement la fatigue musculaire, le confort et la satisfaction des utilisateurs. Cependant, ces diverses méthodes ne reflètent pas la pertinence des indicateurs utilisés, et un chercheur novice peut être confus pour sélectionner les indicateurs appropriés pour sa recherche.
La recherche sur la conception du clavier est également facile à mener, à utiliser et à analyser. Avec l’essor de la technologie d’écran, davantage de données comportementales pourraient être facilement collectées pour évaluer en profondeur la conception du clavier (par exemple, le temps de transition entre deux touches et les données de coordonnées de chaque point de contact). Sur la base des données mentionnées, les chercheurs ont pu explorer avec précision les détails de la conception du clavier et analyser ses inconvénients et ses avantages. Par rapport à d’autres recherches sur l’interaction homme-machine, la recherche sur la conception de claviers sur les smartphones portables a également une valeur d’application élevée pour sa vaste base d’utilisateurs sans équipement coûteux, matériaux compliqués ou énorme espace de laboratoire nécessaire. Les questionnaires, les échelles et le script Python sur la recherche sont open-source et faciles d’accès.
Le but de cette recherche est de résumer les méthodes précédentes pour démontrer un protocole systématique, précis et général pour évaluer et analyser la conception du clavier sur les smartphones. L’expérience et les résultats exemplaires visent à montrer si le clavier QWERTY incurvé avec des boutons réglables en taille pourrait optimiser l’expérience de saisie d’une seule main sur un smartphone de 5 pouces par rapport au clavier QWERTY traditionnel et partager la méthode de visualisation et le script Python d’analyse de données.
Protocol
Representative Results
Discussion
Dans cette étude, basée sur le développement de la technologie d’écran, nous avons présenté un protocole résumé et général d’évaluation de la conception du clavier pour évaluer la conception du clavier de manière systématique et précise. Les indicateurs et méthodes existants issus d’études antérieures, les paires appariées par des caractères anglais et le temps de transition entre deux clés sont intégrés et modifiés pour générer un protocole efficace.
Plusieurs …
Disclosures
The authors have nothing to disclose.
Acknowledgements
Cette recherche est soutenue par le programme de recherche scientifique de l’Initiative de l’Université Tsinghua (Conception ergonomique du clavier incurvé sur les appareils intelligents). Les auteurs apprécient Tianyu Liu pour ses aimables suggestions et son aide au codage sur les chiffres.
Materials
| Changxiang 6S smartphone | Huawei | Smartphone used in the examplar study | |
| Curved QWERTY keyboard software | Tsinghua University | Developed by authors | |
| SPSS software | IBM | Data analysis software | |
| G*Power software | Heinrich-Heine-Universität Düsseldorf | Sample size calculation | |
| E4 portable wireless wristband | Empatica | Recording galvanic skin response and heart rate | |
| Arqus | Qualysis | Motion capture camera platform | |
| Passive marker | Qualysis | Appropriate sizes: 2.5 mm, 4 mm, and 6.5 mm | |
| Trigno sEMG | Delsys | Recording electromyographic activity | |
| Visual Studio Code | Microsoft | Python editor |
References
- Lee, S., Zhai, S. The performance of touch screen soft buttons. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. , (2009).
- Smith, B. A., Bi, X., Zhai, S. Optimizing touchscreen keyboards for gesture typing. Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems. , (2015).
- . Global smartphone penetration rate as share of population from 2016 to 2020 [Fact sheet] Available from: https://www.statista.com/statistics/203734/global-smartphone-penetration-per-capita-since-2005 (2020)
- Top Countries by Smartphone Users [Fact sheet]. Newzoo Available from: https://newzoo.com/insights/rankings/top-countries-by-smartphone-penetration-and-users (2019)
- Gboard – the Google Keyboard [Press release]. Google Play Available from: https://play.google.com/store/apps/details?id=com.google.android.inputmethod.latin (2020)
- Eitivipart, A. C., Viriyarojanakul, S., Redhead, L. Musculoskeletal disorder and pain associated with smartphone use: A systematic review of biomechanical evidence. Hong Kong Physiotherapy Journal. 38 (2), 77-90 (2018).
- Chang, J., Choi, B., Tjolleng, A., Jung, K. Effects of button position on a soft keyboard: Muscle activity, touch time, and discomfort in two-thumb text entry. Applied Ergonomics. 60, 282-292 (2017).
- Gehrmann, S. V., et al. Motion deficit of the thumb in CMC joint arthritis. Journal of Hand Surgery. 35 (9), 1449-1453 (2010).
- Kim, G., Ahn, C. S., Jeon, H. W., Lee, C. R. Effects of the Use of Smartphones on Pain and Muscle Fatigue in the Upper Extremity. Journal of Physical Therapy Science. 24 (12), 1255-1258 (2012).
- Girouard, A., et al. One-handed bend interactions with deformable smartphones. Proceedings of the 33rd annual ACM conference on human factors in computing systems. , (2015).
- Lee, M., Hong, Y., Lee, S., Won, J., Yang, J., Park, S. The effects of smartphone use on upper extremity muscle activity and pain threshold. Journal of Physical Therapy Science. 27 (6), 1743-1745 (2015).
- Word Flow keyboard [Press release]. Microsoft Garage Available from: https://www.microsoft.com/en-us/garage/profiles/word-flow-keyboard/ (2020)
- The glory of kings [Press release]. Tencent Games Available from: https://pvp.qq.com/ (2020)
- Bi, X., Zhai, S. Ijqwerty: what difference does one key change make? Gesture typing keyboard optimization bounded by one key position change from qwerty. Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems. , (2016).
- Bi, X., Smith, B. A., Zhai, S. Quasi-qwerty soft keyboard optimization. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. , (2010).
- Fitts, P. The information capacity of the human motor system is controlled by the amplitude of movement. Journal of Experimental Psychology. 47, 381-391 (1954).
- Bi, X., Li, Y., Zhai, S. FFitts law: modeling finger touch with fitts’ law. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. , (2013).
- Dunlop, M., Levine, J. Multidimensional pareto optimization of touchscreen keyboards for speed, familiarity and improved spell checking. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. , (2012).
- Li, Y., Chen, L., Goonetilleke, R. S. A heuristic-based approach to optimize keyboard design for single-finger keying applications. International Journal of Industrial Ergonomics. 36 (8), 695-704 (2006).
- Benligiray, B., Topal, C., Akinlar, C. SliceType: fast gaze typing with a merging keyboard. Journal on Multimodal User Interfaces. 13 (4), 321-334 (2019).
- Wang, Y., Ai, H., Liang, Q., Chang, W., He, J. How to optimize the input efficiency of keyboard buttons in large smartphone? A comparison of curved keyboard and keyboard area size [Conference presentation]. International Conference on Human-Computer Interaction. , (2019).
- Bergstrom-Lehtovirta, J., Oulasvirta, A. Modeling the functional area of the thumb on mobile touchscreen surfaces. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. , (2014).
- Brooke, J. SUS: A retrospective. Journal of Usability Studies. 8 (2), 29-40 (2013).
- Borg, G. Principles in scaling pain and the Borg CR Scales. Psychologica. 37, 35-47 (2004).
- Hart, S. G., Staveland, L. E., Hancock, P. A., Meshkati, N. Development of NASA-TLX (task load index): results of empirical and theoretical research. Human mental workload. , 139-183 (1988).
- Trudeau, M. B., Asakawa, D. S., Jindrich, D. L., Dennerlein, J. T. Two-handed grip on a mobile phone affords greater thumb motor performance, decreased variability, and a more extended thumb posture than a one-handed grip. Applied Ergonomics. 52, 24-28 (2016).
- Turner, C. J., Chaparro, B. S., He, J. Text input on a smartwatch qwerty keyboard: tap vs. trace. International Journal of Human Computer Interaction. 33 (1-3), 143-150 (2017).
- Zhai, S., Kristensson, P. O. The word-gesture keyboard: reimagining keyboard interaction. Communications of the ACM. 55 (9), 91-101 (2012).
- Azenkot, S., Zhai, S. Touch behavior with different postures on soft smartphone keyboards. Proceedings of the 14th international conference on Human-computer interaction with mobile devices and services. , (2012).
- Yi, X., Yu, C., Shi, W., Shi, Y. Is it too small?: Investigating the performances and preferences of users when typing on tiny qwerty keyboards. International Journal of Human Computer Studies. 106, 44-62 (2017).
- Li, Y., You, F., Ji, M., You, X. Smartphone text input: effects of experience and phrase complexity on user performance, physiological reaction, and perceived usability. Applied Ergonomics. 80, 200-208 (2019).
- Gerard, M. J., Jones, S. K., Smith, L. A., Thomas, R. E., Wang, T. An ergonomic evaluation of the Kinesis ergonomic computer keyboard. Ergonomics. 37 (10), 1661-1668 (1994).
- Van Galen, G. P., Liesker, H., Haan, A. Effects of a vertical keyboard design on typing performance, user comfort and muscle tension. Applied Ergonomics. 38 (1), 99-107 (2007).
- Baker, N. A., Cham, R., Cidboy, E. H., Cook, J., Redfern, M. S. Kinematics of the fingers and hands during computer keyboard use. Clinical Biomechanics. 22 (1), 34-43 (2007).
- Soukoref, R. W., MacKenzie, I. S. Metrics for text input research: an evaluation of MSD and KSPC, and a new unified error metric. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. , 113-120 (2003).
- Mackenzie, I. S., Soukoreff, R. W. Phrase sets for evaluating text entry techniques. CHI’03 Extended Abstracts on Human Factors in Computing Systems. , 754-755 (2003).
- Trudeau, M. B., Sunderland, E. M., Jindrich, D. L., Dennerlein, J. T., Federici, S. A data-driven design evaluation tool for handheld device soft keyboards. Plos One. 9 (9), 107070 (2014).
- Cao, S., Ho, A., He, J. Modeling and predicting mobile phone touchscreen transcription typing using an integrated cognitive architecture. International Journal of Human-Computer Interaction. 34 (4-6), 544-556 (2018).
