De Multiple Sclerose Test van prestaties (MSPT): Een iPad-Based Disability Assessment Tool
Summary
Nauwkeurige meting van neurologische en neuropsychologische stoornissen en invaliditeit bij multiple sclerose is een uitdaging. Wij rapporteren methodologische details over een nieuwe test, de Multiple Sclerose Test van prestaties (MSPT). Deze nieuwe benadering van de doelstelling van kwantificering van MS-gerelateerde invaliditeit zorgt voor een computer-based platform voor nauwkeurige, geldige meting van MS ernst.
Abstract
Nauwkeurige meting van neurologische en neuropsychologische stoornissen en invaliditeit bij multiple sclerose is een uitdaging. Wij rapporteren een nieuwe test, de Multiple Sclerose Test van prestaties (MSPT), die een nieuwe aanpak voor het kwantificeren van MS-gerelateerde invaliditeit vertegenwoordigt. De MSPT maakt gebruik van vooruitgang in de computertechnologie, informatietechnologie, biomechanica, en klinische meting wetenschap. De resulterende MSPT vertegenwoordigt een computer-based platform voor nauwkeurige, geldige meting van MS ernst. Gebaseerd op, maar de uitbreiding van de Multiple Sclerosis Functional Composite (MSFC), de MSPT zorgt voor een nauwkeurige, kwantitatieve gegevens over loopsnelheid, balans, handvaardigheid, visuele functie, en cognitieve verwerkingssnelheid. De MSPT werd getest door 51 MS-patiënten en 49 gezonde controles (HC). MSPT scores waren zeer reproduceerbare, sterk gecorreleerd met-technicus toegediend testscores, gediscrimineerd MS van HC en ernstige van mild MS, en gecorreleerd met de patiënt gerapporteerde resultaats. Maatregelen van betrouwbaarheid, gevoeligheid en de klinische betekenis voor MSPT scores waren gunstig in vergelijking met-technicus based testing. De MSPT is een potentieel transformatieve aanpak voor het verzamelen van MS arbeidsongeschiktheid uitkomst gegevens voor patiëntenzorg en onderzoek. Omdat de testen is computer-based, kan testprestaties worden geanalyseerd in traditionele of nieuwe manieren en gegevens kunnen direct in onderzoek of klinische databases worden ingevoerd. De MSPT kan op grote schaal worden verspreid onder artsen in de praktijk instellingen die niet zijn aangesloten op de klinische proef prestaties sites of die het beoefenen in landelijke instellingen, een drastische verbetering van de toegang tot klinische proeven voor artsen en patiënten. De MSPT kan worden aangepast om uit kliniek instellingen, zoals het huis van de patiënt, waardoor meer betekenisvolle echte wereld data. De MSPT vertegenwoordigt een nieuw paradigma voor neuroperformance testen. Deze methode zou dezelfde transformerende effect op de klinische zorg en onderzoek in MS als gestandaardiseerde-computer aangepast t hebbenESTEN heeft gehad op het gebied van onderwijs, met duidelijk potentieel om de voortgang in de klinische zorg en onderzoek te versnellen.
Introduction
Multiple sclerose (MS) is een ontstekingsziekte van het centrale zenuwstelsel (CZS) bij jonge volwassenen, vooral vrouwen. Foci van ontstekingen optreden onvoorspelbaar en intermitterend optische zenuwen, hersenen en ruggenmerg. Episodische symptomen, genaamd terugval, karakteriseren de vroege relapsing remitting fase van MS (RRMS). Tijdens de RRMS ziektestadium, onomkeerbare CNS weefselbeschadiging accumuleert, manifesteren als progressieve atrofie van de hersenen en neurologische handicap. Atrofie van de hersenen bij MS begint vroeg in de ziekte en de opbrengst 2-8x sneller dan leeftijd en geslacht gezonde controles 1. Vermoedelijk als gevolg van de hersenen reserve, en andere compensatiemechanismen, is klinisch significante neurologische invaliditeit algemeen vertraagd jaar, meestal voor 10-20 jaar na het begin van de symptomen. Tijdens de meer gevorderde stadia van MS, de zogenoemde secundaire progressieve MS (SPMS), recidieven komen minder vaak of helemaal verdwijnen, maar geleidelijk verergerde neurologische disvermogen ontstaat, en patiënten ervaren een combinatie van moeite met lopen, arm functie, visie, of cognitie.
Kwantificeren MS klinische ziekteactiviteit en progressie is een uitdaging voor een verscheidenheid van redenen. Eerste, klinische verschijnselen variëren sterk in verschillende MS-patiënten. Ten tweede, de ziekte-activiteit varieert sterk in de tijd in individuele MS-patiënten. Ten derde, MS uitingen variëren begin vergeleken met late stadia van de ziekte. Ten slotte, neurologische en neuropsychologische stoornissen en beperkingen zijn inherent moeilijk te kwantificeren. Dit topic is periodiek beoordeeld in de afgelopen 20 jaar 2-4. Een standaard maat gebruikt in de patiëntenzorg en onderzoek is het aantal of de frequentie van exacerbaties. De terugval is gebruikt als de primaire uitkomstmaat voor de overgrote meerderheid van de klinische proeven voor RRMS. Afname in terugval cijfer heeft goedkeuring van de 10-medicijnen over 6 drugklassen ondersteund. Het aantal recidieven alleen wEakly correleert met later klinisch significante handicap, echter, en het is moeilijk gebleken om nauwkeurig te kwantificeren terugval ernst of het herstel van de terugval. De standaard klinische handicap schaal – Kurtzke de Expanded Disability Status Scale (EDSS) 5 – is een 20 punt ordinale schaal gaande van 0 (normaal neurologisch onderzoek) tot 10 (dood van MS). Van 0-4,0, EDSS wordt bepaald door de combinatie van scores op 7 functionele systemen. Van 4.0-6.0 EDSS wordt bepaald door het vermogen om een eind lopen. EDSS 6.0 is de behoefte aan unilaterale wandelen bijstand. EDSS 6.5 is de behoefte aan bilaterale wandelen bijstand. Nonambulatory patiënten worden gescoord EDSS ≥ 7,0, met een hoger aantal als gevolg toenemende problemen met de mobiliteit en het vermogen om zelfzorg te voeren. De EDSS heeft wereldwijde acceptatie bereikt door regelgevende instanties als een aanvaardbare invaliditeitsmeting voor MS klinische proeven, mede op basis van haar jarenlange gebruik in het veld MS, en vertrouwdming voor neurologen, maar er zijn een aantal beperkingen 2,6. EDSS is bekritiseerd als niet-lineaire, onnauwkeurig aan de onderkant van de schaal, ongevoelig halverwege en bovenste einden, en ook sterk afhankelijk van het lopen.
Op basis van geconstateerde tekortkomingen van de EDSS, een alternatieve benadering van het kwantificeren van invaliditeit bij MS-patiënten in 1997 werd aanbevolen door een Task Force van de National Multiple Sclerosis Society (NMSS) 7,8. Deze Task Force aanbevolen een 3 deel samengestelde stemming, de Multiple Sclerosis Functional Composite (MSFC), voor MS klinische proeven. Zoals oorspronkelijk aanbevolen, de MSFC bestond uit een getimede maatregel van wandelen (de 25 ft getimed lopen [WST]), een getimede maatregel van armfunctie (de 9 holes peg-test [9HPT]), en een maat voor de snelheid van informatieverwerking (het 3 sec versie van de Paced Auditieve Serial Addition Test – PASAT-3 9,10). Elke maatregel werd genormaliseerd naar een referentiepopulatie met een component makenz-score en afzonderlijke z-scores werden gemiddeld om een samengestelde score die de ernst van de individuele patiënt ten opzichte van de referentiepopulatie maken. De MSFC heeft niet door regelgevende instanties is geaccepteerd als een primaire arbeidsongeschiktheid uitkomstmaat, voor een deel omdat de klinische betekenis van een z-score of z-score verandering niet duidelijk is geweest. Ook is de MSFC bekritiseerd omdat het geen een visuele functie maatregel omdat PASAT slecht patiënten wordt aanvaard. In reactie op deze vermeende tekortkomingen, een expert groep 11, bijeengeroepen door de National MS Society, aanbevolen twee wijzigingen aan de MSFC: 1) opname van de Sloan Low Contrast Brief scherptetest 12 en 2) vervanging van de PASAT-3 met de orale versie van de Symbol Digit modaliteiten Test (SDMT) 13,14. Deze groep van deskundigen ook aanbevolen dat de herziene MSFC uitgegroeid tot de primaire arbeidsongeschiktheid uitkomstmaat om de EDSS te vervangen in de toekomst klinisch onderzoek bij MS 11. Een effort is momenteel aan de gang om regelgevend agentschap aanvaarding van een nieuwe handicap uitkomstmaat, gebaseerd op kwantitatieve maatregelen van neuroperformance 15 bereiken.
Het is duidelijk dat nieuwe werkwijzen nodig zijn om resultaten beoordeling in het gebied MS verbeteren. Dit artikel beschrijft de ontwikkeling van een nieuwe klinische handicap uitkomst assessment tool, de Multiple Sclerose Test van prestaties (MSPT), die voortbouwt op de MSFC aanpak, maar die ook opgaat vooruitgang in computer-en informatietechnologie, biomechanica, human performance testen, en de gezondheid van de afstand. De MSPT applicatie maakt gebruik van de iPad als een verzameling van gegevens platform om het evenwicht te beoordelen, loopsnelheid, handvaardigheid, visuele functie, en cognitie. De MSPT kan worden uitgevoerd in een klinische setting, of door de MS-patiënt zichzelf in een thuissituatie. Gegevens kunnen worden verzonden van een afstand en direct opgenomen in een klinische of research database, mogelijk wegnemen van de noodzaak voor een bezoek aan de kliniek. Dit voordeelis bijzonder belangrijk voor personen met invaliderende neurologische aandoeningen zoals MS. Tot slot, omdat de MSPT is computer-based, verschillende analyses mogelijk zijn, in tegenstelling tot technicus toegediend performance testen. Dit document beschrijft het ontwerp en de eerste toepassing van de MSPT.
Protocol
Representative Results
Discussion
Multiple sclerosis outcome assessment methods range from biological measures of the disease process (e.g., inflammatory markers in blood or CSF) to patient reported outcomes (PROs) reflecting symptoms and feelings related to the disease. In between these extremes are imaging measures, many based on magnetic resonance imaging (MRI), clinician rated outcomes (Clin-ROs), and performance based outcomes (Perf-Os). They are extremely important for many reasons. They are used to rate the severity of clinical manifestations, track disease evolution over time, or assess response to therapy. In the regulatory environment, Clin-ROs and Perf-Os are used as the primary outcome measure for phase 3, registration trials. Importantly, Clin-ROs and Perf-Os are also used to categorize or measure disease severity for studies focused on pathogenesis. For these reasons, reproducible and validated clinical outcome measures are crucial to advance patient care and research.
Two fundamentally different approaches to MS clinical outcome measures are clinician rating scales and quantitative tests of neurological and neuropsychological performance. The most commonly used, and generally accepted rating scale used in the MS field is the Kurtzke EDSS. The most common quantitative preformance measure is the MSFC. The advantages of each of these approaches, and their shortcomings have been reviewed and debated. MSFC-type measures carry advantages in terms of precision and the quantitative nature of the data, but interpreting the meaning of small changes to the patient may be difficult. Nevertheless, efforts are underway to improve on the MSFC approach and to derive a more informative disability measure that could be qualified as a primary outcome measure for future trials in progressive MS populations.
MSFC testing has been included in most MS drug trials over the past 15 years, and components of the MSFC (particularly WST and 9HPT) are commonly used in clinical practice. This is empirical evidence of value in neuroperformance testing in both the clinical trial and practice settings. Given the tendency within the MS field to use MSFC testing, current efforts to further develop this approach15, and advances in information technology, we developed the MSPT.
In this report, we document high precision, strong correlations between MSPT component test results and the analogous technician-based testing, and favorable sensitivity in distinguishing MS from controls, and mild from severe MS. Also, we document significant correlation between patient reports and MSPT testing of walking and hand function. In all comparisons, MSPT testing compared favorably to technician-based testing. Finally, we document high test subject acceptance of the iPad based testing.
There are implications of this work. First, conducting neurological performance testing within the computer environment enables various direct manipulations and analyses of primary and derivative data. An example is the Symbol Digit Modalities Test. For this technician administered test, the number of correct answers in 90 sec is recorded manually on a case report form, and transferred to a research database. For each research subject, one number is returned for each test session. Using a computer-based analogue of the SDMT as a measure of cognitive processing speed, the analysis program can easily and instantaneously determine the number correct for each 30 sec interval and can generate within-test-session slopes based on each 30 sec interval. These slopes might represent learning ability (e.g., improving slope) or cognitive fatigue (e.g., worsening slope). These exploratory parameters may correlate with dimensions of the disease not captured by the limited information available from technician testing. Thus the context of testing results in greater information content, even though the testing itself may require similar effort on the part of the research subject.
Secondly, results can be directly transmitted to research or clinical data repositories without paper or electronic case report forms. This would substantially reduce the need for manual data quality checks, the cost of transcribing data manually, and would reduce human error. In aggregate, these advantages should translate into improved efficiency and data quality.
Third, computer based testing could be widely disseminated to patients who do not reside near a clinical trial performance site. Patients could be tested using the MSPT in a rural doctor’s office, potentially supporting participation in clinical trials for patients who might otherwise not be able to participate in a clinical trial simply because of distance.
Third, the MSPT could be used in practice settings (e.g., MS clinics) to collect standardized neuroperformance information. Because the data is standardized and quantitative, MSPT could provide a highly cost-efficient mechanism to collect MS assessment data during routine clinical practice. This could populate research registries and inform practice-based research related to natural history, treatment, effects of co-morbidities, and various other important topics.
Finally, the computer-based MSPT described in this paper could be adapted to in-home testing. This could be transformative, since data could be collected in the same location as the research participant’s (or clinical patient’s) normal environment, as opposed to the highly artificial circumstances in most clinical trial or patient care settings. In addition to substantially lowering barriers imposed by travel to a clinical trial site or academic center, this feature would provide data on neurological function in a real world setting. Further, multiple measurements over defined time periods could be collected, allowing a more precise assessment of overall neurological performance and identification of relevant fluctuations (e.g., fatigability over the course of the day, or significant deviation from individual average performance). This, in turn, would make functional testing much more patient-relevant, and more informative to clinicians and researchers.
It is important to note that the iPad is used as a platform to host the data collection and processing algorithms in the software. Much like other computerized testing approaches, the software was written in such a manner that should Apple or other tablet makers update the hardware or operating system, adjustments can be made in the acquisition and processing of the data to ensure that outcomes remain consistent across test modules and do not have to be re-validated under the future device or software configurations.
As neuroperformance testing is increasingly applied in MS and other chronic neurological and neuropsychological disorders, computer-adapted testing will have the same transformative effect on clinical care and research as standardized computer-adapted testing has had in the education field, with clear potential to accelerate progress in clinical care and research for neurological disorders.
Offenlegungen
The authors have nothing to disclose.
Acknowledgements
The authors gratefully acknowledge research funding for validation of the MSPT from Novartis Pharmaceutical Corporation, East Hanover, New Jersey.
Materials
| Name of Material/ Equipment | Company | Catalog Number | Comments/Description |
| 9-Hole Peg Test Kit | Rolyan | A8515 | |
| Apple iPad with Retina Display (16GB, Wi-Fi, White) | Apple | MD513LL/A | |
| CD Player | Non-brand specific | ||
| iPad Body Belt | Motion Med LLC | RMBB001 | Special order for The Cleveland Clinic |
| LCVA Wall Chart | Precision Vision | 2180 | |
| Music Stand | Non-brand specific | ||
| PASAT Audio CD | PASAT.US | English | |
| SDMT Test Materials | WPS | W-129 | |
| Upper Extremity Overlay Apparatus | Motion Med LLC | PB002 | Special order for The Cleveland Clinic |
Referenzen
- Fisher, E. . Multiple Sclerosis Therapeutics. , 173-199 (2007).
- Whitaker, J. N., McFarland, H. F., Rudge, P., Reingold, S. C. Outcomes assessment in multiple sclerosis clinical trials: A critical analysis. Multiple Scerlosis: Clinical Issues. 1, 37-47 (1995).
- Rudick, R., et al. Clinical outcomes assessment in multiple sclerosis. Ann. Neurol. 40, 469-479 (1996).
- Cohen, J. A., Reingold, S. C., Polman, C. H., Wolinsky, J. S. Disability outcome measures in multiple sclerosis clinical trials: current status and future prospects. Lancet Neurol. 11, 467-476 (2012).
- Kurtzke, J. F. Rating neurologic impairment in multiple sclerosis: an expanded disability status scale (EDSS). Neurology. 33, 1444-1452 (1983).
- Willoughby, E. W., Paty, D. W. Scales for rating impairment in multiple sclerosis: a critique. Neurology. 38, 1793-1798 (1988).
- Rudick, R., et al. Recommendations from the National Multiple Sclerosis Society Clinical Outcomes Assessment Task Force. Ann. Neurol. 42, 379-382 (1997).
- Cutter, G. R., et al. Development of a multiple sclerosis functional composite as a clinical trial outcome measure. Brain. 122 (Pt 5), 871-882 (1999).
- Gronwall, D. M. A. Paced auditory serial-addition task: A measure of recovery from concussion. Percept Mot Skills. 44, 367-373 (1977).
- Rao, S. M., Leo, G. J., Bernardin, L., Unverzagt, F. Cognitive dysfunction in multiple sclerosis I. Frequency, patterns, and prediction. Neurology. 41, 685-691 (1991).
- Ontaneda, D., LaRocca, N., Coetzee, T., Rudick, R. Revisiting the multiple sclerosis functional composite proceedings from the National Multiple Sclerosis Society (NMSS) Task Force on Clinical Disability Measures. Mult. Scler. 18, 1074-1080 (2012).
- Balcer, L. J., et al. New low-contrast vision charts: reliability and test characteristics in patients with multiple sclerosis. Mult. Scler. 6, 163-171 (2000).
- Smith, A. . Symbol-Digit Modalities Test Manual. , (1973).
- Benedict, R. H., et al. Reliability and equivalence of alternate forms for the Symbol Digit Modalities Test: implications for multiple sclerosis clinical trials. Mult. Scler. 18, 1320-1325 (2012).
- Rudick, R. A., LaRocca, N., Hudson, L. D. Multiple Sclerosis Outcome Assessments Consortium: Genesis and initial project plan. , (2013).
- Polman, C. H., et al. Diagnostic criteria for multiple sclerosis: 2010 revisions to the McDonald criteria. Ann. Neurol. 69, 292-302 (2011).
- Schwartz, C. E., Vollmer, T., Lee, H. Reliability and validity of two self-report measures of impairment and disability for MS. North American Research Consortium on Multiple Sclerosis Outcomes Study Group. Neurology. 52, 63-70 (1999).
- Marrie, R. A., Goldman, M. Validity of performance scales for disability assessment in multiple sclerosis. Mult. Scler. 13, 1176-1182 (2007).
- Cella, D., et al. The neurology quality-of-life measurement initiative. Arch. Phys. Med. Rehabil. 92, (2011).
