De door de deelnemer gerapporteerde implementatie-update en -score (PRIUS): een nieuwe methode voor het vastleggen van implementatiegerelateerde gegevens in de loop van de tijd
Summary
Dit protocol beschrijft een nieuwe methode voor het verzamelen en analyseren van gegevens met betrekking tot lopende implementatie, de Participant-Reported Implementation Update and Score (PRIUS). De PRIUS-methode maakt het mogelijk om gegevens efficiënt en systematisch vast te leggen in de loop van de tijd en vanuit meerdere gezichtspunten in zorginstellingen.
Abstract
“Implementatie” van nieuwe initiatieven in zorginstellingen omvat doorgaans twee verschillende componenten: een “klinische interventie” plus bijbehorende “implementatiestrategieën” die ondersteunen om de klinische interventie in de dagelijkse praktijk te brengen. Een nieuwe klinische interventie kan bijvoorbeeld bestaan uit een nieuw medicijn, een nieuw protocol, een nieuw apparaat of een nieuw programma. Omdat klinische interventies echter niet zelf-implementerend zijn, vereisen ze bijna altijd effectieve implementatiestrategieën om te slagen. Implementatiestrategieën zijn bedoeld om zorgverleners, personeel en patiënten te betrekken op manieren die de kans vergroten dat het nieuwe initiatief met succes wordt aangenomen, een proces dat vaak gedragsverandering en nieuwe manieren van denken door deelnemers met zich meebrengt. Een van de uitdagingen bij het bestuderen van de implementatie is dat het moeilijk kan zijn om gegevens te verzamelen over de status en voortgang van de implementatie, inclusief de eigen perspectieven en ervaringen van de deelnemers met betrekking tot de implementatie tot nu toe. Dit protocol beschrijft een nieuwe methode voor het verzamelen en analyseren van gegevens met betrekking tot lopende implementatie, de Participant-Reported Implementation Update and Score of PRIUS. De PRIUS-methode maakt het mogelijk om kwalitatieve en kwantitatieve gegevens efficiënt en systematisch vast te leggen die een gedetailleerd en genuanceerd verslag kunnen geven van de implementatie in de loop van de tijd en vanuit meerdere gezichtspunten. Deze longitudinale methode kan onderzoekers, evenals implementatieleiders en belanghebbenden in de organisatie, in staat stellen om de voortgang van de implementatie nauwlettender te volgen, formatieve evaluatie uit te voeren, verbeteringsmogelijkheden te identificeren en het effect van eventuele implementatiewijzigingen op voortschrijdende basis te meten.
Introduction
“Implementatie” van nieuwe initiatieven in zorginstellingen omvat doorgaans twee verschillende componenten: een “klinische interventie” plus bijbehorende “implementatiestrategieën” die ondersteunen om de klinische interventie in de dagelijkse praktijk te brengen. Een eenvoudige analogie om het verschil te verklaren is dat een klinische interventie “het nieuwe ding” vertegenwoordigt dat in de praktijk moet worden gebracht, terwijl een implementatiestrategie mensen aanmoedigt om “het nieuwe ding 1 te doen“. Een nieuwe klinische interventie kan bijvoorbeeld bestaan uit een nieuw medicijn, een nieuw protocol, een nieuw apparaat of een nieuw programma. Omdat klinische interventies echter niet zelf-implementerend zijn, vereisen ze bijna altijd effectieve implementatiestrategieën om te slagen. Implementatiestrategieën zijn bedoeld om zorgverleners, personeel en patiënten te betrekken op manieren die de kans vergroten dat deelnemers het nieuwe initiatief adopteren, een proces dat vaak gedragsverandering en nieuwe manieren van denken met zich meebrengt2. Een van de al lang bestaande uitdagingen bij het bestuderen van de implementatie is dat het uiterst moeilijk kan zijn om gegevens te verzamelen over de huidige status van de implementatie met betrekking tot een van deze twee componenten, inclusief de eigen perspectieven van de deelnemers op de voortgang van de implementatie. Dit protocol beschrijft een nieuwe methode voor het verzamelen en analyseren van gegevens met betrekking tot lopende implementatie, de Participant-Reported Implementation Update and Score of PRIUS. De PRIUS-methode stelt onderzoekers in de gezondheidszorg in staat om kwalitatieve en kwantitatieve gegevens efficiënt en systematisch vast te leggen met betrekking tot hoe de implementatie zich in de loop van de tijd ontvouwt en hoe deze eruit ziet vanuit het gezichtspunt van meerdere deelnemers.
De PRIUS bezet een unieke niche binnen de grotere familie van methoden die worden gebruikt om de implementatie van de gezondheidszorg te bestuderen. Andere benaderingen die dateren van vóór de PRIUS zijn Rapid Evaluation and Assessment Methods (REAM), die onderzoekers een manier bieden om gegevens te verzamelen en te analyseren volgens een versneld tijdschema, maar toch strikt 3,4,5 te handhaven, evenals matrixdisplays, waar onderzoekers grote hoeveelheden gegevens integreren in rijen en kolommen die ze vervolgens kunnen sorteren en zeven om lopende analyses te ondersteunen6, 7. Een beperking van deze methoden is echter dat ze aanzienlijke tijds- en middelenvereisten aan onderzoekers kunnen stellen en daarom voornamelijk retrospectief zijn gebruikt om eerdere implementatie te analyseren.
Het gebruik van prospectieve en longitudinale benaderingen voor het verzamelen van implementatiegerelateerde informatie kan helpen de nauwkeurigheid bij het verzamelen van gegevens te behouden, waardoor de mogelijkheid van retrospectieve bias (d.w.z. wanneer het uiteindelijke succes of falen van een initiatief de rapportage van eerdere gebeurtenissen beïnvloedt) en recall bias (d.w.z. wanneer deelnemers zich eerdere gebeurtenissen niet nauwkeurig herinneren) wordt geminimaliseerd.8 . Er bestaan andere prospectieve en longitudinale benaderingen bij de uitvoering, maar met andere doelstellingen dan de PRIUS. Er is bijvoorbeeld een systemische methode ontwikkeld om lokale aanpassingen aan de implementatie te beschrijven en bij te houden terwijl ze zich in de loop van de tijd voordoen met behulp van een spreadsheet met 10 items9. Een andere benadering die bekend staat als “Periodieke reflecties” biedt een gestructureerde manier voor leden van de implementatiekern om maandelijkse of tweemaandelijkse telefonische discussies van 30-60 minuten met leden van het implementatieteam te voeren om lopende implementatieverschijnselente documenteren 10.
De PRIUS onderscheidt zich daarentegen van deze andere prospectieve methoden doordat zij expliciet is ontworpen om tegemoet te komen aan de behoefte aan (a) een korte en systematische methode om gegevens te verzamelen over de status en voortgang van implementatie-interventies zoals die plaatsvindt (b) vanuit het perspectief van de eerstelijnsdeelnemers zelf. In de tijdspanne van een mondelinge check-in van 5-10 minuten legt de PRIUS zowel implementatieontwikkelingen vast die door individuele deelnemers als opmerkelijk worden geacht, evenals hun subjectieve input (in de vorm van scores toegewezen op een schaal van +2 tot -2) over de waargenomen implicaties van die ontwikkelingen voor de lopende implementatie. De PRIUS-aanpak integreert bovendien kwalitatieve en numerieke informatie van deelnemers voor elke implementatiegerelateerde update, waardoor gekoppelde gegevens worden gegenereerd die gemakkelijk kunnen worden gecategoriseerd, gesorteerd en gezeefd om belangrijke thema’s, trends en patronen in de loop van de tijd te identificeren. De PRIUS-methode is beknopt en georganiseerd rond drie eenvoudige verbale aanwijzingen: (1) “Wat zijn enkele dingen die de afgelopen twee weken (of sinds de laatste keer dat we spraken) zijn gebeurd die vanuit uw perspectief relevant lijken voor de implementatie van dit project?”; (2) “Welke impact denkt u dat elk van deze ontwikkelingen heeft gehad op de voortgang van de implementatie?”; en (3) “Waarom?”
Het conceptuele kader voor de PRIUS is het Consolidated Framework for Implementation Research (CFIR)11, dat een algemene typologie biedt voor het begrijpen van implementatie in instellingen voor gezondheidsdiensten. Het CFIR-raamwerk is zowel theoretisch als evidence-based en vertegenwoordigt het geaccumuleerde resultaat van meer dan 50 jaar onderzoek naar implementatie en diffusie. Het CFIR-raamwerk omvat vijf onderling verbonden domeinen: interventiekenmerken, uiterlijke setting, innerlijke setting, betrokken personen en implementatieproces. De PRIUS-methode richt zich vooral op de kruising van de laatste drie domeinen en vraagt individuen naar hun eigen perspectieven met betrekking tot het implementatieproces dat actief aan de gang is in de innerlijke setting.
De PRIUS-methode bevindt zich in het publieke domein en is vrij beschikbaar voor iedereen om te gebruiken. Het hier gepresenteerde protocol ontwikkelt de PRIUS-aanpak die in een eerdere publicatiewerd gepresenteerd 12 verder en richt zich uitsluitend op het uitvoeren van de PRIUS met één deelnemer.
Protocol
Representative Results
Discussion
Er is geen speciale software nodig om de PRIUS-methode te gebruiken. PRIUS-sessies kunnen worden afgenomen door onderzoekers, onderzoeksassistenten en / of andere leden van het onderzoeksteam die op de juiste manier zijn opgeleid.
Alternatieve instellingen voor het uitvoeren van PRIUS-sessies zijn persoonlijke check-ins of via de telefoon. Het aanbevolen tijdsbestek voor het inchecken bij deelnemers is om de twee weken; Deze frequentie kan indien nodig worden aangepast om beter af te stemmen op de behoeften van specifieke projecten.
De eerste PRIUS-prompt (“Wat zijn enkele dingen die de afgelopen twee weken (of sinds de laatste keer dat we elkaar spraken) zijn gebeurd die vanuit uw perspectief relevant lijken voor de implementatie van dit project”?) beperkt de reacties van deelnemers op drie specifieke manieren: het biedt een specifiek rapportagetijdschema; het betrekt anderen door hun individuele perspectieven op implementatie expliciet te waarderen; en het richt de aandacht alleen op de meest opvallende (d.w.z. relevante) implementatieontwikkelingen. In de praktijk melden deelnemers meestal twee of drie ontwikkelingen tijdens een inchecksessie.
De redenering achter de tweede prompt (d.w.z. “Vanuit uw perspectief, wat zou u zeggen dat de impact van die ontwikkeling heeft gehad op de implementatie van het project?”) is om te putten uit de ervaring en perspectieven van individuele deelnemers op hetzelfde moment dat ze elke ontwikkeling rapporteren om die ontwikkelingen te sorteren in afzonderlijke categorieën van waargenomen impact. Deze numerieke scores bieden een extra factor met zeven verschillende mogelijke waarden die rechtstreeks verband houden met de kwalitatieve gegevens die in de ontwikkelingen worden gerapporteerd en bieden een andere bron van gegevens voor het implementatieondersteuningsteam om te gebruiken bij het sorteren, analyseren en rapporteren over de voortgang van de implementatie in data-analyse.
De derde prompt (d.w.z. “Waarom denk je dat het die impact heeft gehad?”) nodigt deelnemers expliciet uit om de reden achter hun score uit te leggen. In veel gevallen kan dit de eerste keer zijn dat individuele deelnemers met extreem drukke schema’s de gelegenheid hebben gehad om een stap terug te doen en na te denken over de betekenis en invloed van specifieke implementatiegerelateerde ontwikkelingen.
De vierde kolom in de PRIUS-sjabloon (d.w.z. “Opmerkingen”) biedt onderzoekers de mogelijkheid om belangrijke contextuele details vast te leggen met betrekking tot de rapportage van specifieke implementatieontwikkelingen.
Zoals met elke onderzoeksmethode, moeten projectteams die van plan zijn de PRIUS-methode in een formele onderzoeksomgeving te gebruiken, goedkeuring of vrijstelling van de Institutional Review Board verkrijgen zoals vereist door de verantwoordelijke instelling.
Het wordt ten zeerste aanbevolen dat teams die van plan zijn de PRIUS-methode te gebruiken, een speciale trainingssessie voor teamleden plannen. Voorgestelde lengte is 1-2 uur. Beschrijf en leg tijdens de training elke stap van de PRIUS-methode uit en bekijk de video bij dit artikel. Koppel teamleden en laat ze oefenen met het toedienen van PRIUS-check-ins met elkaar in een gesimuleerde sessie, waarbij elk lid van het paar om de beurt de persoon is die de PRIUS toedient.
Naarmate individuele PRIUS-sessies zijn voltooid, moeten projectteams de PRIUS-gegevens op voortschrijdende basis integreren in een uniforme database op een veilige online locatie waartoe teamleden toegang hebben. Een spreadsheet met zes kolommen is voldoende voor dit doel, waarbij de twee extra kolommen de datum en respondent voor elk item vastleggen. Het wordt ook aanbevolen om regelmatig een back-up van de PRIUS-hoofdspreadsheet te maken voor het geval het origineel beschadigd of beschadigd is.
Het projectteam moet de steeds groter wordende PRIUS-dataset periodiek (bijvoorbeeld één keer per maand) evalueren om te onderzoeken hoe recente vermeldingen zich verhouden tot eerdere vermeldingen, implementatiegerelateerde trends en patronen beoordelen, waargenomen sterke en zwakke punten van de implementatie tot nu toe identificeren en specifieke aanbevelingen ontwikkelen voor implementatieleiders over opkomende kansen om de voortgang van de implementatie te ondersteunen en te ondersteunen.
Bij de voorbereiding van het uitvoeren van de PRIUS moet het onderzoeksteam het tijdsbestek bepalen waarover de PRIUS-inchecksessies zullen plaatsvinden, inclusief begin- en einddatums. Een steekproefperiode kan bijvoorbeeld inhouden dat de PRIUS-methode gedurende een periode van 3 maanden wordt toegediend, waarbij individuele PRIUS-inchecksessies ongeveer eens in de twee weken plaatsvinden; in dit voorbeeld zou de gemiddelde deelnemer in totaal vijf of zes PRIUS-inchecksessies voltooien.
Het wordt ook aanbevolen dat het onderzoeksteam van tevoren een algemene aankondiging naar potentiële deelnemers stuurt om hen te informeren dat ze mogelijk een uitnodiging ontvangen om deel te nemen aan korte check-ins van 5 minuten om meer te weten te komen over hun perspectieven op hoe de implementatie verloopt. Dit bericht zou idealiter worden verzonden via reguliere en gevestigde communicatiekanalen, zoals e-mailberichten en / of aankondigingen tijdens reguliere personeelsvergaderingen. Het onderzoeksteam kan de volgende punten in het bericht benadrukken:
1. deelname is vrijwillig;
2. er is geen voorbereiding nodig voorafgaand aan een PRIUS check-in;
3. de check-ins van 5 minuten vinden plaats in een gesproken gesprek (bijvoorbeeld via de telefoon, persoonlijk of via een videoconferentietoepassing zoals Zoom) op een tijdstip dat de deelnemer uitkomt;
4. opmerkingen kunnen desgewenst anoniem zijn;
5. Het doel van de check-ins is om een algemeen beeld te ontwikkelen van hoe de implementatie in de hele organisatie verloopt – inclusief het identificeren van problemen en uitdagingen – om het implementatieproces te verbeteren.
Een belangrijke beslissing voor het onderzoeksteam om op dit moment te overwegen, is wie uit te nodigen om deel te nemen aan de PRIUS-inchecksessies. Deze groep deelnemers moet een diverse steekproef vertegenwoordigen van personen die door de implementatie worden getroffen; Het is niet nodig en ook niet aan te raden om alle deelnemers uit te nodigen. Het onderzoeksteam kan zowel personen uitnodigen waarvan wordt gedacht dat ze het programma ondersteunen als degenen van wie wordt gedacht dat ze kritisch of sceptisch zijn. Het totale aantal uit te nodigen deelnemers moet worden bepaald door het aantal leden van het implementatiekernondersteuningsteam dat beschikbaar is om de PRIUS-check-ins te beheren, waarbij elk lid van de implementatiekern 1-3 individuele deelnemers krijgt toegewezen. Houd er rekening mee dat iedereen die geen eerste uitnodiging heeft verlengd, desgewenst op een later tijdstip kan worden toegevoegd.
Nadat een groep deelnemers is geïdentificeerd, is het tijd voor het implementatiekernteam om bepaalde leden van het implementatiekernteam te koppelen aan specifieke deelnemers. Er wordt voorgesteld dat dezelfde implementatiekernleden de PRIUS-inchecksessie met dezelfde deelnemers gedurende het langere tijdsbestek uitvoeren om de verstandhouding en het vertrouwen binnen de dyads te laten ontwikkelen.
Vóór de eerste PRIUS-sessie kunnen leden van de implementatiekern het nuttig vinden om individuele outreach uit te voeren naar de deelnemers met wie ze zijn gekoppeld voor de PRIUS-inchecksessies. Idealiter zou deze outreach informeel plaatsvinden en een tweerichtingsgesprek mogelijk maken over het doel en de structuur van de PRIUS-check-ins. Deze individuele outreach zou in het bijzonder kunnen benadrukken dat de PRIUS vrijwillig is, dat er geen voorbereiding nodig is voorafgaand aan een sessie en dat de check-ins van 5 minuten plaatsvinden op een tijdstip dat de deelnemer uitkomt. Als de deelnemer ermee instemt en als aan de IRB-vereisten (indien van toepassing) voor het toedienen van de PRIUS-methode is voldaan, moet de eerste PRIUS-inchecksessie zo snel mogelijk met die persoon worden uitgevoerd.
Het wordt ten zeerste aanbevolen dat elk implementatiekernteam dat de PRIUS-methode gebruikt, ook communicatiekanalen ontwikkelt die de implementatiekern verbinden met het interventieteam dat verantwoordelijk is voor de implementatie van het nieuwe klinische programma, vooral als (zoals vaak het geval is) deze twee afzonderlijke groepen vormen. Deze communicatiekanalen kunnen bestaan uit terugkerende vergaderingen, gedeelde online mappen en/of e-maildistributielijsten. Regelmatige uitwisseling van informatie kan een nauwe werkrelatie tussen de evaluatie- en interventieteams vergemakkelijken, wat essentieel is voor PRIUS-gerelateerde analyses en inzichten om tussentijdse aanpassingen aan de lopende implementatie te informeren.
Het formaat van de PRIUS is eenvoudig te sorteren om data-analyse te vergemakkelijken. Onderzoekers kunnen het groeiende aantal PRIUS-vermeldingen op elk gewenst moment op een doorlopende, iteratieve basis bekijken, zeven en doorzoeken en kunnen longitudinale analyses op ten minste twee manieren uitvoeren: PRIUS-updates vergelijken die zijn gescoord met vergelijkbare waarden op twee verschillende tijdstippen (bijvoorbeeld alle updates vergelijken die zijn gescoord met “-2” of “-3” in maart 2020 met “-2” of “-3” -vermeldingen in juni 2020); en het vergelijken van hoe scores in de loop van de tijd veranderen voor hetzelfde soort inzending (bijvoorbeeld perspectieven op de kwaliteit en adequaatheid van de professionele ontwikkeling die voor het programma wordt geboden).
Wanneer discrepanties in scores worden waargenomen tussen respondenten voor vergelijkbare items, kunnen implementatiekernleden die implementatiegerelateerde ontwikkelingen markeren voor verder onderzoek en discussie om te beoordelen of de onderliggende bron van de verschillen te wijten is aan een relatief klein semantisch probleem of dat het een diepere polarisatie van perspectieven weerspiegelt. Als dit laatste het geval is, kan het onderzoeksteam ervoor kiezen om deze discrepanties onder de aandacht te brengen van het team dat verantwoordelijk is voor de implementatie van de nieuwe klinische interventie voor verdere bespreking en mogelijke corrigerende maatregelen.
Wat de beperkingen betreft, is er nog geen business case-analyse uitgevoerd op de PRIUS, omdat de gegevens over kosten en tijd nog niet formeel zijn verzameld. PRIUS-methoden kunnen beter geschikt zijn voor kleine en bescheiden interventies, waar ze haalbaarder kunnen zijn voor het vastleggen van prospectieve gegevens van deelnemers op een permanente basis.
Over het algemeen voorziet de PRIUS-methode in een uitstekende behoefte in gezondheidszorgonderzoek naar een efficiënte en gestructureerde methode om gegevens vast te leggen over de status en voortgang van implementatie-interventies. Als de succesvolle implementatie van een nieuw klinisch initiatief (d.w.z. “het nieuwe ding”) afhangt van een effectieve implementatie-interventie (d.w.z. de reeks parallelle activiteiten die het personeel aanmoedigen om “het nieuwe te doen “), dan biedt de PRIUS-methode een nieuwe en eenvoudige manier om waardevolle implementatiegerelateerde gegevens vast te leggen die anders vluchtig zouden kunnen blijken.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Dit project werd gesponsord door interne financiering door de PRIS-M QUERI in het Richard L. Roudebush VA Medical Center in Indianapolis, Indiana Veterans Health Administration (QUE 15-280). De financieringsinstelling had geen rol in het ontwerp van de studie, het verzamelen, analyseren en interpreteren van gegevens of het schrijven van het manuscript. De auteurs blijven als enige verantwoordelijk voor de inhoud van deze studie. De PRIUS-methode bevindt zich in het publieke domein en is vrij beschikbaar voor iedereen om te gebruiken.
References
- Curran, G. M. Implementation science made too simple: a teaching tool. Implementation Science Communications. 1 (27), 1-3 (2020).
- Powell, B. J., et al. A refined compilation of implementation strategies: results from the Expert Recommendations for Implementing Change (ERIC) project. Implementation Science. 10 (21), 1-14 (2015).
- Beebe, J. . Rapid Assessment Process: An Introduction. , (2001).
- McNall, M., Foster-Fishman, P. G. Methods of rapid evaluation, assessment, and appraisal. American Journal of Evaluation. 28 (2), 151-168 (2007).
- Green, C. A., et al. Approaches to mixed methods dissemination and implementation research: methods, strengths, caveats, and opportunities. Administration and Policy in Mental Health. 42 (5), 508-523 (2015).
- Averill, J. B. Matrix analysis as a complementary analytic strategy in qualitative inquiry. Qualitative Health Research. 12 (6), 855-866 (2002).
- Nadin, S., Cassell, C., Cassell, C., Symon, G. Using data matrices. Essential Guide to Qualitative Research Methods in Organizational Research. , 271-287 (2004).
- Kahneman, D. . Thinking Fast and Slow. , (2013).
- Rabin, B. A., et al. Systematic, multimethod assessment of adaptations across four diverse health systems interventions. Frontiers in Public Health. 6 (102), 1-11 (2018).
- Finley, E. P., et al. Periodic reflections: a method of guided discussions for documenting implementation phenomena. BMC Medical Research Methodology. 18 (1), 153 (2018).
- Damschroder, L. J., et al. Fostering implementation of health services research findings into practice: a consolidated framework for advancing implementation science. Implementation Science. 4 (1), (2009).
- Miech, E. J., et al. The prospectively-reported implementation update and score (PRIUS): a new method for capturing implementation-related developments over time. BMC Health Services Research. 19 (1), 124 (2019).
- Rattray, N. A., et al. Evaluating the feasibility of implementing a Telesleep pilot program using two-tiered external facilitation. BMC Health Services Research. 20 (1), 357 (2020).
