עדכון וציון יישום (PRIUS) המדווחים על ידי משתתפים: שיטה חדשנית ללכידת נתונים הקשורים ליישום לאורך זמן
Summary
פרוטוקול זה מתאר שיטה חדשנית לאיסוף וניתוח נתונים הקשורים ליישום מתמשך הנקראת Participant-Reporting Implementation Update and Score (PRIUS). שיטת PRIUS מאפשרת לכידה יעילה ושיטתית של נתונים לאורך זמן ומנקודות מבט מרובות במסגרות בריאות.
Abstract
“יישום” יוזמות חדשות במסגרות בריאות כולל בדרך כלל שני מרכיבים נפרדים: “התערבות קלינית” בתוספת “אסטרטגיות יישום” נלוות התומכות בהכנסת ההתערבות הקלינית לפרקטיקה היומיומית. התערבות קלינית חדשנית, למשל, עשויה לכלול תרופה חדשה, פרוטוקול חדש, מכשיר חדש או תוכנית חדשה. עם זאת, מכיוון שהתערבויות קליניות אינן מיישמות את עצמן, הן כמעט תמיד דורשות אסטרטגיות יישום יעילות כדי להצליח. אסטרטגיות יישום נועדו לערב ספקי שירותי בריאות, צוות ומטופלים בדרכים המגדילות את הסבירות שהיוזמה החדשה תאומץ בהצלחה, תהליך שלעתים קרובות כרוך בשינוי התנהגות ודרכי חשיבה חדשות של המשתתפים. אחד האתגרים בחקר היישום הוא שקשה לאסוף נתונים על סטטוס היישום והתקדמותו, כולל נקודות המבט והחוויות של המשתתפים עצמם בנוגע ליישום עד כה. פרוטוקול זה מתאר שיטה חדשנית לאיסוף וניתוח נתונים הקשורים ליישום מתמשך הנקראת Participant-Reporting Implementation Update and Score, או PRIUS. שיטת PRIUS מאפשרת לכידה יעילה ושיטתית של נתונים איכותיים וכמותיים שיכולים לספק תיאור מפורט וניואנסי של היישום לאורך זמן ומנקודות מבט מרובות. שיטת אורך זו יכולה לאפשר לחוקרים, כמו גם למובילי יישום ובעלי עניין ארגוניים, לעקוב מקרוב אחר התקדמות היישום, לבצע הערכה מעצבת, לזהות הזדמנויות לשיפור ולאמוד את ההשפעה של כל שינוי ביישום על בסיס מתגלגל.
Introduction
“יישום” יוזמות חדשות במסגרות בריאות כולל בדרך כלל שני מרכיבים נפרדים: “התערבות קלינית” בתוספת “אסטרטגיות יישום” נלוות התומכות בהכנסת ההתערבות הקלינית לפרקטיקה היומיומית. אנלוגיה פשוטה כדי להסביר את ההבדל היא שהתערבות קלינית מייצגת את ” הדבר החדש” שיש ליישם בפועל, בעוד שאסטרטגיית יישום מעודדת אנשים “לעשות את הדבר החדש1“. התערבות קלינית חדשנית, למשל, עשויה לכלול תרופה חדשה, פרוטוקול חדש, מכשיר חדש או תוכנית חדשה. עם זאת, מכיוון שהתערבויות קליניות אינן מיישמות את עצמן, הן כמעט תמיד דורשות אסטרטגיות יישום יעילות כדי להצליח. אסטרטגיות יישום נועדו לערב ספקי שירותי בריאות, צוות ומטופלים בדרכים המגדילות את הסבירות שהמשתתפים יאמצו את היוזמה החדשה, תהליך שלעתים קרובות כרוך בשינוי התנהגות ודרכי חשיבה חדשות2. אחד האתגרים ארוכי השנים בחקר היישום הוא שקשה מאוד לאסוף נתונים על המצב הנוכחי של היישום הקשורים לאחד משני המרכיבים הללו, כולל נקודות המבט של המשתתפים עצמם על התקדמות היישום. פרוטוקול זה מתאר שיטה חדשנית לאיסוף וניתוח נתונים הקשורים ליישום מתמשך הנקראת Participant-Reporting Implementation Update and Score, או PRIUS. שיטת PRIUS מאפשרת לחוקרי בריאות ללכוד נתונים איכותיים וכמותיים ביעילות ובשיטתיות הקשורים לאופן שבו היישום מתפתח לאורך זמן וכיצד הוא נראה מנקודות התצפית של משתתפים מרובים.
PRIUS תופסת נישה ייחודית בתוך המשפחה הגדולה יותר של שיטות המשמשות לחקר יישום הבריאות. גישות אחרות שקדמו ל- PRIUS כוללות שיטות הערכה והערכה מהירות (REAM), המספקות דרך לחוקרים לאסוף ולנתח נתונים בלוח זמנים מואץ אך לשמור על קפדנות 3,4,5, כמו גם תצוגות מטריצה, שבהן החוקרים משלבים כמויות גדולות של נתונים בשורות ובעמודות שהם יכולים לאחר מכן למיין ולסנן כדי לתמוך בניתוחים מתמשכים6, 7. מגבלה של שיטות אלה, עם זאת, היא שהן יכולות להציב דרישות זמן ומשאבים משמעותיות לחוקרים, ולכן שימשו בעיקר בדיעבד לניתוח יישום קודם.
השימוש בגישות פרוספקטיביות ואורכיות לאיסוף מידע הקשור ליישום יכול לסייע בשמירה על דיוק באיסוף הנתונים, למזער את האפשרות של הטיית ראייה לאחור (כלומר, כאשר ההצלחה או הכישלון הסופיים של יוזמה משפיעים על דיווח על אירועים קודמים) והטיית היזכרות (כלומר, כאשר המשתתפים אינם זוכרים אירועים קודמים במדויק)8 . גישות פרוספקטיביות ואורכיות אחרות קיימות ביישום אך עם מטרות שונות מהפריוס. לדוגמה, פותחה שיטה מערכתית לתיאור ומעקב אחר התאמות מקומיות ליישום כפי שהן מתרחשות לאורך זמן באמצעות גיליון אלקטרוני9 בן 10 פריטים. גישה נוספת המכונה “השתקפויות תקופתיות” מספקת דרך מובנית לחברי ליבת היישום לנהל דיונים טלפוניים חודשיים או דו-חודשיים של 30-60 דקות עם חברי צוות היישום כדי לתעד תופעות יישום מתמשכות10.
הפריוס, לעומת זאת, נבדלת משיטות פרוספקטיביות אחרות אלה בכך שהיא תוכננה במפורש לענות על הצורך (א) בשיטה קצרה ושיטתית לאיסוף נתונים על המצב וההתקדמות של התערבויות יישום כפי שהן מתרחשות (ב) מנקודת מבטם של המשתתפים בחזית עצמם. במהלך בדיקה מילולית של 5-10 דקות, PRIUS לוכד התפתחויות יישום הנחשבות ראויות לציון על ידי משתתפים בודדים, כמו גם את הקלט הסובייקטיבי שלהם (בצורה של ציונים שהוקצו בסולם +2 עד -2) על ההשלכות הנתפסות של התפתחויות אלה על יישום מתמשך. יתר על כן, גישת PRIUS משלבת מידע איכותי ומספרי מהמשתתפים עבור כל עדכון הקשור ליישום, ומייצרת נתונים מקושרים שניתן לסווג, למיין ולסנן בקלות כדי לזהות נושאים עיקריים, כמו גם מגמות ודפוסים לאורך זמן. שיטת PRIUS היא תמציתית ומאורגנת סביב שלוש הנחיות מילוליות פשוטות: (1) “מהם הדברים שקרו בשבועיים האחרונים (או מאז הפעם האחרונה שדיברנו) שנראים רלוונטיים מנקודת מבטך ליישום הפרויקט הזה?”; (2) “איזו השפעה לדעתך הייתה לכל אחת מההתפתחויות הללו על התקדמות היישום?”; ו-(3) “למה?”
המסגרת הרעיונית של PRIUS היא המסגרת המאוחדת למחקר יישום (CFIR)11, המספקת טיפולוגיה כוללת להבנת היישום במסגרות שירותי בריאות. מסגרת CFIR מבוססת הן על תיאוריה והן על ראיות, ומייצגת את התוצאה המצטברת של למעלה מ -50 שנות מחקר על יישום ודיפוזיה. מסגרת CFIR כוללת חמישה תחומים הקשורים זה בזה: מאפייני התערבות, הגדרה חיצונית, סביבה פנימית, אנשים מעורבים ותהליך יישום. שיטת PRIUS מתמקדת במיוחד בהצטלבות של שלושת התחומים האחרונים, ושואלת אנשים על נקודות המבט שלהם הקשורות לתהליך היישום המתבצע באופן פעיל בסביבה הפנימית.
שיטת PRIUS נמצאת ברשות הציבור וזמינה לשימוש חופשי לכל אחד. הפרוטוקול המוצג כאן ממשיך לפתח את גישת PRIUS שהוצגה בפרסום קודם12 ומתמקד אך ורק באופן שבו יש לנהל את PRIUS עם משתתף יחיד.
Protocol
Representative Results
Discussion
אין צורך בתוכנה מיוחדת כדי להשתמש בשיטת PRIUS . מפגשי PRIUS יכולים להיות מנוהלים על ידי חוקרים, עוזרי מחקר ו / או חברי צוות מחקר אחרים שהוכשרו כראוי.
הגדרות חלופיות לביצוע מפגשי PRIUS כוללות צ’ק-אין אישי או בטלפון. מסגרת הזמן המומלצת לביצוע צ’ק-אין עם המשתתפים היא אחת לשבועיים; ניתן לשנות תדירות זו במידת הצורך כדי להתאים יותר לצרכים של פרויקטים ספציפיים.
ההנחיה הראשונה של PRIUS (“אילו דברים קרו בשבועיים האחרונים (או מאז הפעם האחרונה שדיברנו) שנראים רלוונטיים מנקודת המבט שלך ליישום הפרויקט הזה?”) מגבילה את תגובות המשתתפים בשלוש דרכים ספציפיות: היא מספקת מסגרת זמן ספציפית לדיווח; היא מעסיקה אחרים על ידי הערכה מפורשת של נקודות המבט האישיות שלהם על יישום; והוא ממקד את תשומת הלב רק בהתפתחויות היישום הבולטות ביותר (כלומר, הרלוונטיות). בפועל, המשתתפים בדרך כלל מדווחים על שתיים או שלוש התפתחויות במהלך פגישת הצ’ק-אין.
הרציונל מאחורי ההנחיה השנייה (כלומר, “מנקודת המבט שלך, מה היית אומר שיש להשפעה של התפתחות זו על יישום הפרויקט?”) הוא להסתמך על הניסיון ונקודות המבט של משתתפים בודדים באותו זמן שהם מדווחים על כל התפתחות כדי למיין את ההתפתחויות הללו לקטגוריות נפרדות של השפעה נתפסת. ציונים מספריים אלה מספקים גורם נוסף עם שבעה ערכים אפשריים שונים המקשרים ישירות לנתונים האיכותיים המדווחים בפיתוחים ומספקים מקור נתונים נוסף לשימוש צוות התמיכה ביישום בעת מיון, ניתוח ודיווח על התקדמות היישום בניתוח נתונים.
ההנחיה השלישית (כלומר, “למה אתה חושב שהייתה לזה השפעה?”) מזמינה במפורש את המשתתפים להסביר את הסיבה מאחורי הציון שלהם. במקרים רבים, זו עשויה להיות הפעם הראשונה שמשתתפים בודדים העובדים בלוחות זמנים עמוסים במיוחד קיבלו הזדמנות לקחת צעד אחורה ולהרהר במשמעות ובהשפעה של התפתחויות ספציפיות הקשורות ליישום.
העמודה הרביעית בתבנית PRIUS (כלומר, “הערות”) מעניקה לחוקרים את האפשרות ללכוד כל פרט קונטקסטואלי חשוב הקשור לדיווח על התפתחויות יישום ספציפיות.
כמו בכל שיטת מחקר, צוותי פרויקטים המתכננים להשתמש בשיטת PRIUS במסגרת מחקר רשמית צריכים לקבל אישור או פטור של מועצת הביקורת המוסדית כנדרש על ידי המוסד האחראי.
מומלץ מאוד לצוותים המתכננים להשתמש בשיטת PRIUS לקבוע מפגש הדרכה ייעודי לחברי הצוות. האורך המומלץ הוא 1-2 שעות. במהלך האימון תארו והסבירו כל שלב בשיטת PRIUS וצפו בסרטון הנלווה למאמר זה. הצמד את חברי הצוות ובקש מהם לתרגל את ניהול בדיקות PRIUS אחד עם השני בסשן מדומה, שבו כל חבר בזוג בתורו הוא האדם שמנהל את הפריוס.
עם השלמת הפעלות PRIUS בודדות, צוותי הפרויקט צריכים לשלב את נתוני PRIUS על בסיס מתגלגל במסד נתונים מאוחד במיקום מקוון מאובטח שחברי הצוות יכולים לגשת אליו. גיליון אלקטרוני בן שש עמודות מספיק למטרה זו, כאשר שתי העמודות הנוספות לוכדות את התאריך ואת המשיב עבור כל ערך. מומלץ גם ליצור עותק גיבוי של הגיליון האלקטרוני הראשי של PRIUS במרווחי זמן קבועים למקרה שהמקור פגום או פגום.
צוות הפרויקט צריך לערוך סקירות של מערך הנתונים המתרחב של PRIUS על בסיס תקופתי (למשל, פעם בחודש) כדי לבחון כיצד ערכים אחרונים בהשוואה לערכים קודמים, להעריך מגמות ודפוסים הקשורים ליישום, לזהות חוזקות וחולשות נתפסות של היישום עד כה, ולפתח המלצות ספציפיות למובילי היישום לגבי הזדמנויות מתפתחות לתמוך ולשמר את התקדמות היישום.
בעת ההכנה לביצוע PRIUS, צוות המחקר צריך לקבוע את מסגרת הזמן שבה יתרחשו מפגשי הצ’ק-אין של PRIUS כולל תאריכי התחלה וסיום. מסגרת זמן לדוגמה, עשויה לכלול מתן שיטת PRIUS לתקופה של 3 חודשים, כאשר פגישות פרטניות של בדיקת PRIUS יתקיימו בערך אחת לשבועיים; בדוגמה זו, המשתתף הממוצע ישלים בסך הכל חמישה או שישה מפגשי צ’ק-אין של PRIUS.
כמו כן, מומלץ שצוות המחקר ישלח הודעה כללית למשתתפים פוטנציאליים מראש כדי להודיע להם שהם עשויים לקבל הזמנה להשתתף בבדיקות קצרות של 5 דקות כדי ללמוד עוד על נקודת המבט שלהם על התקדמות היישום. באופן אידיאלי, הודעה זו תישלח באמצעות ערוצי תקשורת קבועים ומבוססים, כגון הודעות דוא”ל ו / או הודעות בישיבות צוות רגילות. צוות המחקר עשוי לבקש להדגיש את הנקודות הבאות בהודעה:
1. ההשתתפות היא מרצון;
2. אין צורך בהכנה מוקדמת לפני ביצוע הצ’ק-אין של PRIUS;
3. הצ’ק-אין בן 5 הדקות יתבצע בשיחה מדוברת (למשל, בטלפון, פנים אל פנים או באמצעות אפליקציית ועידות וידאו כמו זום) בזמן שנוח למשתתף;
4. הערות יכולות להיות אנונימיות אם תרצה;
5. מטרת הבדיקה היא לפתח תמונה כוללת של אופן ההטמעה בארגון – כולל זיהוי בעיות ואתגרים – על מנת לשפר את תהליך ההטמעה.
החלטה חשובה שעל צוות המחקר לשקול בשלב זה היא את מי להזמין להשתתף במפגשי הצ’ק-אין של PRIUS . קבוצה זו של משתתפים צריכה לייצג מדגם מגוון של אנשים המושפעים מיישום; אין צורך או רצוי להזמין את כל המשתתפים. צוות המחקר עשוי לרצות להזמין הן אנשים שנחשבים תומכים בתוכנית, כמו גם אלה שנחשבים ביקורתיים או ספקנים. המספר הכולל של המשתתפים שיש להזמין צריך להיות מוכתב על ידי מספר חברי צוות התמיכה בליבת היישום הזמינים לניהול הצ’ק-אין של PRIUS כאשר לכל חבר בליבת היישום מוקצים 1-3 משתתפים בודדים. זכור שכל מי שלא קיבל הזמנה ראשונית יכול להתווסף בנקודת זמן מאוחרת יותר אם תרצה בכך.
לאחר שזוהתה קבוצת משתתפים, הגיע הזמן שצוות ליבת היישום יצמיד חברים מסוימים בצוות ליבת היישום למשתתפים ספציפיים. מוצע כי אותם חברי גרעין יישום יקיימו את פגישת הצ’ק-אין של PRIUS עם אותם משתתפים על פני פרק זמן ארוך יותר על מנת לאפשר קרבה ואמון להתפתח בתוך הדיאדות.
לפני מפגש PRIUS הראשון, חברי ליבת היישום עשויים למצוא את זה מועיל לנהל פנייה פרטנית למשתתפים שעמם הם הוצמדו למפגשי הצ’ק-אין של PRIUS . באופן אידיאלי, יישוג זה יתקיים באופן לא רשמי ויאפשר שיחה דו-כיוונית על המטרה והמבנה של הצ’ק-אין של PRIUS . יישוג פרטני זה יכול להדגיש במיוחד כי PRIUS הוא התנדבותי, כי אין צורך בהכנה מראש של פגישה, וכי הצ’ק אין של 5 דקות מתרחש בזמן נוח עבור המשתתף. אם המשתתף מסכים, ואם דרישות IRB (אם בכלל) לניהול שיטת PRIUS מולאו, יש לבצע את פגישת הצ’ק-אין הראשונה של PRIUS עם אותו אדם בהקדם האפשרי.
מומלץ מאוד שכל צוות ליבת יישום המשתמש בשיטת PRIUS יפתח גם ערוצי תקשורת המקשרים בין ליבת היישום לבין צוות ההתערבות האחראי על יישום התוכנית הקלינית החדשה, במיוחד אם (כפי שקורה לעתים קרובות) מדובר בשתי קבוצות נפרדות. ערוצי תקשורת אלה עשויים לכלול פגישות חוזרות, תיקיות מקוונות משותפות ו/או רשימות תפוצה של דואר אלקטרוני. חילופי מידע קבועים יכולים להקל על יחסי עבודה קרובים בין צוותי ההערכה וההתערבות, חיוני על מנת שניתוח ותובנות הקשורים לפריוס יסייעו להתאמות באמצע הקורס ליישום שוטף.
הפורמט של PRIUS ניתן למיון בקלות כדי להקל על ניתוח נתונים. חוקרים יכולים לסקור, לנפות ולחפש את הגוף ההולך וגדל של ערכי PRIUS בכל עת על בסיס מתמשך ואיטרטיבי, ויכולים לבצע ניתוחי אורך בשתי דרכים לפחות: השוואת עדכוני PRIUS עם ערכים דומים בשתי נקודות זמן שונות (למשל, השוואת כל העדכונים שקיבלו ניקוד עם “-2” או “-3” במרץ 2020 עם ערכי “-2” או “-3” ביוני 2020); והשוואת האופן שבו ציונים משתנים לאורך זמן עבור אותו סוג של כניסה (למשל, נקודות מבט על האיכות והלימות של הפיתוח המקצועי שסופק עבור התוכנית).
כאשר נצפים פערים בציונים בין המשיבים עבור פריטים דומים, חברי ליבת היישום יכולים לסמן התפתחויות הקשורות ליישום לבחינה נוספת ולדיון נוסף על מנת להעריך אם המקור הבסיסי של ההבדלים נובע מבעיה סמנטית מינורית יחסית או אם הוא משקף קיטוב עמוק יותר של נקודות מבט. אם זה האחרון, צוות המחקר עשוי לבחור להביא פערים אלה לידיעת הצוות האחראי על יישום ההתערבות הקלינית החדשה לדיון נוסף ופעולה מתקנת אפשרית.
מבחינת מגבלות, ניתוח מקרה עסקי טרם נערך על PRIUS, שכן נתוני עלות וזמן טרם נאספו באופן רשמי. שיטות PRIUS עשויות להתאים יותר להתערבויות קטנות וצנועות, שבהן הן יכולות להוכיח היתכנות רבה יותר ללכידת נתונים פוטנציאליים מהמשתתפים באופן שוטף.
בסך הכל, שיטת PRIUS עונה על צורך יוצא דופן במחקר רפואי לשיטה יעילה ומובנית ללכידת נתונים על המצב וההתקדמות של התערבויות יישום. אם היישום המוצלח של יוזמה קלינית חדשנית (כלומר, “הדבר החדש”) תלוי בהתערבות יישום יעילה (כלומר, מערך של פעילויות מקבילות המעודדות את הצוות “לעשות את הדבר החדש”), אזי שיטת PRIUS מציעה דרך חדשנית ופשוטה ללכוד נתונים יקרי ערך הקשורים ליישום שאחרת עשויים להתברר כחולפים.
Disclosures
The authors have nothing to disclose.
Acknowledgements
פרויקט זה מומן באמצעות מימון פנימי שסופק על ידי PRIS-M QUERI במרכז הרפואי ריצ’רד ל. רודבוש VA באינדיאנפוליס, אינדיאנה Veterans Health Administration (QUE 15-280). לגוף המממן לא היה תפקיד בעיצוב המחקר, באיסוף, בניתוח ובפרשנות של נתונים, או בכתיבת כתב היד. המחברים שומרים על האחריות הבלעדית לתוכן מחקר זה. שיטת PRIUS נמצאת ברשות הציבור וזמינה לשימוש חופשי לכל אחד.
References
- Curran, G. M. Implementation science made too simple: a teaching tool. Implementation Science Communications. 1 (27), 1-3 (2020).
- Powell, B. J., et al. A refined compilation of implementation strategies: results from the Expert Recommendations for Implementing Change (ERIC) project. Implementation Science. 10 (21), 1-14 (2015).
- Beebe, J. . Rapid Assessment Process: An Introduction. , (2001).
- McNall, M., Foster-Fishman, P. G. Methods of rapid evaluation, assessment, and appraisal. American Journal of Evaluation. 28 (2), 151-168 (2007).
- Green, C. A., et al. Approaches to mixed methods dissemination and implementation research: methods, strengths, caveats, and opportunities. Administration and Policy in Mental Health. 42 (5), 508-523 (2015).
- Averill, J. B. Matrix analysis as a complementary analytic strategy in qualitative inquiry. Qualitative Health Research. 12 (6), 855-866 (2002).
- Nadin, S., Cassell, C., Cassell, C., Symon, G. Using data matrices. Essential Guide to Qualitative Research Methods in Organizational Research. , 271-287 (2004).
- Kahneman, D. . Thinking Fast and Slow. , (2013).
- Rabin, B. A., et al. Systematic, multimethod assessment of adaptations across four diverse health systems interventions. Frontiers in Public Health. 6 (102), 1-11 (2018).
- Finley, E. P., et al. Periodic reflections: a method of guided discussions for documenting implementation phenomena. BMC Medical Research Methodology. 18 (1), 153 (2018).
- Damschroder, L. J., et al. Fostering implementation of health services research findings into practice: a consolidated framework for advancing implementation science. Implementation Science. 4 (1), (2009).
- Miech, E. J., et al. The prospectively-reported implementation update and score (PRIUS): a new method for capturing implementation-related developments over time. BMC Health Services Research. 19 (1), 124 (2019).
- Rattray, N. A., et al. Evaluating the feasibility of implementing a Telesleep pilot program using two-tiered external facilitation. BMC Health Services Research. 20 (1), 357 (2020).
