Summary

Implementatie van een real-time psychose risicodetectie en waarschuwingssysteem op basis van elektronische medische dossiers met behulp van CogStack

Published: May 15, 2020
doi:

Summary

We laten zien hoe je een real-time psychoserisicoberekening en waarschuwingssysteem implementeert op basis van CogStack, een informatie-ophaal- en extractieplatform voor elektronische medische dossiers.

Abstract

Recente studies hebben aangetoond dat een geautomatiseerde, levensduur-inclusive, transdiagnostische, en klinisch gebaseerde, geïndividualiseerde risico calculator biedt een krachtig systeem voor de ondersteuning van de vroege opsporing van personen die risico lopen op psychose op grote schaal, door gebruik te maken van elektronische medische dossiers (EHRs). Deze risicocalculator is twee maal extern gevalideerd en ondergaat haalbaarheidstests voor klinische implementatie. Integratie van deze risicocalculator in de klinische routine moet worden vergemakkelijkt door prospectieve haalbaarheidsstudies, die nodig zijn om pragmatische uitdagingen aan te pakken, zoals ontbrekende gegevens, en de bruikbaarheid van deze risicocalculator in een echte en routinematige klinische omgeving. Hier presenteren we een aanpak voor een toekomstige implementatie van een real-time psychose risico detectie en signalering dienst in een real-world EPD-systeem. Deze methode maakt gebruik van het CogStack-platform, een open-source, lichtgewicht en gedistribueerd informatie-ophaal- en tekstextractiesysteem. Het CogStack-platform bevat een reeks services die het mogelijk maken om full-text te zoeken naar klinische gegevens, levensduur-inclusief, real-time berekening van psychoserisico’s, vroegtijdige risicowaarschuwing voor clinici en de visuele monitoring van patiënten in de loop van de tijd. Onze methode omvat: 1) inname en synchronisatie van gegevens uit meerdere bronnen in het CogStack-platform, 2) implementatie van een risicocalculator, waarvan het algoritme eerder is ontwikkeld en gevalideerd, voor tijdige berekening van het risico van psychose van een patiënt, 3) het maken van interactieve visualisaties en dashboards om de gezondheidsstatus van patiënten in de loop van de tijd te controleren, en 4) het bouwen van geautomatiseerde waarschuwingssystemen om ervoor te zorgen dat artsen op de hoogte worden gesteld van patiënten die risico lopen , zodat passende maatregelen kunnen worden genomen. Dit is de allereerste studie die heeft ontwikkeld en geïmplementeerd een soortgelijke detectie en alarmering systeem in klinische routine voor vroegtijdige opsporing van psychose.

Introduction

Psychotische stoornissen zijn ernstige psychische aandoeningen die leiden tot moeilijkheden bij het onderscheid tussen de interne ervaring van de geest en de externe realiteit van het milieu1, evenals een hoger dan gemiddeld risico op zelfbeschadiging en zelfmoord2. Onder standaardzorg leiden deze aandoeningen tot grote gevolgen voor de volksgezondheid met een aanzienlijke gezondheids- en economische belasting voor individuen, gezinnen en samenlevingen wereldwijd3. Vroege interventies in psychose kan verbeteren resultaten van deze psychische stoornis4. Met name detectie, prognostische beoordeling en preventieve behandeling van personen met een klinisch hoog risico op het ontwikkelen van psychose (CHR-P)5 biedt een uniek potentieel om het verloop van de aandoening te veranderen, waardoor de kwaliteit van leven voor veel mensen en hun gezinnenwordtverbeterd3 ,6. CHR-P individuen zijn hulpzoekende jongeren die zich presenteren met verzwakte symptomen en functionele stoornissen7: hun risico op het ontwikkelen van psychose is 20% op 2-jaar8, maar het is hoger in sommige specifieke subgroepen9,10. Ondanks enkele aanzienlijke vooruitgang, wordt het effect van preventieve benaderingen in de routinematige klinische praktijk beperkt door de mogelijkheid om de meeste personen die risico lopen te detecteren11. De huidige detectiemethoden zijn gebaseerd op hulpzoekend gedrag en verwijzingen op verdenking van psychoserisico; deze methoden zijn zeer inefficiënt bij het hanteren van een groot aantal monsters11. De schaalbaarheid van de huidige detectiemethoden voor de overgrote meerderheid van de risicopopulatie is dus vrij beperkt12. In feite, slechts 5% (standalone gespecialiseerde vroege opsporing diensten) tot 12% (jeugd-geestelijke gezondheidszorg) van personen die het risico lopen op het ontwikkelen van een eerste psychotische stoornis kan worden gedetecteerd op het moment van hun at-risk stadium door de huidige detectie strategieën6.

Om de klinische voordelen van de preventieve benaderingen bij een groter aantal risicopersonen uit te breiden, ontwikkelden we een geautomatiseerde, levensduur-inclusive (d.w.z. over alle leeftijden), transdiagnostisch (d.w.z. over verschillende diagnoses)13, klinisch gebaseerde geïndividualiseerde risicocalculator, die personen met een risico op psychose in de secundaire geestelijke gezondheidszorg op schaal kan detecteren, voorbij die aan chr-p-criteria14. Deze risicocalculator gebruikte een Cox proportioneel risicomodel om het risico op het ontwikkelen van een psychotische stoornis gedurende zes jaar te voorspellen aan de basis van vijf routinematig verzamelde klinische variabelen die a priori werden geselecteerd, in overeenstemming met methodologische richtlijnen15: leeftijd, geslacht, etniciteit, leeftijd-per-geslacht en primaire indexdiagnose. Deze klinische variabelen werden geselecteerd op basis van a priori kennis verkregen uit metaanalyses16,17, zoals aanbevolen door de state-of-the-art methodologische richtlijnen15. Het aantal voorspellers is beperkt om de verhouding Gebeurtenis per variabele te behouden en overpassende vooroordelen te minimaliseren; inclusief te veel variabelen zonder een priori filter leidt tot overfitting problemen en slechte prognostische nauwkeurigheid18. De methode die wordt gebruikt om dit model te ontwikkelen biedt vergelijkbare prognostische nauwkeurigheid als automatische machine learning-methoden18. Parameters van het Cox-model werden geschat op basis van een retrospectief gedeidentificeerd cohort uit de Zuid-Londense en Maudsley National Health Service Foundation Trust (SLaM)19. SLaM is een National Health Service (NHS) geestelijke gezondheid vertrouwen dat secundaire geestelijke gezondheidszorg biedt aan een bevolking van 1,36 miljoen individuen in Zuid-Londen (Lambeth, Southwark, Lewisham en Croydon wijken), en heeft een van de hoogste geregistreerde tarieven van psychose in de wereld20. Alle gegevens die worden gebruikt in de modelontwikkeling werden geëxtraheerd uit het Clinical Record Interactive Search (CRIS) platform, een digitaal case register systeem, dat onderzoekers voorziet van retrospectieve toegang en analyse van geanonimiseerde klinische dossiers19. De klinische informatie in CRIS wordt gewonnen uit een op maat gemaakt Elektronisch Gezondheidsdossier (EPD) systeem, bij SLaM, genaamd electronic Patient Journey System (ePJS). SLaM is papiervrij en ePJS vertegenwoordigt het standaard platform voor het verzamelen van gegevens voor klinische routine. Zo maakt de transdiagnostische risicocalculator gebruik van EHRs en heeft het potentieel om automatisch grote EHRs van patiënten die toegang hebben tot secundaire geestelijke gezondheidszorg, automatisch te screenen om degenen op te sporen die risico lopen op psychose. Het algoritme van deze transdiagnostische risicocalculator is eerder gepubliceerd6,14,21. De transdiagnostische risicocalculator is extern gevalideerd in twee NHS Foundation Trusts14,21 en geoptimaliseerd22, waaruit blijkt dat de adequate prognostische prestaties en generalizability over verschillende populaties.

Volgens methodologische richtlijnen voor de ontwikkeling van een risicovoorspellingsmodel15,23, is de volgende stap na modelontwikkeling en validatie het implementeren van het voorspellingsmodel in de routinematige klinische praktijk. Implementatiestudies worden meestal voorafgegaan door pilot- of haalbaarheidsstudies die mogelijke pragmatische beperkingen aanpakken die verband houden met het gebruik van risicoalgoritmen in de klinische praktijk. Vereiste gegevens voor het uitvoeren van een rekenmachine, zoals leeftijd, geslacht en etniciteit, zijn bijvoorbeeld mogelijk niet beschikbaar op de datum van diagnose of later bijgewerkt. Effectieve methoden voor het verwerken van ontbrekende gegevens en het synchroniseren van frequente updates in realtime gegevensstromen moeten worden overwogen om de meest betrouwbare voorspellingsresultaten in een implementatie te verkrijgen. Aangezien de eerste ontwikkeling van de risicocalculator gebaseerd was op retrospectieve cohortgegevens, is het bovendien niet bekend of deze kan worden gebruikt in een real-time gegevensstroom die typerend is voor een klinische omgeving in de echte wereld. Een andere uitdaging is ervoor te zorgen dat relevante clinici de aanbevelingen ontvangen die door de risicocalculator worden gegenereerd binnen een passend tijdsbestek en binnen een gedeeld en geaccepteerd communicatietraject.

Om deze beperkingen te overwinnen, hebben we een haalbaarheidsimplementatiestudie afgerond met behulp van de geïndividualiseerde transdiagnostische risicocalculator. De studie omvatte twee fasen: een in vitro fase die werd uitgevoerd met behulp van gegevens van het lokale EPD, zonder contact op te nemen met clinici of patiënten, en een in vivo fase, waarbij direct contact met clinici betrokken was. De in vitro fase had twee vele doelstellingen: i) het aanpakken van uitvoeringsbarrières volgens het Geconsolideerde Kader voor Implementatieonderzoek (CFIR)27 en ii) om de transdiagnostische risicocalculator in het lokale EPD te integreren. De implementatiebarrières omvatten de mededeling van risicoresultaten aan clinici. In SLaM worden alle patiënten uitgenodigd om zich in te schrijven voor Consent for Contact (C4C), waaruit blijkt dat zij bereid zijn om gecontacteerd te worden voor onderzoek, zonder dat dit de kwaliteit van de zorg aantast. Dit vermindert de ethische kwesties met betrekking tot het contact met patiënten. Daarnaast hebben werkgroepen met clinici geholpen bij het op maat maken van de manier waarop deze informatie werd gecommuniceerd. Tijdens de in vivo fase (14 mei 2018 tot 29 april 2019) kregen alle personen (i) ouder dan 14 jaar (ii) die toegang hadden tot een SLaM-dienst (wijken Lambeth, Southwark, Lewisham, Croydon), (iii) een eerste ICD-10-index primaire diagnose van een niet-organische, niet-psychotische stoornis (met uitzondering van acute en voorbijgaande psychotische stoornissen; ATPD), of een CHR-P-aanduiding en (iv) met bestaande contactgegevens werden als subsidiabel beschouwd. Tijdens de in vivo fase werden nieuwe patiënten die elke week toegang hadden tot SLaM automatisch gescreend op hun psychoserisico, en werden patiënten met een risico dat groter is dan een bepaalde drempel gedetecteerd. Het onderzoeksteam nam vervolgens contact op met de verantwoordelijke artsen van de patiënten om verdere aanbevelingen te bespreken en stelde uiteindelijk een verdere face-to-face assessmentvoor 6. Indien de beoordeelde werden geacht te voldoen aan de CHR-P-criteria, werden zij doorverwezen naar gespecialiseerde CHR-P-diensten, zoals Outreach en Support in South London (OASIS)28. Dit zou resulteren in een betere detectie van personen voorafgaand aan het begin van een psychotische stoornis en bieden een belangrijke kans voor het veranderen van het verloop van de aandoening. Cruciaal is dat deze haalbaarheidsstudie de volledige integratie van de rekenmachine in het lokale EPD-systeem omvatte, dat het onderwerp is van het huidige artikel. Het volledige protocol van deze haalbaarheidsstudie, inclusief een overzicht van het plan voor de evaluatie van het voorgestelde onderzoek, details over het beheer van gegevensbeveiliging en ethische kwesties, is gepresenteerd in ons vorige werk6. Het huidige artikel, als onderdeel van de haalbaarheidsstudie6,richt zich selectief op de presentatie van de technische implementatie van een real-time psychoserisicodetectie- en waarschuwingssysteem op basis van de lokale EPD-gegevens. Meer in het bijzonder is het doel van deze studie om de technische haalbaarheid van deze risicocalculator te onderzoeken in het tijdig opsporen van risicopatiënten zodra ze toegang hebben tot een secundaire ggz. De volledige resultaten van de haalbaarheidsstudie, in termen van naleving van de aanbevelingen van de risicocalculator, zullen afzonderlijk worden gepresenteerd. Een uitgebreide evaluatie van de effectiviteit van het voorgestelde onderzoek, dat gerandomiseerde ontwerpen vereist, valt buiten het toepassingsgebied van het huidige onderzoeksprogramma. Voor zover wij weten, is dit de eerste methode die de implementatie van een risicocalculator beschrijft op basis van live EPD-gegevens voor vroegtijdige detectie van psychose.

Onze benadering van psychose risico detectie en waarschuwingen maakt gebruik van de CogStack platform. De CogStack platform is een lichtgewicht, gedistribueerde, en fout-tolerante informatie ophalen en tekst-extractie platform24. Dit platform bestaat uit drie belangrijke componenten: 1) de CogStack Pipeline die het Java Spring Batch-framework gebruikt om gegevens uit een vooraf gedefinieerde gegevensbron (zowel gestructureerde als ongestructureerde EPD-gegevens in meerdere formaten zoals Word, PDF-bestanden en afbeeldingen) in realtime in te nemen en te synchroniseren; 2) Elasticsearch, een zoekmachine die het mogelijk maakt de volledige tekst van EPD-gegevens op te slaan en op te vragen, evenals het verstrekken van verschillende application programming interfaces (API’s) om geavanceerde analyses in de engine in te bedden; en 3) Kibana, een interactieve, webgebaseerde gebruikersinterface waarmee gebruikers gegevens in Elasticsearch kunnen opvragen, visualisatiedashboards kunnen bouwen en waarschuwingen kunnen instellen over afwijkingen of andere interessepatronen van gegevens. Bovendien bevat CogStack de mogelijkheid om clinici te waarschuwen voor mogelijke problemen via e-mail en sms (tekst), waardoor clinici tijdig meldingen kunnen ontvangen over risicopatiënten die door de risicocalculator worden gerapporteerd.

We presenteren een model van psychose risico detectie en waarschuwingen op basis van ePJS op SLaM, gebruik te maken van de CogStack platform. In vergelijking met het CRIS-platform dat wekelijks toegang biedt tot ongeïdentificeerde medische dossiers van ePJS19,biedt het CogStack-platform bij SLaM toegang tot een identificeerbare EPD in realtime, waardoor de waarschuwing dichter bij de point-of-care en de risicovoorspelling in een prospectief ontwerp komt, hoewel zowel de CRIS- als de CogStack-platforms gegevens van ePJS in SLaM gebruiken. In de sectie die volgt, geven we details van de belangrijkste stappen in onze aanpak, waaronder het voorbereiden van brongegevens van het EPD, het opnemen van de brongegevens in het CogStack-platform om full-text zoeken via Elasticsearch mogelijk te maken, de psychoserisicocalculator uit te voeren met behulp van een Python daemon-thread en interactieve visualisaties en realtime risicowaarschuwingen in te stellen via de Kibana-gebruikersinterface. Elke onderzoeker die streeft naar een real-time risicodetectie- en waarschuwingssysteem op basis van EPD-gegevens, kan de aanpak en de referentie-implementatie volgen. Zoals we hieronder zullen uitwerken, maakt de voorgestelde methode gebruik van open-source, lichtgewicht technieken met een hoge flexibiliteit en draagbaarheid. Hierdoor kan de risicocalculator op verschillende locaties worden uitgevoerd en wordt een hoge toepasbaarheid weergegeven op andere risicoschattingsalgoritmen. Bovendien werkt de methode als een eenvoudige aanpak om de risicodetectie- en waarschuwingsfunctionaliteiten van een EPD die is ingebed in een algemeen gezondheidszorgsysteem te verbeteren.

Protocol

Deze studie werd goedgekeurd door Oost-Engeland – Cambridgeshire en Hertfordshire Research Ethics Committee (Referentienummer: 18/EE/0066). OPMERKING: We hebben dit protocol ontwikkeld op basis van het CogStack-platform en de Programmeertaal Python. Dit systeem vereist Docker (meer specifiek Docker Compose https://docs.docker.com/compose/),Anaconda Python(https://www.anaconda.com/distribution/) en Git(https://git-scm.com/downloads)vooraf geïnstalleerd op een apparaat. De commando’s in dit protocol zijn gebaseerd op de Linux-omgeving. In het volgende geven we de details van het voorbereiden van brongegevens uit een EPD-database, het innemen van de gegevens naar het CogStack-platform en het opzetten van een real-time risicoberekening en waarschuwingssysteem voor psychose op basis van het CogStack-platform. Bovendien werd een online versie van de risicocalculator ontwikkeld om een numerieke berekening te vergemakkelijken van de waarschijnlijkheid van een individuele psychose in de secundaire geestelijke gezondheidszorg op http://www.psychosis-risk.net. 1. Voorbereiding van brongegevens OPMERKING: In de meeste gebruiksgevallen neemt CogStack brongegevens op uit een opgegeven databaseweergave die gegevens uit een of meer brondatabasetabellen kunnen combineren, waarbij een weergave een doorzoekbaar object is in een database met de resultaatset van een opgeslagen query op de gegevens. De installatie van de opnameweergave wordt afgestemd op de specifieke use cases en implementatie-instellingen van een databasesysteem voor statusdossiers. Dit protocol is ontwikkeld op basis van een psychose risico calculator ontwikkeld en extern gevalideerd tweemaal door Fusar-Poli et al.14,21 en als onderdeel van een pilot implementatie haalbaarheidsstudie6. Het protocol is gebaseerd op een EPD-database die is geïmplementeerd met Microsoft SQL Server 2014. Maak in dit protocol een viewobject(vwPsychosisBase” genoemd) in een bestaand EPD-databasesysteem om de nodige informatie van patiënten voor psychoserisicoberekening en -signalering te bundelen. Zorg ervoor dat deze weergave alle patiënten omvat die een eerste primaire diagnose van niet-organische en niet-psychotische psychische stoornis (geregistreerd door de Internationale Statistische Classificatie van ziekten en gerelateerde gezondheidsproblemen, tiende herziening [ICD-10]), zoals gedefinieerd in het oorspronkelijke model14,21. Zorg ervoor dat elke registratie in de weergave drie soorten patiëntinformatie omvat: 1) de eerste primaire diagnose van een patiënt in het EPD-systeem; met inbegrip van ICD-10 diagnose-index (diagnoses werden geclusterd in de volgende tien clusters: acute en voorbijgaande psychotische stoornissen, angststoornissen, bipolaire stemmingsstoornissen, kinder- en adolescente beginstoornissen, ontwikkelingsstoornissen, niet-bipolaire stemmingsstoornissen, mentale retardatie, persoonlijkheidsstoornissen, fysiologische syndromen, middelengebruiksstoornissen) en diagnosedatum; 2) de demografische gegevens van een patiënt, waaronder geslacht, etniciteit en geboortedatum; en 3) de meest recente contactgegevens van het zorgteam voor een patiënt, zoals details van de huisartsenpraktijk,consultants en zorgcoördinatoren. De eerste twee soorten informatie zijn van vitaal belang voor de psychose risico calculator14,21, en het derde type informatie is om tijdige risicowaarschuwingen mogelijk te maken. Zorg ervoor dat elke record in de weergave een unieke id heeft (bijvoorbeeld “patient_id” die in dit protocol wordt gebruikt). Selecteer de laatste updatetijdstempels van alle broninformatie met betrekking tot een record in de weergave (bijvoorbeeld de laatste updatetijden van de demografische informatie van een patiënt en de eerste primaire diagnose-informatie van de patiënt) en kies de laatste tijdstempel als de laatste updatedatum en -tijd voor de record in de weergave (aangeduid als “etl_updated_dttm” in dit protocol). Met de laatste updatedatum en -tijd van een record kan CogStack updates synchroniseren in de database, zoals nieuwe en bijgewerkte records. 2. Gegevensopname Download of kloon de code repository van Github(https://github.com/cogstack-slam/psychosis)of door “git clone https://github.com/cogstack-slam/psychosis.git”in een terminal venster te typen. De gedownloade map bevat de code voor psychose risico berekening en configuratie bestanden voor het implementeren van een CogStack instantie. Ga naar de map “cogstack_deploy/cogstack/” en wijzig “psychose.properties” om CogStack Pipeline te configureren voor het innemen van gegevens. Wijzig de instellingen van sectie “BRON: DB CONFIGURATIES” op basis van de EHR-database setup, inclusief het opgeven van het IP-adres van de databaseserver, databasenaam, databasegebruikersnaam en wachtwoord. Wijzig indien nodig de weergavenaam (d.w.z. “vwPsychosisBase”) en veldnamen (bijv. “patient_id” en “etl_updated_dttm”). In het geval van fouten bij het configureren van dit bestand, volgt u de instructies op https://cogstack.atlassian.net/wiki/spaces/COGDOC/pages/38043684/Quickstart. Ga naar de map “cogstack_deploy/common/elasticsearch/config/” en wijzig de sectie “xpack.notification.email.account” in het bestand “elasticsearch.yml” om een e-mailadres te configureren voor het verzenden van waarschuwingen. Een gedetailleerde instructie voor e-mailconfiguratie is te vinden op https://www.elastic.co/guide/en/kibana/6.4/watcher-create-threshold-alert.html. Ga naar de “cogstack_deploy/” directory en typ “docker-compose up” om het CogStack-platform te draaien. Voer deze opdracht uit met hoofdtoegang. Als het proces is voltooid, worden er gedrukte statuslogboeken van de momenteel draaiende services, waaronder CogStack Pipeline, Elasticsearch en Kibana, in de terminal. Als gevolg hiervan worden alle gegevens en updates in de brondatabaseweergave tijdig opgenomen in een Elasticsearch-index genaamd “psychosis_base” in het CogStack-platform. Open een webbrowser en krijg toegang tot de gebruikersinterface van Kibana door “http://localhost:5601/” te typen (of “localhost” te vervangen door een specifiek IP-adres van de server waarop het CogStack-platform draait). Klik voor het eerst met Kibana op het tabblad Beheer en Indexpatronen om een Elasticsearch-index op te geven die men met Kinaba wil openen. Typ “psychosis_base” in het veld “Indexpatroon” en klik op Volgende stap. Selecteer “etl_updated_dttm” voor de veldnaam “Tijdfilter” en klik op Indexpatroon maken om het “psychosis_base” indexpatroon voor Kinana toe te voegen. Zodra Kibana is verbonden met de Elasticsearch-index (d.w.z. “psychosis_base”), zoek en blader de brongegevens interactief door de pagina “Ontdekken”. Kibana stelt niet-technische gebruikers in staat om te zoeken naar zowel gestructureerde metadata als gratis tekst. Gedetailleerde instructies van het gebruik van”Discover”zijn beschikbaar op https://www.elastic.co/guide/en/kibana/6.4/discover.html. 3. Risicoberekening Open een nieuw terminalvenster en ga naar de “psychose/” directory. Installeer alle vereiste Python-pakketten (inclusief “elasticsearch”, “elasticsearch_dsl”, “panda’s” en “numpy”) die in de risicocalculator worden gebruikt door “conda install package-name” of “pip install package-name” in de terminal te typen. Typ “python risk_calculator.py” om de psychose risico calculator uit te voeren. Als het proces succesvol is voltooid, worden logboeken van de risicoberekening afgedrukt in de terminal en worden de risicoresultaten opgeslagen in een nieuwe Elasticsearch-index genaamd “psychosis_risk” binnen het CogStack-platform. Controleer de risicoresultaten met behulp van de Kibana-interface. Net als bij de stappen 2.5 en 2.6, voeg je een nieuw indexpatroon toe “psychosis_risk” om Kinbana te verbinden met de “psychosis_risk” index, en de risicoresultaten te verkennen via de “Discover”pagina. Om het identificeren van nieuwe risicopatiënten te vergemakkelijken, gebruikt u “first_primary_diagnosis_date” als het veld “Tijdfilter” bij het opbouwen van de “psychosis_risk” index. Controleer bij het verkennen van gegevens op de pagina “Ontdekken” of het indexpatroon “psychosis_risk” is geselecteerd. 4. Gegevensvisualisatie Naast het zoeken en openen van informatie op individueel niveau via de pagina “Ontdekken” in Kibana, kan men visualisaties en dashboards bouwen om een overzicht te krijgen van de kenmerken voor de hele populatie risicopatiënten. Klik hiervoor op Visualiseren in de zijnavigatie van Kibana. Klik vervolgens op de knop Nieuwe visualisatie maken en kies een visualisatietype (bijvoorbeeld cirkeldiagrammen en lijndiagrammen). Selecteer “psychosis_risk” als de index die men via Kibana wil visualiseren. Standaard bevatten visualisaties alle records/patiënten in de “psychosis_risk” index. Gedetailleerde instructies voor het bouwen van Kibana visualisaties zijn beschikbaar op https://www.elastic.co/guide/en/kibana/6.4/visualize.html. Als u een specifieke subset van gegevens voor visualisatie wilt selecteren, voegt u eenfilter toe. Bijvoorbeeld, het selecteren van een filter ingediend als “h_2_year”, het kiezen van een operator als “is niet tussen” en het instellen van waarden van “0,0” tot “0,05” zal alleen betrekking hebben op patiënten met een risico op psychose in 2 jaar hoger zijn dan 0,05. Zodra afzonderlijke visualisaties zijn gemaakt, klikt u op Dashboard in de zijnavigatie van Kibana om een dashboard te maken dat samen een set gerelateerde visualisaties weergeeft. Klik op Nieuw dashboard maken en de knop Toevoegen om een nieuw dashboardpaneel te maken. Klik op visualisaties die men wil weergeven in het nieuwe dashboardpaneel. Klik op Opslaan en typ een titel om het deelvenster op te slaan. Instructies voor het bouwen van Kibana dashboards zijn beschikbaar op https://www.elastic.co/guide/en/kibana/6.4/dashboard.html. 5. Risicowaarschuwingen Klik op Beheer in de zijnavigatie van Kibana en klik vervolgens op Watcher onder Elasticsearch om waarschuwingen te maken voor clinici wanneer patiënten risico liepen op psychose. Als de knop Watcher niet zichtbaar is, klikt u op Licentiebeheer en klikt u op Proef starten of Licentie bijwerken. Klik op Geavanceerd horloge maken om een nieuwe Watcher in te stellen. Typ een “ID” en “Naam”. Verwijder de inhoud van de sectie “Watch JSON” en kopieer de inhoud in het “watcher.json”bestand in de “psychose” directory naar de “Watch JSON” sectie. Deze watcher stuurt een waarschuwing e-mail naar “clinician@nhs.uk” (die kan worden vervangen door het e-mailadres waar men wil waarschuwingen te sturen) van “username@nhs.uk” (die werd ingesteld in stap 2.3) als er een of meer patiënten met een of meer patiënten waarvan het risico van psychose in 2 jaar hoger zijn dan 0,05 (een voorlopige drempel voor haalbaarheidstests) in elke 24 uur. Voordat u de Watcher opslaat, klikt u op Simuleren om de uitvoering van de Watcher te testen. Als de Watcher is ingesteld, wordt de simulatie-uitvoer afgedrukt. In het geval van fouten in de instellingen, volg de instructies op https://www.elastic.co/guide/en/elastic-stack-overview/6.4/watcher-getting-started.html. Als u een Watcher wilt stoppen, verwijdert u deze definitief of deactiveert u deze tijdelijk van de pagina “Status” van de Watcher.

Representative Results

In deze sectie presenteren we implementatieresultaten gericht op de uitvoerbaarheid in het omgaan met live klinische gegevensstromen die zijn uitgewerkt via de risicocalculator en het tijdig leveren van prognostische resultaten aan clinici. Evaluaties van het klinische nut van het systeem, zoals de naleving van de aanbevelingen van de risicocalculator, zullen in een afzonderlijk rapport worden gepresenteerd wanneer deze zijn voltooid. Inname van brongegevensWe hebben het psychoserisicoberekenings- en alarmsysteem geïmplementeerd op basis van een replicadatabase van ePJS in SLaM. Deze replica database synchroniseert de live gegevens van ePJS elke 10 minuten. In deze replicadatabase is een databaseweergave opgesteld waarin de informatie van patiënten voor de berekening van het psychoserisico wordt gecombineerd, waarin elke registratie informatie voor een patiënt bevat. Alle records in deze weergave werden in real time opgenomen in het CogStack-platform (ongeveer 0,6 microseconde per record in een virtuele machine met 8-core CPU en 16GB RAM). Tot 13 juli 2019, toen dit manuscript werd opgesteld, werden alle gegevens van 202.289 patiënten die een eerste indexdiagnose kregen van niet-organische en niet-psychotische psychische stoornis in SLaM in CogStack opgenomen voor een risicoberekening van psychose, opgeslagen in de “psychosis_base” Elasticsearch-index. Figuur 1 toont het aantal records dat in de loop van de tijd in CogStack is opgenomen, in chronologische volgorde op basis van de laatste updatedatum van een record. Door het vergelijken van de nummers en inhoud van records in de database en de Elasticsearch index, werden geen ontbrekende en discrepant gegevens gevonden, wat de betrouwbaarheid van CogStack Pipeline in data opname en synchronisatie bevestigt. Validatie van risicoresultatenOm de implementatie van de psychose-risicodetector in dit protocol te valideren, vergeleken we risicopatiënten die door CogStack (de zogenaamde “CogStack-versie”) werden gedetecteerd, met patiënten die worden gedetecteerd door de oorspronkelijke risicocalculator op basis van CRIS (de zogenaamde “CRIS-versie”). Aangezien er geen drempels ontwikkeld om een risicopatiënt6,14,21screenen, gebruikten we hier een voorlopige drempel van 5% voor het risico op psychose in twee jaar. Merk op dat deze voorlopige drempel is alleen om te testen of het systeem pragmatisch kan werken in de NHS en is gevoelig voor verandering met toekomstig onderzoek. De werkelijke drempel voor een optimale detectie van risicopersonen zal in toekomstige grootschalige studies moeten worden vastgesteld. In het bijzonder haalden we eerst alle patiënten op die een risico op psychose hadden boven de drempel in de CRIS-versie (het aantal patiënten N=169). Al deze patiënten kregen van 14 mei 2018 tot 29 april 2019 een eerste indexdiagnose van niet-organische en niet-psychotische psychische stoornissen in SLaM. Door patiënten te filteren bij wie in dezelfde periode werd gediagnosticeerd, haalden we n=170 patiënten op bij wie het risico op psychose in 2 jaar hoger was dan 0,05 in de CogStack-versie. Ten slotte vergeleken we het verschil tussen de twee sets patiënten, waarbij het totale aantal unieke patiënten in de twee sets N=173 is. We ontdekten dat 161 patiënten (goed voor 93% van de 173 patiënten) in beide versies dezelfde scores hadden. De hoge mate van overeenstemming bevestigt de geldigheid van dit CogStack-gebaseerde protocol bij het genereren van risicoscores. Er waren 12 patiënten met verschillende risicoscores in de twee versies. Door de EHRs van patiënten te inspecteren, vonden we dat dit verschil kwam doordat de gegevens voor deze patiënten werden bijgewerkt nadat de risicoscores in de CRIS-versie werden berekend. Hoewel voorspellers die in de risicocalculator worden gebruikt, zoals geboortedatum, geslacht en zelftoegewezen etniciteit, statische variabelen waren, hadden de medische dossiers van sommige patiënten in een eerder stadium een ontbrekende of standaardwaarde voor een variabele (bijvoorbeeld een onbekende etniciteit) en werden deze variabelen in een later stadium ingevoerd of bijgewerkt. Dit kan leiden tot verschillende risicoscores in twee verschillende stadia. Op dezelfde manier werden de eerste primaire indexdiagnoses van sommige patiënten ongeldig verklaard nadat een eerste risicoscore werd berekend op basis van deze diagnoses. In dit geval zal de risicocalculator op zoek gaan naar de volgende geldige primaire diagnose voor een dergelijke patiënt en een risicoscore opnieuw berekenen. De bijgewerkte risicoscore kan ook afwijken van de eerste. Aangezien de oorspronkelijke risicocalculator werd ontwikkeld op basis van retrospectieve gegevens in CRIS voor gebruik in onderzoek, synchroniseerden de oorspronkelijke rekenmachinepijplijnen deze updates niet in EPD-gegevens en verversten ze de risicoscores tijdig. In tegenstelling, de risicoscore van een patiënt zal opnieuw worden berekend in de CogStack-versie als er brongegevens van de patiënt worden bijgewerkt, waardoor deze CogStack-gebaseerde rekenmachine de meest betrouwbare en up-to-date risicoscores voor patiënten kan bieden. Deze resultaten benadrukken sterk de betrouwbaarheid van risicoscores in dit protocol. Resultaatvisualisatie en risicowaarschuwingenOm de mogelijkheden van CogStack in datavisualisatie aan te tonen, hebben we een dashboard ontwikkeld voor informatie over patiënten die risico lopen op psychose. Zoals eerder gebruikt voor haalbaarheidstesten, selecteerden we degenen die een risico op psychose in twee jaar hoger dan 5% als risicopatiënten. Figuur 2 toont de visualisaties van kenmerken voor patiënten die risico lopen op psychose, met inbegrip van de etniciteiten, geslachten, leeftijden en categorieën diagnoses van patiënten. Naast het visualiseren van risicoresultaten via webinterfaces (bijvoorbeeld Kibana), maakt dit protocol het mogelijk risicowaarschuwingen naar gebruikers of clinici te sturen via andere meldingskanalen zoals E-mail. Figuur 3 toont de interface voor het instellen van een risicowaarschuwingsservice met behulp van de component Watch in Kibana. Zodra deze service met succes is geconfigureerd, kunnen gebruikers een e-mailmelding ontvangen als er een of meer patiënten waren met een risico op psychose in twee jaar hoger dan 5%. Figuur 4 toont een voorbeeld van deze e-mailmeldingen, die het aantal risicopatiënten en de gemeenten van deze patiënten rapporteert. Omdat er meer werk nodig is om op maat te maken hoe de voorspelde psychoserisicoscores worden gecommuniceerd, hebben we risicomeldingen niet rechtstreeks naar clinici gestuurd. Voor het testen van de technologische haalbaarheid werden alle meldingen in deze studie verzonden van een technisch onderzoeker (T.W.) naar een klinisch onderzoeker (D.O.) via het e-mailsysteem van de SLaM binnen een beveiligd netwerk. Alleen een geaggregeerde statistiek van patiëntinformatie werd opgenomen in een melding; er is geen persoonlijk identificeerbare informatie opgenomen. Figuur 1: Brongegevens opgenomen in CogStack. Er zijn 202.289 records in totaal opgenomen in de “psychosis_base” Elasticsearch index tot 13 juli 2019, en het histogram toont het aantal records ingenomen in de tijd, besteld door de laatste update data tijd van een record. Men kan ook zowel gestructureerde als ongestructureerde informatie opvragen en zoekhits verkrijgen die overeenkomen met de query op deze pagina. Klik hier om een grotere versie van dit cijfer te bekijken. Figuur 2: Dashboard met kenmerken van patiënten met een psychose (d.w.z. het risico op psychose in 2 jaar hoger dan 0,05). aa) Verdeling van etniciteiten voor risicopatiënten, waarbij uiterlijke taarten de subcategorieën zijn van een etniciteitscategorie in innerlijke taarten. b) verdeling van het geslacht van de patiënt,c) de verdeling van de leeftijd van patiënten bij diagnose end)het aantal patiënten per diagnosegroep. Klik hier om een grotere versie van dit cijfer te bekijken. Figuur 3: Watch instellen en simuleren voor risicowaarschuwingen. Klik hier om een grotere versie van dit cijfer te bekijken. Figuur 4: Een voorbeeld van het risico dat e-mail wordt gewaarschuwd. Het aantal patiënten dat risico loopt op psychose in elke klinische commissie (CCG) wordt tussen haakjes gerapporteerd. Klik hier om een grotere versie van dit cijfer te bekijken.

Discussion

We hebben de eerste EPD-implementatie aangetoond van een real-time psychoserisicodetectie- en waarschuwingssysteem op basis van CogStack, een open source informatiebron- en extractieplatform. Volgens deze aanpak kan men een grote set klinische gegevens omzetten en innemen in verschillende formaten, waaronder gestructureerde en ongestructureerde informatie, in een CogStack-instantie, om full-text search, interactieve analyses en visualisatie van gegevens mogelijk te maken, evenals real-time waarschuwingen aan clinici van patiënten die risico lopen op psychose. Hoewel de oorspronkelijke psychose risico calculator is gevalideerd in pilot studies over verschillende NHS Trusts, zij het met behulp van retrospectieve patiëntendossiers6,14,21, dit experimentele ontwerp biedt de eerste bewijsbasis dat deze risico calculator kan worden gerepliceerd en ingezet voor gebruik in real time. Deze aanpak maakt het mogelijk om prognostici automatisch te leveren via bestaande klinische meldingskanalen, zoals E-mail, in realtime. Dit toont duidelijk de technische haalbaarheid aan voor het uitvoeren van een grootschalige effectiviteitsstudie om het uiteindelijke klinische nut van deze risicocalculator in de echte wereld te evalueren.

Dit protocol is empirisch innovatief, omdat er geen vergelijkbaar risicodetectie- en alarmsysteem voor psychose bestaat. Bovendien heeft dit protocol een hoge generaliseerbaarheid in klinisch gebruik, met name vanwege de unieke sterke punten van onze aanpak. Vanuit een theoretisch perspectief gebruikten we een risicovoorspellingsmodel dat werd ontwikkeld op basis van een groot retrospectief gedeidentificeerd cohort van de SLaM NHS Trust. SLaM biedt secundaire geestelijke gezondheidszorg aan een bevolking van 1,36 miljoen individuen in Zuid-Londen en heeft een van de hoogste geregistreerde tarieven van psychose in de wereld. Dit grote cohort, dat een grote diversiteit heeft in sociodemografische en diagnostische kenmerken, stelt ons in staat om een risicovoorspellingsmodel te ontwikkelen dat waarschijnlijk niet bevooroordeeld zal zijn ten opzichte van een populatie met specifieke kenmerken. Dit wordt ondersteund door bewijs dat de prognostische nauwkeurigheid van deze risicocalculator al twee keer is gerepliceerd in twee verschillende databases14,21, waaronder een buiten SLaM. Een andere theoretische kracht van dit risicomodel is dat basisinformatie over demografische en klinische diagnose stegen als voorspellers. Dergelijke informatie is alomtegenwoordig in elektronische klinische gegevens en in feite zijn ontbrekende gegevens voor deze voorspellers relatief zeldzaam gebleken in onze vorige studies14,21. De hoge beschikbaarheid van informatie voor gebouwvoorspellers maakt het mogelijk om de risicocalculator over een groot aantal patiëntsteekproeven over verschillende secundaire geestelijke gezondheidszorgsectoren in werking te stellen. Bovendien is de risicocalculator een algemeen algoritme dat geschikt is voor alle personen die risico lopen op het ontwikkelen van psychose in de secundaire geestelijke gezondheidszorg, ongeacht de leeftijd van individuen. Dat wil zeggen, deze rekenmachine is niet alleen geschikt voor de 15-35 leeftijdscategorie van piek psychose risico16, maar ook voor mensen buiten dit bereik, waaruit een hoge mate van generalizability.

Vanuit een praktisch perspectief, zowel de risico calculator en de CogStack platform zijn lichtgewicht en open-source diensten die geen resource-zware technieken of dure infrastructuur te betrekken. Zo’n goedkoop en eenvoudig te implementeren platform kan de barrières voor de adoptie ervan in klinische omgevingen in de echte wereld verminderen. Ook overwint onze oplossing de belangrijkste implementatiebarrière: risicoschattingssystemen bieden weinig waarde, tenzij ze worden gebruikt door artsen in de dagelijkse praktijk25. In het bijzonder, onze aanpak toegang tot gegevens van het EPD, voert analyses onafhankelijk van een elektronisch medisch dossier systeem en kan analyseresultaten terug te sturen naar clinici via bestaande kennisgeving kanalen. Deze methode vereist niet dat de bedrijfslogica in reeds bestaande systemen wordt gewijzigd en kan werken als een zelfstandige service ter ondersteuning en uitbreiding van bestaande klinische beslissingsondersteuningssystemen. Zo heeft het protocol een hoge compatibiliteit met reeds bestaande klinische systemen en kan het gemakkelijk worden geïntegreerd in de routinematige klinische praktijk. Bovendien biedt het protocol gebruiksvriendelijke interfaces voor het zoeken, analyseren en visualiseren van klinische gegevens, waardoor het voor artsen gemakkelijk is om de risicoresultaten te interpreteren en te verkennen.

Dit protocol heeft ook zijn beperkingen. Ten eerste is de effectiviteit van dit protocol niet geëvalueerd in de routinematige klinische praktijk. Deze studie richtte zich op technische haalbaarheidstests voor het implementeren van een real-time psychoserisicodetectie- en alarmeringssysteem in een lokaal EPD. Om de effectiviteit van dit systeem in de routinematige klinische praktijk verder te evalueren, zijn toekomstige grootschalige gerandomiseerde gecontroleerde proeven nodig6. Een tweede beperking is dat de voorspellingen van risicoscores in dit protocol zijn gemaakt op basis van de eerste primaire diagnoses, die statische gegevens zijn die bij één momentopname worden verzameld. Echter, de CHR-P symptomen zijn intrinsiek evoluerende in de tijd. Een dynamische versie van psychose risico calculator, waarin voorspelling modellen dynamisch kunnen worden bijgewerkt om de veranderingen weer te geven, is onlangs ontwikkeld26. Toekomstige werkzaamheden zullen zich richten op de integratie van deze dynamische rekenmachine in het huidige protocol.

De meest kritieke stap in deze aanpak was het identificeren van EPD-gegevens die werden gebruikt voor extractvoorspellers in de risicocalculator. Dit kan ook het maken van mappings van gegevenselementen inhouden, wanneer een EPD-systeem een ander gegevensmodel gebruikte dan dat in dit protocol, zoals afzonderlijke coderingssystemen voor etnische groepen van patiënten. We hebben open-sourced alle code en mapping definities online(https://github.com/cogstack-slam/psychosis). Op basis van deze materialen zou men in staat zijn om de implementatie te repliceren of de rekenmachine aan te passen, afhankelijk van de eigen omstandigheden. Een andere kritieke stap was het maken van een databaseweergave voor het innemen van gegevens in CogStack. Aangezien relationele join-bewerkingen (d.w.z. het combineren van kolommen uit een of meer databasetabellen) in Elasticsearch kunnen leiden tot hoge rekenkosten, hebben we deze join-bewerkingen uitgevoerd in de EPD-database door een databaseweergave te maken. Deze weergave combineerde alle informatie die nodig was om voorspellers in de risicocalculator te extraheren en twee essentiële velden die door CogStack-pijplijnen werden gebruikt voor gegevenspartitionering in gegevensopname. Het eerste veld is een unieke primaire sleutel voor elke record in de weergave (“patient_id” gebruikt dit protocol) en het tweede is een tijdstempel wanneer een record het meest recent is gewijzigd. Als deze twee velden niet goed zijn ingesteld, synchroniseert CogStack mogelijk geen gegevensupdates in een EPD-database tijdig. Gedetailleerde instructies voor het oplossen van problemen met de opname van CogStack-gegevens zijn beschikbaar op https://cogstack.atlassian.net/wiki/spaces/COGDOC/overview en https://github.com/CogStack/CogStack-Pipeline.

Dit protocol is zeer transporteerbaar en kan eenvoudig worden geïmplementeerd in NHS Trusts die een CRIS- of CogStack-platform hebben. Tot nu toe is het CRIS-platform met inbegrip van de instemmingsprocedures volledig elders beschreven en wordt uitgebreid over 12 NHS Trusts in het Verenigd Koninkrijk, waarbij gebruik wordt gemaakt van meer dan 2 miljoen geïdentificeerde patiëntendossiers(https://crisnetwork.co/). Op dezelfde manier is het CogStack-platform niet alleen geïmplementeerd in SLaM, maar ook in andere NHS-trusts in het Verenigd Koninkrijk, zoals University College London Hospitals (UCLH), King’s College Hospital (KCH), Guy’s en St Thomas’ (GSTT) en Mersey Care NHS Trusts. Die Trusts zonder platform kunnen een online versie van risicocalculator(http://psychosis-risk.net)gebruiken, of dit protocol vanaf nul bouwen op basis van dit manuscript en onze online documenten. Hoewel dit protocol is ontwikkeld voor psychose risico detectie, het architectonische ontwerp van dit protocol is niet gekoppeld aan deze specifieke use case. Het protocol is flexibel genoeg om de real-time monitoring- en alarmeringscomponenten voor andere risicomeetgebieden, zoals bijwerkingen, te herconfigureren en te hergebruiken, zodat artsen tijdig actie kunnen ondernemen om de patiëntenzorg, veiligheid en ervaring te verbeteren.

Disclosures

The authors have nothing to disclose.

Acknowledgements

Deze studie wordt gefinancierd door en is een directe output van de King’s College London Confidence in Concept award van de Medical Research Council (MRC) (MC_PC_16048) naar PFP. RD en AR werden ondersteund door: a) de Maudsley Charity; b) het National Institute for Health Research (NIHR) Biomedical Research Centre in Zuid-Londen en Maudsley NHS Foundation Trust en King’s College London; c) Health Data Research UK, dat wordt gefinancierd door de Uk Medical Research Council, Engineering and Physical Sciences Research Council, Economic and Social Research Council, Department of Health and Social Care (Engeland), Chief Scientist Office of the Scottish Government Health and Social Care Directors, Health and Social Care Research and Development Division (Welsh Government), Public Health Agency (Northern Ireland), British Heart Foundation en Wellcome Trust; d) Het BigData@Heart Consortium, gefinancierd door de gemeenschappelijke onderneming Innovative Medicines Initiative-2 in het kader van subsidieovereenkomst nr. Deze gemeenschappelijke onderneming krijgt steun van het onderzoeks- en innovatieprogramma Horizon 2020 van de Europese Unie en efpia; Het wordt voorgezeten door DE Grobbee en SD Anker, in samenwerking met 20 academische en industriële partners en ESC; en e) het National Institute for Health Research University College London Hospitals Biomedical Research Centre. Deze financieringsorganen hadden geen rol bij het ontwerpen van de studie, verzameling en analyses. De geuite standpunten zijn die van de auteur(s) en niet noodzakelijkerwijs die van de NHS, het NIHR of het ministerie van Volksgezondheid.

Materials

CogStack-Pipeline King's College London Open source software
Elasticsearch Elastic NV Open Source Search & Analytics
Kibana Elastic NV Open source data visualization plugin for Elasticsearch
Python packages ("elasticsearch", "elasticsearch_dsl", "pandas" and "numpy") Open source community Open source packages

References

  1. Lieberman, J. A., First, M. B. Psychotic Disorders. New England Journal of Medicine. 379 (3), 270-280 (2018).
  2. Oh, H., Koyanagi, A., Kelleher, I., DeVylder, J. Psychotic experiences and disability: findings from the collaborative psychiatric epidemiology surveys. Schizophrenia Research. 193, 343-347 (2018).
  3. Tsiachristas, A., Thomas, T., Leal, J., Lennox, B. R. Economic impact of early intervention in psychosis services: results from a longitudinal retrospective controlled study in England. BMJ Open. 6 (10), e012611 (2016).
  4. Fusar-Poli, P., McGorry, P. D., Kane, J. M. Improving outcomes of first-episode psychosis: an overview. World Psychiatry. 16 (3), 251-265 (2017).
  5. Fusar-Poli, P. The clinical high-risk state for psychosis (CHR-P), version II. Schizophrenia Bulletin. 43 (1), 44-47 (2017).
  6. Fusar-Poli, P., et al. Real-world Implementation of a Transdiagnostic Risk Calculator for the Automatic Detection of Individuals at-risk of Psychosis in Clinical Routine: Study Protocol. Frontiers in Psychiatry. 10, 109 (2019).
  7. Fusar-Poli, P., et al. Disorder, not just state of risk: meta-analysis of functioning and quality of life in people at high risk of psychosis. British Journal of Psychiatry. 207 (3), 198-206 (2015).
  8. Fusar-Poli, P., et al. Heterogeneity of psychosis risk within individuals at clinical high risk: a meta-analytical stratification. JAMA Psychiatry. 73 (2), 113-120 (2016).
  9. Fusar-Poli, P., et al. Diagnostic and prognostic significance of brief limited intermittent psychotic symptoms (BLIPS) in individuals at ultra high risk. Schizophrenia Bulletin. 43 (1), 48-56 (2016).
  10. Fusar-Poli, P., et al. Prognosis of brief psychotic episodes: a meta-analysis. JAMA Psychiatry. 73 (3), 211-220 (2016).
  11. Fusar-Poli, P., Sullivan, S., Shah, J., Uhlhaas, P. Improving the detection of individuals at clinical risk for psychosis in the community, primary and secondary care: an integrated evidence-based approach. Frontiers in Psychiatry. 10, 774 (2019).
  12. Fusar-Poli, P. Extending the benefits of indicated prevention to improve outcomes of first-episode psychosis. JAMA Psychiatry. 74 (7), 667-668 (2017).
  13. Fusar-Poli, P., et al. Transdiagnostic psychiatry: a systematic review. World Psychiatry. 18 (2), 192-207 (2019).
  14. Fusar-Poli, P., et al. Development and validation of a clinically based risk calculator for the transdiagnostic prediction of psychosis. JAMA Psychiatry. , (2017).
  15. Fusar-Poli, P., Hijazi, Z., Stahl, D., Steyerberg, E. W. The science of prognosis in psychiatry: a review. JAMA Psychiatry. 75 (12), 1289-1297 (2018).
  16. Radua, J., et al. What causes psychosis? An umbrella review of risk and protective factors. World Psychiatry. , (2018).
  17. Fusar-Poli, P., et al. Deconstructing vulnerability for psychosis: Meta-analysis of environmental risk factors for psychosis in subjects at ultra high-risk. European Psychiatry. 40, 65-75 (2017).
  18. Fusar-Poli, P., et al. Clinical-learning versus machine-learning for transdiagnostic prediction of psychosis onset in individuals at-risk. Translational Psychiatry. 9 (1), 1-11 (2019).
  19. Stewart, R., et al. The South London and Maudsley NHS foundation trust biomedical research centre (SLAM BRC) case register: development and descriptive data. BMC Psychiatry. 9 (1), 51 (2009).
  20. Jongsma, H. E., et al. Treated incidence of psychotic disorders in the multinational EU-GEI study. JAMA Psychiatry. 75 (1), 36-46 (2018).
  21. Fusar-Poli, P., et al. Transdiagnostic risk calculator for the automatic detection of individuals at-risk and the prediction of psychosis: Second replication in an independent national health service trust. Schizophrenia Bulletin. , (2019).
  22. Fusar-Poli, P., et al. Transdiagnostic individualized clinically based risk calculator for the detection of individuals at-risk and the prediction of psychosis: Model refinement including nonlinear effects of age. Frontiers in Psychiatry. 10, 313 (2019).
  23. Colditz, G. A., Wei, E. K. Risk prediction models: applications in cancer prevention. Current Epidemiology Reports. 2 (4), 245-250 (2015).
  24. Jackson, R., et al. CogStack – Experiences Of Deploying Integrated Information Retrieval And Extraction Services In A Large National Health Service Foundation Trust Hospital. BMC Medical Informatics and Decision Making. 18 (47), (2017).
  25. McGorrian, C., Leong, T., D’Agostino, R., Graham, I. Risk estimation systems in clinical use: SCORE, Heart Score and the Framingham system. Hyperlipidaemia (Oxford Cardiology Library). , (2012).
  26. Studerus, E., Beck, K., Fusar-Poli, P., Riecher-Rössler, A. Development and Validation of a Dynamic Risk Prediction Model to Forecast Psychosis Onset in Patients at Clinical High Risk. Schizophrenia Bulletin. , (2019).
  27. Damschroder, L. J., et al. Fostering implementation of health services research findings into practice: a consolidated framework for advancing implementation science. Implementation Science. 4, 50 (2009).
  28. Fusar-Poli, P., et al. Outreach and support in south London (OASIS), 2001-2011: ten years of early diagnosis and treatment for young individuals at high clinical risk for psychosis. European Psychiatry. 28 (5), 315-326 (2013).

Play Video

Cite This Article
Wang, T., Oliver, D., Msosa, Y., Colling, C., Spada, G., Roguski, Ł., Folarin, A., Stewart, R., Roberts, A., Dobson, R. J. B., Fusar-Poli, P. Implementation of a Real-Time Psychosis Risk Detection and Alerting System Based on Electronic Health Records using CogStack. J. Vis. Exp. (159), e60794, doi:10.3791/60794 (2020).

View Video