När vård-AI lovar för mycket: risker och motåtgärder

Vad menas med AI-överdrift?

Överdrift uppstår när en modell beskrivs som träffsäker utan att det framgår för vilken uppgift, population eller miljö resultatet gäller.

Det kan också ske när en pilot presenteras som färdig klinisk drift eller när ett tekniskt mått blandas ihop med bättre patientutfall.

Problemet är inte entusiasm i sig. Problemet är att vårdbeslut kan bygga på ett löfte som underlaget inte stödjer.

Automatiseringsbias påverkar bedömningen

Automatiseringsbias innebär att användaren lägger för stor vikt vid ett systems rekommendation. Risken ökar när det är svårt eller tidskrävande att kontrollera förslaget.

Ett felaktigt AI-svar kan då dra bedömningen åt fel håll. En enkel instruktion om att läkaren har ansvar löser inte problemet.

Granskaren behöver tillgång till källan, tid att tänka själv och ett gränssnitt som visar osäkerhet och begränsningar.

När extern validering ändrar bilden

Flera uppmärksammade vårdverktyg har presterat sämre när de testats utanför utvecklingsmiljön. Epic Sepsis Model är ett känt exempel från en extern validering.

IBM Watson for Oncology och Babylon Health har också kritiserats för rekommendationer eller påståenden som inte motsvarade oberoende granskning. Fallen är olika och ska inte slås ihop till ett enda bevis.

Den gemensamma lärdomen är att leverantörens egna resultat inte räcker för att bedöma klinisk nytta.

Skydd behöver byggas in före användning

Ett vård-AI-system bör ha ett snävt avsett ändamål, relevant validering och tydliga stoppregler. Det ska vara känt vilka patienter och situationer som ligger utanför underlaget.

Vårdgivaren behöver utbilda användare, följa avvikelser och mäta prestanda efter införandet. Uppföljningen bör delas upp mellan patientgrupper.

När signaler visar försämring ska användningen kunna begränsas eller stoppas medan felet utreds.

Så kan påståenden hållas ärliga

Beskriv vilket verktyg som testats, på vilka data och mot vilken referens. Skilj teknisk träffsäkerhet från påverkan på patientutfall.

Redovisa också vad som inte är känt. Ett begränsat underlag är inte ett misslyckande, men det måste synas i slutsatsen.

För Curevo innebär det att AI beskrivs som stöd för strukturering och granskning tills ett specifikt verktyg har oberoende evidens för mer långtgående påståenden.