Når kunstig intelligens skal forudsige mistrivsel

Før vi får indblik i forskerens maskinrum – og hendes refleksioner over muligheder og faldgruber – ligger det Line Berg på sinde at præcisere, hvad det forskningsprojekt om kunstig intelligens, hun står i spidsen for, går ud på. Ellers bliver hensigterne let misforstået, har hun erfaret.

– Vores formål er at undersøge, om en algoritmebaseret beslutningsstøtte kan være en hjælp for socialrådgivere, som vurderer underretninger om børn. Det er på sigt en del af projektet at undersøge, hvad der sker med afgørelserne, hvis redskabet kommer i anvendelse. Det primære lige nu er at se på, hvad socialrådgivere, familier og andre interessenter tænker om brugen af beslutningsstøtten, siger Line Berg om projektet ’Underretninger i fokus’.

Hun understreger, at forskerteamet fra VIA University College og TrygFondens Børneforskningscenter ved Aarhus Universitet ikke har udviklet algoritmen for straks at få redskabet udbredt til alle kommuner.

– Måske finder vi ud af, at kunstig intelligens og algoritmer ikke er brugbare på dette felt. Som forskere kan vi generere viden, så man netop ikke ruller algoritmer ud uden at kende effekten, siger Line Berg, som er cand.jur. og lektor ved socialrådgiveruddannelsen i Aarhus.

Algoritmen er trænet på de cirka 173.000 underretninger, som myndighederne modtog fra april 2016 til december 2017. Den benytter ikke informationer fra den konkrete underretning, men støtter sig alene til historiske informationer om barnet, dets forældre og eventuelle søskende, som socialrådgiveren i forvejen har adgang til i de kommunale systemer. For eksempel tidligere børnesager i samme familie, antal flytninger mellem kommuner og civilstand. Beslutningsstøtten kan på den baggrund vurdere, hvor stor risikoen er for, at barnet kommer til at mistrives.

– Redskabet angiver resultatet på en skala fra et til ti, hvor ti angiver den største risiko. Denne sammenfatning kan socialrådgivere bruge, når de skal beslutte, hvad der skal ske i sagen, men de kan ikke benytte redskabet alene, da det ikke tager højde for specielle forhold i den enkelte familie, fortæller Line Berg.

Forskerne har testet en tidligere version af algoritmen i Hjørring og Silkeborg Kommuner, men først efter at behandlingen af sagen var afsluttet. Hensigten var at teste, hvordan socialrådgiverne så på relevansen af sådan et redskab.

– Socialrådgiverne var på mange måder positive for at få støtte til deres beslutningsproces, men de havde brug for mere information fra beslutningsstøtten for reelt at kunne bruge den. Derfor har vi efterfølgende udviklet et data-ark, hvor de kan se, hvilke forhold der trækker op og ned i vurderingen, siger projektlederen.

Ikke en handlingsanvisning

Det er vigtigt at forstå, at algoritmen er et statistisk værktøj, som kun kan vurdere risikoen ud fra historiske parametre, understreger Line Berg. Derfor kan beslutningsstøtten aldrig stå alene.

– Ved en score på ti er der for eksempel 30 procent risiko for, at barnet bliver anbragt inden for et år. Det er således ikke sikkert, at det sker for netop dette barn, men scoren antyder, at barnet er i risiko for alvorlig mistrivsel, så det vil være en god idé at belyse sagen yderligere, forklarer hun.

Uden oplæring i, hvad algoritmen kan og ikke kan bruges til, vil der både være risiko for, at den anvendes forkert af socialrådgiveren, og for at borgeren ikke forstår, hvad der ligger til grund for socialrådgiverens afgørelse. Der er også risiko for, at der går noget tabt i relationen mellem familie og sagsbehandler.

– Man skal være opmærksom på disse risici. Derfor skal man uddanne socialrådgiverne bedst muligt til at bruge algoritmen og undersøge, om de oplever, at værktøjet er brugbart og gennemsigtigt, siger Line Berg.

Der er også risiko for, at socialrådgivere læner sig ukritisk op ad beslutningsstøttens vurdering, så de i mindre grad forholder sig fagligt og nuanceret til det enkelte barn.

– Vi vil gerne undersøge, om der er en reel risiko for, at de bruger beslutningsstøtten som sovepude. Men det er ikke en handlingsanvisning, de får. Det ville det være, hvis algoritmen sagde: ’Du skal tage skridt til en anbringelse’. Her får socialrådgiveren en vurdering, hun kan inddrage i sit samlede skøn.

Ifølge udenlandske erfaringer med et lignende redskab fører beslutningsstøtten ikke umiddelbart til besparelser. Det gav socialrådgiverne i pilotforsøget også udtryk for.

– Risikovurderingen fører ofte til ekstra refleksion og/eller sparring med en kollega. Forhåbningen er, at den statistiske score kan kvalificere socialrådgiverens skøn, fordi hun sammen med sine kolleger holder den op mod sin egen vurdering.

Måske mere ensartede afgørelser

I pilotforsøget ville socialrådgiverne i Silkeborg og Hjørring have ændret deres vurdering i 21 procent af sagerne, efter at de havde set risikoscoren. Om det er godt eller skidt – og om det ville have ført til andre beslutninger – kalder Line Berg for ’et virkelig godt spørgsmål’.

– Det er netop det, projektet er sat i gang for at undersøge, men der er lang vej endnu, før vi er parate til det. Den slags er svært at vurdere i komplekse sociale sager. Vi kan se i pilotforsøget, at socialrådgiverne ikke ændrede deres risikovurdering fra et til ti, men måske fra fem til seks, så spørgsmålet er, om redskabet overhovedet vil føre til ændrede afgørelser, hvis det engang afprøves i praksis.

På samme måde er det også for tidligt at vurdere, om algoritmen kan føre til mere ensartede afgørelser.

– Det kan vi først sige noget om, når vi undersøger anvendelsen af redskabet i konkrete sager, men vi ved, at socialrådgivere vurderer de samme sager forskelligt i dag. Samtidig ved vi, at beslutningsstøtten vil give sager, som er ens, den samme risikovurdering på tværs af socialrådgivere og kommuner. Det kan måske føre til mere ensartede afgørelser i sager, som minder om hinanden.

Det er ikke målet, at algoritmen skal hjælpe socialrådgivere med at prioritere, hvilken sag de skal behandle først, men forskerne er ikke blinde for, at det muligvis vil medføre en prioritering, når nogle sager får en risikoscore på to og andre på ti.

Overrasket over kritik

Det har overrasket forskerne, hvor meget kritik projektet har fået. Line Berg deler den i to.

– En del af kritikken har været brugbar, for eksempel at algoritmen lagde for stor vægt på barnets alder. Det har vi efterfølgende forsøgt at rette op på. Det er den måde, forskning fungerer på. Vi bliver bedømt af fagfæller og retter til.

Kritikken handler om, at algoritmen gav en højere risikovurdering, jo ældre barnet var, hvilket skyldtes, at der sker en stigning i anbringelser fra 12-års-alderen.
Forskerne prøver også at undgå, at algoritmen forstærker socialrådgiverens forforståelse.

– Når man udvikler en algoritme på historiske data, er der risiko for, at eventuelle forforståelser reproduceres i algoritmen, men vi har gjort, hvad vi kunne, for at reducere skævheder på baggrund af køn, alder og etnicitet, så to børn med ens historie får samme score, uanset om de har et dansk eller udenlandsk navn, er dreng eller pige eller to eller 15 år, siger Line Berg og giver faren for misvisende undersøgelsesresultater et tvist.

– Der er skævheder i mange socialrådgiveres arbejde, men det kommer sjældent frem i dagens lys. Med algoritmen bliver nogle af disse skævheder tydelige, så vi kan blive bevidste om dem og handle på dem. Vi er et tidligt sted i udviklingen, og der er potentialer til at gøre algoritmen bedre. Derfor er det vigtigt, at vi tester redskabet grundigt, inden kommuner eventuelt vil kunne begynde at anvende det, siger Line Berg.

Pas på robotterne

Den anden del af kritikken går på det ildevarslende ’robotterne kommer’.

– Vi er blevet beskyldt for, at vi vil gennemtvinge, at algoritmen anvendes til at afgøre underretningssager, selv om vores mål er det stik modsatte, nemlig at undersøge, hvorvidt den overhovedet kan bruges til at bistå socialrådgivere i at risikovurdere et barn, der er kommet en underretning om. Men vi møder forholdsvis stor resistens mod dette faktum. Det gør det svært at håndtere kritikken, konstaterer Line Berg.

Netop fordi beslutningsstøtten ikke kan stå alene, behøver socialrådgivere ikke frygte, at den kommer til at koste deres job, vurderer projektlederen.
– Det menneskelige socialfaglige skøn kan ikke undværes, så vi er ikke i nærheden af at erstatte socialrådgivere med algoritmer. Og det må heller aldrig ske, siger hun.

Andre har kritiseret algoritmen for, at nogle børn i mistrivsel glider under radaren. For eksempel børn, som udsættes for grooming.

– Der er altid risiko for, at et barn glider under radaren, også hos socialrådgivere. Et barn i en familie, som har boet det samme sted i lang tid, og hvor hverken barnet, søskende eller forældrene er kendt i det sociale system, vil ikke bone ud på algoritmens risikovurdering. Den er alene baseret på historiske data og kender hverken den enkelte familie eller den konkrete underretning, så socialrådgiveren må nødvendigvis se på, hvem der er bekymret for barnet og hvorfor, før hun kan træffe en afgørelse.

Øget krav om forklaringer

Et springbræt til at lave projektet har været den stigning, der er sket i antallet af underretninger siden 2015. Den slags får kommuner til at se efter løsninger.

– Vi prøver at kvalificere socialrådgivernes beslutningsprocesser med viden, og så er det op til den enkelte kommune at beslutte, hvilken vej den vil gå. Nogle kommuner kan se potentialet i algoritmer, men de foreløbige internationale erfaringer og socialrådgivernes oplevelser i pilottesten viser, at det tager længere tid for socialrådgiverne at anvende, så umiddelbart fører det ikke til en besparelse. Men det ser måske anderledes ud efter noget tid, hvis redskabet fører til bedre afgørelser, så man ved en tidlig og afgrænset indsats undgår en mere indgribende foranstaltning senere, siger Line Berg.

Et andet spørgsmål er, hvad brugen af kunstig intelligens betyder for borgerens rettigheder og retssikkerhed. Altså om forældrene kan forstå beslutningsgrundlaget og har tillid til afgørelsen.

– Det er klart en udfordring at skulle forklare familien betydningen af, at man har anvendt input fra en algoritme. Vi skal huske, hvilket felt vi taler om, og det er heller ikke sikkert, at familien fuldt ud forstår baggrunden for socialrådgiverens afgørelse i dag. Men det er klart, at når risikoen for uigennemsigtighed er til stede, skal socialrådgiveren kunne formidle og begrunde, hvad der ligger til grund for en afgørelse. Der er en risiko for, at hun ikke gør det, men det er også muligt, at beslutningsstøtten gør hende endnu bedre til det. Det har vi ikke undersøgt endnu.

Der er en frygt forbundet med at prøve en algoritme på det sociale felt, fordi der ikke findes ret meget forskning på området, erkender Line Berg.

– Hver gang vi træder et skridt, skal vi forholde os til etikken i, hvordan vi anvender algoritmen i forbindelse med sårbare familier. Jo mere sårbar målgruppen er over for virkningen, jo mere opmærksomme skal vi være på, om algoritmen skader mere, end den gavner. Et andet dilemma kan være, om værktøjet bliver anvendt, så det fører til andre resultater, end det er tænkt til. For eksempel hvis ledelsen bruger det til at kontrollere, om socialrådgiverne er uenige med scoren i beslutningsstøtten. Begge dele er vi optagede af, og derfor er det vigtigt med viden.

Risiko for overbelysning

Aktuelt er forskerne løbet ind i en alvorlig hindring: Jurister stiller spørgsmål ved, om algoritmen kan betyde, at underretningssagerne bliver overbelyst. Altså at beslutningsstøtten anvender flere oplysninger om et barn end nødvendigt.

– En sagsbehandler må kun indhente de oplysninger, som er tilstrækkelige til at træffe en afgørelse i en sag. Algoritmen derimod har brug for at få bestemte oplysninger i alle sager for at kunne beregne risikoen. Selv om kommunen er i besiddelse af alle oplysningerne, er der opstået tvivl om, hvorvidt vi må bruge dem i alle sager. Så her støder vi ind i en udfordring. Vi har ganske vist Kammeradvokatens ord for, at det, vi gør, er i orden, men når vi kommer det mindste i tvivl om det juridiske grundlag, kan vi ikke teste på rigtige sager. Det kan føre til, at vi ikke kommer til at lave egentlige afprøvninger i det her projekt, forklarer projektlederen.

Forskeren lukker ikke projektet, som fortsætter til udgangen af 2023.

– Vi samler op på de erfaringer, vi allerede har gjort os, og vi prøver at skabe klarhed over det juridiske aspekt. Men vi når ikke at blive klar til at teste på rigtige sager, inden Barnets Lov formentlig vedtages i løbet af efteråret. Den kender vi endnu ikke det endelige indhold af, så det er svært at vide, om algoritmen vil kunne bruges derefter. Men vi fortsætter med at udvikle på modellen og diskutere perspektiverne med fagfæller og andre interessenter i feltet, og måske kan vi komme til at prøve den af på et senere tidspunkt, siger Line Berg.

Hvis det viser sig, at algoritmen bliver et succesfuldt redskab, bliver det gratis for kommuner, forskningsinstitutioner og andre interesserede at anvende det. De vil dog selv skulle implementere det i kommunens it-system, og det kan være en dyr manøvre.

---

Om ’Underretninger i fokus’

Forskningsprojektet ’Underretninger i fokus’ er et samarbejde mellem VIA University College (VIA) og TrygFondens Børneforskningscenter ved Aarhus Universitet (AU) og er finansieret af TrygFonden.

Forskningsprojektet bygger på pilotprojektet ’Beslutningsstøtte ved underretninger’, hvor VIA og AU i samarbejde med Silkeborg og Hjørring Kommuner har udviklet og afprøvet den første version af beslutningsstøtten.

Det overordnede formål med projektet er at undersøge, om beslutningsstøtten kan skærpe socialrådgivernes vurdering af mistrivsel i konkrete underretningssager.
I pilotprojektet blev beslutningsstøtten afprøvet efter, at socialrådgivernes sagsbehandling var afsluttet, og har derfor ikke haft en reel indvirkning på socialrådgivernes arbejde og beslutninger.

Læs mere på childresearch.au.dk

---

Om kunstig intelligens

Kunstig intelligens (KI) – på engelsk Artificiel ­Intelligence (AI) – er et systems evne til at tilegne, analysere og anvende viden. Når man udvikler en algoritme i en maskine, der kan analysere data, som den kan lære fra, kaldes det machine learning – på dansk maskinlæring.

---

Bag om historien
Kan kunstig intelligens og algoritmer bruges til at støtte socialrådgivere i deres vurdering af, hvilken indsats udsatte borgere har brug for? Eller bliver den kunstige intelligens en sovepude, der ikke skærper, men svækker det faglige skøn? Og hvilke konsekvenser har brugen af kunstig intelligens for gennemsigtighed i beslutningerne, borgernes rettigheder og retssikkerhed? Vi har talt med forskere, socialrådgivere, eksperter og politikere om, hvordan vi udnytter mulighederne og undgår faldgruberne.