Er der mening med målingerne? Hvordan fidelitetsmålinger opleves af praktikere i Individuelt Planlagt job med Støtte [Peer reviewed]

Individuelt Planlagt job med Støtte (IPS) er de seneste ti år blevet udbredt til de fleste af landets kommuner og psykiatrien. Samtidig er man ophørt med at følge op på, om indsatsen udføres, som den er tiltænkt i manualen, fordi omkostningerne ved fidelitetsmålinger er store, og de fagprofessionelle ikke altid oplever dem som anvendelige i en lokal kontekst. I denne artikel forsøger vi at forstå baggrunden for, at fidelitetsmålingerne ikke altid opleves som meningsfulde – og vi reflekterer over, hvordan målingerne kan gøres mere anvendelige i praksis.

Blå bog

Claus Brygger Jacobi 
Antropolog, ph.d. og lektor på socialrådgiveruddannelsen ved Professionshøjskolen Absalon. Han har gennem 20 år arbejdet med, udviklet og forsket i beskæftigelsesindsatser for udsatte ledige. De seneste fem år har han specielt haft fokus på at undersøge og udvikle Individuelt Planlagt job med Støtte (IPS) til at fungere bedre blandt danske fagprofessionelle – herunder socialrådgivere.
caja@pha.dk 

Thomas Nordahl Christensen  
Kandidat i socialt arbejde og ph.d. i psykiatri. Har gennem sin forskning haft fokus på inklusion af borgere med sindslidelser og har været involveret i en række projekter og udvikling af indsatser, der har haft beskæftigelse som overordnet mål. Han har bl.a. spillet en central rolle i udviklingen og tilpasningen af Individuelt Planlagt job med Støtte (IPS) til en dansk kontekst, herunder gennemførelse af et klinisk randomiseret forsøg til evaluering af indsatsens effekter. Derudover har han arbejdet systematisk med implementering og national skalering af IPS i kommunalt og regionalt regi.
Thomas.03.christensen@regionh.dk


“Der er sammenhæng mellem modeltrofasthed og antallet af deltagere, der opnår lønnet beskæftigelse”

“Et andet eksempel omhandler princippet om, at alle, som ønsker sig et arbejde og har et forløb i psykiatrien, skal kunne deltage i IPS-indsatsen. Dette princip bygger på erfaringer med, at det er svært at forudsige, hvilke borgere, som ender i job”

“En anden måde at tage højde for lokal tilpasning og fagprofessionel dømmekraft kan være at basere fidelitetsmålinger mere på fagprofessionelles selvevalueringer, hvilket har vist lovende resultater i IPS-indsatsen”

IPS er en evidensbaseret beskæftigelsesindsats, som er rettet mod ledige med psykiske lidelser. Indsatsen følger en manual baseret på otte principper, som blandt andet anviser, at en IPS-konsulent skal støtte den ledige til at opnå ordinære timer på baggrund af den lediges egne ønsker og behov og i tæt koordinering med den psykiatriske behandling (Drake et al., 2012; Swanson et al., 2013).

Fidelitet benyttes ofte som begreb for at måle, i hvilken grad evidensbaseret praksis er implementeret efter nogle specifikke standarder, som er beskrevet i en manual (Bond & Drake, 2020, p. 874; Carroll et al., 2007, p. 1; Gearing et al., 2011). Fidelitetsmålinger har den fordel, at man kan følge med i implementeringsgraden og arbejde aktivt med at fjerne barrierer for implementering løbende, samt at målingerne i sig selv kan få praktikere til at agere mere metodetro (Stuczynski & Kimmich, 2010, pp. 420–421).

IPS-indsatsen har siden de første studier i USA i slutningen af halvfemserne været understøttet af fidelitetsmålinger, som har vist, at der er sammenhæng mellem modeltrofasthed og antallet af deltagere, der opnår lønnet beskæftigelse. Det har understøttet IPS’ status som evidensbaseret praksis og udbredelse fra USA til en lang række lande i Europa herunder Danmark (T. N. Christensen et al., 2019; Drake et al., 2012).

Fidelitetsmålinger af IPS-indsatser har – som med andre evidensbaserede praksisser – haft en udvikling henimod at udvide de otte principper til flere detaljerede proceskrav i takt med metodens afprøvning og udbredelse. Det er således blevet normen, at man følger op på IPS-indsatsen gennem 15 eller 25 konkrete proceskrav (items,) som vurderes fra en skala fra 1-5 (Becker et al., 2019; Bond et al., 2011, 2012; Bond & Drake, 2020; Drake et al., 2012).

I mange lande benyttes fidelitetsmålinger fortsat til at sikre, at IPS-indsatsen følger manualen (Bond & Drake, 2020, p. 875), men i Danmark er man ikke fortsat med at lave fidelitetsmålinger, efter at indsatsen er overgået fra en fondsstøttet forskningsindsats til kommunal og regional drift. Dette kan forklares ved, at det er ressource- og tidskrævende, men også ved, at kommunerne og psykiatrien ikke finder målingerne anvendelige nok. Det er således et problem, at IPS-indsatsen i takt med, at den bliver stadig mere udbredt, risikerer at blive mindre metodetro (Ifølge IPS-ambassadørkorpset har 2 ud af 3 kommuner en IPS-indsats, og alle kommuner har en IPS-indsats til unge gennem Ungeløftet).

I denne artikel vil vi derfor prøve at forstå, hvilke forklaringer der kan være, når målingerne ikke giver mening for dem, som skal udføre indsatsen i den lokale praksis. Artiklen bygger på interviews med 17 fagprofessionelle og ledere, som har været med til at implementere IPS-indsatsen i 2 kommuner. I første afsnit præsenteres den analytiske ramme om sammenhængen mellem fidelitetsmålinger, lokale tilpasninger og fagprofessionel dømmekraft. I andet afsnit beskrives konteksten for undersøgelsen samt datagrundlaget og metoden. Derefter analyseres, hvordan fidelitetsmålingerne opleves af praktikerne, og det diskuteres, hvorfor målingerne ikke altid opfattes som anvendelige. Sidste afsnit er en konklusion, hvor der reflekteres over, hvordan målingerne kunne gøres anderledes.

Fidelitet, lokal tilpasning og fagprofessionel dømmekraft

Fidelitetsmålinger af IPS giver rum for en vis fleksibilitet for lokal tilpasning og fagprofessionel dømmekraft, fordi fideliteten vurderes inden for et spænd i den samlede score. En samlet score på 65 eller derover på 15-skalaen (man kan maksimum opnå 75 point) anses fx som en god fidelitet, det vil sige vurderes at have de bedst mulige positive jobeffekter (Bond et al., 2011, p. 126).

Fidelitetsmålingerne lader da heller ikke til at underminere fleksibiliteten i støtten og indsatsen overfor den enkelte ledige, hvilket dog også er et af principperne i manualen (Bakkeli, 2023; Jacobi, 2024). Der er til gengæld tegn på, at fidelitetsmålingerne kan udfordre den lokale tilpasning og fagprofessionelles dømmekraft på andre måder.

Et af problemerne lader til at være, at forskerne/evaluatorerne anskuer en lav score som dårlig implementering fremfor en nødvendig og måske gavnlig lokal tilpasning (Durlak & DuPre, 2008, p. 341). Flere forskere anbefaler derfor, at forskere/evaluatorer indtænker lokale tilpasninger som en del af implementeringsmodellen og ikke anser fidelitet og lokal tilpasning som et enten/eller. Dette kunne fx opnås, hvis man havde evidens for (job)effekterne af hvert enkelt item og derved kunne prioritere mere lokalt (Bakkeli & Breit, 2022, p. 89; Durlak & DuPre, 2008, pp. 341–342; Toomey et al., 2020, pp. 143–144). Det løser dog ikke umiddelbart problemerne med, at forskning også viser, at lokale praktikere opfatter nogle af fidelitetsmålinger som rigide og ikke forstår meningen med dem (Adams et al., 2023, pp. 652–653; Vukadin et al., 2021, p. 7). Et dansk studie viser fx, at kommunerne, når de overgår fra forskningsbaseret forsøgsindsats til selvfinansieret drift, fastholder troen på metodens brede principper, men begynder at problematisere nogle af de snævre proceskrav, som fidelitetsmålingerne opstiller, samt udviser modstand mod hele ideen om fidelitetsmålinger (Weber, 2025, pp. 141–178).

Det samme opleves i andre typer interventioner med standardiserede, evidensbaserede indsatser og kan muligvis forklares ved: “… a tension between a research need for specificity and a practice demand for something that is feasible.” (Stuczynski og Kimmich, 2010, pp. 420). Det kan muligvis også forklares ved, at fidelitetsmålingerne bygger på et perspektiv på vidensproduktion, som rangerer studier ud fra et evidenshierarki, hvor de randomiserede kontrollerede forsøg anses som guldstandarden og professionelles vurderinger og brugertilfredshedsundersøgelser er placeret nederst (Hansen, 2014). Sådan et perspektiv kan være godt for systematiske reviews, men værdisætter ikke lokale tilpasninger og fagprofessionel dømmekraft positivt.

I denne artikel vil vi i stedet for anlægge et andet analytisk perspektiv, hvor evidensbaserede standarder både kan stå i modsætning til lokale praksis, men også kan være et afsæt for forhandling og videreudvikling af nye lokale praksisser (Bakkeli & Breit, 2022; Bonfils, 2022; Skillmark & Oscarsson, 2020; Sletten & Bjørkquist, 2021; Sletten & Ellingsen, 2020). Sletten og Bjørkquist (2021) peger på, at fagprofessionelle ikke er passive modtagere af standardiserede indsatser, men: ”… may critically reflect on, modify or even reject the guidelines of the tools.” (Sletten & Ellingsen, 2020, p. 750). Fagprofessionelles dømmekraft (diskretion) kan således både blive udfordret af evidensbasererede standarder, men kan også være afsættet for at modificere eller erstatte standarder og retningslinjer med anden professionel praksis og ekspertise. Hvordan dette sker, vil afhænge af karakteren af standarderne (og om de forventes efterfulgt slavisk,) og den institutionelle kontekst, som standarderne implementeres i.

Sletten og Bjørkquist (2021) peger på, at implementeringen kan ske ved at undergrave, skabe eller opretholde institutioner. Standardiserede redskaber kan undergrave eksisterende institutioner ved, at de evidensbaserede standarder sættes i modsætning til den eksisterende fagprofessionelle dømmekraft og praksis. Der kan dog også ske en skabelse af institutioner gennem en gennemgribende forandring, hvor:  ”… frontline professionals and managers engage in reconstructing rules or changing categorisations within the meaning system. The latter includes theorising through the naming of new concepts.” (Sletten & Ellingsen, 2020, p. 752).

Eftersom IPS er en samlet tilgang til beskæftigelsesindsatsen med mange redskaber og en omfattende manual, kan det som udgangspunkt anses som formålet, at IPS-indsatsen skal indebære en gennemgribende forandring i den lokale praksis. I praksis vil dele af den institutionelle kontekst dog opretholdes, men modificeres i større eller mindre grad (Sletten & Bjørkquist, 2021; Sletten & Ellingsen, 2020). I IPS-indsatsen ses der specielt udfordringer med fideliteten i samarbejdet mellem jobcentrene og psykiatrien, og IPS-konsulenternes arbejde følger heller ikke altid manualen grundet den måde, som jobcentrene og den ordinære beskæftigelsesindsats er organiseret på (Bonfils, 2022). Et norsk studie viser desuden, at implementeringen af IPS-indsatsen kan opfattes forskelligt lokalt – som enten et skifte mod mere inddragelse af arbejdsgivere i beskæftigelsesindsatsen, eller mod mere borgerinddragelse, det vil sige tilbagevenden til mere traditionelle socialfaglige dyder i beskæftigelsesindsatsen (Bakkeli & Breit, 2022). Det er således vigtigt, hvordan og i hvilken institutionel kontekst IPS og fidelitetsmålingerne bliver implementeret.

Baggrund, data og metode

Forfatterne til denne artikel har udført en evaluering af en fondsfinansieret IPS-indsats, som foregik i 15 kommuner. I forbindelse med projektet fik de deltagende kommuner målt deres fidelitet på 15-skalaen (15 items) og evalueret indsatsens jobeffekter, som generelt viste sig at være positive og sammenhængende med kommunernes fidelitetsmålinger (T. Christensen, 2024).

Der blev også udvalgt to kommuner til en kvalitativ evaluering af den lokale implementering og organisering af indsatsen i det fondsfinansierede projekt. Kommunerne blev strategisk udvalgt ud fra, at de havde en god fidelitet. Kommune A havde 66 og kommune B havde 62 i samlet score på 15-skalaen og gode jobeffekter. Derfor vurderede vi, at disse cases kunne give dybdegående og kontekstuel viden om, hvordan en metodetro IPS-indsats kan tilpasses lokalt i kommunal kontekst (Flyvbjerg, 2006, pp. 224–228; Yin, 2003, pp. 1–2).

Der blev foretaget semistrukturerede interviews (Kvale & Brinkmann, 2015) med projektlederen af det samlede IPS-projekt, alle 7 IPS-konsulenter, som var ansat i de to kommuner, samt deres 4 personaleledere og 5 fagprofessionelle, som var deres primære samarbejdspartnere i psykiatrien. Derudover blev 12 borgere (6 fra hver kommune,) som fik en indsats i kommunerne, interviewet. Der blev udarbejdet særskilte interviewguides for hver informantgruppe, som dog alle havde fokus på mange af de samme temaer omkring indsatsens implementering, organisering og lokale tilpasning.

Gennem udarbejdelsen af evalueringen blev det klart, at de fagprofessionelle (IPS-konsulenterne og informanterne fra psykiatrien) og lederne havde en del kritik af fidelitetsmålingerne. Til denne artikel har vi derfor foretaget en selvstændig analyse af de fagprofessionelles og ledernes opfattelse af fidelitetsmålingerne og relateret denne empiri til de 2 kommuners skriftlige fidelitetsmålinger. Mere præcist er det gjort ved, at interviewene med de fagprofessionelle og lederne har været genstand for en tematisk analyse, som er foregået i to faser (Braun og Clarke, 2022). I første fase blev der identificeret empiri, som enten omhandlede fidelitetsmålingerne eller kvaliteten af indsatsen og dens relation til IPS-manualen og dens principper. I denne fase blev der identificeret en del udfordringer ved fidelitetsmålingerne, som angik dens lokale tilpasning. I anden fase blev empirien derfor gennemgået igen for bedre at forstå sammenhængen mellem udfordringerne med fidelitetsmålingerne, lokal tilpasning og de fagprofessionelles dømmekraft.

Analyse: Er der mening med målingerne?

Fidelitetsmålinger kan resultere i anbefalinger, der ikke kan implementeres på grund af lokale forhold. Fx kan en lav score på samarbejde med psykiatrien skyldes, at en lokal løsning, som man med besvær har fået til at fungere godt, ikke er optimal ifølge skalaen.”

Som projektlederen her forklarer, var der i projektet problemer med, at nogle fidelitetsmålinger ikke understøttede den praksis, som blev anset som brugbar og nødvendig af de lokale praktikere. Nedenfor præsenteres to typer af fidelitetsmålinger, der blev oplevet som problematiske af de fagprofessionelle og lederne, og det drøftes, hvorfor målingerne ikke giver mening for praktikerne.

3.1 ’Objektive’ proceskrav kan virke meningsløse

Bond og Drake (2020) fremhæver, hvordan de forskellige items i IPS skal kunne måles på en ’objektiv’ og kvantificerbar måde, så man undgår fagprofessionelle skøn/vurderinger (i tråd med evidenshierarkiet). Vores empiri peger dog på, at netop dette forhold kan føre til, at praktikere ikke kan se meningen med målingerne.

Et eksempel omhandler vurderingen af teamsamarbejdet mellem IPS-konsulenterne. Kommune A blev vurderet meget lavt (1 ud af 5 point) på deres teamsamarbejde, eftersom de to IPS-konsulenter arbejdede i hver deres afdeling med hver deres leder og målgruppe. Den lave score blev givet på trods af, at der i den resterende skriftlige beskrivelse i fidelitetsmålingen blev tegnet et billede af et meget tæt samarbejde mellem IPS-konsulenterne. De mødtes blandt andet flere gange om ugen og havde fast sagssparring hver 14. dag. En leder fra kommune A siger om vurderingen:

Jeg syntes, det var lidt åndssvagt, fordi vi kunne sådan set ikke rigtig gøre noget ved det [vurderingen]”.

Vurderingen byggede således kun på den formelle organisering, og ikke på det reelle teamsamarbejde. IPS-konsulenterne og lederne oplevede selv, at teamsamarbejdet fungerede godt, hvilket lod til at forstærke oplevelsen af, at målingerne virkede meningsløse. Kommunerne oplever således ikke, at deres forsøg på at skabe et stærkt teamsamarbejde tages alvorligt i fidelitetsmålingen. I dette tilfælde indføres der en evidensbaseret standard, som opleves som undergravende for den eksisterende institutionelle kontekst og professionelle dømmekraft (Sletten & Ellingsen, 2020).

Et andet eksempel omhandler kravet om, at IPS-konsulenterne skal bruge over 70 procent af deres arbejdstid i lokalsamfundet (ikke på jobcenteret eller i psykiatrien) på virksomhedsbesøg, gåture med borgerne mv. Her opnåede ingen af kommunerne 5 point, og der var bred enighed blandt IPS-konsulenterne og deres ledere om, at det er næsten umuligt at opnå 5 point i en dansk kontekst, hvor myndighedssagsbehandlingen kræver så meget af de fagprofessionelle, samt hvor borgerne ofte foretrækker at mødes i jobcenteret. Disse forhold har også vist sig at udfordre fidelitetsmålingerne i andre danske kommuner (Bonfils, 2022, p. 481).

Myndighedssagsbehandlingen kan enten kræve meget tid, fordi IPS-konsulenten selv påtager sig denne rolle som i kommune A. Når IPS-konsulenten ikke har myndighedsrollen, kan det dog kræve mindst lige så meget arbejdstid til koordinering. Dette var tilfældet i kommune B, der kun fik en score på 3 point. En af lederne fra kommune B siger om den dobbelte rolle:

Det er jo ressourcespild et eller andet sted, fordi du er to personer inde over én borgers sag”.

En af IPS-konsulenterne fra kommune B siger følgende om samarbejdet:

Det er det, jeg synes, der er det sværeste…”.

Han forklarer, at han bruger meget tid på at lære myndighedssagsbehandlerne at kende og ”opdrage” dem. Konsulenten bruger en del tid på at mødes med nye sagsbehandlere før samtalerne og deltager ofte i selve samtalerne, fordi borgerne beder ham om det. I dette eksempel undergraver et kvantitativt proceskrav derfor den eksisterende institutionelle kontekst ved at opstille et mål, som virker umuligt at opnå i praksis.

3.2 Mål kan stå i modsætning til hinanden i praksis

En anden og måske mindre åbenlys problematik omhandler, hvordan lokale praktikere kan have svært ved at bruge deres faglige dømmekraft til at modificere den institutionelle kontekst, fordi målingerne opleves at stå i modsætning til og undergrave hinanden (Sletten & Bjørkquist, 2021; Sletten & Ellingsen, 2020).

Det første eksempel omhandler princippet om, at målet er ordinært arbejde ud fra en antagelse om, at mennesker har behov for at blive anerkendt gennem et lønnet job (Swanson et al., 2013, pp. 19–20). Ingen af kommunerne opnåede 5 point i fidelitetsmålingerne, fordi en for stor andel borgere var i virksomhedspraktik frem for at være ansat i ordinære timer på tidspunktet for evalueringen. I mange tilfælde var det dog borgerne selv, som havde et behov for at opstarte i en praktik. En IPS-konsulent fra kommune B forklarer, hvornår hun brugte praktikker:

Det er mere, hvis de selv siger: ’Jeg føler mig slet ikke klar til at gå ud og søge arbejde, jeg vil gerne starte i praktik, hvor der ikke bliver stillet de store krav’. Så er det fint nok for mig, når borgeren helst vil undgå for stort et præstationspres i opstarten.

At insistere på ordinære timer kan således stå i modsætning til princippet om, at indsatsen skal basere sig på borgerens ønsker og behov. Det kan gøre det vanskeligt for IPS-konsulenterne at prioritere målene overfor hinanden. Det lod dog til, at IPS-konsulenterne anså princippet om at følge borgernes ønsker som det vigtigste, hvilket også institutionelt kan forklares ved, at det er et forholdsvist nyt fænomen i jobcentrene, at udsatte ledige skal ansættes i ordinære timer hurtigst muligt. Dette observerede vi også ved, at de to jobcentre ikke var organisatorisk indrettet på at støtte IPS-konsulenterne i at finde ordinære timer til udsatte ledige. Anden forskning viser også, at man i en dansk kontekst har haft vanskeligt ved at leve op til kravet om ordinære timer, blandt andet fordi jobcentrene i mange år primært har brugt praktikker og oplevet nogle gevinster ved at bruge dem (Bonfils, 2022, pp. 479–481)

Et andet eksempel omhandler princippet om, at alle, som ønsker sig et arbejde og har et forløb i psykiatrien, skal kunne deltage i IPS-indsatsen. Dette princip bygger på erfaringer med, at det er svært at forudsige, hvilke borgere som ender i job, og at motivationen derfor må være det eneste adgangskrav (Swanson et al., 2013, pp. 17–18). Kommune A opnåede 5 point i den første fidelitetsmåling, men fik i den sidste måling en score på 3 point, fordi det blev vurderet, at borgerne blev screenet ud fra: ”sværhedsgrad af symptomer eller funktionsniveau”. IPS-konsulenterne og deres ledere giver dog udtryk for, at de i perioden er blevet meget bedre og ”skarpere” til at visitere borgerne til IPS-indsatsen sammen med psykiatrien. En af lederne siger:

Altså jeg tænker, at konsulenterne har godt styr på det efterhånden, og så også sammen med psykiatrien får talt om, hvornår er det for tidligt måske, og hvornår det passer. Hvor vi måske nogle gange til at starte med i hvert fald, måske ikke var lige så skarpe.”

Og en af IPS-konsulenterne understøtter den vurdering og siger:

Vi [begyndte] at sparre med hinanden, om hvordan vi [de to konsulenter] visiterer dem, og de bliver mere og mere rigtige, tænker jeg, altså i hvert fald de unge mennesker vi har under 30. Så vi kan være mere og mere IPS-tro, og de kommer hurtigere i gang. Så vi er på vej.”

Der findes derfor tilsyneladende forskellige opfattelser af, hvem ”de rigtige” borgere er. I fidelitetsmålingerne handler det udelukkende om, at ingen borgere, som ønsker sig et arbejde, skal ekskluderes, men for konsulenterne handler det også om, at mange af de unge, som først blev visiteret til indsatsen, endte i førtidspension, og derfor viste sig ikke at være ”de rigtige” borgere for en IPS-indsats. Princippet om ingen eksklusion opleves desuden at være i modsætning til andre fidelitetsmålinger, som den anden konsulent fra kommune A her giver et eksempel på:

Jeg sidder så med borgere i ressourceforløb, og det er jo dem, der er allerlængst væk [fra arbejdsmarkedet], og de er sgu meget syge. Så det her med, at de for eksempel skal have kontakt med en arbejdsgiver inden for 30 dage, det kan vi overhovedet ikke praktisere for rigtig mange.

Hun mener således ikke, at hun kan leve op til princippet om, at der skal tages kontakt til en arbejdsgiver inden for en måned efter, at en borger er påbegyndt i indsatsen (Swanson et al., 2013, p. 23).

Ifølge Bonfils (2022, pp. 478–479) findes der i psykiatrien, når man påbegynder IPS-indsats, en tilbageholdenhed overfor at visitere alle patienter, som ønsker sig et job, til en jobcenterindsats. Relativt hurtigt ændrer det sig, når medarbejderne i psykiatrien får positive erfaringer med, at IPS ikke forværrer patienternes helbred, og den recovery-orienterede indsats virker. Det var også tilfældet i vores studie, hvor medarbejderne i psykiatrien i begge kommuner var meget indstillet på at visitere alle patienter, som var motiverede for at arbejde, til IPS-indsatsen. I stedet for var det, som det også fremgår ovenfor, IPS-konsulenterne, som begyndte at screene patienter på baggrund af deres funktionsevne og helbred. Tilpasningen/modificeringen af princippet om ingen eksklusion påvirkes således af, at IPS-konsulenterne oplever, at opnåelsen af dette vil føre til dårlige fidelitetsmålinger på andre items, samt en antagelse om, at det vil føre til dårlige jobeffekter. Forskning indikerer dog, at borgernes motivation for at komme i arbejde er en bedre prædiktor end funktionsniveau for gode jobeffekter (T. N. Christensen et al., 2021).

Konklusion og diskussion

Ovenstående analyse viser, at der findes nogle indbyggede problemer i den måde, man foretager fidelitetsmålinger på. Modsætningerne mellem proceskrav og praksis samt mellem forskellige målsætninger kan principielt set håndteres ved tilpasning til den lokale institutionelle kontekst, fordi fidelitetsmålingerne opgøres på en samlet score inden for et vist spænd. I praksis er det dog undergravende for brugen af målingerne, når de virker meningsløse eller modsætningsfyldte i den aktuelle kontekst. Man kunne muligvis afhjælpe nogle af de problemer ved at udvikle og afprøve målinger, som er mindre baseret på ’objektive’ proceskrav og mere på ekspertvurderinger af, om forskellige samarbejder mellem IPS-konsulenter, psykiatri, virksomheder og borgere fungerer i praksis. Derudover kunne mere evidensbaseret forskning muligvis føre til viden om jobeffekterne for hver enkelt item, så man bedre vil kunne prioritere mellem disse lokalt (Durlak & DuPre, 2008, pp. 341–342; Toomey et al., 2020, pp. 143–144). Selvom man udviklede fidelitetsmålingerne og vores viden om deres effekter, ville den institutionelle kontekst stadig spille ind i implementeringen. Fx har jobcentrene nok stadig i dag en tendens til at bruge virksomhedspraktikker til udsatte ledige og have meget fokus på myndighedssagsbehandlingen, hvilket dog nok er under forandring i disse år grundet beskæftigelsesreformen, hvor nogle ændringer er trådt i kraft i februar 2026, andre kommer til i juli 2026, mens de største ændringer vil træde i kraft 1. januar 2027.

En anden måde at tage højde for lokal tilpasning og fagprofessionel dømmekraft kan være at basere fidelitetsmålinger mere på fagprofessionelles selvevalueringer, hvilket har vist lovende resultater i IPS-indsatsen (Margolies et al., 2017, 2018). Man kunne også inddrage deltagernes perspektiv mere bredt (fagprofessionelle og borgere). Dette understøttes af Carroll et al (2007), der peger på, at en monitorering af deltagernes engagement for og holdning til interventionen kan understøtte en bedre implementering (Carroll et al., 2007, p. 6). Et øget fokus på borgeroplevelser giver desuden god mening i forhold til at måle kvaliteten af IPS-indsatsen, da den i meget høj grad baserer sig på borgernes ønsker og behov. Både fagprofessionelles selvevalueringer og målinger af borgernes vurdering af IPS-indsatsen vil også kræve udvikling og afprøvning af nye måleredskaber, men kunne måske være mere forenelige med lokal tilpasning og fagprofessionel dømmekraft end de eksisterende fidelitetsmålinger.

Referencer

Adams, W. E., Rogers, E. S., McKnight, L., & Lynde, D. (2023). Examination of Adaptations to the Evidence Based Supported Employment Model: Individual Placement and Support. Administration and Policy in Mental Health and Mental Health Services Research50(4), 644–657. https://doi.org/10.1007/s10488-023-01267-w

​Bakkeli, V. (2023). Evidence-based activation work and service individualisation: Client and frontline worker experiences with a standardised intervention. European Journal of Social Work26(6), 994–1006. https://doi.org/10.1080/13691457.2022.2083085

​Bakkeli, V. & Breit, E. (2022). From “what works” to “making it work”: A practice perspective on evidence-based standardization in frontline service organizations. Social Policy and Administration56(1), 87–102. https://doi.org/10.1111/spol.12757

​Becker, D. R., Swanson, S. J., Reese, S. L., Bond, G. R., & McLeman, B. M. (2019). Supported employment fidelity review manual – A companion guide to the evidence-based IPS Supported Employment Fidelity Scale (Fourth). The IPS Employment Center at The Rockville Institute, Westat.

​Bond, G. R., Becker, D. R. & Drake, R. E. (2011). Measurement of Fidelity of Implementation of Evidence-Based Practices: Case Example of the IPS Fidelity Scale. Clinical Psychology: Science and Practice18(2), 126–141. https://doi.org/10.1111/j.1468-2850.2011.01244.x

​ Bond, G. R. & Drake, R. E. (2020). Assessing the Fidelity of Evidence-Based Practices: History and Current Status of a Standardized Measurement Methodology. Administration and Policy in Mental Health and Mental Health Services Research47(6), 874–884. https://doi.org/10.1007/s10488-019-00991-6

​Bond, G. R., Peterson, A. E., Becker, D. R. & Drake, R. E. (2012). Validation of the revised individual placement and support fidelity scale (IPS-25). Psychiatric Services63(8), 758–763. https://doi.org/10.1176/appi.ps.201100476

​Bonfils, I. S. (2022). Implementing the Individual Placement and Support approach in institutional settings for employment and mental health services–perceptions and challenges from a case study in Denmark. European Journal of Social Work25(3), 471–484. https://doi.org/10.1080/13691457.2020.1870216

​Braun, V., & Clarke, V. (2022). Thematic analysis. Sage Publications.

​Carroll, C., Patterson, M., Wood, S., Booth, A., Rick, J. & Balain, S. (2007). A conceptual framework for implementation fidelity. Implementation Science2(1). https://doi.org/10.1186/1748-5908-2-40

​Christensen, T. (2024). IPS fra forskning til indsats – Resultater fra den kvantitative evaluering. https://app-rsjdxp-cms-prod-001.azurewebsites.net/media/b3npkolk/sluteval-ipssjinkl-ipsfraforskning-indsats-nov-2024.pdf

​Christensen, T. N., Wallstrøm, I. G., Bojesen, A. B., Nordentoft, M. & Eplov, L. F. (2021). Predictors of work and education among people with severe mental illness who participated in the Danish individual placement and support study: findings from a randomized clinical trial. Social Psychiatry and Psychiatric Epidemiology56(9), 1669–1677. https://doi.org/10.1007/s00127-021-02107-8

​Christensen, T. N., Wallstrøm, I. G., Stenager, E., Bojesen, A. B., Gluud, C., Nordentoft, M. & Eplov, L. F. (2019). Effects of Individual Placement and Support Supplemented with Cognitive Remediation and Work-Focused Social Skills Training for People with Severe Mental Illness: A Randomized Clinical Trial. JAMA Psychiatry76(12), 1232–1240. https://doi.org/10.1001/jamapsychiatry.2019.2291

​Drake, R. E., Bond, G. R. & Becker, D. R. (2012). Individual Placement and Support: An Evidence-Based Approach to Supported Employment. Oxford University Press.

​Durlak, J. A. & DuPre, E. P. (2008). Implementation matters: A review of research on the influence of implementation on program outcomes and the factors affecting implementation. American Journal of Community Psychology41(3–4), 327–350. https://doi.org/10.1007/s10464-008-9165-0

Flyvbjerg, B. (2006). Five misunderstandings about case-study research. Qualitative Inquiry12(2), 219–245. https://doi.org/10.1177/1077800405284363

​Gearing, R. E., El-Bassel, N., Ghesquiere, A., Baldwin, S., Gillies, J. & Ngeow, E. (2011). Major ingredients of fidelity: A review and scientific guide to improving quality of intervention research implementation. In Clinical Psychology Review (Vol. 31, Issue 1, pp. 79–88). https://doi.org/10.1016/j.cpr.2010.09.007

​Hansen, H. F. (2014). Organisation of evidence-based knowledge production: Evidence hierarchies and evidence typologies. Scandinavian Journal of Public Health42, 11–17. https://doi.org/10.1177/1403494813516715

​Jacobi, C. B. (2024). Individual placement and support (IPS) – a time-out from modernity: an investigation on the relationship between IPS specialists and clients. Nordic Social Work Research. https://doi.org/10.1080/2156857X.2024.2414099

​Kvale, S. & Brinkmann, S. (2015). Interview: Det kvalitative forskningsinterview som håndværk. Hans Reitzels Forlag.

​Margolies, P. J., Humensky, J. L., Chiang, I. C., Covell, N. H., Broadway-Wilson, K., Gregory, R., Jewell, T. C., Scannevin, G., Baker, S., & Dixon, L. B. (2017). Is there a role for fidelity self-assessment in the individual placement and support model of supported employment? Psychiatric Services68(9), 975–978. https://doi.org/10.1176/appi.ps.201600264

​Margolies, P. J., Humensky, J. L., Chiang, I. C., Covell, N. H., Jewell, T. C., Broadway-Wilson, K., Gregory, R., Scannevin, G. & Dixon, L. B. (2018). Relationship between self-assessed fidelity and self-reported employment in the individual placement and support model of supported employment. Psychiatric Services69(5), 609–612. https://doi.org/10.1176/appi.ps.201700472

​Skillmark, M. & Oscarsson, L. (2020). Applying standardisation tools in social work practice from the perspectives of social workers, managers, and politicians: a Swedish case study. European Journal of Social Work23(2), 265–276. https://doi.org/10.1080/13691457.2018.1540409

​Sletten, M. S. & Bjørkquist, C. (2021). Professionals’ tinkering with standardised tools: dynamics involving actors and tools in child welfare practices. European Journal of Social Work24(5), 749–760. https://doi.org/10.1080/13691457.2020.1793114

Sletten, M. S. & Ellingsen, I. T. (2020). When standardization becomes the lens of professional practice in child welfare services. Child and Family Social Work25(3), 714–722. https://doi.org/10.1111/cfs.12748

​Stuczynski, A. & Kimmich, M. H. (2010). Challenges in measuring the fidelity of a child welfare service intervention. Journal of Public Child Welfare4(4), 406–426. https://doi.org/10.1080/15548732.2010.526901

​Swanson, S. J., Becker, D. R., Christensen, T. N. & Ebersbach, B. K. (2013). IPS – Supported Employment: En praktisk guide. Dartmouth Psychiatric Center & Psykiatrisk Center København.

​Toomey, E., Hardeman, W., Hankonen, N., Byrne, M., McSharry, J., Matvienko-Sikar, K. & Lorencatto, F. (2020). Focusing on fidelity: narrative review and recommendations for improving intervention fidelity within trials of health behaviour change interventions. In Health Psychology and Behavioral Medicine (Vol. 8, Issue 1, pp. 132–151). Taylor and Francis Ltd. https://doi.org/10.1080/21642850.2020.1738935

​Vukadin, M., Schaafsma, F. G., Michon, H. W. C., de Maaker-Berkhof, M. & Anema, J. R. (2021). Experiences with Individual Placement and Support and employment – A qualitative study among clients and employment specialists. BMC Psychiatry21(1). https://doi.org/10.1186/s12888-021-03178-2

​Weber, S. S. (2025). En anden faglighed – Evidens-basering af jobkonsulenters arbejde med IPS. Institut for Mennesker og Teknologi, Roskilde Universitet. www.academicbooks.dk

​ Yin, R. K. (2003). Case study research: Design and method. Sage Publications.