Fem socialtilsyn medfører forskelligartede kvalitetsvurderinger af sociale tilbud

Analyse • 27. maj 2024

Socialtilsynet har siden 2014 sikret kvalitet i det sociale arbejde, men praksisforskelle udfordrer gennemsigtigheden, ensartetheden og retssikkerheden på det specialiserede socialområde.

1. Socialtilsynets opgaver og organisering

Socialtilsynene har siden 2014 skulle sikre ensartethed og uvildighed i det sociale arbejde samt høj kvalitet i indsatser til børn, unge og voksne med psykiske eller fysiske udfordringer eller sociale problemer.1 Dette indebærer ikke blot et kontrolperspektiv, men først og fremmest et fokus på kvalitet og læring, som skal være med til at sikre fagligt bæredygtige tilbud til alle målgrupper i Serviceloven og Barnets Lov.

Socialtilsynet er organiseret i fem kommunale tilsyn, som hver varetager tilsynsrollen i én region, ligesom tilsynene har forskellige særlige ansvarsområder:

  • Socialtilsyn Nord – Hjørring Kommune
  • Socialtilsyn Midt – Silkeborg Kommune
  • Socialtilsyn Syd – Fåborg-Midtfyn Kommune
  • Socialtilsyn Øst – Holbæk Kommune
  • Socialtilsyn Hovedstaden – Frederiksberg Kommune

Tilsynsrollen for de fem kommuner består i at godkende og føre løbende driftsorienteret tilsyn med plejefamilier og sociale tilbud, jf. boks 1. Arbejdet understøttes af en auditenhed i Social- og Boligstyrelsen, som søger at skabe ensartethed i tilsynspraksis på tværs af tilsyn og områder.

Et vigtigt redskab til Socialtilsynets godkendelse af og tilsyn med sociale tilbud er den såkaldte kvalitetsmodel, der er et centralt dialogredskab, som skal give et systematisk og målrettet udgangspunkt for socialtilsynets samlede faglige vurdering af tilbuddenes kvalitet.2

Kvalitetsmodellen er struktureret omkring syv overordnede temaer, som tilsammen vurderer kvaliteten af tilbuddenes indsatser med henblik på at skabe resultater for borgerne. Modellen gælder på tværs af de fem Socialtilsyn og for alle tilbud omfattet af Socialtilsynsloven, hvilket har til formål at skabe ensartethed og gennemsigtighed i socialtilsynets arbejde.

Ud over gennemgang af kvalitetsmodellen har Socialtilsynet mulighed for at træffe afgørelser om påbud, skærpet tilsyn eller ophør af godkendelse ifm. driftsorienteret tilsyn. Disse afgørelser træffes, hvis det vurderes, at der er bekymrende forhold eller uopfyldte betingelser på tilbuddet. Endelig kan Socialtilsynet komme med udviklingspunkter, som tilbuddene kan vælge at imødekomme for at forbedre eller vedligeholde kvaliteten.

2. Praksisforskelle mellem Socialtilsynene

Socialtilsynets organisering i fem forskellige tilsyn kan medføre utilsigtede praksisforskelle, som kan have betydning for sociale tilbud og i sidste ende de børn, unge og voksne, der modtager sociale indsatser og ydelser.3

Praksisforskelle er ikke nødvendigvis et lovgivningsmæssigt problem, så længe de fem Socialtilsyn opfylder Socialtilsynslovens formålsparagraf – men forskellene kan af berørte tilbud opfattes som unfair og resultere i et skævvredet tilbudsbillede med geografiske udsving i kvalitet og pris. Ligeledes kan praksisforskelle være problemfyldte ift. både børn, unge og voksnes men også de enkelte sociale tilbuds retssikkerhed. Eksempelvis kan det være retssikkerhedsmæssigt problematisk, hvis en ung, der flytter fra et børne- og ungehjem under et tilsyn, til et børne- og ungehjem under et andet tilsyn oplever, at tilsynspraksis, krav mv. er forskelligt, ligesom det er problematisk for sociale tilbud, der ligger under flere tilsyn og derfor oplever forskellige krav til fx dokumentation samt forskellige vurderinger i kvalitetsmodellen.

Senest har Statens Analyser og Implementering (SAI) i deres analyse af tilsyn med sociale tilbud vist, at det gennemsnitlige antal tilsynsbesøg varierer mellem 1,6 og 4,2 tilsynsbesøg pr. socialt tilbud på tværs af Socialtilsynene.4 Denne betragtning er i overensstemmelse med Social- og Boligstyrelsens (SBST) seneste årsrapport, som viser en variation mellem socialtilsynene på 2,1 og 3,6 tilsynsbesøg.5

SAI viser samtidig, at det gennemsnitlige tidsforbrug forbundet med et tilsynsforløb for de sociale tilbud varierer mellem 49 timer for det Socialtilsyn med det laveste antal timer og 135 timer for det Socialtilsyn med størst tidsforbrug i forbindelse med et tilsynsforløb.6 Socialtilsynet med det laveste tidsforbrug er samtidig det Socialtilsyn, der har det højeste antal tilsynsbesøg. Det bemærkes, at problemstillingen her ikke handler om, hvorvidt der bruges mange eller få timer, men om at tallene indikerer grundlæggende forskelle i Socialtilsynenes varetagelse af tilsynsopgaven.

Det kan hurtigt opfattes som en kritik af Socialtilsynene, at de har forskellige tilgange, men de sociale tilbuds overordnede tilfredshed er generelt høj på tværs af socialtilsynene. Det viser en undersøgelse, Ankestyrelsen lavede i 2018.7 Denne undersøgelse viser desuden samme tendens til forskelle i tidsforbruget forbundet med tilsynsbesøg. For ét af socialtilsynene svarer 56 % af de sociale tilbud, at der samlet set blev brugt 10 eller færre timer på det seneste tilsyn, mens tallet for et andet Socialtilsyn er 22 %, der svarer, at der blev brugt 10 eller færre timer på seneste tilsyn.8

Ser vi nærmere på tallene, er der flere interessante forskelle. SAI viser ydermere, at der er betragtelige forskelle på, hvor meget tid tilbuddene bruger på indsamling og udveksling af oplysninger afhængigt af, hvilket Socialtilsyn de tilhører. Det gennemsnitlige antal timer er 12 timer for det Socialtilsyn, hvor vi ser det laveste tidsforbrug, mens det er 43 timer for det Socialtilsyn, hvor vi ser det højeste gennemsnitlige tidsforbrug. Dette skyldes i høj grad forskelle i hvilke og hvor mange oplysninger, Socialtilsynene indhenter i forbindelse med et tilsyn. Samlet set indikerer SAI’s tal praksisforskelle mellem Socialtilsynene, hvor man enten prioriterer hyppigere – men mindre omfattende – tilsynsbesøg eller sjældnere, mere omfattende tilsynsbesøg.

Samtidig er der blandt Socialtilsynene forskel på, hvor ofte sociale tilbud modtager udviklingspunkter i tilsynsforløbene. SAI’s undersøgelse viser, at i fire tilsyn modtager ca. 60 % af de sociale tilbud udviklingspunkter, mens det for det sidste tilsyn kun er 31 % af de sociale tilbud, der i forbindelse med tilsynsforløbet får udviklingspunkter. SBST beretter også om forskelle i rapporteringsmetoderne vedr. påbud, hvor ét Socialtilsyn registrerer påbud med flere temaer i kvalitetsmodellen, hvilket ikke er tilfældet for de øvrige Socialtilsyn, hvor et påbud registreres for ét tema.

Alt i alt er der betragtelige forskelle, som også har ledt SBST til følgende konklusion i deres seneste årsrapport om Socialtilsynenes virksomhed: ”Generelt set er det Social- og Boligstyrelsens vurdering, at der er forskellige systematikker i socialtilsynene, som gør at socialtilsynene ikke er ensartede.”

3. Forskelle i kvalitetsvurderinger

De hidtil beskrevne forskelle vedrører forskelle i tilsynenes praksis – såsom antallet af tilsynsbesøg, tidsforbrug, rapportering og metoder for udvikling i de sociale tilbud. Men det er ligeledes relevant at se på, om der er forskelle i resultaterne af tilsynsbesøgene, når vi ser nærmere på kvalitetsmodellen.

SBST viste i seneste årsrapport, at kvaliteten er steget for 61 % af de sociale tilbud i perioden 2017-2022. Det vidner om, at Socialtilsynet er en kvalitetsdrivende institution, hvilket er positivt.

Men for at dykke et spadestik dybere ned i tilsynenes anvendelse af kvalitetsmodellen har LOS i forbindelse med undersøgelsen søgt aktindsigt i tilsynenes kvalitetsvurderinger af landets sociale tilbud hos Social- og Boligstyrelsen. Kvalitetsvurderingerne vedrører en række indikatorer, som hver er tildelt en score mellem 1 – I meget lav grad opfyldt og 5 – I meget høj grad opfyldt. Hver indikator er knyttet til et kriterium, som er underinddelinger af kvalitetsmodellens temaer, og man kan således tale om rene indikatorscorer, kriteriescorer, som er gennemsnit af kriteriets indikatorer, og temascorer, som igen er gennemsnit af temaets kriterier.

For at styrke sammenligningen af kvalitetsvurderingerne på tværs af socialtilsynene er en samlet score konstrueret som et gennemsnit af temascorerne.9 En kort beskrivelse af kvalitetsmodellens temaer samt en oversigt over temaernes kriterier er gengivet i boks 2.

Datasættet indeholder 56.491 indikatorbedømmelser fra 1.981 tilsynsbesøg. Hver indikator er tildelt en score fra 1-5, og frekvensen af indikatorernes scoretildeling fordelt på de fem kommunale Socialtilsyn er givet i figur 1. Figuren viser for det første, at den klart hyppigste indikatorbedømmelse er scoren 5. Dette vidner om en generelt høj kvalitet blandt landets sociale tilbud. For det andet viser figuren, at der er betydelige forskelle i fordelingerne tilsynene imellem. Særligt skiller Socialtilsyn 4 sig ud med en bedømmelse på 5 i 81,5 % af tilfældene. Socialtilsyn 1 og 5 ligner fordelingsmæssigt hinanden og tildeler scoren 5 i lidt over halvdelen af tilfældene, mens det for Socialtilsyn 2 og 3 er i hhv. 62,7 % og 68,3 % af tilfældene.

Forskellene i Socialtilsynenes indikatorbedømmelser afspejles i de sociale tilbuds samlede scorer i figur 2. Fælles for Socialtilsynene er, at der er tale om skæve fordelinger med lille til ingen sandsynlighedsmasse under 3 – et fænomen, der ikke er ukendt fra andre karakterfordelinger. Det kan betyde én af to ting: (i) (næsten) alle sociale tilbud har kvalitet, der er over 3 – I middel grad opfyldt, eller (ii) bedømmelsesskalaen er ikke kalibreret, så middel reelt betyder middel. Sidstnævnte er ikke i sig selv problematisk, så længe kalibreringen er ens på tværs af Socialtilsynene.

Figur 2 viser samtidig gennemsnittene for de samlede scorer fordelt på socialtilsynene. Her ses en forskel på 0,4 point mellem Socialtilsyn 4, som har den højeste gennemsnitlige score på 4,7, og Socialtilsyn 1 og Socialtilsyn 5, som begge har et gennemsnit på 4,3 – en betragtelig forskel, når skalaen i praksis kun måler 3-5.

Forskellene understøttes endvidere af statistiske hypotesetests på de estimerede fordelinger, som afslører, at fordelingerne er signifikant forskellige.10 Det indikerer, at der er kalibreringsforskelle mellem Socialtilsynene, hvilket betyder, at sociale tilbud i praksis bliver bedømt på forskellige grundlag.

Figur 3 viser Socialtilsynenes afvigelse i gennemsnitlige indikatorbedømmelser fra landsgennemsnittet for at belyse forskelle i bedømmelsesgrundlaget. Her ses bl.a., at Socialtilsyn 4 tildeler højere scorer for næsten alle indikatorer. Til gengæld er den største negative afvigelse også at finde for Socialtilsyn 4 ved indikator 8 C med en afvigelse på 0,7 point. Figuren viser samtidig, at Socialtilsyn 1 i gennemsnit tildeler lavere scorer for alle indikatorer på nær to. Med figuren kan peges på indikatorer, hvor der generelt er enstemmighed mellem socialtilsynene, f.eks. indikator 5 B, og indikatorer, hvor der i højere grad er tegn på forskelle, f.eks. indikatorerne 8 C og 9 D.11

4. LOS mener

Nærværende analyse understøtter tidligere undersøgelsers konklusion om uhensigtsmæssige praksisforskelle imellem socialtilsynene. En uhensigtsmæssighed, som både svækker retssikkerheden for de børn, unge og voksne, som bor hos en plejefamilie eller i et socialt tilbud, og som, hvis de flytter til et nyt sted, kan møde forskellig praksis fra tilsynene. Det er samtidig problematisk for de sociale tilbud, der ligger under forskellige Socialtilsyn og møder forskellige krav i forbindelse med tilsyn. Ikke mindst er det problematisk i den situation, hvor kommuner anvender kvalitetsscore og tilsynsrapporter som grundlag for visitation, når der er så store forskelle på måden, tilsynene anvender kvalitetsmodellen på.  

Socialtilsynet er en vigtig sikring af høj kvalitet i indsatsen for børn, unge og voksne i sårbare positioner. Samtidig udgør socialtilsynet en vigtig sparringspartner for sociale tilbud, som bidrager til at opretholde og forbedre kvaliteten af tilbuddenes indsatser.

Men det betyder ikke, at der ikke er behov for forandring. Forskellene imellem de fem kommunale Socialtilsyn er til at få øje på, og trods Social- og Boligstyrelsens tiltag, undersøgelser og vejledninger, hvoraf vejledning til Socialtilsynene i øvrigt stadig afventes, er det problematisk, at der ses så store forskelle på tilsynenes anvendelse af kvalitetsmodellen og praksis i samarbejdet med de sociale tilbud.

Det anbefales derfor, at de fem Socialtilsyn lægges sammen til ét fælles tilsyn for at sikre ensartethed i udmøntningen af kvalitetsmodel og tilsynspraksis.12 Samtidig forventes en sammenlægning at styrke koordinationen mellem Socialtilsynet og andre tilsyn og myndigheder, hvilket vil kunne mindske antallet af modsatrettede reaktioner og anbefalinger, som 9 % af sociale tilbud oplever.13

Denne analyse har belyst uensartet praksis mellem de fem Socialtilsyn men er ikke udtømmende i sin belysning af forskellene mellem Socialtilsynene og årsagerne hertil. Eksempelvis kan kvalitetsmodellens indhold og formuleringer medvirke til at øge forskellene, ligesom manglende specialisering af tilsynskonsulenter ift. forskellige tilbudstyper kan påvirke bedømmelser og opmærksomhedspunkter. Disse og andre potentielle årsager falder dog uden for denne analyse, ligesom en nærmere undersøgelse af Socialtilsynene som kvalitetsdrivende kan være relevant.

  1. Socialtilsynsloven (2022, LBK nr. 1109 af 01/07/2022). Bekendtgørelse af lov om Socialtilsyn. ↩︎
  2. Socialstyrelsen (2023). Kvalitetsmodel for socialtilsyn. ↩︎
  3. Små og komplicerede tilsynsområder er samlet i specialistfunktioner hos enkelte socialtilsyn. Dette kan potentielt være med til at forklare dele af analysepapirets beskrevne praksisforskelle. Socialtilsyn Hovedstaden og Midt fører tilsyn med koncerner, Syd varetager tilsyn med efterskoler, frie fag- og grundskoler, Nord fører tilsyn ifm. BPA-ordninger, og Øst fører tilsyn med lukkede og sikrede døgninstitutioner. ↩︎
  4. Statens Analyser og Implementering (2024). Analyse af tilsyn med sociale tilbud – Endelig afrapportering. ↩︎
  5. Social- og Boligstyrelsen (2023). Socialtilsynenes virksomhed 2022. ↩︎
  6. I SAI’s analyse er det samlede tidsforbrug forbundet med et tilsynsforløb baseret på spørgeskemaresultater, hvor de sociale tilbud er blevet bedt om at estimere, hvor mange timer hhv. ledelse og medarbejdere har brugt på forskellige opgaver såsom indsamling af oplysninger, planlægning, møder og administrative opgaver før, under og efter tilsynsbesøget. ↩︎
  7. Ankestyrelsen (2018). Undersøgelse af sociale tilbuds og plejefamiliers erfaringer med socialtilsynet. ↩︎
  8. Spørgeskemadesignet er forskelligt fra det benyttet i SAI’s analyse. Timetallene fra de to undersøgelser er derfor ikke sammenlignelige. ↩︎
  9. Nogle af kvalitetsmodellens indikatorer, kriterier og temaer er specifikke til visse tilbudstyper. Scorernes relative vægt i den samlede score er således forskellig. ↩︎
  10. Nulhypotesen, at de forskellige socialtilsyns kvalitetsvurderinger følger samme fordeling, er testet ved parvise udregninger af en Kolmogorov-Smirnov Two-Sample test. Resultaterne viser signifikante forskelle (ved 5 %-signifikansniveau) for alle tilsyn med undtagelse af parrene Socialtilsyn 2 & 3 og Socialtilsyn 2 & 5. ↩︎
  11. Der er for indikatorbedømmelsernes afvigelse fra gennemsnittet ikke udregnet statistiske mål, og det kan derfor ikke afvises, at forskellene er drevet af tilfældigheder. ↩︎
  12. Særligt relevante tiltag, påbegyndte undersøgelser og vejledninger af Social- og Boligstyrelsen er: “Ny samarbejdsmodel mellem de fem socialtilsyn og Auditfunktionen”, “Socialtilsynenes brug af kvalitetsscorer i kvalitetsmodellen” og “Faglige vejledninger om centrale principper for tilsynspraksis.” ↩︎
  13. Statens Analyser og Implementering (2024). Analyse af tilsyn med sociale tilbud – Endelig afrapportering. ↩︎