Vil du spille søknadsbingo?
Søknadsbehandling er mer lotteri enn meritokrati
Skal du starte et firma? Søk Innovasjon Norge om markedsavklaringstilskudd! Har du en idé til et kunstprosjekt? Hvorfor ikke søke Kulturrådet om prosjektstøtte? Enten det er kultur, bistand, forskning eller innovasjon fordeles store deler av budsjettene gjennom søknadsbaserte ordninger.
Mye henger derfor på at dette er rettferdige prosesser, der gode søknader vinner over dårlige, og der like søknader behandles likt. Men hva vet vi egentlig om det? Hvor godt er det skjønnet som utøves?
Jeg tok en spørrerunde til noen sentrale norske institusjoner som Forskningsrådet, Kulturrådet, Norad, Innovasjon Norge, Universitetet i Oslo, og Plan- og bygningsetaten i Oslo kommune. De har til felles at de behandler store mengder søknader, at de rår over betydelige midler og makt, og at skjønn er et vesentlig komponent i vurderingene de gjør.
Det jeg var interessert i å finne ut, var dette: sjekker de kvaliteten på det skjønnet de utøver?
La oss si at en saksbehandler vurderer en søknad som dårlig. Er det fordi søknaden faktisk er dårlig, eller fordi den havnet hos akkurat den saksbehandleren? Kanskje saksbehandleren er unødig streng, har misforstått kvalitetskriteriene, eller bare har en dårlig dag på jobben. Hvordan hadde søknaden blitt vurdert hvis den tilfeldigvis hadde havnet hos en annen saksbehandler?
Alle jeg spurte kunne fortelle mye om kvalitetssikring. Retningslinjer, kvalitetssystemer og maler. Det er i seg selv betryggende. Men når det gjaldt det å sjekke hvor godt man faktisk lykkes med å sikre konsistent saksbehandling, fikk jeg få substansielle svar.
Hos Forskningsrådet vurderes søknader av et ekspertpanel som setter uavhengige tallkarakterer, og som deretter diskuteres i et møte der en omforent karakter settes. Men de publiserer ingen statistikk over hvor enige ekspertene er seg imellom. Dermed vet vi egentlig ikke hvor pålitelige disse vurderingene er.
På UiO vurderer de eksamensoppgaver, men det ligner på søknadsbehandling i det at det er skjønnsmessige vurderinger av tekster. De tilstreber naturlig nok at sensur blir mest mulig rettferdig, for eksempel ved at flere sensorer retter samme oppgave. Men for annet enn klagesaker samles det ikke statistikk over hvor enige eller uenige disse sensorene er med hverandre. Hvor stor bingofaktoren er kan de dermed ikke svare på.
Norad, Innovasjon Norge, Kulturrådet og Plan- og bygningsetaten har alle en rekke prosedyrer for å sikre rettferdig saksbehandling. Men noen systematisk måling av variabiliteten gjør de ikke. Når søknaden din avslås, må du bare stole på at saksbehandlernes dømmekraft er god, og at andre prosjekter rett og slett var bedre.
Problemet er at skjønnsforskningen er ganske klar: når mennesker gjør vurderinger som dette er spriket ofte stort.
Ta forskning. Her bruker man såkalte fagfellevurderinger, der forskere bedømmer hverandres artikler. Mye burde ligge til rette for at disse er av god kvalitet: forskere er intelligente og høyt utdannede, og de er vanligvis eksperter på feltet.
Men fagfellevurderinger er lite konsistente. Det samme gjelder forskningssøknader. En studie fra 2018 fant at metoden som brukes i det amerikanske forskningsrådet (NIH) for å vurdere søknader i praksis er ren loddtrekning, i hvert fall for søknader av en viss kvalitet.
Vi fikk nylig et eksempel på det. Professor Inger Skjelsbæk ved UiO sendte en søknad til Forskningsrådet i 2019 som fikk karakteren 6 av 7. Året etter sendte hun en forbedret utgave av den samme søknaden, og fikk karakteren 4. Samme søknad ble imidlertid også sendt til Det europeiske forskningsrådet, der den ble vurdert som «excellent» og innvilget 19 millioner kroner i støtte.
Da Aftenposten gjorde en gjennomgang av karaktergivning på skoleeksamener på videregående skole i 2018, fant de at når to sensorer vurderer samme oppgave, er de bare enige om karakter i 54 prosent av tilfellene. Og sensorene ville vært enige i en betydelig andel av tilfellene som en følge av ren sjanse.
Hvorfor er det så vanskelig å være konsistent?
I tillegg til åpenbare årsaker som mangelfull opplæring og uklare kriterier, påvirkes vi også av mer subtile faktorer. Leser du en dårlig søknad først, vil neste søknad virke relativt mye bedre. Når en søknad diskuteres av flere, vil første talers mening ha stor betydning. Hvor opplagt du er, har antagelig også noe å si. En studie som fikk mye oppmerksomhet fant at jo lenger det er siden dommere har spist, jo strengere er de.
Et annet fundamentalt problem er mangel på feedback. Kvalitet og feedback henger nøye sammen, men når en søknad er behandlet, er det ofte siste ord i saken. Med mindre det ender i en klage, vil saksbehandleren sjelden få tilbakemelding på vurderingen, og berøves dermed muligheten til å forbedre seg. Det blir som å lære å spille fiolin med hørselsvern: du kan gjøre alt etter boka, men det blir ikke nødvendigvis så vakkert.
Heldigvis finnes det lett tilgjengelige måter å forbedre disse prosessene på. Med digital søknadsbehandling kan man enkelt sende et utvalg søknader til flere saksbehandlere, og så sjekke hvor enige de er. Statistikere kaller dette intraklassekorrelasjon.
Det er litt merarbeid, men resultatet er verdifullt. For plutselig kan bingofaktoren isoleres. Hvis den er høy, kan det settes inn tiltak man faktisk kan måle effekten av. Og ikke minst: de som vurderer søknader kan få systematisk feedback på vurderingene sine.
Stiftelsen Dam har vært en pionér på dette. De forvalter flere programmer for helseforskning der søknader vurderes av eksperter. Men til forskjell fra andre forsøker de å ta høyde for at slike vurderinger er høyst variable. I rapporten «Bedre søknadsbehandling» – som anbefales alle som har noe med søknadsbehandling å gjøre – kan vi se at konsistensen varierer mellom de forskjellige programmene. Noen programmer har «lav» konsistens. Men de måler. De hører musikken.
Det er altså gode grunner til å frykte at landets mange søknadsbaserte ordninger har mer preg av lotteri enn meritokrati. Å introdusere objektive kvalitetsmål burde derfor være en enkel prioritet.
Dessverre finnes neppe insentivene. For de som behandler søknader er det komfortabelt å fortsette å avgi suverene vurderinger. Ledere som stiller spørsmål ved fagfolks vurderingsevne risikerer bare å gjøre seg upopulære.
Så en endring må komme ovenfra. Politikere elsker å lage nye søknadsbaserte ordninger. De burde samtidig stille krav om at de som forvalter dem kan dokumentere at det skjer på en rettferdig og konsistent måte.
Denne teksten ble opprinnelig publisert i Morgenbladet