Om evalueringer

Hvad er evaluering?

I tråd med OECD DACs kvalitetsstandarder for evaluering af udviklingsbistand definerer Danida evaluering som en systematisk og objektiv vurdering af en igangværende eller gennemført udviklingsintervention, herunder dens design, implementering og resultater.   

Alle evalueringer gennemføres af eksterne uafhængige konsulenter, som udvælges på baggrund af deres professionelle kompetence, uafhængighed og erfaring i forhold til opgaven. Alle evalueringsrapporter gøres tilgængelige for offentligheden, og evalueringerne adskiller sig således bl.a. på disse punkter fra andre, mindre ressourcekrævende, monitoreringsaktiviteter (reviews), der hovedsageligt er tænkt som ledelsesredskaber i den løbende overvågning af bistanden. 

En evaluering kan dække  programmer, en strategi, et tema eller en modalitet mv., og hele den danske portefølje af udviklingsbistand kan være genstand for evaluering – herunder bi- og multilateral bistand, NGO-samarbejde, forskning, erhvervsinstrumenter, miljø- og klimabistand samt støtte til skrøbelige stater.

Nogle evalueringer gennemføres i samarbejde med andre donorer eller partnere. Stort set alle evalueringer omfatter desuden forskellige former for inddragelse af aktører i partnerlandet eller partnerlandene.

Der er to overordnede formål med at evaluere udviklingssamarbejdet. Dels skal evalueringer give politikere, myndigheder og den bredere befolkning i Danmark og i vores partnerlande dokumentation for brugen og resultaterne af udviklingssamarbejdet. Dels er evalueringsprocessen et vigtigt redskab til fremme af læring om, hvornår og hvordan bistand virker: Gennem dybdegående analyse kan evalueringer bidrage til at finde forklaringer på, hvorfor nogle aktiviteter har succes og andre ikke, og denne information bruges til at forbedre tilgangene og metoderne i udviklingssamarbejdet.

Hvordan laves evalueringer?

En evalueringsproces har som regel tre overordnede faser: Forberedelsen, Gennemførslen, og Afrapporteringen.

Forberedelsesfasen begynder ved planlægningen af det toårige evalueringsprogram. Evalueringsprogrammet udarbejdes af ELK i samråd med bl.a. Udviklingspolitisk Råd, Udenrigsministeriets ledelse, kontorer og ambassader samt den bredere ressourcebase. Beslutninger om hvilke evalueringer, der skal foretages, træffes på baggrund af en vurdering af bl.a. datatilgængelighed og potentiale for at tilvejebringe viden, der kan bruges i fremtidige programmer og med henblik på at dokumentere, om interventioner har affødt de forventede resultater. Det endelige evalueringsprogram sendes til Udviklingspolitisk Råd med henblik på orientering og godkendes endeligt af ministeren for udviklingssamarbejde og global klimapolitik. 

Når en evaluerings overordnede emne er defineret, udfærdiges der ofte et forstudie, der har til formål at opsummere vigtig baggrundsinformation om evalueringsemnet, pege på eventuelle problemstillinger, der kræver særlige metodiske overvejelser, foreslå specifikke evalueringsspørgsmål m.v. Herefter udfærdiger ELK  et kommissorium, der beskriver kravene til den kommende evaluering – herunder dens overordnede formål, metodiske krav, geografisk og tematisk dækning, specifikke evalueringsspørgsmål, krav til sammensætningen af evalueringsholdet mv. Evalueringen sættes efterfølgende i offentligt udbud i overensstemmelse med EU-reglerne på området. Ansvaret for udbudsprocessen påhviler ELK med juridisk bistand fra advokatfirmaet Bech Bruun.

Gennemførelsesfasen begynder med udvælgelsen af et evalueringshold bestående af uafhængige eksterne konsulenter. ELK udstyrer herefter holdet med baggrundsinformation, oftest i samarbejde med andre relevante enheder i Udenrigsministeriet. Herefter udarbejder evalueringsholdet i samråd med berørte parter en operationel plan for evalueringen. Arbejdsplanen vil som regel involvere omfattende dokumentgennemgang, videreudvikling af tilgang, metode og evalueringsspørgsmål, interviews med nøglepersoner, feltarbejde med interviews og eventuelt spørgeskemaundersøgelser blandt f.eks. interessenter i samarbejdslande, analyse af indsamlet data mv.

Specialister i ELK varetager den overordnede tilrettelæggelse af evalueringen - i nogle tilfælde sammen med andre donorers evalueringsfunktioner. For store evalueringer etableres der oftest en referencegruppe med en sammensætning, der afspejler evalueringens emne og formål. Medlemmerne af referencegruppen kan omfatte repræsentanter fra relevante ambassader og kontorer i Udenrigsministeriet, nationale og internationale ressourcepersoner samt repræsentanter fra partnerlandet.  Referencegruppen rådgiver evalueringsholdet gennem hele evalueringsprocessen.

ELK følger gennemførelsen af evalueringen i alle dens faser - herunder for at sikre, at den er i overensstemmelse med kommissoriet, Udenrigsministeriets evalueringsretningslinjer, OECD DACs kvalitetsstandarder for evaluering, samt andre relevante politikker og retningslinjer (se under "Relevante dokumenter"). Yderligere information om fordelingen af ansvar mellem ELK, det eksterne evalueringshold og andre involverede parter, og hvorledes uafhængigheden af evalueringer sikres, kan findes i ”Code of Conduct”, der er en integreret del af retningslinjerne for evalueringer.

Afrapportering. På baggrund af analysen af indsamlede data udarbejder det eksterne evalueringshold et udkast til en evalueringsrapport, og konklusioner og anbefalinger heri præsenteres ofte til berørte parter i en workshop eller lignende. Specialister i ELK gennemgår udkastet med henblik på at sikre den metodiske kvalitet af rapporten, og kommentarer angående faktuel information, konklusioner og anbefalinger fremsættes af relevante interessenter, medlemmer af referencegruppen eller eksterne eksperter med viden og perspektiver af relevans for evalueringen. Det eksterne evalueringshold tager hensyn til disse kommentarer under udfærdigelsen af den endelige evaluering, men har både ret og pligt til at foretage selvstændige bedømmelser, og de har det endelige ansvar for evalueringens konklusioner og anbefalinger.

Opfølgning på evaluering

Når en evaluering er gennemført, udarbejder ledelsen på den ambassade eller det kontor i Udenrigsministeriet, som har ansvar for det område, der er blevet evalueret, et svar på evalueringens konklusioner og anbefalinger. Dette såkaldte ’management response’ skrives på engelsk og har til formål at sikre, at der systematisk bliver taget stilling til, hvordan der skal følges op på evalueringen. Formidling af evalueringens konklusioner og anbefalinger sker blandt andet gennem Udenrigsministeriets interne programkomite og gennem forskellige målrettede arrangementer. Evalueringerne bidrager dermed til vidensdeling samt til udvikling og forbedring af overordnede politikker og arbejdsgange.

I forbindelse med en evaluerings offentliggørelse udarbejdes desuden et dansk resumé, der beskriver evalueringens vigtigste konklusioner og anbefalinger og indeholder en kort version af Udenrigsministeriets kommentarer til rapporten. Det danske resumé fremsendes til hhv. Folketingets Udenrigsudvalg og Finansudvalg og offentliggøres herefter sammen med selve evalueringsrapporten på Udenrigsministeriets hjemmeside.

Efter to til tre år gennemføres en undersøgelse af, hvorvidt og hvordan der er blevet fulgt op på de evalueringer, der er offentliggjort i den forudgående periode.

Yderligere information om Udenrigsministeriets tilgang til evaluering af udviklingsbistanden, herunder opfølgningsprocedurer, kan findes i  retningslinjerne for evaluering.