 |
 |
Zionismens folkemord i Palæstina er i dag et barbari, der overgår nazismens terror i Europa under 2. Verdenskrig. Palæstinenserne er i dag verdens jøder, og zionisterne deres bødler |
Evaluering i en uddannelseskontekst
At evaluere drejer sig om at foretage vurderinger eller værdiansættelser. Evalueringer finder vi overalt i en pædagogisk kontekst, fra hverdagsevaluering i forbindelse med praktiske gøremål i undervisningen til videnskabelige arbejder hvor uddannelsesprogrammer og reformer evalueres. Evalueringsbegrebet har ikke en definition men mange, herunder:
- Evaluering er processen med at fastslå nytten eller værdien af en handling, et tiltag eller lignende, og evalueringer er produktet af denne proces (Scriven, 1991, s.139).
- Evaluering er når man undersøger og vurderer hvad som er opnået gennem et tiltag, og den effekt et tiltag har haft (Patton, 2008, s. 5).
Hvorfor i det hele taget evaluere? Svaret er oftest: For at kunne tage bedre beslutninger, og styrke udviklingen af policy, programmer og organisationer. Men evaluering i en pædagogisk kontekst skal ikke kun anvendes til at løse problemer knyttet til styring og ledelse af uddannelse. Den har ligesom uddannelse og pædagogik et mål om at udvikle samfundet, dvs. et mål om «social betterment» (Schwandt, 2003), hvor evalueringen skal bistå demokratiske institutioner med at tage informerede og kvalificerede valg.
I nærværende opslag om evaluering opridses nedenfor først den historiske udvikling i relation til evaluering i Skandinavien. Derefter sættes der fokus på forskellige interesser og formål i evalueringen og på hvordan evaluering forstås inden for to overordnede evalueringsretninger. Afslutningsvis drøftes udfordringer i evaluering i en uddannelseskontekst.
Evalueringstilgange i skandinaviske lande – historisk set
Evaluering fik først status som en form for anvendt samfundsvidenskabelig aktivitet i 1960'erne i USA, og i Norden kom evalueringsforskning først rigtigt i gang 1980'erne. I både USA og i Norden var der fra starten fokus på evaluering af tiltag indenfor uddannelsesområdet. En interesse som primært var styret af økonomiske og politiske hensyn: Der stilles i stadig højere grad kritiske spørgsmål til forbruget i den offentlige sektor. Evalueringer kan belyse effekten af en indsats i forhold til målene hermed, og dermed bidrage til vurderinger af om indsatsen har givet «value for money».
I evalueringslitteraturen er man optaget af at identificere forskellige evalueringstilgange i evalueringens historie: Evalueringsforskere har inddelt disse ind i forskellige «generationer» eller «bølger» (Vedung, 2010). I et skandinavisk blik på den historiske udvikling og indhold i forskellige evalueringstilgange skelner Vedung mellem fire overordnede «evalueringsbølger»: Disse skal ses som et billede på at når de er skyllet ind så forsvinder de ikke igen, de afsætter sedimenter, og at de også samles i en større bølge som kan kobles til bestemte samfundsmæssige styringsstrategier. I oversigten nedenfor beskrives forskellige fokus i og eksempler på metoder indenfor de fire evalueringsbølger.
|
Science-bølge 1960- |
Fokus på at afdække kausale sammenhænge. Metoder: test og forskellige former for måling af læringsudbytte (se referencen til PISA-undersøgelser på AU's hjemmeside). |
|
Dialog-orienteret bølge 1975- |
Fokus på at afdække forskellige perspektiver og skabe fælles forståelse. Metoder: intern underrettende og intern alsidig evaluering (se fx Rasborg, 1985). |
|
Neo-liberal bølge 1980- |
Fokus på monitorering af resultater (f.eks. dokumentation af læringsudbytte), ekstern regnskabspligt og systematisk opfølgning og kontrol. Metoder: undervisningsevalueringer og benchmarking (dvs. evalueringer som sammenligner performance (se referencen til notat på EVA's hjemmeside). |
|
Evidens-bølge 1995- |
Fokus på sikker viden om hvilke metoder og strategier som virker bedst, dvs. på «what works» for «best practice». Metoder: kortlægning, syntese og vurdering af viden om «what works» som grundlag for idékataloger (se referencen til idékatalog på UVM's hjemmeside). |
Forskellige interesser og formål i evaluering
Evaluering skal bidrage til vidensudvikling: Spørgsmålet er vidensudvikling til hvilket formål og for hvem? Fra politisk side rejses krav om udvikling af evalueringskultur begrundet i ønsket om kvalitetsudvikling. De politiske mål har det sidste decennium været en omstilling fra en mundtlig og ad-hoc baseret evalueringskultur til en evalueringskultur præget af klare mål og kriterier, dokumentation og systematisk opfølgning (jf. fx Skolerådets beretning, 2013). For de primære aktører i uddannelsespraksis – lærere og elever – kan evaluering være et redskab til at få information om læringsudbyttet og udvikle undervisningspraksis. Der er altså flere forskellige interessenter i evaluering, med forskellige forventninger til evalueringen: Beslutningstagere vil vide om interventionen har haft en effekt; Professionelle har brug for information om processen med henblik på at vurdere om man er på ret spor og for at kunne tilpasse indsatsen; Brugere er optaget af kvaliteten i indsatsen og i hvilken grad den opfylder deres behov.
Evalueringer kan med udgangspunkt i spørgsmålet om hvis interesser evalueringen primært skal imødekomme beskrives ud fra et et top-down henholdsvis et bottom-up perspektiv (Krogstrup 2001). I et top-down-perspektiv er der en opdragsgiver som er interesseret i at vide hvordan et tiltag virker, og evalueringer med dette sigte kaldes også for beslutningsorienteret evaluering. I et bottom-up perspektiv er man optaget af at brugerne skal kunne anvende informationen som kommer frem i evalueringen til sit formål, dvs. det lægger op til brugerorienteret evaluering.
Beslutningsorienteret evaluering
Den beslutningsorienterede retning understreger at evalueringen må forstås som et bidrag i en rationel beslutningsmodel og at den bør have en eller anden form for nytteværdi. Evaluering defineres her som «at måle virkningen af et program op i mod de mål man ønsker at opnå», og stiller krav til valg af teori, metode og vidensspredning (Weiss 1998, s. 4). Et eksempel på beslutningsorienteret evaluering er akkrediteringer af videregående uddannelsesinstitutioner og deres uddannelser, som foretages ud fra lovbestemte kriterier (jf. Akkrediteringsrådet hjemmeside).
Denne retning:
- er rettet mod at vurdere effekt og virkning af klart afgrænsede indsatser, at måle resultater i forhold til overordnede målsætninger,
- er eksternt orienteret, da den skal kunne bruges af personer udenfor institutionerne,
- begrundes i evaluering som virkemiddel og styringsredskab for beslutningstagerne,
- eksempler: akkrediteringer, performancemålinger, effektevalueringer.
Den primære kritik af den beslutningsorienterede evaluering er pseudoinddragelsen af brugerne, som kan karakteriseres som en form for top down inddragelse (Krogstrup, 2001): De får ikke lov at formulere hvordan de selv oplever indsatsen, og oplever ikke at kriterier og indikatorer fastsat ovenfra reflekterer deres virkelighed.
Brugerorienteret evaluering
Den brugerorienterede retning lægger vægt på at bestemte personer skal bruge informationen til forskellige formål: Evaluering skal have et praktisk sigtemål ved at skulle tilbageføres til brugerne, og for at få nyttige evalueringer må man først identificere hvem der er de primære brugere af resultaterne (Patton, 2008). BIKVA modellen (Brugerinddragelse i kvalitetsvurdering (Krogstrup, 2001) er et eksempel på brugerorienteret evaluering, hvor der lægges vægt på at involvere både brugere, medarbejdere, ledere og politikere. Et andet eksempel er demokratisk evaluering eller empowerment evaluering som er optaget af at fremme eller styrke (myndiggøre) individer og grupper, processer og udbytte af processer i det tiltag som evalueres. Her er der fokus på metoder som kan håndtere forskellige værdier og interesser, herunder ved at sørge for udveksling af information og forhandling med relevante parter under hele evalueringsprocessen (Simons 2004).
Denne retning:
- er kendetegnet ved at målgruppens mål, forventninger og behov er evalueringens organiserende princip,
- er internt orienteret, den foretages med fokus på personer indenfor den praksis som evalueres, og skal danne grundlag for praksisudvikling,
- begrundes i at anvendelsen af evalueringsresultaterne bedst sikres når brugerne er involveret i evalueringsprocessen,
- eksempler: BIKVA modellen, demokratisk evaluering og empowerment evaluering.
Betænkelighederne ved den brugerorienterede retning er at de dialogbaserede metoder favoriserer de stærke brugere, at den demokratiske styringskæde derfor negligeres og særinteresser blandt brugergrupper kan sætte sig igennem (se det korporative demokrati).
Udfordringer i evaluering i en uddannelseskontekst
En primær udfordring er, at der med det eksterne fokus i evalueringer følger kontrol og styring, mens udviklingsperspektiver fordrer tillid og gensidighed (Borgnakke, 2008). At der er en forhandling af evalueringens «hvorfor, hvem, hvad og hvordan» med de forskellige interessenter i evalueringen vil her være afgørende for at evalueringens potentiale som redskab i praksisudvikling kan realiseres, herunder om hvilke resultater fra f.eks. test, logbøger og portfolio der skal fungere som dokumentation i opfølgningen internt, og hvilke der skal formidles til interessenter uden for uddannelsesinstitutionen.
En sekundær udfordring er, at der er en tendens til at en teknisk, bureaukratisk rationalitet træder i forgrunden – og politiske og kritiske aspekter nedtones. Evalueringens potentiale ligger i dens interesse for værdier og i at stille kritiske spørgsmål: Hvor er vi på vej hen? Ønsker vi dette? Hvad skal vi gøre? Hvem vinder og hvem taber? Her er det ikke en teknisk proceduretænkning der er brug for, men en dialog som kan rumme forskelle og respektere disse, i stedet for at overkomme, udjævne og kontrollere disse (Schwandt, 2003).
Ansvarlig redaktion: Pædagogik
Sidst ajourført: 25/8 2015
Læst af: 23.345