Evalueringsprojekter mellem forskning, politik, praksisudvikling og videnskab.
Peter Mikkelsen.
Cand. pæd. Udviklingskonsulent, CVU Storkøbenhavn. Arbejder med udviklings-, evaluerings- og forskningsprojekter vedr. skolestart, flerkulturel pædagogik og kvalitets- og metodeudvikling i daginstitutioner. Har bla deltaget i Socialmi-nisteriets evaluering af formålsbestemmelsen om dagtilbud til børn i lov om social service.
Erik Sigsgaard.
Cand. pæd. Forsker ved Center for Institutionsforskning, Højvangseminariet. Arbejder med forsknings-projekter vedr. barndom og institutionalisering. Forfatter til bøger om skolestart, barndom, daginstitutioner mv.
Resumé: Denne artikel vil beskæftige sig med spørgsmål om teori og metode i forbindelse med evalueringsprojekter – med udgangspunkt i et konkret evalueringsprojekt, evaluering af udviklingsprogrammet ”samtænkning mel-lem skole og fritidshjem” i Københavns Kommune, som blev gennemført sept. 02 – februar 03. Artiklen er altså skrevet ½ år efter afslutningen af evalueringen, som dermed kommer til at blive beskrevet i bagklog-skabens skær. Der vil ikke blive redegjort nærmere for evalueringens resultater. Derimod vil vi forsøge at rejse en diskus-sion om evalueringsprojekter som genre, og i den forbindelse om forholdet mellem evaluering, forskning og teori og om det beredskab et CVU må have for at kunne løfte evalueringsopgaver. Sådanne diskussioner er efter vores mening vigtige – ikke mindst for et CVU, der har som ambition at organisere vidensproduktion på alle niveauer. Evalueringen af ”samtænkning mellem skole og fritidshjem i Københavns Kommune” er udført i samarbej-de mellem forskere ved Center for Institutionsforskning (CFI), Højvangseminariet, og CVU Storkøbenhavn. Synspunkterne i denne artikel står dog helt for vores egen regning. |
Samtænkning mellem skole og fritidshjem i Københavns Kommune.
Udviklingsprogrammet ”samtænkning mellem skole og fritidshjem” blev iværksat af Uddannelses- og Ung-domsforvaltningen i Københavns Kommune i sommeren 2001 som et ambitiøst program for udviklingen af arbejdet i skoler og fritidshjem. Programmet blev udviklet og startet efter at der i de foregående år havde været voldsomme politiske diskussioner om fritidshjemmenes fremtidige rolle. Nedenfor gives en kort be-skrivelse af programmets mål og organisering.
Mål:
I arbejdsbeskrivelsen for de lokale udviklingsarbejder vedr. samtænkning hedder det om den overordnede vision for projektet :
- Vi ønsker, at børnene skal udvikle sig til alment dannede personligheder med selvtillid og tro på, at mennesker kan nå de mål, de sætter sig.
- Fritidstilbud og skole skal være præget af børnenes engagement, medbestemmelse og medansvar.
- Pædagoger, børnehaveklasseledere og lærere skal samarbejde åbent og aktivt med forældrene, såle-des at disses forventninger om en naturlig sammenhæng mellem mål og indhold kan blive opfyldt.
- Dialog, åbenhed, ligeværdighed og tillid skal være nøgleværdier for det fælles arbejde.
For at disse visioner kan realiseres arbejdes med følgende mål:
- Pædagoger og lærere skal sammen med forældrene formulere mål for arbejdet med børnene.
- Pædagoger og lærere skal i fællesskab anvende deres faglige kompetencer for at fremme børnenes alsidige udvikling.
- Fordybelse, engagement, undersøgelse, bevægelse og leg er byggeklodser i det fælles arbejde.
- Børn og forældre kan opleve sammenhæng og variation i såvel børnenes dagligdag som i årets løb.
(Arbejdsbeskrivelse for lokalt udviklingsarbejde i samarbejdet mellem fritidshjem og skoler. Tiltrådt af uddannelses- og Ungdomsudvalget 21. februar 2001).
Organisation og proces:
Udviklingsprojektet er tænkt som en samspil mellem centralt formulerede rammer (jvfr. ovenfor beskrevne visioner og mål) og en decentral beslutningsproces om indholdet i projektet. De konkrete rammer består bla i en beslutning om udvidelse af timetallet i børnehaveklasse – 3. klasse fra 4 til 5 timer om dagen, idet det forudsættes at de frigjorte ressourcer i fritidshjemmene anvendes i samtænkningen med 5 ugentlige timer i børnehaveklassen og 2 i de øvrige klasser. På baggrund af disse rammer er det op til de lokale udviklingsfora (bestående af en skole og de tilknyttede fritidshjem) at udarbejde forslag til organiseringen af samtænkningstiden og det konkrete pædagogiske indhold. Skole- og forældrebestyrelserne træffer den endelige beslutning. Et lokalt udviklingsforum kan således beslutte om samtænkningstiden skal anvendes dagligt, ugentligt eller over flere uger i træk. Ligesom det er muligt at skaffe mere tid ved feks at samle morgenåbningen på et af de til skolen tilknyttede fritidshjem.
Der er etableret en central projektledelse, der har til opgave at sikre, at de politiske målsætninger udmøntes lokalt, og at viden og erfaringer samles og stilles til rådighed for den videre udvikling.
Der er således tale om samspil mellem det lokale og det centrale niveau. Det er en forventning, at der lokalt arbejdes med at udvikle egne måder at samtænke på, ligesom det er accepteret at udviklingsprocesserne lokalt vil have forskellig hastighed.
Når vi beskriver programmet om samtænkning mellem skole og fritidshjem som ambitiøst, skal det forstås på to måder: for det første er målsætningen ambitiøs – både med hensyn til forventningerne om samarbejde og om at børns læring skal bygge på ”fordybelse, engagement, undersøgelse, bevægelse og leg”. For det andet er det ambitiøst, at målene skal kunne realiseres indenfor forholdsvis snævre tidsmæssige rammer.
Evalueringen.
Samtænkningsprojektet er formuleret som et 3-årigt forsøg. Etableringsfasen blev i foråret 2002 evalueret af de involverede parter – skoler, fritidshjem og forvaltningens projektledelse. (Samtænkning mellem skole og fritidshjem. Midtvejsstatus. Uddannelses- og Ungdomsforvaltningen august 2002).
Midt i projektet skulle foretages en ekstern evaluering, der bla skal danne baggrund dels for justeringer af projektet – dels indgå i grundlaget for beslutninger om samtænkningens fremtid.
I midtvejsstatus’en står:
Der foreligger på nuværende tidspunkt både positive og negative erfaringer med samtænkningen. Især er der delte meninger om, i hvilket omfang samtænkningen er til gavn for børnene. Derfor må en fremtidig evaluering inddrage børnenes og forældrenes synsvinkel. En fremtidig evaluering må endvidere fokusere på samarbejdsrelationerne mellem pædagoger og lærere, da dette samarbejde er afgørende for, at der kan skabes sammenhæng og variation i børnenes hverdag.
(Midtvejsstatus s. 5).
Formålet for evalueringen blev beskrevet således:
Formålet med evalueringen er generelt at beskrive og analysere, hvordan udviklingsprogram-mets mål og intentioner møder virkeligheden i fritidshjem og skoler – og hvordan dette møde opleves af de involverede parter: børn, forældre og professionelle. Der vil blive lagt særlig vægt på belysningen af samvirket mellem forældre, fritidshjem og skole, herunder i hvilken udstrækning det skaber mulighed for fordybelse og udvikling af et lærende fællesskab.
Der vil desuden blive lagt særlig vægt på samtænkningens indhold, herunder at belyse og vurdere børns muligheder for bevægelse/kropsudfoldelse i skole og fritidshjem og betydningen af kropsudfoldelse for barnets trivsel, sundhed og lyst til at lære.
Evalueringen skal opsamle, indkredse og diskutere faglige problemstillinger og temaer, der vil være væsentlige for det videre arbejde med udviklingsprogrammet, og som munder ud i forslag til det videre arbejde såvel på det politiske niveau og forvaltningsniveauet som på det lokale niveau.
Formål og plan for evalueringen blev vedtaget af projektledelsen medio september 2002. Oprindeligt skulle evalueringen slutte med aflevering af rapport og anbefalinger i juni 2003. Men for at skabe tid til den politiske beslutningsproces om programmets fortsættelse blev tidsplanen strammet, så evalueringen skulle afsluttes med udgangen af februar.
Metoder i evalueringen.
I evalueringen er anvendt en række metoder, der er tænkt som egnede til dels at beskrive og analyse det praktiske arbejde med udviklingsprogrammet dels at supplere og uddybe hinanden, så det bliver muligt at skabe et billede af hvordan der faktisk bliver arbejdet og hvordan de involverede oplever dette arbejde.
Der blev udarbejdet et omfattende spørgeskema, der blev udsendt til medlemmerne af udviklingsfora ved samtlige 66 skoler og de tilknyttede fritidshjem – i alt ca. 280 fritidshjem. Spørgeskemaet var opbygget med spørgsmål, der kunne besvares med afkrydsning, og med mulighed for uddybende kommentarer til spørgsmålene. Desuden blev fritidshjem og skoler opfordret til at medsende supplerende materialer i form af nedskrevne planer for samtænkningen, evalueringer mv. Det var planen at de besvarede spørgeskemaer skulle bearbejdes og analyseres, så analyserne kunne være med til at give observationer og interview retning og dybde.
Der blev udvalgt 5 skoler og tilknyttede fritidshjem, hvor der blev foretaget observationer og lavet interviews med børn, forældre, lærere og pædagoger. På den ene af de 5 skoler skulle særlig ses på specialundervisning. Skolerne blev udvalgt ud fra forskellige i beliggenhed (boligforhold, sociale kriterier), størrelse og antallet af fritidshjem, man samarbejder med, således at der både deltog skoler der samarbejdede med mange fritidshjem (op til 5) og skoler, hvor samarbejdet kun retter sig mod et eller to fritidshjem.
Observationerne foregik over 2 gange 2 dage, og blev foretaget af en forsker fra CFI. De første 2 dage var tænkt som orientering, hvor observatøren skulle overvære undervisning i forskellige klasser og om eftermiddagen besøge fritidshjemmene. Derefter skulle observatøren vælge en klasse som skulle følges de resterende to dage – og desuden et eller flere børn fra den pågældende klasse, der skulle følges dagen igennem: dagens start i skolen, timerne, frikvartererne, skiftet til fritidshjemmet og aktiviteterne her.
Vi havde forberedt en observationsguide med kategorier, som observatøren skulle forsøge at indfange. Selve observationsmetoden skulle være en blanding af detaljerede beskrivelser af handlesekvenser, fortællinger om det oplevede og andre kreative skrivemåder.
Hver af forskerne skulle lave interview med to forældre, et fokusgruppeinterview med pædagoger fra fritidshjemmene (helst pædagoger, der arbejder både i samtænkningen og i fritidshjemmet) og et med børnehaveklasseledere/lærere i indskolingen. Desuden ønskede vi udsagn fra børn – enten i form af egentlige interviews eller fra spontane samtaler i løbet af dagen.
Evalueringens resultater skulle beskrives i en rapport. Desuden blev det aftalt at teoretiske og metodologiske overvejelser skulle sammenfattes i en artikel.
Problemer og dilemmaer.
Evalueringen kom hurtigt til at stå overfor en række problemer og dilemmaer. Det første var afkortningen af evalueringsperioden med 4 måneder (fra juni til februar). Skulle vi opretholde hele batteriet af metoder – eller skulle evalueringsplanen slankes? Vi valgt at opretholde planen – men at fravælge artiklen, der skulle sammenfatte de teoretiske overvejelser. Det havde flere konsekvenser:
- Analysen af svarene fra spørgeskemaundersøgelsen kunne ikke gennemføres før feltundersøgelserne. De to sæt undersøgelser kom til at forløbe sideløbende og vi kunne ikke bruge analysen af spørgeskemaerne til danne baggrund for fokusering i feltundersøgelserne. Problemet blev forstærket af at spørgeskemaet blev udsendt senere end beregnet, da en test af skemaet trak ud. Desuden var vi nødt til at forlænge svarfristen, fordi det viste sig at der lokalt var usikkerhed om hvem der egentlig indgik i udviklingsforum’et og dermed, hvem der skulle besvare skemaet. Flere steder ønskede man desuden at afvente besvarelsen til man havde holdt evalueringensmøde i de lokale projektgrupper. Vi skrev derfor til skoler og fritidshjem, at vi accepterede en ”flydende” svarfrist, der passede ind i lokale forhold. Vi ville hellere have grundige besvarelser end opretholde en strikt svarfrist.
- Opgivelsen af kravet om, at de mere systematiske og grundige overvejelser over teori og metode skulle sammenfattes i en artikel, var medvirkende til at sådanne overvejelser ikke i tilstrækkelig grad blev ekspliciteret. Forskergruppen var sammensat af folk med stor ekspertise indenfor feltet – såvel teoretisk som metodisk. Flere af os havde arbejdet sammen i andre projekter. Men det aktuelle projekt ville have vundet ved at der blev udviklet en formuleret teoretisk ramme, hvortil alle forskere kunne bidrage. Derved ville forforståelser og teoretiske overvejelser hos den enkelte forsker være blevet sat til diskussion, og analyserne af det empiriske materiale ville have været mere sikre.
- De valgte metoder var tænkt som et forsøg på at anvende en form for metodetriangulering – at de forskellige metoder skulle spille sammen og uddybe hinanden. Hver metode resulterede i et omfattende empirisk materiale. Men den sammenpressede evalueringsperiode betød, at vi ikke i tilstrækkelig grad kunne nå systematisk at sætte de forskellige former for data i spil med hinanden – og i hvert fald ikke, så det eksplicit fremgår, hvordan dette er sket. Sammen med, at teorirammen ikke blev klart formuleret og grundigt diskuteret betød dette, at vi ikke kunne få det fulde udbytte af metodetrianguleringen.
Et andet problem var selve timingen af evalueringen. Samtænkningsprogrammet er som nævnt et 3-årigt forsøg. Evalueringen var tænkt som en midtvejsevaluering, der kunne give muligheder for justeringer af projektet i forsøgsperiodens sidste år. den 3-årige forsøgsperiode kan siges at være opdelt i et første famlende forsøgsår, et andet år hvor der arbejdes mere sikkert og et tredje hvor erfaringerne konsolideres. Evalueringen kom i praksis til at finde sted i første halvdel af andet forsøgsår. Det viste sig at være for tidligt fordi erfaringerne med det mere stabile arbejde med samtænkningen endnu ikke rigtigt var gjort. Fra mange sider gav man udtryk for at evalueringen skulle have ventet til foråret 2003 – til slutningen af 2. forsøgsår.
Desuden var svarprocenten sikkert også udtryk for at timingen ikke var optimal. Vi havde forventet at stort set alle 64 skoler og 220 fritidshjem vil indgå i besvarelserne. Men knap 2/3 af skolerne og under halvdelen af fritidshjemmene er repræsenteret i besvarelserne. Vi har ikke undersøgt årsagerne til den lave svarprocent, men timingen af evalueringen har sandsynligvis en betydning. Den lave svarprocent har betydningen for undersøgelsens pålidelighed, hvilket vil blive diskuteret i det følgende.
Validitet og reliabilitet.
Validitetspørgsmålet er: egner de anvendte metoder sig til at beskrive og undersøge det der er angivet som målet for evalueringen? Giver metoderne et ”sandt” billede af arbejdet med samtænkningen?
Formålet med evalueringen består af følgende (jvnfr. starten af artiklen):
- at beskrive og analysere, hvordan udviklingsprogrammets mål og intentioner møder virkeligheden i fritidshjem og skoler
- hvordan dette møde opleves af de involverede parter: børn, forældre, professionelle
- belysning af samvirket mellem forældre, fritidshjem og skole
- samtænkningens indhold – med særlig vægt på børns mulighed for bevægelse/kropsudfoldelse og betydningen af kropsudfoldelse for barnets trivsel, sundhed og lyst til at lære
- endelig skal evalueringen opsamle, indkredse og diskutere faglige problemstillinger og temaer, der vil være væsentlige for det videre arbejde med programmet og som kan munde ud i konkrete forslag.
Meget brede formuleringer, der ligger op til at skabe en dybere forståelse af arbejdet med programmet og samtænkningens betydning for de involverede.
Det er min klare opfattelse, også her et halvt år efter aflevering af rapporten, at de metoder vi valgte at arbejde med faktisk sikrer en høj grad af validitet i forhold til hvad man ønskede at få undersøgt. Spørgeskemaet er meget omfattende og spørger til organisation, indhold, fysiske rammer, samarbejde, det pædagogiske arbejde med børnene, de professionelles opfattelser af børnenes udbytte og visioner for det videre arbejde. Til alle kategorier er der underspørgsmål, der kan besvares med mange nuanceringsmuligheder. Til alle hovedspørgsmål er der endvidere muligheder for at komme med uddybende og nuancerende besvarelser – noget som mange har benyttet sig af. Endelig var der som tidligere nævnt mulighed for at sende supplerende materiale, der beskriver arbejdet med samtænkningen – hvilket omkring 25 af de besvarende skoler har benyttet sig af.
Der indgår knap 260 spørgeskemaer i undersøgelsen repræsenterende 40 skoler og 97 fritidshjem. Disse skemaer blev tastet ind i et regneark – og alle uddybende kommentarer blev skrevet ind i forbindelse med de optalte svar. Det gav forskerne et glimrende materiale til at få belyst hvordan de professionelle opfatter samtænkningen.
Feltundersøgelserne bestod af observationer over 4 dage – og af interviews med forældre, børn, pædagoger og lærere. Der var udarbejdet observations- og interviewguides, der tog udgangspunkt i evalueringens formål. Der var lagt op til forholdsvis frie observationer - men det blev forsøgt at sikre både bredde og dybde ved at starte med at besøge mange klasser og fritidshjem i første omgang – og derefter vælge at følge et barn i en klasse i anden omgang. Det blev bestemt, at både børnehaveklasse, første og anden klasse skulle være blandt de udvalgte. Dermed var alle aldersgrupper i indskolingen – og alle faser i arbejdet med samtænkningen – med i undersøgelsen.
Det springende punkt i diskussionen om validitet er om de enkelte medlemmer af forskergruppen indgår i undersøgelsen med individuelle forforståelser, som ikke er ekspliciteret og som kan påvirke det der ses efter i observationerne og spørges efter i interviewene. Disse former for bias søgte vi til en vis grad at undgå ved at diskutere observations- og interviewguides grundigt igennem og ved at pålægge hinanden en stor åbenhed overfor den virkelighed vi blev præsenteret for i feltstudierne. Desuden blev de nedskrevne observationer diskuteret i gruppen. Men vi ville uden tvivl have sikret os bedre, hvis vi havde valgt at oparbejde en fælles teoriramme. Det ville sandsynligvis også have bidraget til at ”mellemregningerne” fra det empiriske materiale til analyser og anbefalinger, ville være blevet tydeligere.
Med hensyn til spørgsmålet om reliabiliteten – undersøgelsens pålidelighed – har jeg allerede været inde på problemet med den lave svarprocent. Der er stor sikkerhed for at de der har svaret, faktisk bidrager til opfyldelsen af formålet med evalueringen. Men mange har altså valgt ikke at svare. Dermed kan der være opfattelser af samtænkningen, som ikke er repræsenteret. Er det et tilfældigt udvalg af fritidshjem og skoler, der har undladt at svare? Eller er det de institutioner, der har de mest negative opfattelser af samtænkningen? Eller måske de institutioner, der har arbejdet mindst med samtænkningen, eller som slet ikke rigtig er kommet i gang med dette arbejde? Vi har ikke indenfor evalueringens rammer haft mulighed for at svar på disse spørgsmål, men usikkerheden skal tænkes med, når evalueringens resultater vurderes.
En anden problemstilling, der har med reliabiliteten at gøre, er hvem der har udfyldt spørgeskemaerne. I ”hovedet” på skemaet bedes om at hvert medlem af det lokale udviklingsforum udfylder et skema. I udviklingsforum’et indgår ledere af skole og de samarbejdende fritidshjem, repræsentanter for pædagoger og lærere og muligvis også en repræsentant for skole- og fritidshjemsbestyrelsen. Når vi valgte at bede medlemmer af udviklingsforum’et om at udfylde skemaet var begrundelsen, at her måtte erfaringerne fra arbejdet med samtænkningen løbende indsamles og diskuteres. Men det viste sig, at der i mange tilfælde var usikkerhed om hvem der egentlig var i det lokale udviklingsforum og hvem der indgik i projektgrupper, der arbejdede konkret med samtænkningen. I en del skoler og fritidshjem blev spørgeskemaet givet til vigtige medarbejdere, der arbejder med samtænkning, selvom de ikke indgår i det lokale udviklingsforum.
Vi gjorde op hvilke kategorier at medarbejdere, der faktisk besvarede spørgeskemaet. Resultatet var
Lærere og børnehaveklasseledere: 36
Pædagoger (fra fritidshjemmene): 101
Ledere af fritidshjem: 47
Souschefer/afdelingsledere: 32
Skoleinspektører: 23
Viceinspektører: 8
Pædagogmedhjælpere: 11
Forældre: 1.
I alt 259 besvarede skemaer.
Der er en overrepræsentation af ledere der har besvaret skemaet, hvilket kan henføres til ønsket om at det er medlemmer af udviklingsforum’et, der svarer. Desuden er der en overvægt af besvarelser fra fritidshjemmene. Der er da også langt flere fritidshjem end skoler – men mht personer der arbejder direkte med samtænkning er denne overvægt ikke givet. Eller med andre ord – der er for få lærere og børnehaveklasseledere med i besvarelserne. Vi kunne have reduceret disse pålidelighedsproblemer, hvis vi inden udsendelsen af spørgeskemaet havde skabt os et billede af de lokale organiseringer, så vi kunne have sendt spørgeskemaet mere målrettet. Måske skulle vi have udformet et skema til medlemmer af de lokale udviklingsfora – og et til de pædagoger og lærere, der konkret arbejder med samtænkningen.
Et andet reliabilitetsproblem ligger i udvælgelsen af skoler til feltobservationer. Skolerne blev udvalgt tilfældigt – men ud fra nogle objektive kriterier (geografisk spredning, befolkningssammensætning i skoledistriktet, størrelse, antal fritidshjem man samarbejder med). Mindst to spørgsmål rejser sig:
- Er 4 skoler med tilhørende fritidshjem (+ en skole, hvor kun specialklasser er besøgt) ud af 66 et tilstrækkeligt antal til at give et pålideligt billede af arbejdet med samtænkningen?
- Selvom de 4 (5) skoler er udvalgt efter objektive kriterier – er det så de rigtige kriterier, der er valgt, når det er samtænkningen der skal evalueres?
Til det første spørgsmål kan svares, at antallet var det der var tid og ressourcer til. Feltundersøgelsen giver et (ret) sandt billede af arbejdet med samtænkningen, og som sådan kan billederne anses for at være eksemplariske for det samlede program. Men billedet er ikke nødvendigvis pålideligt idet selve programmets opbygning (stor valgfrihed til de lokale udviklingsfora) betyder stor forskellighed. Dette blev klart for os, da vi modtog supplerende materialer fra en række skoler og fritidshjem, hvoraf det fremgik at der blev arbejdet meget anderledes end i de 4 case-skoler/fritidshjem.
Dermed blev det også klart, at vi skulle have suppleret de kriterier, der lå til grund for udvælgelsen af skolerne, med nogle der vedrørte måden at arbejde med samtænkningen på. Vi kunne have valgt et kriterium, der har med graden af ambitioner med samtænkningen at gøre. Case-institutionerne viste sig at arbejde temmelig ens med samtænkningen – og ret traditionelt. Hvorimod nogle af de tilsendte materialer viste os, at man andre steder var mere ambitiøse.
Evalueringsprojekter og teori.
Ovenstående selvkritiske overvejelser skal ikke forstås sådan, at der er kommet en ligegyldig og lidet brugbar rapport ud af evalueringen. Faktisk er rapporten interessant læsning, og den giver på mange måder et billede af arbejdet med samtænkningsprogrammet, som kan danne et produktivt udgangspunkt for den videre udvikling. Evalueringen vil være anvendelig både i den overordnede politisk – administrative beslutningsproces og som inspiration til videreudvikling af det konkrete arbejde med samtænkningen på lokalt plan.
De problemer og dilemmaer, der er beskrevet i artiklen, gælder for mange evalueringsprojekter. Der er altid tidspres, der gøres sjældent rede for teoretiske og personlig og/eller politisk forforståelse osv.
Overvejelserne kan derimod bruges til at gøre sig tanker om, hvordan vi fx i CVU-sammenhæng kan opbygge et beredskab, så fremtidige evalueringsprojekter kan kvalificeres yderligere.
Teoretisk ramme.
Vi har tidligere i artiklen beklaget at der ikke blev formuleret en teoretisk ramme, der kunne kvalificere analyserne. Hvilken teoriramme kunne det have været givende at sætte op for et evalueringsprojekt som det ovenfor beskrevne? Der er tale om et forsøg på at beskrive en kompleks virkelighed, der rummer mange interesser og aktører. Der kan ikke anvendes et unipolært teoretisk udgangspunkt.
Forskerne bag evalueringsprojektet rummede mange forskellige erfaringer såvel metodisk som teoretisk:
Metodisk ikke mindst mht. beskrivelse og inddragelse af deltagerperspektiver og til anvendelse af antropologiske feltanalytiske fremgangsmåder. Og teoretisk var der stor viden i gruppen om barndomsteorier, pædagogiske og udviklingspsykologiske teorier, organisationsteorier og kulturanalytiske teorier.
Desuden var der i gruppen omfattende erfaringer med undervisning, udviklings- og evalueringsprojekter. Tre af gruppens medlemmer havde forskningserfaring – den ene efter lektoransættelse på et universitet, den anden fra et næsten afsluttet ph.d-projekt og den tredje fra praktisk forskningsarbejde.
Denne kapital af viden og erfaringer, der var repræsenteret i den samlede gruppe, var uden tvivl baggrunden for at evalueringen kunne gennemføres på det høje ambitionsniveau – på den afsatte tid – og med en spændende og brugbar rapport som resultat. Men altså uden en ekspliciteret teoriramme.
I det følgende vil jeg give nogle bud på teorier, der kunne have kvalificeret evalueringen. Der bliver tale om en kort omtale – opremsning – af teoridannelser, der alle er relevante i forhold til evalueringen.
En implementeringsteoretisk ramme.
Iværksættelsen af et udviklingsprogram som ”samtænkning mellem skole og fritidshjem” har altid en historie og et konkret implementeringsforløb, som involverer forskellige interessenter (børn, forældre, pædagoger, lærere, ledere, forvaltning og politikere, offentligheden), forskellige typer institutioner (skoler, fritidshjem) og en række formulerede visioner for børns liv og læring i skolestartalderen. En analyse af implementeringsprocessen må iflg Anders Matthiesen (1993) inddrage flg. faser:
- politikformuleringsprocessen
- den politiske beslutning
- iværksættelsesprocessen, hvor mindst 3 hovedgrupper af forhold der har indflydelse på processen må inddrages: det interorganisatoriske netværk, markarbejderadfærden, målgruppen og de sociale omgivelser
- effekten (reformens resultater, som kan opgøres og vurderes ved en mere omfattende effektevaluering.
Implementeringsteorierne giver bud på, hvilke barrierer der kan opstå i og virke ind på iværksættelsesprocessen.
I evalueringen af samtænkningen var opgaven formuleret som en effektevaluering – ganske vist forstået meget bredt. Det lå ikke i opdraget at inddrage iværksættelsesprocessen i evalueringen. Men det fremgik tydeligt i såvel svarene i spørgeskemaundersøgelsen som i interviewene med de professionelle, at de politiske diskussioner og de politiske og administrative beslutninger centralt og senere også decentralt spiller en overordentlig stor rolle for den måde, programmet opfattes og dermed også hvordan der konkret arbejdes med det.
Implementeringsteorierne giver mulighed for analyser af et projekts historie og dynamik – og for at skabe en forståelsesramme for opfattelser og begivenheder, der kommer konkret til udtryk i det empiriske materiale.
Implementeringsteorierne vil også kunne bidrage til en forståelse af den (professions)kultur i de deltagende institutioner, der møder projektet.
En læringsteoretisk ramme.
I projektgruppen diskuterede vi muligheden for at holde observationer fra klasserum og fritidshjem op mod teorier om børns læring. Vi gjorde det i et vist omfang – ikke mindst ud fra eksisterende viden om sammenhænge mellem kropslig udfoldelse og læring.
Der er temmelig megen litteratur om børns læring i skolestartalderen, der repræsenterer forskellige teoridannelser. En del drejer sig om generelle læringsteorier – fx teorier om de mange intelligenser – andre om fx børns læsning. Desuden er der de senere år kommet nye kognitive teorier til. En del litteratur kommer i kølvandet af den politiske dagsorden om ”klare mål”, ”trinmål” og testning af børn, lærere og skoler.
Der mangler imidlertid ny, grundig og gedigen forskning om samspil mellem fysiske rammer, tidsstruktur, relationer mellem børn og voksne og mellem børnene indbyrdes – og børnenes læring. Listen kunne udbygges med sammenhænge mellem de voksnes læring og børnenes, sammenhænge mellem børns og voksnes livsglæde/livslyst og læring osv.
Vi savnede altså en læringsteoretisk ramme, der kunne bidrage til en dybere forståelse af komplekse forhold mellem barnet og dets kontekst – og dennes betydning for barnets læreprocesser. Det kunne have været et vigtigt arbejde ved siden af rækken af forslag til forbedringer af praksis at gøre sig teoretiske overvejelser ud fra de mange empiriske data – overvejelser der kunne bidrage til udvikling af viden om børns læring i skolestarten.
Teorier om barndom.
Barndomssociologi – teorier om barndomsopfattelser som historisk og samfundsmæssigt konstituerede – er i en vis forstand udviklet i opposition til traditionelle udviklingspsykologiske teorier. Børn ses som ”beings” mere end som ”becomings”, de ses som sociale aktører der har en egen aktiv position i de samfundsmæssige processer (jvnfr. Kampmann 2003 ). Barndomssociologien bestræber sig på at studere børn og barndom med udgangspunkt i hvordan barnelivet opleves af børnene selv. Jens Qvortrup, en af de centrale barndomsforskere i Danmark, definerer 3 grundpositioner indenfor barndomsforskningen:
- for det første er barndommen, som den kan opleves, erfares og dokumenteres for børn her og nu, central – snarere end en forståelse af børn som fremtidens voksne;
- for det andet er barndommen et element i den sociale struktur (og ikke blot en periode i et individs livsforløb);
- for det tredje er børn vigtige aktører i deres egen og samfundets udvikling (og ikke alene objekter for socialisering og indlæring).
(Qvortrup 1999 – her citeret fra Kampmann 2003).
Disse barndomsteoretiske synsvinkler har til en vis grad indgået som analytisk og metodisk baggrund i evalueringsprojektet, fx hvor vi gennem observationer af og samtaler med børnene forsøger at finde udtryk for, hvordan de oplever skolestarten og samspillet mellem skole og fritidshjem. Men altså uden at en barndomsteoretisk position er beskrevet eksplicit.
Barndomssociologien må anses som værende en væsentlig teoretisk position, når man forsøger at beskrive barndommen, som den udspiller sig i forskellige arenaer – hjem, skole og fritidsinstitution.
Sociologiske feltteorier.
Skolestarten udgør et krydsfelt mellem i børns liv, hvor barnet mødes af flere professioner med deres særlige tilgang (pædagoger i børnehaven, fritidshjemmet, børnehaveklassen og skolens lærere), politiske ambitioner (både på kommunalt og nationalt plan) og forældreforventninger. Skolestarten kan anskues som et felt, hvor forskellige interessenter kæmper om magten – og det kan i høj grad være relevant at undersøge hvordan disse kampe udspiller sig konkret – fx i samtænkningsprojektet - og hvilke resultater de har i form af organiseringen af børns liv og læring.
Evalueringen giver mange eksempler på hvordan henholdsvis lærere og pædagoger beskriver hinandens faglighed – beskrivelser, der dels kan tjene som forståelse af kampe om at have indflydelse på organisering og indhold, dels kan belyse sammenstødet mellem kulturer i henholdsvis skole og fritidshjem. Der er også eksempler på at beskrivelserne af de andres faglighed tjener til at forholde sig til egen faglighed. Det er vigtigt at undersøge hvordan forskellige fænomener italesættes, tildeles betydning og indflydelse. Fx opfattes begrebet ”fællesskab” vidt forskelligt af lærere og pædagoger. Om disse forskellige opfattelser kan trives side om side i samtænkningen – om en af opfattelserne vinder på bekostning af den anden – eller om der i samarbejdet kan udvikle sig nye betydninger og opfattelser – vil få stor betydning for hvordan rammerne for børns liv og læring udformes i fremtiden.
En række andre teoretiske vinkler kunne være interessante. En spændende undersøgelse er ”Ute på dagis” (1997), hvor kvaliteten af daginstitutioner undersøges ved at måle på en række faktorer, hvor en del kan beskrives med ”hårde data”, fx målinger af børnenes fysiske udvikling. I undersøgelsen sammenholdes målingerne af børnenes fysiske formåen med børnehavernes organisation, pædagogik, kontakten mellem børn og voksne og mellem børnene indbyrdes osv.
Andre teoretiske vinkler kunne være pædagogiske og didaktiske teorier. Eller den norske forsker Berit Baes dialektiske relationsteori. (Bae 1992 og 96).
En sådan skitsering af mulige teoretiske ”briller” at anskue samtænkningen med viser, at det ikke vil være muligt at vælge et enkelt teoretisk udgangspunkt. Skolestart og samarbejde mellem skole og fritidshjem rummer så komplekse problemstillinger, at det vil være en urimelig reduktion kun at anskue feltet ud fra en enkelt synsvinkel.
Evalueringsprojekt og CVU.
Der mangler altså ikke relevante teoretiske briller at se på samtænkningen med. Det vil aldrig være muligt at skabe en ”komplet” teoriramme. Der vil altid være tale om valg af teoretisk optik. Spørgsmålet er hvordan vi kan kvalificere disse valg – og hvilke forudsætninger vi har for at gøre det i CVU-regi? Jeg skal her afslutningsvist komme med nogle bud:
1 Evaluering eller forskning?
I evalueringsprojekter vil der altid skulle findes en balance mellem beskrivelse af hvad der faktisk sker og teoretiske overvejelser. Balancen er under indflydelse af økonomiske og tidsmæssige rammer, rekvirentens interesser og den faglige kapacitet, der er til rådighed. Et evalueringsprojekt vil ikke kunne bære, at de fleste ressourcer bruges på opbygning af teoriramme. Beskrivelsen – frembringelsen af relevante data med henblik på beskrivelse af evalueringens genstand og udformning af forslag til ændringer – vil altid være det centrale.
Men evalueringens resultater er ikke meget værd, hvis der ikke er en vis grad af sikkerhed for at de er holdbare – valide og pålidelige. Der skelnes ofte mellem forskning og udviklingsprojekter på den måde, at forskning skal generere ny viden – og måske ny teori – hvorimod udviklingsprojekter skal skabe forandringer i praksis. Hvor placerer evalueringsprojekter sig? En artikelsamling (Weber (red) 1993) bærer overskriften ”Evalueringsforskning mellem politik og videnskab”. Måske skal overskriften udvides til ”evalueringsprojekter mellem forskning, politik, praksisudvikling og videnskab”, når evalueringen sker i CVU-regi? Et CVU er forskelligt fra et universitet eller et konsulentfirma ved at være tæt knyttet til de professioner, man uddanner til. I lovgrundlaget for CVU’erne hedder det bla
§ 27 a. Centre for Videregående Uddannelse (CVU’er) er en institutionsform, der skal styrke de professionsrettede videregående uddannelser, særlig de mellemlange videregående uddannelser, og efter- og videreuddannelser i tilknytning hertil. Centrene skal samtidig fungere som udviklings- og videncentre for de fagområder, hvor de udbyder uddannelse.
. . .
§27 b. Et CVU udfører udviklingsopgaver for og fungerer som videncenter i samarbejde med interessenter fra det arbejdsmarked, herunder de professioner, som institutionens uddannelser retter sig imod.
(Lovbekendtgørelse 684, 2000)
I CVU Storkøbenhavn er ambitionen at ikke blot institutionen men hver enkelt medarbejder rummer sammenhænge mellem uddannelse, professionsudøvelse og udviklings- og videncenterfunktioner. Vi er ikke (udelukkende) forskere, (udelukkende) udviklingsprojektmagere eller (udelukkende) undervisere. Vores opgave er at skabe sammenhænge mellem disse funktioner. For at kunne det – fx i form af en evalueringsopgave som den her beskrevne – må vi både have et bredt kendskab til professionerne og til relevante metoder og teorier. Vores store kendskab og tilknytning til professionsområderne giver nogle gode forudsætninger for at vurdere hvilke teorier, der er relevante at inddrage som analytisk ”klangbund” i et udviklings- eller evalueringsprojekt.
2. Forskningstilknytning.
I et CVU kan man ikke være ekspert i alle teori-dannelser, der kunne være relevante i et givent projekt. I lovgrundlaget tales om at CVU’erne skal sikre udvikling og kvalitet gennem ”forskningstilknytning”. Det er imidlertid et noget diffust begreb, som har været diskuteret livligt siden lovkomplekset blev til (MVU-, CVU- og DPU lovene). Forskningstilknytning kan både betyde at CVU’et samarbejder med et universitet om uddannelse af medarbejdere – bla forskeruddannelser – og at der knyttes forskere fra et universitet til et givent projekt. Forskningstilknytning kan også ske i forhold til den forskning, der faktisk udføres ved CVU’et.
I samtænkningsprojektet rummede gruppen som nævnt forskningsmæssige kvalifikationer indenfor et bredt udsnit af teoretiske synsvinkler, der kunne anlægges. Men havde vi (eller rekvirenten) ønsket en implementeringsteoretisk synsvinkel kunne vi sikkert med fordel have hentet forskningsmæssig assistance fra Handelshøjskolen eller et universitet.
Der kan være en fare for at forskningstilknytningen ses for snævert – som et kontinuerligt samarbejde med et enkelt universitet – fx DPU – og at man dermed overser forskningsmiljøer, der med nogle helt andre synsvinkler kan forstyrre CVU’ets faglige selvforståelse og således udvide perspektivet.
3. Professionskritik.
Den nære tilknytning til professionerne giver dog en fare for at den virkelighed, der studeres, i for høj grad ses ud fra en professionssynsvinkel og indenfor professionernes selvforståelse. Der er en risiko for at CVU’erne kan bidrage til en professionernes lukken sig om sig selv, hvis vi ikke er meget opmærksomme på at professionsudøvelsen altid foregår i en samfundsmæssig kontekst og både er underlagt men også aktør i udviklingen af samfundet. Denne opmærksomhed kan skærpes hvis vi sikrer at også de mennesker, der ”udsættes” for professionsudøvelsen, kommer til orde.
Det stiller krav til såvel de teoretiske tilgange som til valg og udvikling af metoder, der er egnede til at opfange og formidle erfaringer hos befolkningsgrupper, fx børn, der ikke umiddelbart har adgang til at ytre sig og dermed påvirke beslutninger, som angår deres daglige liv i institutionerne.
4. Systematisk erfaringsopsamling og formidling.
Under pkt. 1 er nævnt CVU’ets lovgivningsbestemte opgave at være videncenter i forhold til de professioner vi uddanner til og de institutioner, hvor professionerne udøves. CVU’et må derfor sikre en systematisk indsamling af den viden, der produceres såvel i uddannelserne og den praktik der knytter sig hertil, som i efter- og videreuddannelse og i udviklings-, evaluerings- og forskningsprojekter. Aktiviteter, som typisk foregår i nært samarbejde med praktikere. CVU’et rummer alle disse niveauer, og har derfor nogle helt særlige muligheder for at viden, der skabes på et niveau bliver tilgængelig og brugbar på andre.
Med det ovenfor beskrevne evalueringsprojekt – med de problemer og dilemmaer, der er gjort rede for – er det vores opfattelse, at CVU’erne på baggrund af den nære og omfattende forbindelse til praksis har gode muligheder for at udvikle og gennemføre udviklings- og evalueringsprojekter, der sikrer relevant og pålidelig viden om resultaterne af udøvelsen af de professioner, vi uddanner til. Men det kræver et sikkert og bevidst arbejde med forskningstilknytning (både til andre forskningsmiljøer og til egne), det kræver udvikling af teori og metoder, der kan danne grundlag for et konstruktivt professionskritisk arbejde, og det kræver at CVU’et kan organisere systematisk opsamling og formidling af viden og erfaringer fra alle CVU’et aktiviteter.
I en kronik af Ane Buch, der er vicedirektør i Håndværksrådet (Information 23. sept. 2003) diskuteres forholdet mellem viden og kunnen. Forfatteren argumenterer for at vi i Danmark bør interessere os mere for at undersøge og beskrive hvordan viden bliver til kunnen. Hun siger bla om kunnen:
Ved kunnen forstår jeg ( …) evnen til i praksis at gøre en forskel på en måde, der er værdifuld eller skaber værdi. Kunnen er en kombination af kompetence, evner, færdigheder og erfaring.
Kunnen er eksempelvis evnen til at skabe og drive en succesrig virksomhed. Kunnen kan være evnen til selvstændigt at løse en ny opgave i sit job. Kunnen er også at drive offentlige institutioner på en måde, der er værdifuld for samfundet. Værdiskabelse behøver ikke at gøres op i kroner og ører, men det er vigtigt, at den person, der besidder kunnen, skaber værdi for sig selv eller andre.
Måske er det netop undersøgelse, beskrivelse og analyser af hvordan viden bliver til kunnen i der professioner, vi uddanner til, der udgør det område hvor CVU’erne har en særlig opgave – og potentiale til at løfte den.
Litteraturhenvisninger.
- Bae, Berit: Voksnes definitionsmagt og børns selvoplevelse. Artikel i Social Kritik nr. 47/1996.
- Bae, Berit og Waastead, J.E (red): Erkjennelse og anerkjennelse. Perspektiv på relasjoner. Universitetsforlaget Oslo, 1992.
- Kampmann, Jan: Barndomssociologi – fra marginaliseret provokatør til mainstream leverandør. Artikel i Dansk Sociologi 1/14 2003.
- Kragh, Krogh, Mikkelsen, Sigsgaard og Torp: Evaluering af samtænkning mellem skole og fritidshjem i Københavns Kommune. Center for Institutionsforskning, Højvangseminariet, 2003.
- Weber, Kirsten (red): Evalueringsforskningen mellem politik og videnskab. Artikler fra ”Workshop vedr. metodeproblemer i evalueringsforskning.RUC 1993.
- I denne artikelsamling indgår Anders Mathiesens artikel: Hvad er et dokumentationsprojekt?