Tag Archives: genomlysning

Självvärdering måste göras av många – inte bara av rektor

Jag har tidigare skrivit om vågen av självvärderingar och instrument för självvärderingar som just nu sköljer över skolan. Intressant nog finns väldigt lite forskning om huruvida självvärdering i organisationer gör någon nytta. Efter mycket letande har jag hittat en forskningsartikel i frågan (J J Tarí (2008): Self-assessment exercises: A comparison between a private sector organisation and higher education institutions. International Journal of Production Economics, Volume 114, Issue 1, July 2008, Pages 105–118).

Den handlar om självvärdering på universitet. Den visar att det finns ett antal fördelar att uppnå med att genomföra en självvärdering även inom en utbildningsinstitution.

Man kunde genom processen identifiera förbättringsåtgärder, öka personalens engagemang, höja medvetenheten om och fokus på kvalitetsfrågor i verksamheten, samt att skapa ett gemensamt förhållningssätt till förbättringar inom hela organisationen. Men för att nå dessa fördelar måste processen kännetecknas av:

  • ett stort engagemang hos ledningen i självvärderingsprocessen. Ledningen måste uppfatta och visa de anställda på betydelsen av värderingsprocessen.
  • kommunikation med medarbetarna om vad syftet med värderingsprocessen är och vad resultatet blev.
  • stöd till den grupp som genomför värderingen, t.ex. i form av data.

Det framgår tydligt av både av denna artikel och andra (som inte handlar om just universitet) att det inte räcker med att t.ex. en skolledare på egen hand genomför en självvärdering på en skola. I så fall skapas ingen förankring och ingen förståelse för vare sig processen eller de nödvändiga förändringar som den pekar ut. Personalen måste vara informerad och involverad. På den punkten är forskningen entydig.

Det framgår också av artikeln att de undersökta universiteten genomförde inte bara en enkel enkätundersökning utan samlade in många typer av data. Man genomförde också gemensamma workshops för att diskutera både resultaten och åtgärdsförslagen.

Tänk på det när ni planerar för att genomföra en självvärdering på er skola – det är inte en sak enbart för rektor, utan för hela personalen!

Det behövs oberoende utvärderingar av kulturpolitiken

Tillsammans med kollegorna Johan Groth och Tobias Harding har jag i dagarna levererat en plan för utvärdering av kulturverksamheten inom folkbildningen till Myndigheten för kulturanalys. Myndigheten, som bara har cirka tre år på nacken, läggs nu ner av regeringen. Inte för att de gjort ett dåligt jobb utan för att man anser att den inte behövs. Tråkigt. Det behövs verkligen oberoende utvärderingar av svensk kulturpolitik och folkbildning. Kulturpolitik och folkbildning är centrala frågor för att skapa ett vitalt och levande samhälle och en stark demokrati. Då kan man inte bara lämna ut drygt tre miljarder om året utan att veta hur medlen används på bästa sätt och hur de kulturpolitiska målen uppfylls!

Vi menar i vår rapport att det, förutom oberoendet, också är viktigt att utvärderingarna präglas av flervetenskapliga perspektiv – kulturverksamhet är en synnerligen komplex och svårfångad materia som behöver belysas från olika perspektiv och med många olika metoder.

Folkbildningens historia gör att vi idag har en situation där många effekt- och orsakssamband är dolda eller bara delvis kända. En bild en kan använda är att det inom folkbildningsområdet finns områden som kan liknas vid rymdens mörka materia, dvs. områden där det finns något som vi vare sig kan se eller mäta.

Denna otydlighet vad gäller effekt- och orsakssamband inom folkbildningen talar för att det finns behov av att formulera en så kallad systembeskrivning eller interventionslogik för folkbildningsområdet. Detta som en del av det som brukar kallas teoribaserad programutvärdering.

Alternativet till detta tillvägagångssätt skulle kunna vara att välja fokus för statens utvärderingar utifrån en intuitiv och implicit förståelse av folkbildningens roll i samhället och dess funktionssätt. Nackdelen med detta är att det dels är svårare att avgöra hur systematiskt en täcker in olika aspekter av folkbildningens som helhet, dels är svårare för utanförstående att förstå hur och varför vissa utvärderingsfokus väljs framför andra. Folkbildningsutredningen gjorde ett konstaterande som pekar i samma riktning: ”något hårdraget gör [vi] bedömningen att de tidigare utvärderingarna koncentrerat sig mer på formerna för, än på resultaten av, folkbildningens verksamhet”.

Vi kan bara hoppas att frågan om utvärdering av kulturpolitiken och folkbildningen får en snar och god lösning.

Självvärdering allt vanligare – men fungerar det?

Det går en våg av självvärdering över skolans värld just nu – framför allt ifråga om att värdera och förbättra skolors eller kommuners it-mognad. Ett av de senaste bidragen är SKLs verktyg LIKA. Blickar man ut över Europa hittar man många spännande varianter med likartad uppbyggnad och inriktning. Så t.ex. det finska OPEKA, det norska Skolementor, ungerska éLEMER, brittiska Self Review Framework  och Microsofts Innovation Framework and Self Reflection Tool.

Grundidén bakom dessa verktyg är att genom att organisationen (skolan) själv analyserar och bedömer sin situation så får den dels ett beslutsunderlag för att agera och dels en bättre förståelse inom organisationen för vilka förändringar som behöver göras än om detta påtalades av någon utanför organisationen. Ägarskapet till problembeskrivningen och därmed också lösningen framhålls vanligen som det främsta argumentet för självvärdering jämfört med extern värdering. Metoden är också populär bland lärare som ett sätt att få elever att reflektera över vad de lärt sig och hur de ska kunna komma vidare i sin lärprocess.

Men fungerar det? Det finns en hel forskning runt självvärdering på individuell nivå. Där jämför man vanligen om individens värdering av sina kunskaper överensstämmer med externa bedömningar (reliabiliteten i mätningen). Överensstämmelsen är vanligen medioker. Individerna tenderar att övervärdera sina egna kunskaper jämfört med externa bedömningar (t.ex. lärarbedömningar eller prov). Intressant nog ökar överensstämmelsen ju mer man kan om ett ämne – ju mer kunskap man har desto bättre vet man vad man inte vet… Men försvararna av självvärderingar påpekar dels att det inte nödvändigtvis viktigast att den egna bedömningen överensstämmer med externa bedömningar (olika personer kan värdera samma saker på helt olika sätt eller värdera olika saker). Det finns också andra skäl till självvärdering – inte minst att man får en bättre självförståelse.

Men detta gäller individer. Det finns inte mycket forskning om reliabiliteten i organisationers självvärdering. Där står vanligen effekten i fokus istället – fungerar det? Ett område som ligger många år före skolan ifråga om självvärderingar för organisationer är biståndsorganisationer, ofta icke-statliga organisationer (NGO:s). Inom detta fält finns en lång rad verktyg för självvärdering och metoder för att använda dem i organisationsutvecklande arbete (som t.ex. Organizational Capacity Self-Assessment, OCA). Det verkar fungera. Framför allt när det finns strukturerade modeller för hur organisationen ska kunna komma vidare med de problem eller brister den identifierat (som t.ex. denna handbok).

Det finns även metoder som utgår från det friska och välfungerande istället för problemen. Appreciative inquiry kallas en metod som bygger på organisationens styrkor istället för dess svagheter. En studie av åtta kanadensiska skolor visar hur positiv förändring åstadkoms med hjälp av metoden.

Självvärdering inom skolan är här för att stanna under de närmaste åren. Men det gäller att se till att inte bara stanna vid värderingen utan komma vidare. Så nästa steg blir att utveckla verktyg som hjälper skolor att komma vidare utifrån sina självvärderingar. Detta gäller vare sig man väljer att utgå från sina svagheter eller styrkor.

Genomlysning av Falkenberg

Veckans nyhet är att jag tillsammans med kollegan Øystein Johannessen har fått i uppdrag att göra en genomlysning av Falkenbergs grundskolor. Uppdraget innebär att göra en oberoende värdering av var kommunen står idag ifråga om sin skolsatsning, kallad “Alla ska lyckas”. Efter dokumentstudier nu i sommar börjar arbetet på fältet i augusti. Vi kommer att göra gruppintervjuer med lärare och individuella intervjuer med rektorer och beslutsfattare. Slutrapporten ska vara klar i oktober.

Även om vårt uppdrag inte begränsas till IT-frågorna så förtjänar det att påminna om att Falkenberg var ett av landets första kommuner att göra en stor 1:1 satsning.

Här hittar du videon om Falkenbergs skolsatsning Alla ska lyckas