Tag Archives: OECD

Att mäta framtidskompetenser med inbäddade verktyg

Som ett svar på de stora förändringarna i världsekonomin skiftar utbildningspolitiken i många länder nu fokus från kunskaper till kompetenser. Ett ministermöte inom OECD hösten 2010 konstaterade i sina slutsatser att ”nu behövs fokus på nya kompetenser och hur dessa ska komma alla till del.” OECD har också tagit fram en Skills Strategy.  Inom EU finns samma perspektivskifte och en ökad betoning på nyckelkompetenser. Eurydice kom i höstas med en rapport som beskriver olika nationella strategier för att implementera och stärka de åtta nyckelkompetenserna.

Men för denna förskjutning ska kunna slå igenom fullt ut måste man också se över hur man mäter, testar eller bedömer framtidskompetenserna. Det är väl känt från forskningen att utbildningar medvetet eller omedvetet inriktas mot det som testas, dvs det som ”kommer på provet”. Om man har kvar dagens nationella prov eller examensskrivningar så kommer genomslaget för nya kompetenser helt enkelt inte bli särskilt stort.

I en mycket intressant artikel i European Journal of Education diskuterar Christine Redecker från IPTS och min norska kollega Øystein Johannessen olika IT-baserade former av kunskapstest och bedömningar som kan stödja eller hindra utveckling mot ett mer kompetensinriktat lärande. De menar att dagens IT-baserade kunskapstester vanligen är summativa och i allt för hög grad riktar in sig mot traditionella kunskaper. Frågan är om mätningarna kan ställas om för att mäta kompetenser istället. I artikeln beskriver de hur ett nytt paradigm med inbäddade formativa mätningar växer fram, en typ av kunskapsbedömningar som stöder förskjutningen mot kompetenser bättre än den gamla testkulturen.

Redecker och Johannessen hänvisar till en förutsägelse från 1989 av tre andra forskare om att vi kommer att få se fyra generationer av IT-baserade utbildningsmätningar:

  • Generation 1: datorbaserade prov (vanliga prov som administreras via datorer).
  • Generation 2: datorbaserade adaptiva prov (som successivt anpassar sig efter testpersonens svar på tidigare frågor).
  • Generation 3: fortlöpande mätning (där kalibrerade mätningar görs för att kontinuerligt och diskret, dvs utan att synas eller störa, fånga upp dynamiska förändringar i elevens prestationer)
  • Generation 4: intelligenta mätningar (som producerar intelligenta tolkningar av individuella profiler och som ger råd till elever och lärare utifrån en kunskapsbas och slutledningar av elevens resultat).

De två första generationerna bygger på en testkultur med ofta summativa bedömningar av kunskaper och där endast en liten del av kunskapsmassan testas. De två kommande generationerna följer eleven under hela lärprocessen och kan kontinuerligt ge återkoppling på saker som missförstås eller fel som begås. Om eleverna arbetar i digitala miljöer (virtuella världar, spel, digitala lärresurser) kan man bygga verktyg för att kontinuerligt samla in denna information och ge effektiv feedback. Dessa verktyg är betydligt bättre anpassade för att stödja och bedöma utvecklingen av kompetenser jämfört med tidigare generationers e-tester. De tidiga försök som gjorts visar på mycket goda resultat för eleverna, inte minst lågpresterande elever som fångas upp mycket tidigare och där brister i baskunskaperna tydligare framgår. Denna utveckling, som vanligen går under benämningen Learning Analytics, kommer troligtvis på bred front inom 4-5 år trots de att det kan finnas en del etiska betänkligheter. Sannolikt ligger det så mycket pengar att tjäna i Learning Analytics så att systemen snart kommer att finns överallt.

Redecker och Johannessen ger ett antal exempel på att den andra generationens mätinstrument är under framväxt. Därmed öppnas nya möjligheter dels att stödja elevers utveckling av olika framtidskompetenser och dels att kontinuerligt följa varje elev. Jag har tidigare förhållit mig skeptisk till olika försök att mäta framtidskompetenser, just eftersom de ofta utgår från den traditionella traditionen med kunskapstest. Men den utveckling som beskrivs i artikeln öppnar spännande perspektiv.

Här finns två viktiga utbildningspolitiska frågor – den ena är att faktiskt bejaka förändringen mot kompetenser, den andra är att se över regelsystem för testning – nationella prov. De flesta länder har tagit det första steget och vissa börjar undersöka steg två. Sverige ligger, som vanligt numera, efter och har inte ens tagit det första steget utan vi borrar oss allt djupare ner i den traditionella testkulturen med nationella prov i allt fler ämnen och årskurser.

Ska man mäta framtidskompetenser?

I denna vecka, 23-24 januari, hade Institutet för kvalitetsutveckling, SIQ, sin årliga konferens – Bättre Skola. På konferensens andra dag höll jag en presentation på temat: Ska man mäta framtidskompetenser? Utgångspunkten var att arbetsgivare, både i Sverige och internationellt, har visat ett ökat intresse för att skolan ska träna bredare kompetenser än de traditionella ämneskunskaperna. Men vilka är dessa kompetenser, kan de tränas i skolan och kan man mäta dem? Och inte minst viktigt – bör man försöka mäta dem?

Du hittar mitt bildspel här. Min argumentation är i korthet att vi inte bör mäta framtidskompetenser, men att vi absolut bör bedöma dem.

Det vi kallar framtidskompetenser är viktigt och något som bör uppmärksammas mer i skolan. Det börjar nu också utvecklas instrument för att mäta sådana kompetenser – jag redogör för ett par forskningsprojekt som påbörjat ett sådant arbete. Sannolikt kommer dessa tankar också påverka den kommande PISA-mätningen 2015. Men personligen tycker jag man bör göra skillnad mellan att ”mäta” dessa kompetenser, i meningen testa dem i provsituationer, och att bedöma dem. Detta av två skäl:

1. De testinstrument för kompetenser vi hittills sett täcker en så begränsad del av dessa komplexa kompetenser, så det är ytterst osäkert vad det är som testas och därmed riskerar att betygssättas. Vi bör veta mer om vad dessa kompetenser egentligen består av, hur de kan tränas och hur de i slutändan kan testas innan vi påbörjar storskaliga experiment. En viktig aspekt att undersöka är om det finns kulturella skillnader i hur vi utövar dessa kompetenser och hur isåfall det kan påverka internationella eller inhemska tester.

2. Genom att i allt högre grad förlägga bevisbördan för vad en elev kan till tester som är centralt utformade och kanske också rättade av någon annan än elevens egen lärare, så fråntas successivt läraren en viktig komponent i läraryrket. Yrket avprofessionaliseras – tvärt emot vad dagens retorik gör gällande. Elevernas framtidskompetenser bör bedömas av läraren. Därmed måste läraren själv bygga upp ett kunnande om dessa kompetenser. Hur ska en lärare som inte själv kan bedöma elevers framtidskompetenser kunna hjälpa dem att träna dessa kompetenser?

Slutsatsen är att vi tydligare måste behöver en svensk diskussion om vilka kompetenser vi anser vara de viktigaste för framtiden, lyfta fram dem i skolarbetet och ge läraren mandat att bedöma elvernas förmågor.

Ny OECD-rapport om OER publicerad

Nu har OECD publicerat resultaten från den enkät om nationell OER-politik som genomfördes för knappt ett år sedan. Rapporten innehåller dels en sammanställning av enkätresultaten och dels en text som kortfattat men mycket distinkt beskriver OER-frågans utveckling under det senaste decenniet.

Svarsfrekvensen var mycket hög – 28 av 34 OECD-länder besvarade enkäten. 23 av länderna svarar att det pågår OER-aktiviteter av olika slag i deras land. Intressant nog tycks aktiviteten vara lika hög inom skolsektorn som inom högre utbildning. De främsta skälen till att länderna engagerar sig i OER-frågan är de ökade möjligheterna till ett öppet och flexibelt lärande samt att öka tillgången till digitala lärresurser av hög kvalitet.

Copyright-frågor och relationen till förlagen beskrivs som den största utmaningen vid sidan av svårigheten att hitta långsiktigt hållbara finansieringslösningar för OER-initiativ. I 16 länder finns det hänvisningar till OER i nationella dokument av strategiskt slag. Det som kanske var mest glädjande var att sex länder svarade att man redan har en nationell OER-strategi och  sju länder utarbetar just nu en nationell strategi. I ytterligare elva länder pågår diskussioner om att eventuellt införa en OER-strategi. Det var bara tre länder som svarade att några sådana diskussioner inte pågår och inte är aktuella, däribland Sverige.

OECD/CERIs arbete utvärderat

Det är alltid intressant att få sitt arbete utvärderat. OECD lät fem oberoende experter göra en djupgående studie av det arbete som Centre for Educational Research and Innovation, dvs CERI gjort under perioden 2004-2008/09. Eftersom jag själv arbetade på CERI en del av denna period är det extra spännande att läsa utvärderingen. Genomgående är omdömena positiva. I korthet ser bedömningen av de publikationer jag själv tog fram ut så här:

Det är bara att hoppas att påverkansmöjlighet (impact) som utvärderarna talar om, också innebär en reell inverkan framför allt på politiken.

OECD-rapport om 1:1

För omkring ett år sedan hölls en OECD-konferens där man diskuterade vad som hittills är känt om resultaten av satsningarna på en dator till varje elev. Nu finns det en kort rapport som beskriver resultaten från konferensen. Du kan ladda ner den här: OECD1-1.

De viktigaste slutsatserna och lärdomarna från konferensen var (i snabböversättning):

  • Det finns tre huvudsakliga mål i samband med 1:1 initiativ inom utbildning: att den unga generationen ska förvärva IT-baserade färdigheter och kompetens, att minska den digitala klyftan mellan individer och sociala grupper, och att skapa en bättre undervisning och bättre elevprestationer.
  • Den snabba spridningen av 1:1 initiativ innebar stora investeringar av offentliga och privata aktörer. Trots de stora investeringarna så finns det få belägg om kostnadseffektivitet i dessa initiativ.
  • Förekomsten av IT i skolan ändrar inte nödvändigtvis undervisningsstrategierna för lärare och elever. Hur man använder 1:1 varierar stort mellan olika skolor.
  • Tillgängliga utvärderingar pekar på en positiv inverkan av 1:1 på IT-färdigheter och skrivande, men mer blygsamma bevis har hittats presenterats för en positiv inverkan på andra akademiska områden såsom matematik.
  • Storskaliga 1:1 initiativ kan starkt begränsa den första digitala klyftan som gäller tillgång till IT i hemmet och i skolan. Globaliseringen av 1:1 initiativ bör minska den digitala klyftan mellan unga människor i utvecklade länder och utvecklingsländer.
  • Det är nödvändigt att ta hänsyn till att en andra digital klyfta uppstår i skolan när alla elever har tillgång till IT. Mer bevis krävs om hur IT används i undervisningen och dess inverkan på elevernas prestationer.

Slutligen identifierar och presenteras ett antal politiska förslag i rapporten. Dessa är:

  • Programutvärderingar måste definieras i början av processen och måste stämma överens med mål och utformning av initiativet. Varje piloterfarenhet behöver en fördjupad utvärdering för att få skalbara bevis och erfarenheter.
  • Rigorös kvasiexperimentell utvärdering av studenters prestationer är nödvändiga för att identifiera ”best practice” när det gäller programmens utformning och genomförande. Detta är särskilt fallet i utvecklingsländer, där internationella organisationer ofta finansierar och främjar utvärderingar av 1:1 initiativ.
  • Mer kunskap och forskning behövs när det gäller förhållandet mellan införandet av IT och förbättringar av elevers resultat. Beslutsfattare och programansvariga behöver identifiera ”best practice” för att fatta välgrundade politiska beslut. För att förbättra situationen måste uppföljning och utvärdering spela en viktig roll.
  • Lärare behöver tydliga mål och särskilt stöd för att sammanföra teknik och nyskapande pedagogiska metoder. Ett holistiskt perspektiv är nödvändigt för 1:1 initiativ ska medföra en pedagogisk förändring i skolan.
  • Globaliseringen av 1:1 initiativ kan bidra till att minska den digitala klyftan i den unga generationen mellan utvecklade länder och utvecklingsländer. I denna mening kan 1:1 datorer ses som en gynnsam politik för både effektivitet och jämlikhet i utbildningen.

Nationella OER-strategier aktuellt i många länder

Den undersökning som genomförts i OECD:s regi under början av hösten av medlemsländernas intresse för öppna digitala lärresurser – OER – har nu en del preliminära resultat. Det första är att 29 av 33 länder besvarat enkäten vilket i sig är imponerande och visar på ett stort intresse för OER-frågorna.  Ett annat mycket intressant resultat är att 5 länder redan har en nationell strategi på plats, ytterligare 7 håller på och utarbetar sin strategi och dessutom diskuteras införandet av en strategi i 11 länder till. Av de 29 som besvarat enkäten är det bara 3 som ännu inte påbörjat något sådant arbete. Tyvärr måste jag meddela att Sverige (ännu) inte inkommit med något svar.

Undersökningen går vidare och samma enkät som gått till medlemsländerna kommer också att skickas till fem länder med nära anknytning till OECD: Brasilien, Indien, Indonesien, Kina och Sydafrika. Här vet vi redan att det sjuder av OER-aktiviteter i flera av dessa länder.

Skolinspektionens IT-granskning påbörjas

I slutet av augusti hade Skolinspektionen uppstart för sin tvärgående granskning av IT-användningen i skolan. Man har utvecklat ett ambitiöst projekt för att kunna studera frågan under hösten. Det innefattar både dokumentinsamling, lektionsobservationer och intervjuer. Som underlag för inspektörerna finns en utmärkt litteraturöversikt, som jag hoppas snart kommer att publiceras. Min insats vid uppstarten var att ge lite ytterligare kontext. Här är det bildspel jag använde.

Vi har från statligt håll under lång tid saknat fokus på skolornas IT-användning. Det har resulterat i att vi har fått stor spridning dels i datortäthet mellan olika skolor (enligt Eurydice (2011) så är Sverige på 20 plats – av 25 länder – ifråga om spridning mellan skolor) och dels i IT-mognad och kunskap om hur man kan främja lärandet med IT. Så det är bara att välkomna Skolinspektionens intresse för frågorna!

De aspekter som står i centrum för granskningen är:

  1. Bedriver skolan ett strategiskt arbete för att stödja och utveckla användningen av IT-verktyg i det pedagogiska arbetet? Här kommer man att studera om det finns en gemensam pedagogisk idé om hur och varför IT ska användas i undervisningen, behov av kompetensutveckling, teknisk utrustning osv.
  2. Används IT-verktyg i undervisningen på ett sätt som stödjer elevernas kunskapsutveckling och utvecklingen av deras digitala kompetens? Denna fråga handlar dels om hur IT används i ämnesundervisningen – om den stöder elevernas lärande, om tillämpningar tydliggör innehåll, skapar motivation, underlättar individanpassning mm. Den handlar också om digital kompetens – får eleverna strategier och verktyg för informationssökning, utvecklar de ett kritiskt förhållningssätt, informationssäkerhet mm.

En granskning av detta slag står dock inför betydande metodiska utmaningar. Det är ett trettiotal inspektörer som ska använda de kodningsscheman och intervjuunderlag som utvecklats. Även om man kommer att videofilma lektionsinslag för att gemensamt diskutera hur olika situationer ska bedömas så finns det betydande reliabilitetsrisker, dvs. att inte alla granskare bedömer likartade användningssätt och situationer på samma sätt.  Men som vanligt i dessa sammanhang så är kanske det viktigaste att någon ställer frågor av det här slaget – inte exakt vilka svar man får.

Granskningsrapporten beräknas vara klar i mars/april 2012. Vi väntar med spänning!

Sverige som bäst på medelmåttig nivå i PISA 2011

Under sommaren har det kommit två internationellt jämförande studier av IT-användningen i skolan. Den ena är PISA som 2009 samlade in data om antal datorer och IT-användning i 45 länder. Den andra kommer från EU-organet Eurydice och är en sammanställning av uppgifter från flera olika källor. Båda visar att Sverige som bäst hamnar på en medelmåttig nivå. Ibland är vi riktigt illa ute.

PISA visar att 2009 hade Sverige 43 datorer på 100 elever i åldern 15 år. Det innebär att det går omkring 2,3 15-åriga elever på varje dator. Det är ju inte så tokigt men andra länder har investerat ännu mer och Australien anges ha 97 datorer per 100 elever, Nya Zeeland 91 och Storbritannien 89. Sverige hamnar under genomsnittet för OECD-länderna som ligger på 56 datorer på 100 elever.

Man undersöker också IT-användningen i skolan, dvs. aktiviteter som att chatta online, skicka e-post, surfa för skolbruk, ladda upp eller ladda ner material, kommunicera med elever på andra skolor, etc. I ett sammanvägt index för dessa aktiviteter hamnar Sverige på tionde plats. Norge, Danmark ligger i topp med ungefär tre gånger så högt värde som Sverige.

Vidare tillfrågas eleverna om sitt självförtroende när det gäller mer avancerad IT-användning, som att bearbeta digitala foton, att skapa eller använda en databas, att använda räkneark (som Excel eller Numbers) för att skapa ett diagram eller att göra en multimediapresentation med rörlig bild och ljud. De svenska elevernas självförtroende i detta avseende är mycket lågt – de hamnar på plats 40 av totalt 45 länder. Det är stor skillnad mellan könen. Svenska flickors självförtroende i dessa frågor är mycket lågt.

Man tittar också på relationen mellan IT-användning och skolresultat i ett 20-tal länder, men utan att kunna slå fast något entydigt resultat. I åtta länder (däribland Sverige) har elever som använder datorer i skolan genomsnittligt bättre resultat än de som inte gör det, men i två länder (Ungern och Polen) har elever som inte använder datorer i skolan bättre resultat. I andra fall går det inte att se någon skillnad.

Eurydice beskriver bland annat att svenska elever i år 4 och 8 ligger bland de högsta inom EU ifråga om att använda IT hemma men under genomsnittet vad gäller IT-användning i skolan, Sverige har högst andel elever i både år 4 och 8 som aldrig använt IT i matematik och naturvetenskap (science) trots att det funnits möjlighet till detta, däremot ligger vi bättre till vad gäller IT-användning i modersmålet och i språkundervisningen. Med siffror från 2009 års PISA-undersökning visar man också att Sverige hör till de länder som har störst skillnad i datortäthet mellan skolor. 25 länder har mindre spridning än Sverige. Fem länder har större spridning, däribland Italien, Polen och Turkiet.

Ingen rolig läsning, men nyttig…

Att utvärdera utbildning

Sverige deltar sedan drygt ett år i ett OECD-projekt som granskar hur olika länder utvärderar utbildning. Man följer hela kedjan och tittar på hur elever, lärare, skolor, kommuner och hela länders skolutbildning följs upp och utvärderas. I vanlig ordning tog Sverige först fram en landsrapport. Jag var huvudsekreterare i rapportarbetet, och rapporten hittar du här. Därefter genomförde sex internationella experter ett besök här i landet. Deras granskningsrapport finns nu tillgänglig. En diger rapport som i huvudsak ger Sverige godkänt.