Tag Archives: studie

OECD/CERIs arbete utvärderat

Det är alltid intressant att få sitt arbete utvärderat. OECD lät fem oberoende experter göra en djupgående studie av det arbete som Centre for Educational Research and Innovation, dvs CERI gjort under perioden 2004-2008/09. Eftersom jag själv arbetade på CERI en del av denna period är det extra spännande att läsa utvärderingen. Genomgående är omdömena positiva. I korthet ser bedömningen av de publikationer jag själv tog fram ut så här:

Det är bara att hoppas att påverkansmöjlighet (impact) som utvärderarna talar om, också innebär en reell inverkan framför allt på politiken.

OECD-rapport om 1:1

För omkring ett år sedan hölls en OECD-konferens där man diskuterade vad som hittills är känt om resultaten av satsningarna på en dator till varje elev. Nu finns det en kort rapport som beskriver resultaten från konferensen. Du kan ladda ner den här: OECD1-1.

De viktigaste slutsatserna och lärdomarna från konferensen var (i snabböversättning):

  • Det finns tre huvudsakliga mål i samband med 1:1 initiativ inom utbildning: att den unga generationen ska förvärva IT-baserade färdigheter och kompetens, att minska den digitala klyftan mellan individer och sociala grupper, och att skapa en bättre undervisning och bättre elevprestationer.
  • Den snabba spridningen av 1:1 initiativ innebar stora investeringar av offentliga och privata aktörer. Trots de stora investeringarna så finns det få belägg om kostnadseffektivitet i dessa initiativ.
  • Förekomsten av IT i skolan ändrar inte nödvändigtvis undervisningsstrategierna för lärare och elever. Hur man använder 1:1 varierar stort mellan olika skolor.
  • Tillgängliga utvärderingar pekar på en positiv inverkan av 1:1 på IT-färdigheter och skrivande, men mer blygsamma bevis har hittats presenterats för en positiv inverkan på andra akademiska områden såsom matematik.
  • Storskaliga 1:1 initiativ kan starkt begränsa den första digitala klyftan som gäller tillgång till IT i hemmet och i skolan. Globaliseringen av 1:1 initiativ bör minska den digitala klyftan mellan unga människor i utvecklade länder och utvecklingsländer.
  • Det är nödvändigt att ta hänsyn till att en andra digital klyfta uppstår i skolan när alla elever har tillgång till IT. Mer bevis krävs om hur IT används i undervisningen och dess inverkan på elevernas prestationer.

Slutligen identifierar och presenteras ett antal politiska förslag i rapporten. Dessa är:

  • Programutvärderingar måste definieras i början av processen och måste stämma överens med mål och utformning av initiativet. Varje piloterfarenhet behöver en fördjupad utvärdering för att få skalbara bevis och erfarenheter.
  • Rigorös kvasiexperimentell utvärdering av studenters prestationer är nödvändiga för att identifiera ”best practice” när det gäller programmens utformning och genomförande. Detta är särskilt fallet i utvecklingsländer, där internationella organisationer ofta finansierar och främjar utvärderingar av 1:1 initiativ.
  • Mer kunskap och forskning behövs när det gäller förhållandet mellan införandet av IT och förbättringar av elevers resultat. Beslutsfattare och programansvariga behöver identifiera ”best practice” för att fatta välgrundade politiska beslut. För att förbättra situationen måste uppföljning och utvärdering spela en viktig roll.
  • Lärare behöver tydliga mål och särskilt stöd för att sammanföra teknik och nyskapande pedagogiska metoder. Ett holistiskt perspektiv är nödvändigt för 1:1 initiativ ska medföra en pedagogisk förändring i skolan.
  • Globaliseringen av 1:1 initiativ kan bidra till att minska den digitala klyftan i den unga generationen mellan utvecklade länder och utvecklingsländer. I denna mening kan 1:1 datorer ses som en gynnsam politik för både effektivitet och jämlikhet i utbildningen.

Studenters vinst och samhällsnyttan av OER är enorm

Två amerikanska forskare, Maxfield och Thierstein knutna till Rice University, har gjort en intressant kostnads-/nyttoanalys av att delvis erbjuda fria läroböcker till collegestudenter i Kalifornien.  Du hittar den här: Textbook C-B Analysis

De kommer fram till att här finns möjlighet till enorma sociala vinster – om man framställer öppna läromedel i de fem mest lästa ämnena, så skulle vinsten (Social Return On Investment) i pengar för de 1,4 miljoner studenterna i Kalifornien bli 8,5 miljoner dollar, eller 341 % per år! Räknar man upp detta till alla 7 miljoner collegestudenter i USA blir vinsten 42,5 miljoner dollar eller 1 703 % ! För varje student som använder den digitala versionen av läromedlet så stiger vinsten ytterligare.

Det amerikanska intresset för kostnaderna för läromedel bör nog ses i ljuset av Obamas initiativ för att få 5 miljoner fler ungdomar att genomföra en collegeutbildning till 2020. Ett led i detta initiativ är ju den OER-satsning som jag tidigare skrivit om. I Sverige är det studenter vid högskolor och yrkeshögskolor som skulle beröras av ett initiativ att erbjuda fria läromedel – det kanske kunde vara ett sätt att höja attraktionen på vissa utbildningar, t.ex. inom teknik och naturvetenskap eller lärarutbildningen? Att sådana här diskussioner förs i olika länder är ytterligare ett bevis för att förlagsmarknaden förändras…

Maxfield och Thiersteins resonemang är i korthet följande:

Analysen genomförs som en traditionell Return On Investment (ROI) kalkyl, men de menar att den också är ett sätt att beräkna Social Return on Investment (SROI), som ser mer till den samhälleliga nyttan än till den rent ekonomiska vinsten (för mer om SROI se Wikipedia eller här).

I näringslivet är ROI en standardmetod för att avgöra om man ska genomföra ett projekt eller en investering. ROI är förhållandet mellan förväntad avkastning (dvs. vinsten) under hela löptiden för projektet, delat med kostnaden för investeringen. Säg att ett projekt pågår i 4 år och sammanlagt ger tillbaka 3 gånger investeringen. Då är den årliga avkastningen 32 %. De flesta företag har tröskelnivåer som beskriver den lägsta ROI per år som är acceptabel för deras affärsmodell, vanligen 15-25 % per år.

Tillämpas denna analysmodell på utvecklingen av öppna läromedel, så kan den direkta monetära besparingen för studenter ses som en social vinst och förhållandet mellan den ursprungliga investeringen är då den sociala ROI. Om således ett öppet läromedel kostar $ 500 000 att utveckla och det besparar studenterna $ 300 000 per år så har man en social avkastning på 60 %. För att utveckla en fullständig kostnads​-/nyttokalkyl måste man uppskatta (a) kostnaden för att utveckla läromedlet, (b) den årliga besparingen per student för att använda läromedlet och (c) det antal studenter som varje år kommer att använda läromedlet.

Rapportförfattarna skapar en stor matris där de fyller i relevanta data från läsåret 2007/08 från det offentliga collegesystemet i Kalifornien, t.ex. antal studenter på olika ämnen (393 olika ämnen). De gör antaganden om den genomsnittliga utvecklingskostnaden för ett läromedel ($ 500 000), liksom antaganden om hur många av lärarna i ämnet som kommer att använda just detta läromedel (10 % av lärarna), och att studenterna köper en enkel utprintad version av läromedlet för $ 25 istället för en tryckt bok för $ 100 och därmed sparar $ 75, osv. för att kunna beräkna SROI. Varje student som använder den digitala versionen av läromedlet, sparar alltså $ 100.

Maxfield och Thierstein föreslår att finansieringen av dessa läromedel sker i samarbete mellan privata sponsorer, ideella stiftelser och staten.

Skolinspektionens IT-granskning påbörjas

I slutet av augusti hade Skolinspektionen uppstart för sin tvärgående granskning av IT-användningen i skolan. Man har utvecklat ett ambitiöst projekt för att kunna studera frågan under hösten. Det innefattar både dokumentinsamling, lektionsobservationer och intervjuer. Som underlag för inspektörerna finns en utmärkt litteraturöversikt, som jag hoppas snart kommer att publiceras. Min insats vid uppstarten var att ge lite ytterligare kontext. Här är det bildspel jag använde.

Vi har från statligt håll under lång tid saknat fokus på skolornas IT-användning. Det har resulterat i att vi har fått stor spridning dels i datortäthet mellan olika skolor (enligt Eurydice (2011) så är Sverige på 20 plats – av 25 länder – ifråga om spridning mellan skolor) och dels i IT-mognad och kunskap om hur man kan främja lärandet med IT. Så det är bara att välkomna Skolinspektionens intresse för frågorna!

De aspekter som står i centrum för granskningen är:

  1. Bedriver skolan ett strategiskt arbete för att stödja och utveckla användningen av IT-verktyg i det pedagogiska arbetet? Här kommer man att studera om det finns en gemensam pedagogisk idé om hur och varför IT ska användas i undervisningen, behov av kompetensutveckling, teknisk utrustning osv.
  2. Används IT-verktyg i undervisningen på ett sätt som stödjer elevernas kunskapsutveckling och utvecklingen av deras digitala kompetens? Denna fråga handlar dels om hur IT används i ämnesundervisningen – om den stöder elevernas lärande, om tillämpningar tydliggör innehåll, skapar motivation, underlättar individanpassning mm. Den handlar också om digital kompetens – får eleverna strategier och verktyg för informationssökning, utvecklar de ett kritiskt förhållningssätt, informationssäkerhet mm.

En granskning av detta slag står dock inför betydande metodiska utmaningar. Det är ett trettiotal inspektörer som ska använda de kodningsscheman och intervjuunderlag som utvecklats. Även om man kommer att videofilma lektionsinslag för att gemensamt diskutera hur olika situationer ska bedömas så finns det betydande reliabilitetsrisker, dvs. att inte alla granskare bedömer likartade användningssätt och situationer på samma sätt.  Men som vanligt i dessa sammanhang så är kanske det viktigaste att någon ställer frågor av det här slaget – inte exakt vilka svar man får.

Granskningsrapporten beräknas vara klar i mars/april 2012. Vi väntar med spänning!