Tag Archives: utvärdering

Granskning av Thailands utbildningssystem publicerad

Som jag skrivit om i en tidigare bloggpost så deltog jag under våren 2015 i en granskning (review) av Thailands utbildningssystem som genomfördes gemensamt av OECD och UNESCO. Vi var fyra internationella experter med var sitt ansvarsområde. Mitt var att titta på Thailands it-satsningar. Nu har vår granskningsrapport äntligen publicerats.

thailand

Du hittar den här.

Tyvärr är den inte nedladdningsbar gratis, men den kan läsas på skärmen. Men här är i alla fall mina slutsatser:

Conclusions

Thailand is an upper-middle income country with the determination to expand its economy even further. One key aspect of this effort is to prepare Thai students to live and work in a globalized economy by equipping them with the skills this demands. One of these is proficiency in information technology and communication. Participation in the ASEAN community can help develop the capacity of the education system to effectively use ICT in teaching and learning

Over the years Thailand has made significant investments in hardware, software, people-ware, and infrastructure. It has also developed and adopted a curriculum that provides for ICT to be taught as a subject in its own right, as well as in conjunction with other subject areas. However, the “achieved” curriculum has not corresponded with the “intended” curriculum. According to the ICILS 2013 study, Thai student proficiency in ICT is low and there is room for improvement. There are a number of reasons for this. Some of the most important issues are listed below:

  • There is need for stable, responsive, and countrywide ICT infrastructure.

An education system that seeks to prepare its students for today’s and tomorrow’s society and working life has to provide good access to the internet, with the information and communication opportunities and learning resources it offers. Students need to learn to harness the potential of the internet as well as work and live with its abundance of information and risks.

  • Teachers and students must have access to quality learning materials.

Improving the quality of education and increasing the use of ICT depends to a great extent on the availability of high quality digital learning materials.

  • Teachers need skills in order to use ICT and digital learning materials effectively.

Teacher confidence, skills, and attitudes in using ICT have an impact on student success and attitudes. Therefore, investments in teacher training, both pre-service and in-service training, are vital.

  • Mechanisms gathering, developing and disseminating information are needed to continually strengthen how Thai schools use ICT and facilitate student skills acquisition. A solid evidence base is essential for informed and effective management, and timely decision making.
  • Finally, a coherent policy and leadership for an overall strategic approach to ICT is needed. A recurrent theme for successful policy making is to have policies that are coherent. Insufficient coherence can result in a poor use of resources and conflicting goals between stakeholders.

In order to deal with these issues, it is recommended that Thailand:

  • Continue its investments in digital devices as well as in internet access for schools. In doing so, Thailand should make sure investments are well-balanced between devices and internet access, and that technical maintenance costs for schools are covered. Special consideration should be given to the risk of a digital divide between urban and rural areas.
  • Continue and intensify investments in producing digital learning materials for all school grades and all relevant subjects. Thailand should also increase and expand its work on OERs in basic education.
  • Develop and put in place in-service training to make teachers familiar with and confident in using ICT. Emphasis should be on how teachers can integrate ICT into pedagogy in ways that support the learning goals set out in the curriculum. ICT-enabled distance teacher training might be a good way to ensure that teachers in rural areas also have the opportunity to participate. Furthermore, provision should be made for pedagogical guidance and support, on-line and off-line, to assist teachers in their daily work.
  • A central system for a periodical (annual or biannual) gathering and publication of statistics is needed and should comprise data on infrastructure, equipment, training, and use of ICT. A central database system would reduce the workload of schools and facilitate communications between schools and government agencies, as well as across agencies. The system should be available for ministries and governmental organizations to use for planning and policy making purposes. The statistics should be complemented by in-depth evaluations to ensure better understanding of the core issues. Moreover, Thailand should continue its participation in international comparative studies regarding the use of ICT in education.

Building on the information gathered from the monitoring system and in-depth evaluations, Thailand should work out a coherent national strategy for ICT in education.  It should contain at least four parts: a shared vision of how ICT will be used in Thai basic education to improve student ICT proficiency and transversal skills within five years; an inventory of existing digital learning materials and a list of subject areas and grade levels that are under-supplied, together with a plan for how and when these gaps should be addressed, including the use of OERs; a map of teacher competencies and competence gaps and a description of the ICT infrastructure in terms of internet access and digital devices, with a particular attention to differences between regions and between urban and rural areas.

Thailands it-stödda undervisning alltför teknikfokuserad

Jag befinner mig sedan en dryg vecka i Thailand för att tillsamman med en grupp experter från OECD och UNESCO göra en utvärdering av det thailändska skolsystemet. Mitt ansvar är it-delen vilket kändes spännande innan jag åkte eftersom jag läst om deras ambitiösa ”One Tablet Per Child”-program som när det lanserades 2012 var det mest omfattande i världen. Kinesisk-tillverkade surfplattor skulle delas ut till alla skolbarn. Men efter militärkuppen 2014 stoppades programmet och jag är benägen att tro att det var ett klokt beslut. Efter att ha sett ett antal skolor och läst ett antal rapporter om hur ensidig denna satsning varit, liksom tidigare satsningar. Det handlar bara om att köpa plattor eller datorer, inte om att bygga ut nätverkstillgången eller att träna lärarna. Inte heller har det funnits pengar för underhåll eller support.

Den it-utbildning de ger eleverna handlar ofta dels om att hantera den vanligaste programvaran (Word) och dels om hur en dator ser ut inuti. Bilden nedan kommer från en liten skola långt ute på landsbygden, nära den burmesiska gränsen som anses som ett riskområde. Skolan drivs av gränspolisen. På väggen sitter en processor, ett ljudkort, ett bildkort, o.s.v. vilket låg- och mellanstadieeleverna ska lära sig utantill.

IMG_0565Det är tråkigt att se att trots så mycket erfarenhet som finns från andra länders misstag, så upprepas de – att man istället för att satsa på en balanserad uppbyggnad av det ekosystem som krävs av internetinfrastruktur, hårdvara, mjukvara, utbildning, ledarskap och politik, så blir det mest prestigeprojekt som gör liten nytta.

Thailand är ett medelinkomstland i världen med aspirationer på att kunna konkurrera med grannar som Malaysia och – om möjligt Singapore och Korea. Men just nu tappar man mark både ekonomiskt och i termer av prestationer inom utbildningssystemet. Här är inte platsen att föregripa vår kommande rapport men ett genomgående problem tycks vara bristen på kompetensutveckling för lärare – inom alla områden inklusive it. De har också ambitioner att förändra skolsystemet mot att ge eleverna mer framtidskompetenser (21st Century Skills). Det är intressant eftersom detta bl.a. brukar innefatta att kunna kritiskt ifrågasätta – något som både det relativt auktoritära skolsystemet (med lärare i uniform) och militärjuntan samtidigt finner svårsmält.

Det behövs oberoende utvärderingar av kulturpolitiken

Tillsammans med kollegorna Johan Groth och Tobias Harding har jag i dagarna levererat en plan för utvärdering av kulturverksamheten inom folkbildningen till Myndigheten för kulturanalys. Myndigheten, som bara har cirka tre år på nacken, läggs nu ner av regeringen. Inte för att de gjort ett dåligt jobb utan för att man anser att den inte behövs. Tråkigt. Det behövs verkligen oberoende utvärderingar av svensk kulturpolitik och folkbildning. Kulturpolitik och folkbildning är centrala frågor för att skapa ett vitalt och levande samhälle och en stark demokrati. Då kan man inte bara lämna ut drygt tre miljarder om året utan att veta hur medlen används på bästa sätt och hur de kulturpolitiska målen uppfylls!

Vi menar i vår rapport att det, förutom oberoendet, också är viktigt att utvärderingarna präglas av flervetenskapliga perspektiv – kulturverksamhet är en synnerligen komplex och svårfångad materia som behöver belysas från olika perspektiv och med många olika metoder.

Folkbildningens historia gör att vi idag har en situation där många effekt- och orsakssamband är dolda eller bara delvis kända. En bild en kan använda är att det inom folkbildningsområdet finns områden som kan liknas vid rymdens mörka materia, dvs. områden där det finns något som vi vare sig kan se eller mäta.

Denna otydlighet vad gäller effekt- och orsakssamband inom folkbildningen talar för att det finns behov av att formulera en så kallad systembeskrivning eller interventionslogik för folkbildningsområdet. Detta som en del av det som brukar kallas teoribaserad programutvärdering.

Alternativet till detta tillvägagångssätt skulle kunna vara att välja fokus för statens utvärderingar utifrån en intuitiv och implicit förståelse av folkbildningens roll i samhället och dess funktionssätt. Nackdelen med detta är att det dels är svårare att avgöra hur systematiskt en täcker in olika aspekter av folkbildningens som helhet, dels är svårare för utanförstående att förstå hur och varför vissa utvärderingsfokus väljs framför andra. Folkbildningsutredningen gjorde ett konstaterande som pekar i samma riktning: ”något hårdraget gör [vi] bedömningen att de tidigare utvärderingarna koncentrerat sig mer på formerna för, än på resultaten av, folkbildningens verksamhet”.

Vi kan bara hoppas att frågan om utvärdering av kulturpolitiken och folkbildningen får en snar och god lösning.

Utvärdering av iPads i Gislaved

Jag har haft i uppdrag att under våren utvärdera en ambitiös satsning på lärplattor (iPads) i grundskolan. Uppdraget gällde:

  • Vilka effekter man kan se i undervisningen med införandet av lärplattorna?

– Har nya arbetssätt införts? Är lärplattorna till stöd för att utveckla lärandet? Stimulerar arbetssättet till bättre resultat? Vilket engagemang och motivation för skolarbetet ser vi hos pedagoger och elever?

  • Hur har lärplattorna fungerat i skolans it-miljö?
  • Har införandet skett på ett kostnadseffektivt sätt?

Du hittar rapporten här: Utvärdering Gislaved

Resultaten kan kort sammanfattas på följande sätt:

De tekniska problemen är små och få. Införandet var väl förberett med utredning och utbyggnad av nätkapaciteten innan plattorna delades ut. Barn- och utbildningsförvaltningen har egen it-enhet vilket skapar bättre förståelse för verksamhetens behov. Det är en lösning som fler kommuner borde ta efter.

Kostnadseffektiviteten är svår att bedöma eftersom det saknas jämförelsematerial från andra kommuner. Men såvitt jag kan bedöma har genomförandet skett effektivt och på  ett sätt som grundar för hög användning. Man har gjort ett grundligt förarbete och haft en klok användning av egen kompetens. För framtiden bör kommunen hålla koll på kostnader och kostnadsfördelningen mellan skolor, fr.a. för digitala läromedel.

Vad gäller de pedagogiska frågeställningarna kan följande sägas:

  • Har nya arbetssätt införts? ”Ja” svarar 64 procent av pedagogerna och 62 procent av eleverna
  • Har motivationen ökat? ”Ja” svarar 74 procent av eleverna och 40 procent av pedagogerna
  • Har pedagoger och elever fått stöd för att utveckla lärandet? Många goda exempel på detta ges i utredningen.
  • Bättre resultat? För tidigt att säga. Man hade bara arbetat med lärplattorna i ca 6-7 månader när utvärderingen gjordes. Men en god grund är lagd. 55 procent av eleverna svarar att de lär sig bättre med lärplattan och 49 procent arbetar mer med sina skoluppgifter.

En viktig diskussionsfråga är distraktionen från sociala medier och spel. 48 procent av eleverna vill att lärarna är strängare mot elever som är på sociala medier under lektionen och många lärare uppfattar konkurrensen från nätet som ett problem.

Totalt sett är arbetet väl förberett och har haft en god start. Det finns goda grunder att tro att Gislaved ska lyckas fullfölja sitt ambitiösa förändringsarbete.

Stockholms iPad-satsning utvärderad

Under våren 2012 fördelades drygt 2 200 iPads på 13 skolor i Stockholm. Jag fick i uppdrag att utvärdera satsningen och har genomfört enkäter, intervjuer och klassrumsobservationer. De frågor utvärderingen skulle besvara var:

  • I vilka lärsituationer kan iPad användas med framgång?ordmoln
  • När kan en iPad ersätta en bärbar dator?
  • Ökar användandet av iPads elevernas motivation till att lära?

Resultaten kan sammanfattas som att en iPad kan ersätta en dator i de flesta situationer utom möjligen ordbehandling. Vidare är det viktigt att framhålla att iPaden kan komplettera datorn i många sammanhang. Lärare och framför allt äldre elever jobbar gärna med de två enheterna parallellt. I vissa avseenden överträffar iPaden datorn. Det gäller i första hand batteritid, vikt och inloggningshastighet men även att den kombinerar möjligheten att surfa, ta foton, spela in ljud och rörlig bild.

Vidare svarar nio av tio lärare att med iPads är det lättare att motivera eleverna i skolarbetet.

Du hittar hela rapporten här.

Genomlysning av Falkenberg

Veckans nyhet är att jag tillsammans med kollegan Øystein Johannessen har fått i uppdrag att göra en genomlysning av Falkenbergs grundskolor. Uppdraget innebär att göra en oberoende värdering av var kommunen står idag ifråga om sin skolsatsning, kallad “Alla ska lyckas”. Efter dokumentstudier nu i sommar börjar arbetet på fältet i augusti. Vi kommer att göra gruppintervjuer med lärare och individuella intervjuer med rektorer och beslutsfattare. Slutrapporten ska vara klar i oktober.

Även om vårt uppdrag inte begränsas till IT-frågorna så förtjänar det att påminna om att Falkenberg var ett av landets första kommuner att göra en stor 1:1 satsning.

Här hittar du videon om Falkenbergs skolsatsning Alla ska lyckas

Computer Sweden om iPads i Stockholm

I dagens Computer Sweden intervjuas Håkan Edman, grundskoledirektör i Stockholm, om stadens iPad-projekt. Håkan har läst en preliminär version av min utvärdering. Han lyfter fram motivationsfaktorn, att lärarnas dokumentation för bedömning blir mer varierad och några rent praktiska aspekter, som vikt, snabbhet och batteritid.

Den som är intresserad av mer detaljer från utvärderingen välkomnas till min föredragning på SETT-mässan, nu på torsdag 18 april, kl 15:15.

Stockholmssatsning på iPad stor men inte störst

Som framgår av kommentar från Ove Lidström, Apple, till min förra bloggpost är satsningen i Stockholm på iPads i skolan inte den största. Det visade sig snabbt att frågetecknet i rubriken var motiverat. Ove skriver att det finns flera satsningar som är av samma dignitet eller större. Tack Ove för informationen.

Man kan bara hoppas att andra myndigheter (utöver Stockholms stad) också tänker på vikten av att följa upp och utvärdera sina satsningar – hur ska vi annars kunna bygga någon kunskap om vad som fungerar och inte? Om alla som lägger mångmiljonbelopp på att köpa hårdvara åtminstone avsatte 2-3 procent av dessa belopp till utvärderingar, så skulle vi snart ha betydligt bättre kunskap.

Utvärdering påbörjad av världens största(?) iPad-satsning

Under våren 2012 påbörjade utbildningsförvaltningen i Stockholm ett projekt med iPads i skolan. Hittills har 13 skolor fått dela på totalt 2 300 iPads till en kostnad om ca 10 miljoner kronor. Jag har fått i uppdrag att utvärdera satsningen som smög igång i våras men tar full fart nu under läsåret 2012/13. I fredags träffades för första gången samtliga 13 skolor.

Vid en första genomgång av existerande utvärderingar på nätet har jag hittat 10-15 utvärderingsstudier, men inget projekt eller satsning i samma storleksordning som Stockholms. Vanligen är det betydligt mindre projekt som utvärderas, se t.ex. härhär och här. För någon vecka sedan har Utbildningsnämnden beslutat att satsa ytterligare ca 7 miljoner på fler iPads. Det gör sannolikt Stockholms satsning till den största i världen just nu.

Skolorna har själva fått ansöka om att medverka i satsningen och motivera vad de vill göra. Som framgår av listan här nedanför innehåller de 13 första skolornas förslag ett brett spektrum av projekt:

  • Särskoleverksamhet (Ärvingeskolan)
  • Flipped classroom (Ross Tensta gymnasium och Norra Real i samverkan)
  • Individualiserad undervisning (Sjöängsskolan)
  • Elever i behov av särskilt stöd (Flera skolor)
  • Appar för förskola och fritidshemsverksamhet (Barn- och fritidsprogrammet på Farsta gymnasium)
  • Stöd för hemspråk (Ärvingeskolan)
  • Att skriva sig till läsning (Skarpabyskolan, Husbygårdsskolan)
  • Stöd för nyanlända elever (Husbygårdsskolan)
  • Miljöperspektivet (Johannes skola)
  • Stöd för elever gällande dokumentation av det dagliga arbetet (Vinstaskolan)
  • Öka elevernas motivation (Höglandsskolan, Husbygårdsskolan)
  • Ämnesövergripande och projektinriktat arbetssätt samt tillgång till it-stöd för alla elever. (Brännkyrka gymnasium)
  • Musikundervisning (Elinsborgsskolan)

Både grundskolor och gymnasieskolor är inblandade. Utvärderingen ska svara på tre grundläggande frågor:

  1. I vilka lärsituationer kan iPad användas med framgång?
  2. När kan en iPad ersätta en bärbar dator?
  3. Kan iPads öka elevernas motivation att lära?

Det är med andra ord inte en neutral utvärdering utan den utgår från den situation som Stockholms skolor befinner sig i. Utvärderingen pågår fram till juni 2013. Det känns spännande att få vara med i denna unika satsning.

iTECs första cykel avslutad och utvärderad

Det stora europeiska projektet iTEC, som jag skrivit om tidigare har nyligen avslutat den första av fem 18-månaders cykler. En cykel innebär design, testning, genomförande och utvärdering av ett antal lärscenarier eller “learning stories”.

I denna första cykel har två sådana learning stories testats och 276 lärare från 17 länder har deltagit i utvärderingen. De lärare som deltar är utvalda för att vara intresserade och IT-mogna. Men även i denna grupp som sannolikt är mer kräsen än genomsnittsläraren var majoriteten av lärarna positiva till dessa learning stories. De ansåg att de ledde till en ökad användning av digitala verktyg i undervisningen och nya spännande lärmetoder. Den ena lärhistorien handlade om att klassen går ut i naturen och använder olika digitala verktyg för att samla data som sedan bearbetas och analsyeras i klassrummet. I den andra historien ska eleverna kommunicera med en extern expert för att lösa några problem. Vissa lärare genomförde en av historien, andra båda och omkring 75 lärare kombinerade ihop dem till en gemensam övning. En majoritet svarar att de sannolikt kommer att använda dessa lerning stories igen i framtiden.

Ett viktigt påpekande är dock att nästan hälften av de lärare som svarat på utvärderingen kommer från två länder – Litauen och Ungern. Trots att man med statistiska metoder försökt motverka denna snedvridning innebär obalansen att resultaten måste tas med en rejäl nypa salt. Men de inledande resultaten är trots allt positiva och med tiden kommer betydligt säkrare resultat att kunna levereras.

Här ett nyhetsbrev där man kan läsa mer.