Ministerns miss: Nyanlända saknas i ännu en skolstudie

Nyanlända saknas i ännu en skolstudie: ”Systematiskt gömmer undan brister”
Utbildningsminister Anna Ekström.
Foto: HENRIK MONTGOMERY/TT / TT NYHETSBYRÅN

När Riksrevisionen i våras slog fast att Sverige inte följde reglerna i den senaste PISA-studien sa utbildningsminister Anna Ekström att vi nu får luta oss mer mot andra internationella skolstudier för kunskapsläget hos utrikes födda elever.

Men Expressen kan nu visa på allvarliga brister som sannolikt påverkat resultaten för utrikes födda även i  PIRLS – den enda studien utöver PISA som mäter läsförståelse.

– Det verkar som att man systematiskt gömmer undan brister i de här studierna och låtsas som att utvecklingen är betydligt bättre än vad den faktiskt är, säger Magnus Henrekson, professor i nationalekonomi.

Anna Ekström vägrar att ställa upp på en intervju om Expressens uppgifter.

Sverige bröt mot reglerna i den senaste PISA-undersökningen genom att felaktigt undanta en stor andel utrikes födda elever, i strid med det officiella regelverket, avslöjade Expressen i juni 2020. 

I april i år släppte Riksrevisionen en kritisk PISA-granskning som gav Expressen rätt – och som samtidigt kritiserade både Skolverket och regeringen för att inte ha gjort några seriösa ansträngningar att undersöka felen.

Skandalen ledde till avgångskrav

Expressen avslöjade i maj innehållet i två interna promemorior från Utbildningsdepartementet, som visade att utbildningsminister Anna Ekströms egna tjänstemän tidigt larmade om att för många elever sannolikt exkluderats – undantagits – ur PISA-studien.


Trots att Ekström själv beställde och tog del av den första promemorian så uppgav hon senare i ett skriftligt svar till riksdagen att hon ”inte haft några uppgifter som skulle antyda att elever exkluderats på felaktiga grunder”.


Strax efter att innehållet i promemoriorna avslöjades meddelade riksdagens konstitutionsutskott att den redan pågående granskningen av Ekströms agerande kring PISA-skandalen utvidgas.


Ärendet kommer sannolikt att redovisas i vårens granskningsbetänkande, uppger KU för Expressen.


PISA-skandalen ledde till utbredda avgångskrav mot både Ekström och Skolverkets generaldirektör Peter Fredriksson. Ekström sa på en presskonferens i slutet av april att hon ”i nuläget” har förtroende för generaldirektören.


Regeringen har gett Skolverket i uppdrag att förstärka sina insatser kring genomförandet av kommande PISA-studier.

Bara timmar efter att Riksrevisionens rapport publicerades höll utbildningsminister Anna Ekström (S) en presskonferens om den misslyckade PISA-studien.

Hon inledde med en lång genomgång av Sveriges resultatutveckling i de andra internationella skolmätningarna, och framhöll den positiva trenden i dessa studier.

– Det finns fortfarande frågetecken kring PISA 2018, och det duger inte, sa Ekström då.

– Det gör att vi i högre utsträckning behöver luta oss mot andra internationella kunskapsstudier, som TIMSS och PIRLS, och mindre mot PISA 2018, vad gäller just utrikes födda elevers kunskapsresultat.

Allvarliga brister i studie

Expressen har granskat Sveriges deltagande i de två internationella skolstudier som utbildningsministern hänvisade till: PIRLS 2016 och TIMSS 2019. Personer på Skolverket som var ansvariga för den misslyckade PISA-undersökningen har varit delaktiga i genomförandet av båda studierna.

Granskningen i korthet

När Riksrevisionen slog fast att Sverige inte följde reglerna i PISA hänvisade utbildningsminister Anna Ekström till två andra internationella skolstudier, PIRLS och TIMSS, rörande kunskapsläget för de utrikes födda eleverna.


Men Expressens granskning visar att mer en tredjedel av de utrikes födda eleverna saknades i den senaste PIRLS-undersökningen – den enda av studierna som mäter läsförståelse – och att detta sannolikt påverkade gruppens resultat till det bättre.


I TIMSS 2019, som mäter kunskaper i matematik och naturvetenskap, undantog Sverige sannolikt fler utrikes födda elever än tidigare – och det råder samtidigt förvirring om vilka utrikes födda elever som fick exkluderas.

I PIRLS – den enda av de två studierna som mäter läsförståelse – finns allvarliga brister som sannolikt förbättrat de utrikes födda elevernas resultat, visar Expressens granskning.

– Det verkar som att man systematiskt gömmer undan brister i de här studierna och låtsas som att utvecklingen är betydligt bättre än vad den faktiskt är, främst för den här gruppen elever som är födda utomlands, säger Magnus Henrekson, professor i nationalekonomi vid Institutet för näringslivsforskning, IFN.

Magnus Henrekson, professor i nationalekonomi.
Foto: Cecilia Anderberg

Inga-Britt Ahlenius, tidigare chef för FN:s interngranskning och Riksrevisionsverket, har också fått ta del av Expressens underlag inför publiceringen. Hon uttalade sig även i samband med Expressens granskningar av Sveriges PISA-resultat.

– Jag är av uppfattningen att svenska myndigheter generellt är professionella och kompetenta. Men detta är inte bara slarv, det är inkompetens, eller att man tar för lätt på sin uppgift, säger Inga-Britt Ahlenius.

”Detta är inte bara slarv, det är inkompetens”, säger Inga-Britt Ahlenius.
Foto: Amir Nabizadeh/TT / TT NYHETSBYRÅN

I sin officiella rapport för PIRLS 2016, som mäter läsförståelse bland fjärdeklassare, redovisar Skolverket inte hur stor andel av eleverna som exkluderats – undantagits från att delta.

Tre skäl att elever exkluderas

Exkluderingar utgörs av de elever som slumpas fram att delta i studien, men som sedan undantas från att delta. I PIRLS och TIMSS, precis som i PISA, får elever exkluderas av tre olika skäl:

– Fysisk funktionsnedsättning.


– Kognitiv funktionsnedsättning.


– Bristande språkkunskaper hos nyinvandrade elever som fått undervisning i språket i mindre än ett år.


Det är skolorna som själva avgör vilka elever som ska exkluderas, utifrån instruktioner från Skolverket.


Bortfall utgörs av de elever som valts ut att delta i studien och som inte exkluderas, men som av någon anledning inte dyker upp vid provtillfället.

Men långt ner i rapporten, i en fotnot på sidan 35, framgår att det saknas en stor andel utrikes födda elever i urvalet. Skolverket skriver att sju procent av eleverna som deltog i studien var utrikes födda, men att dessa elever enligt SCB borde utgjort elva procent för att urvalet skulle vara representativt för Sveriges fjärdeklassare. 

Mer än en tredjedel av de utrikes födda eleverna har alltså sannolikt antingen gallrats bort felaktigt – som i PISA – eller bara inte dykt upp vid provtillfället (en annan delförklaring skulle kunna vara att för få utrikes födda elever har slumpats fram).

I nästa mening konstaterar Skolverket att ”påverkan på Sveriges genomsnittliga resultat på grund av denna underskattning av andelen utlandsfödda är dock försumbar”. Ingen uträkning eller vidare motivering till detta konstaterande finns med i rapporten.

På nästa sida finns dock en annan fotnot om de försvunna utrikes födda eleverna:

”Enligt fotnot 5 påverkas inte Sveriges genomsnittliga resultat av att andelen utlandsfödda underskattas. Dock kan det genomsnittliga resultatet för denna elevgrupp påverkas.”

Inte heller denna gång finns någon uträkning som visar hur resultaten kan ha påverkats.

”Mycket som talar för att det inte är ett sammanträffande”

Expressen har med hjälp av Magnus Henrekson, professor i nationalekonomi, räknat om Sveriges resultat i PIRLS 2016 utifrån två olika antaganden om hur de försvunna utrikes födda eleverna skulle ha presterat om de hade deltagit i studien.

I det mer generösa scenariot sjunker Sveriges PIRLS-resultat med en poäng, från 555 till 554 poäng. I det andra scenariot sjunker Sveriges resultat med sex poäng till 549 poäng. Den förändringen motsvarar nästan halva Sveriges uppgång sedan förra provtillfället.

– Även det antagandet kan vara för generöst, om man utgår från att många elever kan ha undantagits för att de inte behärskar språket, säger Magnus Henrekson.


* Så har vi räknat

Expressens beräkningar bygger, precis som med PISA, på antaganden om hur de saknade eleverna skulle presterat om de hade deltagit. 


I det mer generösa scenariot, där Sveriges resultat sjunker med en poäng, har vi utgått från att de saknade eleverna skulle presterat som de utrikes födda eleverna som deltog presterade i genomsnitt.


I det mindre generösa scenariot, där Sveriges resultat sjunker med sex poäng, har vi utgått från att de saknade eleverna skulle presterat som den 5:e percentilen av de utrikes födda eleverna som deltog. Den 5:e percentilen motsvarar det betyg som fem procent av eleverna presterade sämre än och som 95 procent presterade bättre än.

I båda scenarierna hamnar Sveriges omräknade resultat inom den statistiska felmarginalen, så sannolikt har de försvunna utrikes födda eleverna inte haft någon avgörande betydelse för Sveriges genomsnittliga resultat i PIRLS 2016. Men när det gäller resultaten för de utrikes födda eleverna är skillnaderna betydligt större.

De utrikes födda eleverna var den grupp som förbättrade sina resultat mest mellan PIRLS 2011 och 2016. För första gången sedan PIRLS började genomföras 2001 så presterade utrikes födda elever ett högre genomsnitt än svenskfödda elever med två utrikes födda föräldrar (om man väger in statistiska felmarginaler har de två grupperna samma resultat).

Detta antyder att de mest svagpresterande utrikes födda eleverna inte deltog, menar Magnus Henrekson:

– Vi saknar mer än en tredjedel av de här eleverna samtidigt som denna grupp plötsligt presterar lika bra som eller bättre än svenskfödda elever med utländska föräldrar, det finns mycket som talar för att detta inte är ett sammanträffande, att det beror på att en stor del av de svagaste utrikes födda eleverna har varit frånvarande vid provtillfället, säger Henrekson.

Expressen har även räknat om det genomsnittliga PIRLS-resultatet för Sveriges utrikes födda elever – det resultat som Skolverket själva skriver kan ha påverkats.

https://datawrapper.dwcdn.net/7tvBI/2/

Om de försvunna eleverna skulle presterat på nivå med de utrikes födda eleverna som fick de allra sämsta resultaten – den 5:e percentilen – skulle hela gruppens resultat sjunka med 47 PIRLS-poäng, från 528 till 481 poäng. (Den 5:e percentilen motsvarar det betyg som 5 procent av gruppen ligger under och 95 procent av gruppen ligger över.)

Om de försvunna eleverna i stället skulle presterat betydligt bättre – som den 25:e percentilen av de utrikes födda eleverna – så skulle gruppens resultat sjunka med 20 PIRLS-poäng, från 528 till 508 poäng. 508 poäng skulle innebära samma nivå som år 2011 – det sämsta resultatet som noterats för de utrikes födda eleverna i Sverige sedan provet började genomföras 2001.

Utbildningsminister Anna Ekström (S).
Foto: SVEN LINDWALL

Skolverket: ”Ingen ska tro att vi mörkar något”

John Jerrim, professor i utbildning och demografi vid UCL Institute of Education i London, har länge studerat de internationella kunskapsmätningarna. När Riksrevisionen gjorde sin PISA-granskning tidigare i år konsulterades Jerrim. Att man saknar mer än en tredjedel av de utrikes födda eleverna i PIRLS 2016 är problematiskt, menar han:

– Det är en ganska stor andel. Det är ett slumpmässigt urval, så det kan röra sig om otur när man har gjort urvalet, men om man bortser från anledningen till felet så kan ni mycket väl ha en snedvriden uppfattning om de utrikes födda eleverna i Sverige utifrån den här datan, säger John Jerrim.

Invändningar från Skolverket

Skolverket har fått ta del av Expressens underlag och beräkningar inför publiceringen. De skriver i en skriftlig kommentar att uppgifterna som framkommer i fotnoter i deras egen rapport, om att det saknas utrikes födda elever i PIRLS-urvalet, delvis bygger på felaktiga antaganden.


Underrepresentatativiteten för utrikes födda elever var lägre än fyra procentenheter, skriver Skolverket. Även i deras nya uträkningar saknas en betydande del av de utrikes födda eleverna i PIRLS-urvalet.


Skolverket skriver i sitt svar att det är osannolikt att underrepresentativiteten beror på felaktiga exkluderingar:

”Mer sannolikt är att den beror på slumpen i urvalet samt att utlandsfödda elever kan vara överrepresenterade i bortfallet”, skriver Skolverket.


Skolverket skriver också att det är svårt att utifrån internationella studier dra slutsatser om kunskapsutvecklingen för mindre grupper, exempelvis de utrikes födda eleverna, eftersom urvalet är litet.

Skolverkets generaldirektör Peter Fredriksson har fått ta del av Expressens underlag inför publiceringen. PIRLS genomfördes 2016, innan han tillträdde som generaldirektör.

Det har aldrig varit nån tanke från Skolverkets sida att mörka någonting

Varför redovisar man så här stora avvikelser i fotnoter i rapporterna? Varför säger man inte på ett tydligt sätt att det saknas en stor andel utrikes födda elever?

– Jag har dragit den slutsatsen att vi behöver mycket tydligare redovisa sådant som representativitet, bortfall, exkluderingar, eftersom det har blivit frågor för massmedia att gräva i och för politiken att vara i. Det som du lyfter här nu, som tidigare har hamnat i fotnoter, det behöver vi ju lyfta in både i rapporter och i vår kommunikation, för att ingen ska tro att vi mörkar något, eller inte vill synliggöra svårigheter eller brister i de här studierna, säger Peter Fredriksson.

Skolverkets generaldirektör Peter Fredriksson medger att man vet mycket lite om kunskapsläget hos de utrikes födda eleverna i svensk skola.
Foto: Janerik Henriksson/TT / TT NYHETSBYRÅN

Är det inte så att ni faktiskt gör det då, att ni undanhåller vissa saker som inte skulle se så bra ut?

– Alltså gör vi det så är det i alla fall inte medvetet, det har aldrig varit nån tanke från Skolverkets sida att mörka någonting.

Fredriksson medger att man vet mycket lite om kunskapsläget hos de utrikes födda eleverna i svensk skola.

– Ja, utifrån ett kvalitativt perspektiv så skulle jag ge dig rätt här, att vi inte vet det vi skulle behöva veta. Vi vet ju hur deras betyg ser ut och vi vet ju hur behörighet och så ser ut, men när vi kommer till frågan om hur deras lärande utvecklas så vet vi ju inte så mycket. Och det är därför de internationella studierna är bra att ha, men de säger ju framför allt någonting om resultaten på totalen (genomsnittet för alla elever, reds anm).

Efter att Peter Fredriksson fått läsa sina citat återkommer han och vill lägga till följande kommentar:

”Både exkluderingsandel och bortfall i PIRLS är lågt och utgör inte någon betydande andel i studien. Vi ser alltså inte att det är något stort problem med detta. Underrepresentativiteten av utlandsfödda på några procent har sannolikt att göra med att urvalet av skolor och elever inte perfekt speglar verkligheten.”

”Den eleven ska vara en del av provet”

Expressen har också undersökt TIMSS, som mäter fjärde- och åttondeklassares kunskaper i matematik och naturvetenskap – den andra internationella skolstudien som utbildningsminister Anna Ekström hänvisade till under PISA-skandalen.

I TIMSS 2019 tillhörde Sverige de länder som exkluderade fler än fem procent av eleverna, vilket är maxgränsen uppsatt av IEA, som ansvarar för studien. Bortfallet i årskurs åtta hade samtidigt ökat väsentligt sedan det förra provtillfället.

Denna gång redovisas exkluderingsgraden i Skolverkets rapport, där även något annat framgår: precis som i PISA har Skolverket i sina analyser utgått från att skolorna får exkludera – undanta – nyanlända elever som gått i svensk skola i flera år.

När Expressen frågar Skolverket om detta uppger de i ett skriftligt svar att det inte finns någon tydlig gräns för vilka nyanlända elever som får exkluderas i IEA:s studier TIMSS och PIRLS.

Men Pierre Foy, ansvarig för urval och dataanalys i TIMSS och PIRLS på IEA, säger till Expressen att man i TIMSS inte får exkludera elever som varit i landets skolsystem i mer än ett år:

– Ur mitt perspektiv så ska den eleven vara del av provet. Det borde vara tydligt, säger Pierre Foy.

Den övre gränsen är ett år?

– Ja.

Pierre Foy, ansvarig för urval och dataanalys i TIMSS och PIRLS på IEA.
Foto: Boston College

Skolverket skriver i sin rapport att elever som varit i skolsystemet i flera år ändå kan exkluderas på grund av bristande språkkunskaper. Så detta är inte korrekt?

– Alltså, om en elev fortfarande har utmaningar i skolsystemet efter 2,5-3 år, jag skulle inte tro att det beror på språkkunskaper, utan sannolikt någon annan typ av funktionsnedsättning.

Så regelverket är tydligt på denna punkt?

– Jag skulle tycka det.

Och om jag förstår det rätt så är det dig man ska fråga om detta?

– Ja.

Expressen har även tagit del av Skolverkets egen TIMSS-manual till skolsamordnarna, som sköter exkluderingarna på skolorna. Där står följande om vilka nyinvandrade elever som får exkluderas:

”Elever som fått mindre än ett års undervisning i svenska vid provtillfället kan undantas. Detta är elever som inte kan läsa eller tala svenska och som inte skulle kunna övervinna språkbarriären i provsituationen.”

Jag har inte pressats av någon att säga någonting

När Expressen frågar Skolverket om formuleringen uppger de i ett skriftligt svar att tidsgränsen på ett år är ”ett exempel” på vem som får undantas, och ingen tydlig gräns.

När Expressen berättar för Skolverket vad Pierre Foy på IEA har sagt, ber de att få återkomma. En dag senare meddelar de att IEA har sagt att det inte finns någon gräns för vilka elever som får undantas.

När Expressen då dubbelkollar informationen med Pierre Foy på IEA, ändrar han sitt svar till att det är upp till respektive land att tolka och tillämpa reglerna. På frågan varför han ändrat sig skriver Pierre Foy att hans nya svar är ”en koncis formulering av vad jag förklarade över telefon” och att han ”inte har något ytterligare att tillägga”.

Anna Ekströms svar på mejl

Professor Magnus Henrekson menar att Skolverkets hantering av de internationella studierna i slutänden drabbar de utrikes födda eleverna i svensk skola:

– Resultatet av dessa upprepade misstag är att vi inte får reda på hur det går för de allra svagaste eleverna, som är i störst behov av stöd, säger Henrekson.

Inga-Britt Ahlenius tycker att Skolverket borde fråntas ansvaret för samtliga internationella kunskapsmätningar:

– Skolverket bör överhuvudtaget inte sköta de här undersökningarna, utan man bör lägga dem på en oberoende part som inte har något eget intresse i resultatet, som till exempel ett universitet.

Utbildningsminister Anna Ekström har fått ta del av Expressens underlag inför publiceringen och därefter tackat nej till en intervju. Expressen har under en veckas tid vid upprepade tillfällen sökt ministern för en intervju eller kommentar, men hennes pressekreterare Anja L Sundberg skriver i ett sms att ”Anna Ekström tackar nej till intervju”.

Efter att granskningen publicerats hör utbildningsministerns pressekreterare Anja L Sundberg av sig med en skriftlig kommentar och begär att Expressen ska ta bort skrivelsen tidigare i artikeln om att ministern ”vägrar svara” på frågor. 

Den skriftliga kommentaren besvarar dock inte någon av de frågor som Expressen har ställt till Anna Ekström:

”För regeringen är det ytterst viktigt att den kunskap som vi får från de internationella mätningarna är korrekt, att resultaten är jämförbara över tid, och självklart att studierna genomförs i enlighet med gällande regelverk och riktlinjer. Skillnaden i den generella exkluderingsgraden i dessa undersökningar jämfört med tidigare år är liten, och som Expressens egna beräkningar visar står sig resultaten och vi ser att svensk skola presterar allt bättre”.

Som tydligt framgår av Expressens artikel så handlar bristerna i PIRLS 2016 inte nödvändigtvis om att elever exkluderats (för många elever kan också varit frånvarande, exempelvis), utan om att en tredjedel av de utrikes födda eleverna saknas i studien. Under PISA-skandalen hänvisade Anna Ekström själv till PIRLS rörande de utrikes födda elevernas kunskapsresultat. Hon kommenterar fortsatt inte det faktum att PIRLS inte är tillförlitlig i detta avseende.


UR ARKIVET: Regeringen och Skolverket får mycket hård kritik av Riksrevisionen för hanteringen av den senaste kunskapsmätningen Pisa.

◼︎◼︎ Detta är en nyhetsartikel. Expressen granskar, avslöjar och ger dig de senaste nyheterna på ett objektivt och sakligt sätt. Mer om oss här.