Utlandsfödda elever plockades bort i resultaten

Sveriges PISA-framgång bygger på falska siffror

De senaste PISA-resultaten visade på en uppgång för svenska elever.

Expressen kan nu avslöja hur en stor mängd utrikesfödda elever felaktigt plockats bort ur PISA-urvalet – och att Sverige därigenom brutit mot OECD:s officiella regelverk. Siffrorna antyder dessutom att även svenskfödda elever med svaga språkkunskaper plockats bort.

Om reglerna hade följts skulle de svenska resultaten ha varit betydligt sämre och Sverige skulle sannolikt ha backat i samtliga tre ämnen jämfört med förra provtillfället.

– Här verkar finnas grava metodfel som systematiskt förbättrat genomsnittet. Sedan har Skolverket använt detta uppumpade genomsnitt för att ge en alltför positiv bild av hur den svenska skolan utvecklats, säger Magnus Henrekson, professor i nationalekonomi som forskat på den svenska skolans utveckling.

Publicerad 2 jun 2020 kl 16.06

När PISA-resultaten presenterades i december 2019 kallade utbildningsminister Anna Ekström det för ”en glädjens dag”.

– Det här är ett styrkebesked, svensk skola står stark, sa Ekström då.

Svenska 15-åringar presterade bättre än vid det förra provtillfället i samtliga tre ämnen – läsförståelse, matematik och naturvetenskap – och klättrade mot toppen på den internationella rankingen.

Samtidigt höjdes kritiska röster mot att Sverige hade den högsta så kallade ”exkluderingsgraden” i hela världen. Efter att man lottat fram vilka som skulle skriva provet så var det elva procent av eleverna som plockades bort från urvalet, antingen på grund av funktionsnedsättning eller för att de var nyanlända med för dåliga språkkunskaper för att kunna delta.

Expressen kan nu visa hur en stor mängd utländska elever felaktigt gallrats bort från att skriva provet, i strid med OECD:s regler. Och att Skolverket har gjort allvarliga felberäkningar i sitt försök att kartlägga felets omfattning.

Enligt regelverket, som alla deltagande länder måste följa, får man endast undanta nyanlända elever som fått undervisning i svenska i mindre än ett år. De elever som fått undervisning i svenska i ett år eller mer ska skriva provet.

undefined

I december 2019 var Anna Ekström mycket nöjd med Sveriges PISA-resultat: ”Ett styrkebesked”. Foto: Sven Lindwall

undefined

Ulrika Mattsson, rektor på Palmbladsskolan i Uppsala, har plockat bort nyanlända elever som fått undervisning i svenska mer än ett år. Syftet har varit att sätta elevens bästa i centrum. Foto: Cecilia Anderberg

”Vi måste sätta eleven i centrum”

Vilka skolor som deltar i PISA är sekretessbelagt av Skolverket, men Expressen lyckas hitta några av dem i alla fall.

De tre rektorer vi talar med, som alla ansvarat för rapporteringen till Skolverket i samband med provet, ger helt olika svar på frågan hur lång tid en nyanländ elev ska ha fått undervisning i svenska för att behöva delta i PISA. En rektor säger att de drar gränsen vid två år, med hänvisning till kommunens definition av vem som är nyanländ. En annan rektor säger först på telefon att man gallrat fler än de som fått undervisning i högst ett år, men ändrar sig sedan i ett skriftligt svar och uppger att skolan följt reglerna.

Ulrika Mattsson, rektor på Palmbladsskolan i Uppsala, bekräftar att hennes skola brutit mot OECD:s regler och plockat bort nyanlända elever som fått undervisning i svenska i mer än ett år.

Om en elev inte bör skriva provet för att den skulle må dåligt – jag kan inte låta den eleven skriva provet då.

– Det handlar om de elever som kommit till oss som haft lite eller ingen skolgång med sig sedan tidigare, säger Ulrika Mattsson.

– Vi har inte dragit någon generell gräns på 12 eller 14 månader, utan det har varit från fall till fall. Och när det har varit tveksamheter så är det elevens bästa som vi satt i centrum. Hur blir det för eleven att skriva provet? Och då har vi ju elevhälsopersonal som kan vara inkopplad och hjälpa till att besluta.

Ser du något problem med att man har gjort så här?

– Jag tänker att det som skulle kunna vara ett problem är om man tänker att resultatet skulle ha blivit annorlunda. Statistiskt sett kanske det blir en skillnad, men det vet vi ju inte.

Så varför göra så om det kan förstöra resultatet?

– Jag tänker att vi alltid måste sätta eleven i centrum. Det är elevens bästa som måste gå först. Om en elev inte bör skriva provet för att den skulle må dåligt – vi kanske sänker den helt och hållet – jag kan inte låta den eleven skriva provet då, säger Ulrika Mattsson.

Detta är Pisa – och så går urvalet till

PISA är en internationell studie som genomförs i länder över hela världen och som mäter 15-åringars läsförståelse och kunskaper i matematik och naturvetenskap. Provet har genomförts vart tredje år sedan år 2000.

 

Först rapporterar varje deltagande land sitt totala antal 15-åringar och hur många av dessa som går i årskurs 7 eller högre. Av denna grupp lottas ett representativt urval elever fram att delta i PISA. Först lottas ett antal skolor fram, därefter ett antal i elever i varje skola.

 

Varje skola meddelar sedan till landets ansvariga myndighet (Skolverket i Sverige) vilka elever som ska sorteras bort, för att de av olika anledningar inte anses kunna genomföra provet. Dessa elever räknas som ”exkluderade”. De elever som valts ut att skriva provet men som av olika anledningar inte dyker upp vid provtillfället räknas i stället som ”bortfall”.

 

Efter provtillfället rapporterar skolorna de deltagande elevernas resultat till den ansvariga myndigheten, som sedan sammanställer resultaten och skickar dem vidare till OECD.

Resultaten används sedan i både internationella jämförelser och för att mäta den egna skolans utveckling över tid.)

– Om en elev inte bör skriva provet för att den skulle må dåligt – vi kanske sänker den helt och hållet – jag kan inte låta den eleven skriva provet då, säger Ulrika Mattsson, rektor på Palmbladsskolan i Uppsala.

Foto: Cecilia Anderberg

Palmbladsskolan i Uppsala.

Foto: Cecilia Anderberg

”Det här är oerhört allvarligt”

Expressen har sammanställt statistik från Skolverket, Migrationsverket och SCB och tagit hjälp av professor Magnus Henrekson vid Institutet för Näringslivsforskning för att analysera den. Vi kan därigenom visa hur de svenska PISA-resultaten sannolikt skulle ha sett ut om reglerna följts.

– Det här är oerhört allvarligt, särskilt som PISA-resultaten i praktiken kommit att användas som ett mått både på hur den svenska skolan står sig i jämförelse med andra länder och hur den utvecklas över tid, säger Magnus Henrekson.

 

undefined

Enligt Magnus Henrekson, professor i nationalekonomi, är det allvarligt att en stor mängd elever med utländsk bakgrund felaktigt plockats bort ur PISA-urvalet. Foto: Cecilia Anderberg

Expressens beräkningar visar att de svenska resultaten i läsförståelse skulle varit som minst mellan 5 och 13 poäng lägre om Sverige följt OECD:s regelverk. Detta eftersom en stor grupp utrikes födda elever, som skulle ha presterat långt sämre än genomsnittet, plockats bort ur PISA-urvalet på felaktiga grunder.

Fem poäng i läsförståelse motsvarar nästan hela Sveriges uppgång sedan PISA 2015. 13 poäng lägre resultat hade inneburit en tydlig nedgång jämfört med förra provtillfället samt ett ras på över tio placeringar i den internationella rankningen i PISA 2018.

– Min bedömning är att även en nedgång på 13 poäng kan vara för lågt räknat, då detta bygger på ett antagande att de som exkluderats skulle ha klarat sig hyggligt väl i genomsnitt, säger Magnus Henrekson.

Även i de andra två ämnena, matematik och naturvetenskap, skulle de svenska resultaten varit betydligt sämre om reglerna hade följts – och sannolikt visat på en nedgång jämfört med förra provtillfället.

Skolverket har misstänkt felaktigheter

Skolverket bekräftar att man på myndigheten misstänkt att det skett felaktig bortgallring av utländska elever, vilket kan ha lett till ett för högt svenskt resultat 2018.

Men i sina försök att kartlägga felet har Skolverket gjort allvarliga felberäkningar och gravt underskattat problemets omfattning, visar Expressens granskning.

– Här verkar finnas grava metodfel som systematiskt förbättrat genomsnittet. Sedan har Skolverket använt detta uppumpade genomsnitt för att ge en alltför positiv bild av hur den svenska skolan utvecklats, säger Magnus Henrekson.

Sedan den första PISA-studien genomfördes år 2000 har urvalsreglerna, som alla deltagande länder måste följa, varit oförändrade. Detta för att resultaten ska vara direkt jämförbara, både över tid och olika länder emellan.

För att bestämma vilka elever som ska skriva provet utgår man först från ett lands samtliga 15-åringar i årskurs 7 eller högre. Av dessa lottas ett mindre urval fram.

Enligt OECD:s regler får man exkludera – plocka bort – utvalda elever av tre olika skäl:

   Kognitiv funktionsnedsättning

   Fysisk funktionsnedsättning

   Bristande språkkunskaper hos nyanlända (som fått undervisning i svenska i mindre än ett år)

Detta kallas för individuell exkludering – enskilda elever som först blivit lottade att skriva provet, men som sedan undantas från att delta.

undefined

Foto: Anna-Karin Nilsson

I PISA 2018 plockade Sverige bort flest elever av alla deltagande länder i hela världen. Av de 15-åringar som lottades fram var det elva procent som sorterades bort (ungefär tio procent genom individuell exkludering och en procent genom exkludering av hela skolor – vilket i Sveriges fall skett när antingen grundsärskolor eller specialskolor lottats fram).

Skolverket säger själva att den stora andelen exkluderade i PISA 2018 med största sannolikhet beror på Sveriges stora flyktingmottagande de senaste åren – alltså den tredje grunden för exkludering: bristande språkkunskaper hos nyanlända.

I den officiella PISA-rapporten skriver Skolverket att det finns ”goda skäl att tro att den ökade graden av exkludering mellan 2015 och 2018 i huvudsak beror på en ökad andel elever med begränsad erfarenhet av svenska språket”.

Exakt hur många elever som plockades bort för att de var nyanlända går inte att veta, eftersom Sverige valt att inte redovisa hur många elever som exkluderats på grund av funktionshinder respektive bristande språkkunskaper. Sverige och Italien var de enda länderna i hela PISA-studien 2018 som valde att inte särredovisa grupperna.

– Vi har ingen anledning att tro att varken elever som har kognitiva eller fysiska funktionsnedsättningar har ökat jättemycket, även om det kan variera, säger Maria Axelsson, projektmedarbetare i PISA 2018 på Skolverket, med ansvar för myndighetens kontakt med skolorna.

– Då är ju resten elever som exkluderats på grund av språk. Det är ju det vi har försökt hävda.

Enligt OECD:s officiella regelverk för PISA 2018 fick inget land exkludera mer än fem procent av eleverna. Sverige, som exkluderade elva procent, fick dispens från reglerna med anledning av den stora invandringen de senaste åren.

undefined

Grafik: Helen Rasmusen

I samtliga räkneexempel har Expressen utgått från att Sverige har sorterat bort lika stor andel elever med funktionshinder 2018 som man gjorde 2015 – då Skolverket fortfarande särredovisade exkluderingsskälen. Då plockades 2,5 procent av de utvalda eleverna bort på grund av funktionshinder.

Om den andelen var oförändrad 2018 betyder det att över 7 procent av eleverna i PISA 2018 plockades bort på grund av bristande språkkunskaper.

I OECD:s regelverk, som alla deltagande länder måste följa, står det att man endast får sortera bort nyanlända elever som fått undervisning i svenska i mindre än ett år. Nyanlända som varit i Sverige i ett år eller mer – och fått undervisning i svenska under tiden – ska delta i PISA. 

Sverige har plockat bort en större andel elever på grund av bristande språkkunskaper än vad det fanns nyanlända 15-åringar i den svenska skolan vid tiden för provet.

I den officiella resultatrapporten för PISA 2018 skriver OECD att endast den elev som har ett annat modersmål och som ”har varit bosatt i landet i mindre än ett år” får sorteras bort på grund av bristande språkkunskaper.

I Tyskland, det land i EU efter Sverige som under flyktingkrisen beviljade flest uppehållstillstånd per capita till asylsökande, plockade man endast bort 0,4 procent av eleverna i PISA 2018 på grund av att de var nyanlända.

En överblick av Skolverkets egen statistik visar att Sverige plockat bort en större andel elever på grund av bristande språkkunskaper än vad det fanns nyanlända 15-åringar i den svenska skolan vid tiden för provet.

undefined

Foto: Anna-Karin Nilsson

Hur är det möjligt?

Redan när PISA-resultaten presenteras i december 2019 hör vi av oss till Skolverket och frågar hur detta kan vara möjligt. Hur kan man plocka bort fler nyanlända från PISA än vad det finns nyanlända elever i skolan?

Även från Skolverkets sida, visar det sig, har man misstänkt att för många utrikes födda elever sorterats bort, i strid med OECD:s regler.

För att undersöka hur stort det eventuella felet var så gjorde Skolverket en statistisk sökning på hur många nyanlända elever som borde ha skrivit provet – alltså hur stor andel av alla 15-åriga elever som var nyanlända och vid tiden för provet hade fått undervisning i svenska i ett år eller mer.

Man kom då fram till att för få utrikes födda elever hade deltagit i PISA. Detta nämns i en fotnot på sida 30 i Skolverkets officiella PISA-rapport, men inte i någon sammanfattning eller i något pressmeddelande.

Eftersom utrikes födda elever i snitt presterar betydligt sämre än elever födda i Sverige, så innebär detta att de svenska resultaten i PISA 2018 egentligen borde varit lägre.

Samma avvikelse upptäcktes även i samband med PISA 2015, vilket redovisades i en fotnot i den rapporten också. De svenska PISA-resultaten borde alltså varit lägre även då.

– Det verkar som att vi saknar 2,5 procent av elever med utländsk bakgrund. Den underrepresentativen kan man ju lyfta. Men det var exakt samma underrepresentativitet 2015, säger Maria Axelsson.

Skolverket medger alltså redan i december att Sveriges PISA-resultat 2018 sannolikt borde ha varit lägre.

Då, den 5 december, frågar vi Maria Axelsson varför Skolverket valt att inte publicera beräkningarna om att det saknades utrikes födda elever i PISA-urvalet. Hon säger att det har kommit mängder av frågor från journalister om den höga exkluderingsgraden de senaste dagarna och att det drevas mot Skolverket och PISA-resultaten på Twitter. 

– Så nu sitter vi och funderar på, ska vi lägga ut sådana här saker nu, eller gör vi det bara värre? För Twitterstormarna är ju obehagliga. Ibland när man går ut och ska svara något så spelar det ingen roll, man kan liksom inte vinna, säger Maria Axelsson.

Några dagar senare publicerar Skolverket ett förtydligande på sin hemsida, där de förklarar att det saknas nyanlända elever i urvalet:

”…Således finns en underskattning (undertäckning) i PISA-urvalet på 2,4 procentenheter. I PISA 2015 var motsvarande underskattning 2,9 procentenheter. Det innebär att skulle vi justera både 2015 och 2018 års nationella medelvärde efter om andelen utlandsfödda med utländsk bakgrund var lika stor som registerskattningen skulle båda årens resultat vara drygt 2 poäng lägre (i läsförståelse). Det innebär att förändringen i resultat mellan 2015 och 2018 i praktiken inte påverkas.”

Skolverket medger alltså redan i december att Sveriges PISA-resultat 2018 sannolikt borde ha varit lägre. Men eftersom resultaten egentligen borde ha varit lika mycket lägre även 2015 så påverkas inte den redovisade uppgången, menar man.

undefined

Foto: Anna-Karin Nilsson

Skolverkets beräkningar felaktiga

Men Expressens granskning visar att Skolverkets beräkningar är felaktiga. Vi kan visa både att myndigheten gravt underskattat misstagets storlek – och att samma fel inte alls gjordes 2015.

Vår granskning visar att mer än fem procent – var tjugonde elev – av alla som valts ut att skriva PISA 2018 sannolikt har sorterats bort genom regelbrott.

En sammanställning av statistik från Migrationsverket, Skolverket och SCB visar att andelen som maximalt fick plockas bort ur PISA 2018 för att de var nyanlända var 1,9 procent. En så stor andel av eleverna i Sverige hade sannolikt fått undervisning i svenska i mindre än ett år.

Ändå plockades av allt att döma mer än 7 procent av eleverna bort på denna grund. Alltså mer än tre gånger så många som var tillåtet.

Tittar man i stället på PISA 2015, det föregående provtillfället, så fick man maximalt plocka bort 3,6 procent av eleverna för att de var nyanlända. Då plockade man endast bort 2 procent – alltså en betydligt mindre andel än vad som var tillåtet. Vid det provtillfället fanns det alltså sannolikt elever som fått undervisning i svenska i mindre än ett år som ändå bedömdes kunna delta i PISA.

I PISA 2012 sorterade man bort nästan exakt så många nyanlända som var tillåtet.

En av anledningarna till att Skolverket kommer fram till helt andra siffror än vad Expressen gör, ska det visa sig, är att de har utgått från fel statistik.

I ett försök att kartlägga andelen utrikes födda elever som varit i det svenska skolsystemet i ett år eller mer, och som därför borde ha deltagit i PISA, har man sorterat eleverna utefter folkbokföringsdatum – men trott att man tittat på datum för när eleverna först kom till Sverige.

Skolverkets statistiker har utgått från att personer får uppehållstillstånd och folkbokförs samma dag som de kommer till Sverige. I själva verket tog det under den granskade tidsperioden i snitt mellan ett och två år för asylsökande att få beslut från Migrationsverket. Under den väntetiden går ungdomar vanligtvis i skolan. För de elever som fick avslag och överklagade sina beslut tillkom även handläggningstider hos migrationsdomstolarna.

undefined

Foto: Cecilia Anderberg

”Sanslöst att göra sådana missar”

I januari 2020 börjar Expressen misstänka att Skolverket har räknat fel på denna punkt. Vi skickas runt mellan ett flertal personer på Skolverket, men ingen kan svara på vilken data deras sökning bygger på – folkbokföringsdatum eller datum då personer faktiskt kom till Sverige.

Till slut frågar vi statistikern som ansvarat för sökningen, Anders Auer, om det är rätt uppfattat att Skolverket inte själva vet vilken underliggande information deras egen statistiska sökning bygger på – och om det är SCB som har den informationen? (Det är SCB som förser Skolverket med statistik.)

Auer svarar kort i ett mejl:

”Korrekt.”

Det är till slut SCB som bekräftar för Expressen att det är folkbokföringsdatum som legat till grund för Skolverkets beräkning.

Professor i nationalekonomi Magnus Henrekson håller med om att Skolverket verkar ha räknat fel i sina försök att kartlägga hur många utländska elever som felaktigt plockats bort ur PISA-urvalet.

– Det är sanslöst att en myndighets egna statistiker gör sådana allvarliga missar, särskilt när det påverkar hela synen i samhället på hur väl den svenska skolan utvecklas, säger Magnus Henrekson.

 

undefined

Anders Auer, Skolverket, vidhåller att myndighetens beräkningar är bättre än Expressens.

Foto: BERTIL ENEVÅG ERICSON / TT / SCANPIX SWEDEN AB

Inför publiceringen av Expressens granskning får Skolverket möjlighet att gå igenom och kommentera beräkningarna.

Myndighetens presstjänst erbjuder en ny intervju med statistikern Anders Auer.

Auer bekräftar att han, vid tiden för sin ursprungliga beräkning, inte visste att Skolverkets statistik visade folkbokföringsår. Han tycker ändå att den beräkningen är mer korrekt än Expressens.

– Det är vår bedömning, ja, säger Anders Auer.

– Jag vidhåller att vi måste vara ödmjuka inför den här situationen. Därmed så tycker vi att vi har använt den bästa metoden som vi anser vara den mest rättvisa. Men det är självklart ett problem att vi inte har möjlighet att undersöka precis på vilka grunder som de här eleverna har blivit exkluderade.

Auer menar att det är mer rättvisande att räkna på hur många elever med utländsk bakgrund som borde ha skrivit provet – vilket Skolverket gjort – än att som Expressen räkna på hur många elever med utländsk bakgrund man maximalt fick plocka bort.

 

undefined

Foto: Anna-Karin Nilsson

Magnus Henrekson är kritisk mot att Skolverket står fast vid sin beräkningsmodell:

– I stället för att idka någon form av självkritik för att man uppenbarligen gjort allvarliga missar så kommer man med den här typen av bortförklaringar. Jag önskar att man skulle ta situationen för de allra mest utsatta eleverna på betydligt större allvar, säger Magnus Henrekson.

Det finns ett problem med antagandet om vad den stora ökningen av exkluderade elever beror på, som påverkar både Expressens och Skolverkets beräkningar.

Om man antar att andelen som plockats bort på grund av funktionshinder var lika stor 2018 som den var 2015, när exkluderingsskälen fortfarande redovisades, så måste andelen nyanlända elever som plockats bort 2018 vara 7 procent.

Samtidigt var 13 procent av eleverna som deltog i PISA 2018 utrikes födda, enligt Skolverket. Om man lägger ihop gruppen som deltog med gruppen som sannolikt plockades bort, så blir det totalt 20 procent utrikes födda elever i skolsystemet. 

Men enligt Skolverkets statistik fanns det bara maximalt 16 procent utrikes födda 15-åringar inskrivna i skolan vid tiden för provet. Diskrepansens kan bero på två saker:

1.  Jämfört med tidigare provtillfällen har det skett en massiv ökning av antalet elever som plockats bort på grund av olika funktionsnedsättningar. Detta har Skolverket bedömt som osannolikt.

2.  Även elever som är födda i Sverige har plockats bort på grund av bristande språkkunskaper – vilket inte är tillåtet enligt OECD:s regelverk.

undefined

Foto: Arkiv

Magnus Henrekson vid Institutet för näringslivsforskning tror att den andra förklaringen är mer sannolik än den första.

– Vi har många exempel på att även andra generationens invandrare i vissa områden saknar grundläggande kunskaper i svenska. Givet hur exkluderingarna uppenbarligen har skett i övrigt är det inte otänkbart att vissa skolor valt att även undanta elever som är födda i Sverige men som inte behärskar språket.

Inför publiceringen berättar Expressen för Maria Axelsson, som ansvarade för Skolverkets kontakt med skolorna i PISA 2018, att rektorer bekräftat att de plockat bort fler nyanlända elever än vad som är tillåtet.

– Det är allvarligt. Som jag tidigare sagt så finns det tydliga regler kring hur skolorna ska göra exkluderingarna och vi utbildar dem också kring det. Vi uppmuntrar också skolorna att höra av sig till oss om något är oklart. Vi har heller inte fått några signaler om att skolorna skulle bryta mot reglerna, säger Maria Axelsson.

Även svenska bortfallet sticker ut

Det är inte bara de svenska exkluderingarna som sticker ut i PISA 2018. Av de elever som inte sorterades bort, utan blev slutgiltigt utvalda att skriva provet, så var det 13,5 procent som aldrig dök upp vid provtillfället. Dessa elever räknas som ”bortfall” – och det svenska bortfallet 2018 var både högre än någon gång tidigare och högre än snittet i OECD. OECD-snittet var 9,9 procent. Bortfallet i Tyskland var 9,5 procent.

Maria Axelsson säger att skolor inför provtillfället har hört av sig till Skolverket och sagt att de har elever som gått i skolan i flera år, och som ändå inte pratar svenska. Dessa elever har räknats som bortfall, säger hon:

– Jag har haft skolor som har ringt och frågat vad de ska göra med en elev som har gått två år i skolan men inte kan svenska – han kom från Afghanistan och kunde inte ens läsa på sitt eget språk. Då har jag sagt, och det kan ju ha varit knasigt då för vårt bortfall, att han inte får exkluderas eftersom han varit i vårt skolsystem i två år och då ska han vara med i PISA, säger Maria Axelsson.

Och då har han gjort provet?

– Nej, då har han varit bortfall. Han har ju varit borta då. Han kan ju inte genomföra provet.

Men han får väl inte vara bortfall?

– Jamen vi har ju massa bortfall. Och jo, han får vara bortfall men inte räknas som exkluderad.

Men han ska väl sitta och skriva provet och bara blanka alla svaren? Det är väl reglerna?

– Nej, finns inga regler från OECD om att du ska sitta och blanka alla svar. Det finns det inte. Provet är frivilligt för eleverna.

undefined

Erik Lakomaa har forskat i skolfrågor, enligt honom är PISA inte ett frivilligt prov.

Foto: Handelshögskolan

”Försvagar viljan för reformer”

Erik Lakomaa, ekonomie doktor vid Handelshögskolan i Stockholm och som forskat i skolfrågor, delar inte Maria Axelssons uppfattning om att PISA är frivilligt för eleverna.

– Man kan inte tvinga eleverna att skriva provet men resultaten blir missvisande om man systematiskt undantar elever som – om de hade skrivit provet – presterat de lägsta resultaten. Då ser det ut som om resultaten är bättre än vad de egentligen är, säger Erik Lakomaa.

– Omfattas man inte av den officiella exkluderingsgrunden bör man skriva provet, även om man på grund av bristande kunskaper då skulle behöva lämna in det blankt. Att elever, exempelvis på grund av sjukdom, inte kan skriva provet är däremot en annan sak. Det är slumpen som avgör vilka som råkar vara sjuka just på provdagen och inte något som styrs av deras förväntade provresultat. 

 

Sammantaget menar professor Magnus Henrekson på Institutet för Näringslivsforskning att de stora avvikelserna och felen i genomförandet av PISA 2018 gör de svenska resultaten omöjliga att lita på.

– De påstådda förbättringarna i PISA jämfört med 2015 har tolkats som att ”nu har allt vänt”. Detta har i sin tur försvagat viljan att genomföra de kunskapsreformer som är så avgörande för Sveriges framtida välståndsutveckling – och som betyder allra mest för de elever som inte har förmånen att ha välutbildade föräldrar med en stark förankring i det svenska samhället, säger Magnus Henrekson.

undefined

Vill du veta mer om hur vi och Skolverket har räknat, kan du läsa det här nedanför. Foto: Anna-Karin Nilsson

undefined

SÅ HAR VI RÄKNAT:

SVERIGES RESULTAT I PISA 2018

Betyg läsförståelse: 506

Betyg matematik: 502

Betyg naturvetenskap: 499

 

SÅ BORDE RESULTATET SETT UT*

Betyg läsförståelse: mellan 493 och 501

Betyg matematik: mellan 491 och 498 

Betyg naturvetenskap: mellan 488 och 495

*Siffrorna bygger på antaganden om hur de felaktigt bortsorterade eleverna skulle ha presterat om de deltagit. Den högre siffran bygger på Skolverkets eget antagande: att dessa elever skulle presterat lika bra som de utrikes födda elever (med två utrikes födda föräldrar) som faktiskt deltog presterade i snitt. Den lägre siffran bygger på antagandet att eleverna skulle presterat som den 5:e percentilen av de utrikes födda elever (med två utrikes födda föräldrar) som faktiskt skrev provet. 

 

Professor Magnus Henrekson tror att även den lägre siffran bygger på ett för generöst antagande – och att de bortsorterade eleverna sannolikt skulle presterat ännu sämre.

– Man får utgå från att de plockats bort för att de haft extremt begränsade språkkunskaper och därför skulle presterat mycket dåligt, säger Henrekson.

 

*5:e percentilen motsvarar det betyg som 5 procent av gruppen ligger under och 95 procent av gruppen ligger över.

 

Så många borde ha exkluderats

För att ta reda på hur många elever som maximalt skulle kunna ha exkluderats ur PISA-urvalet för att de var nyanlända, bad vi Migrationsverkets statistikenhet att göra flera olika sökningar. Vi utgick hela tiden från Skolverkets egna antaganden om hur länge en elev får ha varit i Sverige för att kunna exkluderas: mindre än ett år och tre månader.

Målpopulationen för PISA 2018: 107 824

Personer födda 2002 som sökte asyl mellan 2017.01.01 – 2018.03.31: 468 (Källa: Migrationsverket)

Personer födda 2002 som beviljades uppehållstillstånd genom anknytning eller arbete mellan 2016.10.01 – 2018.03.31: 1 589* (Källa: Migrationsverket)

*Eftersom dessa personer i regel är utanför Sverige när uppehållstillstånd beviljas, har vi utvidgat Skolverkets sökparameter med tre månader för denna grupp, för att lämna tid till inresa i Sverige. Denna siffra kan alltså vara för hög, vilket i så fall skulle innebära att överexkluderingen av utländska elever är ännu större)

 

PISA 2018

Maxandel som kunde ha exkluderats för att de var nyanlända: 1,9% 

Andel som exkluderades för att de var nyanlända*: 7,36%

Överexkludering av nyanlända: 5,46 procentenheter

*Denna siffra bygger på Skolverkets eget antagande, men går inte att slå fast exakt eftersom Skolverket inför PISA 2018 för första gången valde att inte samla in information från skolorna om exkluderingsgrund. Sverige och Italien var de enda länderna i PISA 2018 som inte särredovisade de olika exkluderingsgrunderna.

 

PISA 2015

Maxandel som kunde ha exkluderats för att de var nyanlända: 3,6%

Andel som exkluderades för att de var nyanlända: 2%

Överexkludering av nyanlända: -1,4 procentenheter**

**En negativ exkluderingssiffra betyder att man exkluderat färre personer än vad som var tillåtet.

 

PISA 2012

Maxandel som kunde ha exkluderats för att de var nyanlända: 1,7% 

Andel som exkluderades för att de var nyanlända*: 1,6%

Överexkludering av nyanlända: -0,1 procentenheter

 

Enligt Expressens beräkning fanns det alltså vid tiden för PISA 2018 sammanlagt högst 2 057 (1 589 + 468) personer i Sverige som var födda år 2002 och hade fått undervisning i svenska i mindre än ett år. Slutsatsen bygger på Skolverkets statistikers eget antagande om att det tar i snitt tre månader för en elev att börja skolan efter att den kommit till Sverige.

Gruppen nyanlända som varit i Sverige mindre än ett år och tre månader utgjorde sammanlagt motsvarande 1,9 procent av målpopulationen för PISA 2018.

Den andelen stämmer exakt överens med andelen elever födda 2002 som var inskrivna i skolsystemet vid tiden för PISA 2018 men som saknade personnummer. Denna grupp utgörs nästan uteslutande av nyanlända som inte ännu blivit folkbokförda.

Om man väger in Migrationsverkets genomsnittliga handläggningstid i asylärenden under 2017 – 496 dagar – så ger denna omständighet ytterligare stöd för att inga folkbokförda elever hade fått undervisning i svenska i mindre än ett år vid tiden för PISA 2018. Och för att både Skolverkets och Expressens antagande om hur lång tid det tar för en nyanländ elev att börja skolan är korrekt.

undefined

Foto: Cecilia Anderberg

SÅ RÄKNADE SKOLVERKET

För att räkna ut om det skett en överexkludering av nyanlända elever tittade Skolverkets statistiker på hur många elever med utländsk bakgrund som borde ha deltagit i PISA 2018.

Man utgick då från elevregistret och gjorde en sökning på alla utrikes födda 15-åringar med två utrikes födda föräldrar. Detta är PISA-definitionen av ”utländsk bakgrund”. Från denna grupp tog man sedan bort alla elever som vid tiden för provet hade varit i Sverige i ett år och tre månader eller mindre. Dessa elever, utgick man från, borde ha exkluderats för att de var nyanlända. Återstående elever – alla som varit i Sverige i mer än ett år och tre månader – menade man borde ha skrivit provet.

Man kom då fram till att ungefär 12,5 procent av eleverna som skrev PISA borde ha haft utländsk bakgrund – detta eftersom fördelningen såg ut så i elevregistren och PISA-urvalet ska vara representativt.

I själva verket var det dock bara ungefär 10 procent av de deltagande eleverna som hade utländsk bakgrund – det saknades alltså 2,5 procentenheter elever med utländsk bakgrund i PISA-urvalet.

 

Skolverkets sökning bygger dock på flera felaktiga antaganden. För att avgöra vilka elever som varit i Sverige i mer än ett år och tre månader (och därmed borde gått i skolan i mer än ett år) har myndighetens statistiker använt variabeln INV_AR (invandringsår) i sitt interna system, utan att veta vilken information den bygger på.

SCB, som förser Skolverket med dess statistik och sökbara variabler, bekräftar för Expressen att variabeln INV_AR bygger på elevernas folkbokföringsdatum – och inte datumet de faktiskt kom till Sverige. I själva verket hade sannolikt alla elever som var folkbokförda vid tiden för provet då varit i Sverige längre tid än ett år och tre månader, på grund av handläggningstiderna på Migrationsverket och hos domstolarna. För de asylärenden som avgjordes av Migrationsverket i december 2017 var den genomsnittliga handläggningstiden 621 dagar. Av dessa var det bara en tredjedel som beviljades uppehållstillstånd av Migrationsverket. För de personer som fick avslag och valde att överklaga sina beslut kan de totala handläggningstiderna – inklusive väntetiderna hos migrationsdomstolarna – ha varit avsevärt mycket längre än två år.

Skolverket har i sin sökning också bortsett från alla elever i skolsystemet som saknar personnummer – en grupp som nästan uteslutande består av nyanlända som inte ännu beviljats uppehållstillstånd.