PISA – internasjonal skoletest

PISA (Programme for International Student Assessment) er et internasjonalt prosjekt i regi av OECD. PISA har som ambisjon å teste 15-åringers kompetanser på ulike fagområder, spesielt lesing, matematikk og naturfag i landene som er med i studien.

Testingen foregår hvert tredje år, første gang var våren 2000. Resultater og analyser, både nasjonalt og internasjonalt, blir publisert tidlig i desember det påfølgende året. Etter publiseringen av PISA 2015 i desember 2016 foreligger det i alt resultater fra seks runder med PISA-tester. Studien er designet for å kunne studere endringer over tid.

Målgruppen (populasjonen) er alle 15-åringer som går på skole i de respektive landene. Blant disse trekkes det ut et representativt utvalg som deltar i undersøkelsen. 

Antallet deltakende land har øket ved hver runde av PISA. Mens det i 2000 var 43 land, var det i 2015 hele 72 deltakende land. Mer enn en halv million elever deltok i PISA-studien i 2015.

Alle 35 OECD-land er med i PISA, dessuten omtrent like mange andre land (eller «økonomier», som for eksempel Hong Kong, Shanghai og Macao).

Fra Norge var det om lag 5500 elever fra 228 grunnskoler pluss tre elever fra videregående skole som deltok i PISA 2015. De aller fleste PISA-elevene i Norge går altså i 10. klasse i grunnskolen, men utvalget skjer på grunnlag av alder og ikke klassetrinn. I mange andre land er 15-åringene spredt over flere klassetrinn, og i mange land er det ikke alle 15-åringer som går på skole. Det er ikke hele klasser som deltar, men et tilfeldig utvalg av 15-åringene ved hver av de skolene som er trukket ut.

Det er tre fagområder som blir testet, henholdsvis lesing på morsmål (Reading literacy), matematikk (Mathematical literacy) og naturfag (Science literacy). Dette valget av sentrale fagområder springer ut av formålet med OECD som en organisasjon for å fremme økonomisk utvikling. Fra 2012 er et fjerde fagområde med i PISA, nemlig «Financial literacy». Norge deltar ikke i denne komponenten.

I tillegg tester man i hver omgang et «innovativt» kompetanseområde. I 2003 og 2012 var det «problemløsning», og i 2015 var det «problemløsning gjennom samarbeid». Resultatene publiseres i løpet av 2017. 

PISA-testen varer i to og en halv time, og er i prinsipp identisk i alle land: to timer til de faglige oppgavene, og en halv time med bakgrunnsspørsmål, både om familie og skole. Det stilles også en del spørsmål knyttet til elevenes interesser, motivasjon og lignende. Også skoleledere for de uttrukne skolene besvarer spørreskjemaer om organisering av undervisning, klassestørrelse, lærerkompetanse, ressurser og så videre.

Undersøkelsen har til hensikt å gi informasjon om sentrale forhold på systemnivå, altså for nasjonale skolemyndigheter. Elevene og skolene anonymiseres, og undersøkelsen er ikke laget for å kunne gi informasjon til den enkelte elev eller skole. Verken elever eller skoler får derved tilbakemeldinger om resultater.

De faglige prøvene har i hovedsak vært en papir-og-blyant-test, men har siden 2006 også inkludert digitale prøver. I 2012-undersøkelsen var det eksempelvis digitale prøver i lesing, matematikk og problemløsing med interaktive oppgaveformater. I 2015 ble PISA i sin helhet gjennomført som en digital prøve, med noen få land som unntak.

Alle tre fagområder er med hver gang, men ett av de tre områdene vektlegges mer i hver enkelt undersøkelse. I den første undersøkelsen i 2000 var lesing spesielt vektlagt, i 2003 matematikk, i 2006 naturfag. Denne syklusen gjentas deretter på nytt. Lesing var derved hovedområde i 2009, matematikk i 2012 og naturfag i 2015. Det at undersøkelsen gjentas med jevne mellomrom, og inneholder noen oppgaver som blir gjentatt, gjør det mulig å tallfeste utviklingen over tid.

Oppgavene og spørsmålene i PISA gjennomgår en omfattende prosess før de velges ut til den endelige undersøkelsen. Forslag til oppgaver kommer fra ulike land. I tillegg utvikles flere oppgaver av det internasjonale konsortiet som har ansvaret for å gjennomføre undersøkelsen. Fra alle disse forslagene velges det ut en rekke oppgaver som blir grundig prøvd ut i alle land. Bare oppgaver som viser seg empirisk å fungere godt i ulike land, blir tatt med i den endelige testen. Dette innebærer blant annet at oppgaver som er nært knyttet til lokale, nasjonale eller regionale forhold, ikke kan være med i testen fordi det vil favorisere visse land.

Hver enkelt elev svarer på et begrenset antall oppgaver av den store mengden oppgaver som er laget. Det settes sammen 13 ulike hefter med PISA-oppgaver. Fordi det er delvis overlappende materiale mellom heftene, kan man knytte resultatene fra de ulike heftene til den samme skalaen. På denne måten samler man informasjon som svarer til en sju timers prøve, selv om hver enkelt elev bare bruker to timer på sitt hefte. På grunnlag av  bakgrunnsdata fra elevens spørreskjema og hvordan de har besvart sine testoppgaver, beregner man en totalskår for hele populasjonen og undergrupper av den.

Den totale PISA-skåren omregnes til en standardisert skala, der gjennomsnittet for OECD-landene er satt til 500, og der fordelingen har et standardavvik (spredning) på 100.  Utgangspunktet for denne skalaen er laget ut fra resultatene for ett bestemt år, slik at man har en «absolutt» skala som kan angi framgang eller tilbakegang over tid. Dette innebærer også at snittet for hele OECD kan variere fra år til år.

I PISA har man for hvert fagområde definert seks ulike prestasjonsnivåer (fra svært lavt til svært høyt). Hvert av disse nivåene svarer til et bestemt intervall på PISA-skalaen, og nivåene er beskrevet med ord. De tre fagområdene er også oppdelt i ulike kompetanseområder ut fra en vurdering av det faglige innholdet. Derved vil man for eksempel kunne sammenlikne den faglige profilen av ulike lands skårer, og man vil kunne studere hvordan profilen utvikler seg over tid, spesielt for de fagene som er i fokus for hver tredje testrunde.

PISA forholder seg ikke til landenes læreplaner, men tester i henhold til et rammeverk (Assessment Framework, se OECD 2016a) som er utviklet av internasjonale fageksperter. Dette rammeverket vedtas i konsensusprosesser hvor alle de deltakende landene kan gi innspill. PISA gir mål på ferdigheter og kompetanser som ekspertgruppen gjennom sitt rammeverk har kommet fram til er viktige for elevenes liv, både som deltakere i samfunnslivet, for fritid, videre studier og arbeidsliv. 

I de internasjonale PISA-rapportene, helt fra 1999 til 2012, formuleres spørsmålene som PISA skal besvare slik: 

Hvor godt er ungdommer forberedt til å møte framtidas utfordringer? Kan de analysere, resonnere og kommunisere sine ideer på en effektiv måte? Er de i stand til å fortsette å lære hele livet?

PISA-resultater fra de faglige oppgavene presenteres på ulike måter. Den enkleste presentasjonen, som også får mest oppmerksomhet, er at man rangerer land etter gjennomsnittsverdier for testskår på de ulike fagområdene. På denne listen er det også vanlig å angi måleusikkerheten for denne gjennomsnittverdien. Dessuten oppgis ulike mål for spredningen i testskåren for hvert enkelt land. Det gjør man ved å angi persentiler som omfatter henholdsvis 50 prosent og 95 prosent av elevene.

Gjennomsnittskår for norske elever har hele tiden ligget nokså nær snittet for OECD på alle de tre områdene som er testet. I PISA-rapporten for 2015 skriver forskerne at det «er mest rimelig å tolke de norske resultatene i alle de tre fagområdene som svært stabile over tid» (Kjærnsli mfl. 2016). Men fordi snittet i OECD har gått noe ned siden de første PISA-rundene, ligger Norge i PISA 2015 høyere på rangeringene, og over OECD-snittet på alle tre fagområder.

Det er verdt å merke seg at både Sverige, Island og Finland over flere år har hatt en negativ utvikling med fallende prestasjoner på de faglige prøvene. Finland er likevel fortsatt blant landene i den vestlige verden som presterer best. Som i andre liknende internasjonale undersøkelser, TIMSS og PIRLS, er det land og regioner i Asia som utmerker seg ved å skåre høyest. Spesielt høyt ligger Singapore, Japan og Shanghai.

Kjønnsforskjellene i testskårer varierer sterkt mellom ulike land. De er små mellom norske gutter og jenter i matematikk og naturfag, men forskjellene er nokså store i jenters favør i lesing, noe de er i samtlige 72 land. Finland utmerker seg ved at jentene skårer mye høyere enn guttene i alle fag.

Det er også verdt å merke seg at det er mindre forskjeller i skår mellom skoler i de nordiske land enn i de fleste andre land. I Sverige har imidlertid ulikheten mellom skoler økt over tid, og er nå større enn i mange andre OECD-land.

PISA kan, ut fra sitt forskningdesign, ikke si noe om årsak og virkning. Det eneste PISA kan vise, er om det er positiv eller negativ sammenheng mellom ulike variabler eller grupper av variabler. Slike korrelasjoner kan ikke tolkes som årsak og virkning. I den norske rapporten fra PISA 2015 heter det derfor: 

PISA-undersøkelsen kan ikke fortelle noe om hvilke tiltak som har bidratt til endring, eller om ett tiltak virker bedre enn et annet. Det eneste PISA-resultatene kan vise, er at det har skjedd positive endringer. (Kjærnsli mfl. 2016, s. 131)

I alle land er det en klar positiv sammenheng mellom PISA-skår og elevenes sosiale, økonomiske og kulturelle status, slik denne måles gjennom spørreskjemaet. Det er imidlertid et tydelig resultat at sammenhengen mellom elevenes hjemmebakgrunn og testskår er mindre i Norden enn i de fleste andre land.

Fra elevskjemaene har PISA en rekke opplysninger om elevens bruk av informasjonsteknologi, IKT, både på skolen og i hjemmet. I en analyse av sammenhengen mellom bruk av IKT og testskår konkluderer de med at «[r]essurser investert i IKT i skolen viser ingen sammenheng med bedring av resultater». De rapporterer også at «[b]ruk av IKT ut over OECD-snittet assosieres med signifikant dårligere resultater» (OECD 2015).

Spørreskjemaet til elevene inneholder en rekke spørmål som dreier seg om undervisning og arbeidsformer, spesielt i naturfag, og disse kan sees i sammenheng med resultatene på selve testen. Et samlekonstrukt betegnes som «utforskende arbeidsmåter», en oversettelse av det engelske «enquiry-based». I den internasjonale PISA-rapporten framgår det at de landene som ligger høyest på PISA-rangeringen, i svært liten grad benytter slike undervisningsformer. 

I denne rapporten heter det også at:

Ikke i noe land skårer elever som ofte anvender utforskende arbeidsmåter høyere i naturfag. [...] Aktiviteter som eksperimenter og laboratoriearbeid har den klareste negative sammenhengene med skåre i naturfag. (PISA 2016c, s 71)

Da resultater fra PISA 2015 ble offentliggjort, ble det i Norge stor oppmerksomhet om data fra spørreskjemaet som elevene hadde besvart. Det positive var at elevene rapporterte om mindre bråk og uro og bedre arbeidsdisiplin enn tidligere år, faktisk langt bedre enn snittet i OECD. Mer problematisk var det at dobbelt så mange elever svarte at de opplevde stress og utenforskap. 

Det ble også en del oppmerksomhet om at andelen av norske elever som ble fritatt fra PISA-testen, var mer enn doblet i forhold til første testomgang (fra 2,7 prosent til 6,7 prosent). I rapporten skriver PISA-forskerne at det antakelig er lavtpresterende elever som fritas, og at dette kan ha forskjøvet de norske elevenes samleskår i positiv retning. (Kjærnsli mfl. 2016).

I de norske og internasjonale PISA-rapportene kan man finne en rekke analyser av det omfattende datamaterialet som er innhentet. Se lenker og henvisninger nedenfor. Det er planlagt en rekke videre studier og analyser av data fra PISA 2015, og planlegging av PISA 2018 startet allerede før resultater fra PISA 2015 ble publisert.  

De deltakende landene betaler for sin deltakelse i PISA. Det er OECD som er ansvarlig for PISA-prosjektet, og som har sekretariatet i Paris. De har oppnevnt faglige komiteer som tar seg av utvikling av testens rammeverk, samt utvikling og utprøving av oppgaver. De faglige ekspertgruppene består av anerkjente fagfolk innen de ulike fag som testes, samt ekspertgrupper i statistikk og psykometri. Det legges også større vekt på å utvikle spørreskjemaer for bakgrunnsdata som kan være meningsfulle i ulike kulturer.

Tildeling av oppgaver og oppdrag for PISA gjøres i form av åpne anbudsprosesser. Det har som oftest vært store og internasjonalt sammensatte konsortier bestående av faginstitutter ved universiteter og private/offentlige selskaper med ekspertise innen områder som testutvikling, oversetting og utvalgsmetodikk. For PISA 2018 har Pearson, verdens største konsern for testing og undervisning, fått ansvaret for å lede utviklingen av rammeverket for testingen samt hvordan resultater skal formidles.

I Norge er det Institutt for lærerutdanning og skoleforskning (ILS) ved Universitetet i Oslo som har stått for alle de seks PISA-testene som er gjennomført fra 20011 fram til og med den som ble gjennomført i 2015. De har også ansvaret for studien som skal gjennomføres i 2018. Norge har i alle år vært godt representert i ulike arbeids- og ekspertgrupper i PISA. Tildelingen kommer fra Utdanningsdirektoratet. 

PISA har fått en enorm innflytelse på offentlig debatt og utdanningspolitikk i en rekke land. I stor grad er det PISA som legger premisser for utforming av skolepolitikken. Dette fremgår også av en analyse som er foretatt av OECD. I sammendraget slås det fast at:

PISA-resultater har påvirket skolereformer i de aller fleste deltakerlandene […] PISA er blitt en nesten global standard, og brukes nå i mer enn 65 land. (Breakspear 2012)

PISA-leder Andreas Schleicher uttrykker det samme i en godt besøkt presentasjonsvideo:

 PISA er historien om hvordan internasjonale sammenlikninger har globalisert utdanningspolitikken, noe vi tidlige har oppfattet som landenes eget anliggende. (Schleicher 2013)

Innflytelsen er stor også i Norge, Sverige og Danmark. I Norge kom resultatene fra første PISA-test da Kristin Clemet (H) akkurat hadde tiltrådt som ansvarlig minister for skole og utdanning i 2001. Ved pressekonferansen uttalte hun at dette var «som å komme hjem fra et vinter-OL uten en eneste norsk medalje.» Under overskriften «PISA-sjokket» skriver hennes statssekretær Helge Ole Bergesen i boka «Kampen om kunnskapssskolen»:

Derved var scenen satt for det store norske oppgjøret om kunnskap i skolen. […] For oss som akkurat hadde overtatt den politiske ledelsen i Utdannings- og Forskningsdepartementet, ble PISA-resultatene en «Flying start». (Bergesen 20016)

PISA ligger i stor grad til grunn for skolereformen Kunnskapsløftet og innføringen av nasjonale prøver i Norge. Begge dele ble videreført i nokså uendret form av den rød-grønne regjeringen (2005–13).

PISA-prosjektet er sentralt i offentlig skoledebatt og ikke minst som premissleverandør for skolepolitikk. Som OECD selv påviser, har PISA har fått en helt sentral utdanningspolitisk posisjon i nær sagt alle deltakerland, ikke minst i Norge.

PISA kan som nevnt i liten grad forklare ulikheter i resultater mellom landene eller framgang eller tilbakegang i testskår. Men når resultater oppfattes som svake, kan de brukes til å legitimere at det er behov for endinger eller tiltak. Slik kan man skape politisk aksept for reformer og endringer. Dette har man sett i mange land, også i Norge, Sverige og Danmark. 

Ofte henvises det til hva «PISA-vinnerne» gjør. Men disse landene har ulike kulturer, tradisjoner og skolesystemer. Ofte innfører man reformer som innebærer det motsatte av hva man gjør i de landene man gjerne vil nå igjen.

Det finnes en utstrakt norsk og internasjonal kritikk av PISA. Denne kritikken har mange dimensjoner.

Dels er kritikken politisk/kulturell/ideologisk og dreier seg om den innflytelsen PISA har fått på utdanningspolitikk gjennom sin definisjon av hva som er viktig både som mål for og innhold i skolen. Annen kritikk dreier seg om metodiske og statistiske sider ved testens utforming, gjennomføring og påfølgende databehandling.

I sine internasjonale rapporter nøyer ikke PISA seg med å legge fram resultatene. I stor grad gir de klare råd for hva slags politikk landene bør føre. Samtidig legger de liten vekt på de problemer og svakheter som er knyttet til målingene. Forskere ber om at PISA må vise mer edruelighet og forsiktighet når de trekker konklusjoner og gir sine råd, og at de bedre må kommunisere feilkilder og usikkerhet. (Rutkowski og Rutkowski 2016).  

Det er også sterk kritikk av den viktige rollen det kommersielle selskapet Pearsonhar fått i utvikling og gjennomføring av PISA.

Det reises også kritikk knyttet til om oppgavenes faglige kvalitet og innhold og hvordan oppgavene blir oversatt fra den «originale» engelske versjonen til de mange språkene i land der den gjennomføres. Ulik oversettelse vil selvsagt påvirke andel riktige svar.

I 2014 var det en internasjonal aksjon blant forskere fra 40 land, der de reiste kritikk mot det de oppfattet som at OECD gjennom PISA i realiteten oppførte seg som et globalt utdanningsdepartement.

I 2008 ble OECDs målinger av kompetanse utvidet med prosjektet PIAAC (Programme for the International Assessment of Adult Competencies), også omtalt som «voksen-PISA». PIAAC måler omtrent de samme kompetansene som PISA for den voksne befolkningen i OECD-land og om lag 40 andre land.

OECD testprogram er ytterligere utvidet til å utvikle et «PISA for Development», rettet mot utviklingsland.

Et eget «PISA for Schools» er også under utvikling. Her er det meningen at skoler, kommuner eller skoledistrikter skal kunne sammenlikne seg med andre, og med PISA-vinnere som Korea, Singapore, Shanghai og Finland. På denne måten bringes konkurransen helt fram til skolenivå, og vinnerne kan framstå som land man ønsker å kopiere. 

OECDs årlige rapport Education at a Glance publiserer data og analyser om utdanning og skole fra ulike kilder, først og fremst fra sine egne studier. Denne rapporten brukes i stor grad som grunnlag for politikkutforming, noe som ytterligere styrker den definisjonsmakten som OECD  har utviklet de siste tiårene.  

• PIAAC
• TALIS
• TIMSS
• IEA
• Nasjonale prøver

• Norsk PISA-side, også med norske rapporter
• OECDs PISA-side, med internasjonale rapporter og alle relevante publikasjoner
• OECDs årlige rapport Education at a Glance

• Bergesen, H. O. (2006). Kampen om kunnskapsskolen. Oslo: Universitetsforlaget.
• Breakspear, S. (2013). The Policy Impact of PISA: An Exploration of the Normative Effects of International Benchmarking in School System Performance, OECD Education Working Papers, No. 71, OECD Publishing
• Elstad, E. og Sivesind K. (Eds.) (2010) PISA: Sannheten om skolen? Oslo: Universitetsforlaget
• Kjærnsli, M. og Jensen F. (red.) (2016) Stø kurs. Norske elevers kompetanse i naturfag, matematikk og lesing i PISA 2015, Oslo: Universitetsforlaget 
• Meyer, H.D. and Benavot, A. (Eds) (2013). PISA, Power and Policy: the emergence of global educational governance, Oxford: Symposium Books
• Meyer H. D. mfl. (2014). Open letter to Andreas Schleicher on PISA (The Guardian)
• OECD (2015), Students, Computers and Learning: Making the Connection. Paris, OECD Publishing. 
• OECD (2016a). PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic and Financial Literacy. Paris: OECD Publishing.
• OECD (2016b). PISA 2015 Results (Volume I): Excellence and Equity in Education. Paris: OECD Publishing.
• OECD (2016c). PISA 2015 Results (Volume II): Policies and Practices for Successful Schools. Paris: OECD Publishing.
• Pereyra, M. A., Kotthoff, H.-G., & Cowan, R. (Eds.). (2011). PISA under examination: Changing knowledge, changing tests, and changing schools. Rotterdam: Sense.
• Rutkowski, L. &  Rutkowski, D (2016). A Call for a More Measured Approach to Reporting and Interpreting PISA Results. Educational Researcher, Vol. 45 No. 4, pp. 252–257
• Sahlberg, P. (2011). Finnish Lessons: What Can the World Learn from Educational Change in Finland? New York: Teachers college Press
• Schleicher, A. (2013). Use data to build better schools. TEDGlobal 
• Sjøberg, S. (2007). «Internasjonale undersøkelser: Grunnlaget for norsk utdanningspolitikk?» I Halvard Hølleland (red.) (2007). På vei mot Kunnskapsløftet. Begrunnelser, løsninger og utfordringer. Oslo: Cappelen
• Sjøberg, S. (2014). PISA-syndromet. Hvordan norsk skolepolitikk blir styrt av OECD. Nytt Norsk Tidsskrift nr.,1, 30–43.