Kommentarer til «Is Pisa fundamentally flawed?»

av nherleiksplass

Det er med friskt mot jeg nå skal prøve å følge opp og kommentere artikkelen fra TES (Times Educational Supplement): «Is PISA fundamentally flawed?» ved bruk av min egen bacheloroppgave «På hvilken måte måles kvalitet i norsk skole gjennom PISA-undersøkelsen?«.

Kort fortalt belyser artikkelen noen av de statistiske og matematiske svakhetene ved PISA-undersøkelsen, og det rettes sterk kritikk mot OECDs manglende vilje til åpenhet rundt svakhetene. For eksempel trekkes den statistiske Rasch-modellen frem, som en feilaktig modell til å behandle de enorme mengder data PISA produserer. Svært få (inklusive reform-kåte politikere) forstår modellen og hvordan den fungerer. Den danske professoren, Svend Kreiner, derimot har selv vært student under Georg Rasch. Han hevder Rasch-modellen kun er anvendbar dersom alle spørsmålene i undersøkelsen hadde vært av identisk vanskelighetsgrad på tvers av alle deltakerland. Dersom spørsmålene avviker fra denne betingelsen, får vi det som kalles DIF (Differential Item Functioning). DIF medfører at bruk av Rasch-modellen ikke er meningsfull, da spørsmålene vil favorisere enkeltland. I en fyldig artikkel konkluderer Kreiner med at PISAs målingsgrunnlag ikke holder, blant annet på bakgrunn av DIF. For mer dyptgående lesning anbefales artikkelen, men den vil ikke bli utdypet i detalj her (vi skal heller ikke skryte på oss at vi forstår dette helt).

Grunnet spørsmålenes utforming funger de ulikt i ulike land, noe som Kreiner mener umuliggjør bruken av Rasch-modellen. OECD på sin side hevder spørsmålene har et strengt oppgaverammeverk å forholde seg til, og dermed reduseres variasjonen Kreiner er opptatt av. Likevel er Kreiners forskning klar på at variasjonen fortsatt er for stor til at modellen kan brukes.

Når man har som forutsetning at ingen av spørsmålene skal favorisere enkeltland, er dette i seg selv er interessant, da det impliserer en standardisering av spørsmål og følgelig kunnskap. Spørsmålene og problemstillingene skal etter OECDs uttalelser være virkelighetsnære for alle deltakerland (f.eks Norge og Mexico). Ifølge Dolin (2007) er dette svært kritikkverdig og det reises følgende spørsmål: «Do we all need to know the same things in order to be “fit for life”? And should they be evaluated in the same way?» (Dolin, 2007, s.111). Svaret er trolig nei, i og med vår forpliktelse til en nasjonalt forankret læreplan. Likevel kan vi anta at det finnes et sterkt ønske om styring i retning av en global læreplan på tvers av landegrenser og kulturer, slik TIMSS-læreplanen er satt sammen (se Sjøberg, 2007a for påfyll). I likhet med PISA, er TIMSS også drevet av fageksperter. Det problematiske er når man skal samarbeide på tvers av landegrenser, i håp om å finne felles kunnskaper og kompetanser alle elevene skal mestre. Dette gjør at nasjonalt forankrede læreplaner til slutt vil miste verdi, og ikke minst vil man miste det lokale særpreget læreplanen legger opp til (hvertfall den norske).

I artikkelen refereres det til matematikeren Dr Hugh Morrison. Han går så langt som å si at PISA-undersøkelsen bygger på en matematisk uløselig brist, som gjør resultatene verdiløse.

“(…) the model insists that when students of the same ability answer the same question – in perfect conditions, when everything else is equal – some students will always answer correctly and some incorrectly. But Morrison argues that, in those circumstances, the students would by definition all give a correct answer or would all give an incorrect one, because they all have the same ability.”

Skjermbilde45

Rasch-modellen bruker en matematisk funksjon slik at psykometrikeren kan beregne sannsynligheten for at et individ med ferdigheten θ vil gi riktig svar på et spørsmål av vanskelighetsgraden β. Dersom verdiene θ = 1 og β = 2 blir satt inn i Rasch-modellen, vil sannsynligheten for at et individ med ferdigheten  θ = 1 vil svare riktig på et spørsmål med vanskelighetsgrad  β = 2 bli ca 0,27 (27%). Det følger at dersom en stor gruppe individer, med samme ferdigheter, svarer på dette spørsmålet, vil 27% svare rett. Hvis en stor gruppe individer med nøyaktig samme ferdigheter svarer på samme spørsmål, som er designet for å måle disse ferdighetene, hvorfor vil 27% svare rett og 73% svare feil? (fra artikkelen til Morrison, s.2 – egen oversettelse)

Modellen forutsetter altså at når elever med identiske evner svarer på samme spørsmål, vil alltid noen elever svare rett og andre galt. Morrison argumenterer for det motsatte: at bruk av modellen forutsetter at samtlige elever med samme evne må avgi korrekt eller galt svar, uten unntak. Med andre ord forutsetter Rasch-modellen en ensartethet som ikke eksisterer. En annen problematisk side ved Rasch-modellen er at den hevder å måle evner uavhengig av spørsmålene elevene svarer på. Morrisson trekker frem et eksempel for å belyse dette paradokset: Dersom en 6-er elev scorer 100% på en matematikk-test, og Albert Einstein svarer på samme test, vil trolig Einstein også score 100% . Kan vi da si at de er like dyktige i matematikk? Trolig ikke, og vi kan da utlede at elevens og Einsteins matematiske ferdigheter kun er like i relasjon til testen. Samlet sett gjør dette modellen, ifølge Morrison, verdiløs.

Ifølge artikkelen er altså en så sentral statistisk modell i PISA uegnet. Ytterligere hevder flere forskere dessuten at testen i seg selv aldri vil klare å måle det den hevder å skulle måle (Bodin, 2007; Hopmann & Brinek, 2007; Sjøberg, 2007a; 2007b; 2012). Kan virkelig en skriftlig test avgi svaret på om dagens elever er klare for å møte morgendagens utfordringer? Sagt på en annen måte er det god grunn til å forholde seg skeptisk til antakelser om at norske elever presterer på et «bekymringsverdig» nivå, og at næringslivet står foran store utfordringer knyttet til disse resultatene.

Noen politiske partier (og OECD selv) hevder vi skal bruke resultatene med omhu, og ikke falle for fristelsen å trekke konklusjoner basert på de. Likevel er det mye som tyder på nettopp en slik resultatsorientert skolestyring. Flere forskere uttrykker bekymring over en slik forenklet årsak-sammenheng-tankegang (Biesta, 2010; Loveless, 2012). Siden PISA 2000 og offentliggjøringen av resultatene har det blitt skrevet en rekke Stortingsmeldinger og NOUer som omhandler kvalitet i skolen. Disse har benyttet seg av resultater fra undersøkelser som TIMSS og PISA, og formulert «løsningsstrategier» for skolen. Innføring av grunnleggende ferdigheter er bare ett eksempel. Forskere peker på at en slik politisk overstyring er uheldig for skolen: “Internasjonale sammenlignende undersøkelser som PISA; der nasjoners prestasjoner og resultater måles, veies og rangeres i forhold til hverandre, synes å ha gitt grunnlag for en sterkere statlig “defektstyring” av den norske skolen” Møller et al. (2013, s. 31).

For en kommende lærer oppleves hele PISA-debatten som noe meningsløs all den tid vi vet så lite om hvordan resultatene egentlig produseres. Det virker som politikere står klar med hatten og sier «ja takk» når resultatene fra PISA offentliggjøres og OECDs «ekspertråd» kommer dalende. Dette vitner om en manglende nyansering og konkretisering av hva resultatene faktisk innebærer. Resultatene legger dessuten føringer for hvordan man forstår kvalitet i skolen, noe som skaper et uheldig og trangsynt fokus på kun én del av formålet med skolen (Herleiksplass, 2013)

Artikkelen fra TES kan imidlertid være med på å nyansere et noe svevende, dog interessant felt for mange. Det mangler nemlig ikke engasjement når det gjelder skoletesting og resultater. Vi har alle sett avisoppslag med nyhetene om at norsk skole er på «bunn-nivå», men også i andre land var «sjokket» tilsvarende stort. Dette utløser reformpolitikk på linje med colaflasker på samlebånd, og det virker som profesjonen blir fratatt mye makt, til tross for en forestilt maktdesentralisering av ansvar over til lærerne. En slik makt(u)balanse og spenning fremstilles i figuren under. Hvilken vei vil vi gå?

styring

Figur 2.1 Spenninger relatert til styring av utdanningssektoren (Møller et al., 2013, s. 35)

Jeg er redd vi nå har beveget oss i for stor grad mot venstre (no pun intended), og Kunnskapsløftet som skulle virke befriende på læreres kreativitet og arbeidsmetoder, har istedet blitt en form for New Public Management, med sinte (og kravstore) foreldre, rådville politikere og oppgitte lærere. Lærerne og politikerne har nemlig ikke gjort jobben sin, dersom vi havner bak Sverige på PISA-undersøkelsen!

(Bildet er hentet fra http://www.forskning.no/artikler/2013/januar/345512)3

Uten å utdype, kan det tenkes at den formen for neoliberalistisk tankegang, som har preget og preger offentlig sektor, over tid vil ta fra læreprofesjonen vår profesjonelle makt og selvstyre. Derfor ønsker jeg meg en profesjon med ryggrad og kunnskap nok til å stå opp for vårt eget yrke, og handle til det beste for de skolen er til for: elevene.

Helt til slutt viser, interessant nok, «vinnerlandet» av PISA-konkurransen, Finland, en mer avholdende holdning til testregimet. Meldingen er klar fra instituttleder for lærerutdanning ved Universitetet i Helsinki, Jari Lavonen:

“We are appreciating the teachers, and believe they are able to set their goals and assess them. Nobody is inspecting, and nobody is punishing them. This we find this really hard to explain to people from the United States or the United Kingdom. They ask us “But how do you assess, what is your accountability policy, how do you punish teachers?” This derives from their accountability culture. And you are going in that same direction in Norway. We are very much against it, all of us, the teacher union and of course also us at the universities. The OECD´s recommendations for Norway, for getting better results in PISA, these very stupid conclusions, are in the total other direction of what we would suggest.” (Herleiksplass & Johansen, 2013, s.13)

Fotnoter

(1) Med fokusfag menes fag som særlig belyses. Likevel blir spørsmål fra de andre fagområdene (hele to fagområder!) også tatt med i undersøkelsen.

Foreløpige fokusfag i PISA.

PISA 2000 – lesing (reading literacy)
PISA 2003 – matematikk (mathematical literacy)
PISA 2006 – naturfag (scientific literacy)
PISA 2009 – lesing (reading literacy)
PISA 2012 – matematikk (mathematical literacy)

Kilder

Biesta, G. J. J. (2010). Good Education in the Age of Measurement Ethics, Politics, Democracy. London: Paradigm Publishers.

Dolin, J. (2007). PISA – use and misuse of large-scale comparative tests. I S. T. Hopmann, G. Brinek & M. Retzl (Red.), PISA zufolge PISA – PISA According to PISA (s. 93-125). Rutgers University 35 Berrue Circle Piscataway, NJ 08854: Transaction Publishers.

Herleiksplass, N.J. (2013). På hvilken måte måles kvalitet i norsk skole gjennom PISA-undersøkelsen? Bacheloroppgave ved fakultet for Humaniora og Utdanningsvitenskap, Høgskolen i Vestfold http://wp.home.hive.no/nherle/files/2013/06/P%C3%A5-hvilken-m%C3%A5te-m%C3%A5les-kvalitet-i-norsk-skole-gjennom-PISA-unders%C3%B8kelsen-nyesteversjon-03.06.13-uten-forside1.pdf 

Herleiksplass, N.J. & Johansen, A.G. (2013). Finsk lærerutdanning – en forskningsbasert utdanning med høye krav i Under Utdanning no. 1 2013 http://pedagogstudentene.no/PageFiles/127/UU_no1_2013_130222.pdf

Hopmann, S. T., & Brinek, G. (2007). Introduction: PISA According to PISA – Does PISA Keep What It Promises? I S. T. Hopmann, G. Brinek & M. Retzl (Red.), PISA zufolge PISA – PISA According to PISA (s. 9-19). Rutgers University 35 Berrue Circle Piscataway, NJ 08854: Transaction Publishers.

Loveless, T. (2012). How Well Are American Students Learning? (B. 3). (Opptrykk.

Møller, J., Prøitz, T. S., Rye, E., & Aasen, P. (2013). Kunnskapsløftet som styringsreform. I B. Karseth, J. Møller & P. Aasen (Red.), Reformtakter Om fornyelse og stabilitet i grunnopplæringen (s. 23-41). Postboks 508 Sentrum 0105 Oslo: Universitetsforslaget.

Sjøberg, S. (2007a). Internasjonale undersøkelser: Grunnlaget for Kunnskapsløftet? I H. Hølleland (Red.), På vei mot Kunnskapsløftet. Begrunnelser, løsninger og utfordringer (s. 112-134). Valdres Trykkeri AS, Fagernes: Cappelen akademisk.

Sjøberg, S. (2007b). PISA and «Real Life Challenges»: Mission Impossible? I S. T. Hopmann, G. Brinek & M. Retzl (Red.), PISA zufolge PISA – PISA According to PISA (s. 203-224). Rutgers University 35 Berrue Circle Piscataway, NJ 08854: Transaction Publishers

Sjøberg, S. (2012). PISA: politique, problèmes fondamentaux et résultats surprenants. Reserches en Education(14), 65-82.

Advertisements

5 kommentarer to “Kommentarer til «Is Pisa fundamentally flawed?»”

  1. Dette var et godt og interessant innlegg, og det er viktig at bruk av statistiske modeller, datainnsamling og mulighet til sammenligning mellom land (ekvivalens) diskuteres. Kreiner tilskreves følgende sitat i TES artikkelen: «It is true that all statistical models are wrong. But some models are more wrong than other models and there is no reason to use the worst model”. Statistikk vil på sitt beste bare kunne gi en tilnærming til hva som er virkeligheten, og på sitt verste måle helt feil og slik bidra til å fordekke og gi et helt feil bilde av hva som er tilstanden.

    Som du også er inne på er det også et problem hvordan slike resultater brukes, og jeg tror det er her man i størst grad må skjerpe seg. Politikere, media og interesseorganisasjoner bruker stadig vekk statiske resultater på måter de ikke har dekning for, noe jeg tror skyldes en blanding av nyhetsverdi, at statistiske undersøkelser gir noe mer enn sprikende enkelthistorier, og manglende evne/vilje til å forstå statistikk.

    Rankinger er godt nyhetsstoff for aviser. Opposisjonspolitikere og andre med interesser i skolen griper anledningen til å legge medias dekning til grunn, for deretter å foreslå «sin løsning». Resultatene gis derfor sjelden en fair analyse, men bare blir del av en argumentene aktørene hadde fra før, og eventuelle begrensninger som fantes i den opprinnelige rapporten forsvinner helt.

    Det virker i tillegg som hungeren etter statistikk om skolesektoren er særlig sterk. Dette kan skyldes at dette gir en god kontrast til den enorme mengden anekdotiske bevis enhver lærer/forelder/elev/politiker har å komme med. Bare tenk hvor mange ulike og gjerne helt motstridende forslag til god undervisning som kan komme frem rundt matpakka på et lærerværelse.

    Den økte bruken av statistikk i skolesektoren har foreløpig ikke medført noen tilsvarende kunnskap om bruk, tolkning og kritikk av statistikk. Jeg tror en del blir litt skremt av at det ofte virker utilgjengelig (og noen ganger ER det også ganske utilgjengelig, ref. Rasch-modellen). Da heller ikke media eller politikerne bruker statistiske resultater på en god måte, er det imidlertid dypt problematisk at «historiene» og mytene slike undersøkelser skaper, bidrar til å forme morgendagens utdanningspolitikk. Hvis vi lærere heller ikke har noe annet å ta til motmæe med enn å si at «det ikke stemmer med min personlig erfaring», vil vi i stadig større grad bli stående igjen på plattformen når nye forskrifter og kommuneplaner vedtas. I så måte er ditt innlegg og diskusjon om skolestatistikk her på lærerråd et skritt i riktig retning.

  2. Takk for tilbakemelding, Ola! Ja, det sitatet av Kreiner i viktig med tanke på hvordan vi skal forstå hvordan statistiske modeller fungerer. De gir et glimt av en virkelighet som egentlig ikke eksisterer, men som likevel ofte blir brukt som tungtveiende argumenter.

    Måten resultatene brukes på har jeg en mer inngående drøfting om i bacheloroppgaven min, dersom det skulle være av interesse. Det er bekymringsverdig at de benyttes, ofte, lite gjennomtenkt i skolefaglige debatter. Slike resultater kan si noe, men det er ofte begrenset. Politikere og media trenger en slik begrenset og lettfattelige versjon for å kunne nå ut til folk flest (dessverre).

    Et forslag: hva med en mer inngående statistikkundervisning i skolen? Hvor nettopp slike problemstillinger kan drøftes og analyseres sammen med elevene. Det kan være med på å utvikle kritisk sans og allmenndannelse, uten nødvendigvis et behov for enorme kunnskaper innenfor statistikk.

    Det siste du trekker opp er for meg kanskje det viktigste. At vi som profesjon faktisk må fremstå som profesjonelle, og møte slike resultater, analyser og debatter med kunnskap, og være villige til å reflektere. Jeg håper lærerråd og ikke minst dette blogginnlegget har en trigger-effekt på et engasjement om det å være kunnskapsformidler. Samtidig skal jeg være den første til å si at det er begrenset med tid man har ute i arbeidslivet, til å sette seg inn i slike saker og komme med velformulerte svar. Men det betyr ikke at vi skal legge oss bakpå og kun leve på erfaringene. Mer tid til lesing og kompetanseheving!

  3. Alle statistiske analyser bygger på forutsetninger i modellene som kan være mer eller mindre praktiske eller realistiske. Hvis man har en modell som er bedre til å måle det som en har tenkt å måle enn den modellen som for tiden er mest anerkjent, kan en som regel kjøre en analyse av datamaterialet på nytt med en ny modell. Så kan en se om den nye modellen gir en bedre virkelighetsbeskrivelse.

Legg igjen en kommentar

Fyll inn i feltene under, eller klikk på et ikon for å logge inn:

WordPress.com-logo

Du kommenterer med bruk av din WordPress.com konto. Logg ut / Endre )

Twitter picture

Du kommenterer med bruk av din Twitter konto. Logg ut / Endre )

Facebookbilde

Du kommenterer med bruk av din Facebook konto. Logg ut / Endre )

Google+ photo

Du kommenterer med bruk av din Google+ konto. Logg ut / Endre )

Kobler til %s

Rektors refleksjoner

– et profesjonsnært tenkerom

Støtt dr Lipkins forskning! http://www.microbediscovery.org/

Hvis du ser etter noe spesielt på denne siden, kan du søke på siden med eple+F eller ctrl+F

FredagsKilden

– et profesjonsnært tenkerom

Norsklærer med digitalt grensesnitt

– et profesjonsnært tenkerom

Skolestua

– et profesjonsnært tenkerom

Mattelærer'n

– et profesjonsnært tenkerom

Skoleprat med Hanne Sand

Sterke meninger om norsk skole

Sparringmamma

– et profesjonsnært tenkerom

Meldingsboka

Blogg om skole, barnehage og utdanning. Og Utdanningsforbundet.

Mindblog | Roger Steinbakk

– et profesjonsnært tenkerom

Barnehagske betraktninger

– et profesjonsnært tenkerom

Kjetil - about maths

- didactics and digital solutions in maths

dalstroka-innafor.net

skribleri frå Hr. Sinnes

8c - 10c

Blogging fra Hinna skole

Lektor Thues tavle

– et profesjonsnært tenkerom

Eva 2.0

Brenner for digital kompetanse og god læring

LPU

– et profesjonsnært tenkerom

LIV MARIE SCHOUs ARENA

– et profesjonsnært tenkerom

Krumelurebloggen

En lærerblogg om barn med stort læringspotensial (evnerike barn).

Dysleksidama

– et profesjonsnært tenkerom

Knut Michelsens blogg

– et profesjonsnært tenkerom

Best praksis

– et profesjonsnært tenkerom

Lærerrommet

– et profesjonsnært tenkerom

Ut av uføre(t)

– et profesjonsnært tenkerom

%d bloggers like this: