Vikarlæreren: Fritak funker ikke: Ingen sammenheng mellom fritak og resultater på nasjonale prøver

av Lærerråd
Ola Vassli, lærer og masterstudent.

Ola Vassli, lærer og masterstudent.

Denne vikarposten er skrevet av Ola Vassli. Ola er lærer, og jobbet sist på Hallagerbakken skole på Holmlia. Han er for tiden masterstudent i statsvitenskap, der han undersøker kommuners fremgang på de nasjonale prøvene.

Selvfølgelig blir det gjennomsnittlige resultatet på nasjonale prøver høyere hvis de svakeste elevene blir fritatt. Dette slo meg som så selvfølgelig at jeg i masteroppgaven min planla å kontrollere vekk denne formen for juks og «skoledoping». Ja, for hvorfor skulle ellers skoler i Vestfold «nærmest presse» foreldre til å søke fritak for barna sine? Etter å ha gått tallene nærmere i sømme, viser det seg at dette ikke på noen måte var så selvfølgelig som jeg trodde.

Først: Det store bildet

Ved hjelp av Utdanningsdirektoratets rapportbygger har jeg hentet ut prøveresultater og fritaksandel for samtlige av landets kommuner på prøvene i engelsk, lesing og regning for både 5. og 8. klasse i årene 2007 til 2013. Datasettet mangler en del informasjon, spesielt skorter det på fritaksandeler og data om de minste kommunene. Det er også gjennomgående mindre informasjon om prøvene i 8. klasse. Henvendelser til Utdanningsdirektoratet tyder imidlertid på at dette er de beste dataene de har – og da må vi foreløpig klare oss med det.

Ta heller en studietur til Karlsøy enn å frita elever fra de nasjonale prøvene. Det funker nemlig ikke, ifølge analysen til Ola Vassli.

Ta heller en studietur til Karlsøy enn å frita elever fra de nasjonale prøvene. Det funker nemlig ikke, ifølge analysen til Ola Vassli. Skjermdump fra oppslag i Vestfold Blad.

Det finnes store variasjoner mellom kommunene i hvor stor andel elever som fritas. «Rekorden» innehas av Karlsøy kommune i Troms, der hele 34,8 % av elevene var fritatt fra engelskprøven for 8. klasse i 2007. I motsatt ende har veldig mange kommuner 0 % fritatte elever. Dette gjelder faktisk en overraskende stor andel av kommunene, og for eksempel hadde hele 180 av 231 kommuner 0 % fritak fra leseprøven for 5. klasse i 2007. Andelen «0 %-kommuner» har sunket i perioden 2007 til 2013, men ved samme prøve i 2013 hadde fortsatt 87 av 201 kommuner 0 % fritak. Gjennomsnittlige andel fritak har økt fra under 1 % til litt rundt 3 % i de siste årene (legg merke til at dette er snakk om gjennomsnittet mellom kommuner).

Den følgende analysen vil bruke korrelasjon som et mål på i hvilken grad kommuner med høy andel fritatte elever også har høyere resultater. En korrelasjon (sammenheng) på 1 vil bety at det alltid er høy verdi på begge variablene, mens en korrelasjon på -1 betyr at når den ene variabelen har høy verdi, vil den andre alltid ha lav verdi. En korrelasjon på 0 betyr at det ikke finnes noen sammenheng, og på samme måte vil en korrelasjon på 0,60 bety at variablene viser en sterkere sammenheng enn om korrelasjonen bare er på 0,30. Siden jeg ikke har tall for alle norske kommuner, kan enkelte korrelasjoner skyldes tilfeldigheter ved de kommunene jeg har tall på. For å måle graden av slik tilfeldighet brukes signifikanssannsynlighet. En signifikanssannsynlighet på 100 % betyr at vi kan være helt sikre på at sammenhengen kun skyldes tilfeldigheter. Resultatet kan derfor ikke anses som representativt for alle norske kommuner. Videre vil jeg regne med at en signifikanssannsynlighet på 5 % eller lavere er tilstrekkelig til å konkludere med at en sammenheng ikke skyldes tilfeldigheter. Slike signifikante korrelasjoner vil bli merket med en * i tabellene.

Tabellen under viser korrelasjon mellom andel fritatte elever og resultater for alle prøver på begge trinn fra 2007 til 2013. Resultatene er slått sammen slik at resultatene fra prøvene på 5. og 8. trinn teller like mye (disse måles henholdsvis på en skala fra 1–3 og en skala fra 1–5).

Tabell 1: Korrelasjon mellom gjennomsnitt andel fritatte elever og resultatene på alle nasjonale prøver for norske kommuner 2007–2013. Både 5. og 8. klasse.

År 2007 2008 2009 2010 2011 2012 2013
Korrelasjon 0,22 0,23 -0,11 -0,19 0,38* -0,07 0,19
Signifikanssannsynlighet 16 % 12 % 47 % 25 % 0,8 % 69 % 11 %
Antall kommuner (N) 42 46 45 39 48 38 72

Overraskende nok viser tabellen at det kun finnes signifikant sannsynlighet mellom andel fritatte elever og resultater i ett av sju år prøvene er arrangert (i sin nåværende form). I 2011 finnes en moderat korrelasjon, og det er videre bare 0,8 % sannsynlighet for at dette skyldes tilfeldigheter. Men siden enkelte kommuner har unormalt høye fritakstall, kan disse opptre som statistiske «uteliggere» som påvirker resultatet i unaturlig stor grad. Ved å plotte fritak og resultater opp mot hverandre finner jeg tre slike uteliggere i tabellen over: 2011 er det eneste året med signifikant sammenheng mellom fritak og resultater, og dette resultatet står seg selv om uteliggeren Giske utelates fra analysen. Resultatene i 2009 og 2012 forblir ikke-signifikante etter at henholdsvis Hadsel og Hammerfest utelates. Antall kommuner som er inkludert i tabellen over er lavt, og dette skyldes at jeg i løpet av sammenslåingen av dataene «mistet» informasjon om mange kommuner. Mange kommuner forsvinner fordi det kun finnes informasjon om prøvene på 5. og ikke 8. klasse eller vice versa. Jeg vil derfor prøve å analysere resultatene for 5. og 8. klasse hver for seg. Dette vil både øke antall kommuner i analysen og kan få frem om sammenhengen mellom fritak og resultater varierer mellom barne- og ungdomsskolen.

Er det forskjell på prøvene for 5. og 8. klasse?

Tabell 2: Korrelasjon mellom gjennomsnitt andel fritatte elever og resultatene på alle nasjonale prøver for norske kommuner 2007–2013. Kun 5. klasse.

År 2007 2008 2009 2010 2011 2012 2013
Korrelasjon 0,00 0,14 0,11 0,20* 0,08 0,11 0,12
Signifikanssannsynlighet 98 % 8 % 17 % 2,5 % 29 % 21 % 9 %
Antall kommuner (N) 152 164 155 130 160 137 198

Tabell 2 viser korrelasjonen mellom fritak og resultater på alle prøver på 5.trinn. Kun på prøvene i 2010 hadde skoler med høyt fritak høyere resultater, og der sannsynligheten for at dette skyldes tilfeldigheter, er på 2,5 %. Åmli i 2007, Hadsel i 2009 og Aure i 2012 er uteliggere, men resultatene i disse årene forblir ikke-signifikante også når disse utelates.

Tabell 3: Korrelasjon mellom gjennomsnitt andel fritatte elever og resultatene på alle nasjonale prøver for norske kommuner 2007–2013. Kun 8. klasse.

År 2007 2008 2009 2010 2011 2012 2013
Korrelasjon -0,35* -0,11 -0,09 -0,09 -0,03 -0,04 -0,11
Signifikanssannsynlighet 0,1 % 33 % 41 % 45 % 77 % 78 % 32 %
Antall kommuner (N) 87 83 84 77 77 63 88

På prøvene for 8. klasse har korrelasjonen negativt fortegn, noe som betyr at kommuner med høyt fritak oftere oppnår dårligere resultater. Resultatene er imidlertid bare signifikante i 2007, og forsvinner helt hvis uteliggeren Karlsøy utelukkes fra analysen. Karlsøy er også en uteligger i 2009, men her påvirkes ikke resultatet av om denne kommunen utelates. Foreløpig er det lite som vitner om en tydelig sammenheng mellom andel fritatte elever og resultater. Legg også merke til at den signifikante korrelasjonen i 2011 vi fant i tabell 1 (for begge klassetrinn) skyldes tilfeldigheter ved hvordan resultatene ble slått sammen på: Det finnes ingen signifikant sammenheng på 2011-prøvene til verken 5. eller 8. klasse. Resultatet i tabell 1 virker dermed å skyldes at skoler med høyt fritak på prøven i 5. klasse samme år hadde høyt resultat på prøven for 8. klasse (eller motsatt). Mangelen på sammenheng er overraskende og det kan være verdt å gå enda grundigere til verks ved å studere alle de avholdte prøvene hver for seg.

Er det forskjeller mellom de 39 ulike prøvene?

Siden 2007 er det avholdt 14 leseprøver, 12 regneprøver (årets tall er enda ikke sluppet) og 13 engelskprøver (Utdanningsdirektoratet gjorde feil med engelskprøven for 5. klasse i 2011 og publiserte aldri resultatet). På de 14 prøvene i lesing har kun én prøve signifikant sammenheng mellom fritak og resultat. På prøven for 5. klasse i 2010 er korrelasjonen nokså svak (0.26, sig: 0,0 %, N=190). Resultatet forblir også signifikant selv om uteliggeren Ringebu utelates. Det virket først å være signifikant negativ sammenheng på prøven for 8. klasse i 2007, men denne forsvant da uteliggeren Karlsøy ble fjernet.

På de 12 regneprøvene finnes det signifikant sammenheng på prøven for 5. klasse i 2011 og for 8. klasse i 2007. Korrelasjonen på 5. klasseprøven i 2011 er svak (0.15, sig: 2,8 %, N=208). Korrelasjonen på 8. klasseprøven i 2007 er negativ, men forsvinner når uteliggeren Karlsøy utelates. Derimot blir 5. klasseprøven fra 2012 svakt positivt korrelert (0.16, sig: 2,6 %, N=205) når uteliggeren Aure utelates, og dermed blir regneprøvene stående med to av tolv signifikant korrelerte prøver.

På de 13 engelskprøvene finnes signifikant positiv korrelasjon på prøven for 5. klasse både i 2010 (0.21, sig: 0,3 %, N=207) og 2011 (0.15, 3,4 %, N=200). 8. klasseprøven i 2007 var først signifikant negativ korrelert, men da Karlsøy med sitt rekordfritak på 34,8 % ble utelatt, forsvant denne sammenhengen. Oppsummert finnes signifikant positiv korrelasjon bare på 5 av de 39 prøvene som er blitt avholdt. De svake korrelasjonene er alle positive, noe som betyr at kommunene med høyere fritak også hadde litt høyere resultater. Men selv for 5. klasse-prøvene inntreffer dette bare på 5 av 19 prøver, mens det for de 20 prøvene i 8. klasse ikke fantes noen sammenheng. Det hadde vært spennende å se om man oppnår samme resultatet ved å studere skoler og ikke kommuner, men for flere av kommunene i analysen er dette det samme, da enkelte kommuner uansett bare har én grunnskole. En lignende analyse kunne sikkert også vært gjort med mer sofistikerte statistiske metoder, for eksempel ved å «imputere» manglende data. Men ettersom vi har brutt ned sammenslåtte tall i stadige mindre biter, begynner det likevel å tegne seg et bilde av det ikke er noen klar sammenheng mellom fritak og resultater. Kommuner med høyt fritak har verken bedre eller dårligere resultater enn andre kommuner.

Myth busted?

Kan variasjonen i fritak og resultater forklares uavhengig av hverandre? Kanskje. En mulighet er at ulike syn på hvorvidt alle elever i størst mulig grad bør gjøre det samme, eller om det er greit at de svakeste elevene har et annerledes opplegg, spiller en rolle. Dette kan forklare variasjonen i fritak og trenger ikke nødvendigvis også å påvirke prøveresultatene. En annen årsak til variasjon i fritak kan være av mer praktisk art: Skal en skole frita elever, må disse ha et alternativt opplegg. Å lage et alternativt opplegg krever en del ressurser, noe som er enklere å avsette hvis man har planer om å frita mange elever enn bare én eller et fåtall. Det kan i så fall være snakk om en ketchupeffekt: Enten så kommer det ingenting, eller så kommer det alt for mye.

Eller kan det tenkes at disse kommuner med høyt fritak egentlig er dårligere enn gjennomsnittet, men at de «reddes» nettopp ved å frita en stor andel elever? Kanskje, men i utgangspunktet bør fritak fungere slik at the more the merrier: Det er i hovedsak de antatt svakeste elevene som fritas, og jo flere av disse som fritas jo færre havner på «Mestringsnivå 1». Og gjennomsnittet for de resterende elevene bør da bli høyere. En kommune som fritar 20–30 % av de svakeste elevene bør slik kunne unngå å ha én eneste elev på de laveste mestringsnivåene. Dette er derimot ikke tilfelle, og de kommunene med et uvanlig stort fritak (uteliggerne) har samtidig oppnådd veldig lave resultater. Karlsøy er her verdt en nærmere kikk: Der har resultatene de senere årene gått kraftig opp, samtidig som det tidligere rekordhøye fritaket har blitt kraftig redusert. Stikk i strid med det som høres logisk ut: Dess flere svake elever som fritas, jo høyere bør resultatene bli. Statistikken viser imidlertid at dette ikke stemmer. Men finnes det en slags «gylden middelvei» der det lønner seg å frita en «passe» andel elever? Jo, det kan tenkes. Problemet er bare at effekten av å frita et par prosent av elevene da blir forsvinnende liten, nettopp fordi de fleste av de svake elevene fortsatt vil ta prøvene. Så kanskje er det rett og slett sånn at fritak og resultater ikke har noen sammenheng?

Men mangelen på en faktisk sammenheng trenger ikke å utelukke at enkelte rektorer og lærere (i Vestfold og andre steder) har trodd at økt fritak kunne føre til høyere prøveresultater. Innføringen av de nasjonale prøvene har medført at det har blitt lettere for politikere, media og befolkningen å kikke skolene i kortene. Dette har flere steder ført til et økt press på ledelse og ansatte i skolen. Og som kjent reagerer vi mennesker ulikt på press: Noen motiveres og arbeider grundigere og mer systematisk, mens andre igjen stresser og hopper på første og (sjeldent) beste løsning. Og er du en skolesjef, rektor eller lærer av den siste typen som leser dette: Fritak funker ikke. Vurder heller å ta en studietur til Karlsøy.

Advertisements

7 Responses to “Vikarlæreren: Fritak funker ikke: Ingen sammenheng mellom fritak og resultater på nasjonale prøver”

  1. Jeg har lagt ut datasett, resultater og output-fil fra SPSS på http://goo.gl/FQZuvN . Spørsmål om datasett, metoder osv. kan stilles her i kommentarfeltet, på twitter (@ovassli) eller mail (ola.vassliSNABELAgmail.com).

  2. Denne kommentaren er basert på en kjapp gjennomlesning og jeg tar forbehold om at jeg har misset noe.
    Jeg lurer rett å slett på om du har for lite data til å kunne si «myth busted». Når du konkluderer med at fritak har minimalt å si for resultatet, tar du da nok hensyn til følgende:

    – Er det urimelig å anta at kommuner med en høy prosentandel fritatte elever også er kommuner som gjennomsnittlig ville ha kommet dårlig ut av en slik test, dersom samtlige elever ble testet?
    Du argumenterer mot slutten av innlegget for dette, ved å si at det er de antatt svakeste elevene som fritas.
    Samtidig virker det som om du kanskje bagateliserer dette noe, ved å f.eks vise til Karlsøy, der friktaksandelen har sunket, samtidig som resultatene stiger. Kan det her tenkes at det er store ressuser innsatt i året der fritaksprosenten var stor, som fører til sterkere resultat og lavere fritaksandel i årene etter?
    Rotete skrevet, men håper du skjønner hvor jeg vil hen.
    Altså: Om Karlsøy og kommuner i tilsvarende situasjon setter inn tiltak når resultatene er lave og fritaksandelene store, vil ikke dette «lure» metodene dine litt? Da i den forstand av at man kan få et inntrykk (ihvertfall om man ser på gjennomsnittet) av at resultatene er ganske uforandret ved neste undersøkelse, til tross for lavere fritaksandel.

    Ellers virker arbeidet meget ryddig.

  3. De mest folkerike kommunene er det allerede ganske gode data på, så et utvidet datasett vil nok gitt flere små kommuner der fritak eller resultat er unntatt offentlighet (så enkeltelever ikke skal kunne identifiseres). Forhåpentligvis vil Utdanningsdirektoratet kunne gi en eller annen forsker tilgang til dette, eventuelt at de gjør en slik analyse selv. Det er vanskelig å forskuttere hvordan et økt antall kommuner ville påvirket resultatet, særlig når de små kommunene som allerede inngår i analysen virker å ha enorm variasjon både i resultater og fritaksandel.

    Det er teoretisk mulig at gjennomsnittet for «0 %-prosentkommunene» egentlig er høyere, men at kommunene med fritak akkurat «tetter gapet» og slik også fremstår som gjennomsnittlige. Det ville imidlertid forutsette at nesten alle fritakskommunene (mange nok til det ikke oppdages som signifikant korrelasjon) traff nøyaktig «riktig» fritaksprosent slik at dette i sum ga det samme gjennomsnittet som hos «0 %-kommunene». Det som gjør dette usannsynlig er at dette videre må ha inntruffet på 34 av 39 prøver, mens det da kun er de 5 resterende prøvene som da avslører hele eller deler av «fritakseffekten».

    Hvis det finnes en «fritakseffekt» bør jo denne også endres (med en eller annen form) ettersom fritaket øker. Jeg har ved å bruke korrelasjon antatt at denne sammenhengen ville være lineær, noe den viste seg ikke å være. Det kan tenkes at en slik effekt følger andre former, men plottene viser ingen tydelig sammenheng av noen som helst form (har du tilgang SPSS kan du følge lenken og åpne output-fila).

    Har heller tro på at en tredje variabel slik som f.eks. utdanningsnivå (som påvirker prøveresultater) eller kommunestørrelse (som igjen er korrelert med utdanningsnivå) er med å spille en rolle her. Men hvorfor/hvordan kan høyt utdanningsnivå/kommunestørrelse føre til lavere fritaksandel?

    Hva som har skjedd i Karlsøy lurer jeg også på. Virker som de fleste kommuner har satt i gang både det ene og andre tiltaket for å få bedre prøveresultater, forskjellen er at det Karlsøy har gjort har gitt kjemperesultater. Vurderer å se nærmere på Karlsøy i masteroppgava mi – so stay tuned!

    • Det virker som om du har en potensielt irriterende tredjevariabel der. Kunne det være interessant å f.eks. undersøke sammenhengen mellom ressurser brukt på spesialpedagogisk innsats (siden mange/samtlige kommuner opererer med et krav om en individuell opplæringsplan [IOP] for å få fritak fra nasjonale prøver [NP]) og bedring av resultater over tid? Da kunne du muligens kontrollere statistisk for dette i designet.

  4. Enkeltvedtak (om IOP) burde henge sammen med fritak, men hva som igjen driver enkeltvedtak er mer komplisert. Denne rapporten http://www.sof.ntnu.no/S%C3%98F-R%2005_11.pdf (sidene XI-XVI) oppsummerer dette på en grei måte.

Trackbacks

Legg igjen en kommentar

Fyll inn i feltene under, eller klikk på et ikon for å logge inn:

WordPress.com-logo

Du kommenterer med bruk av din WordPress.com konto. Logg ut / Endre )

Twitter picture

Du kommenterer med bruk av din Twitter konto. Logg ut / Endre )

Facebookbilde

Du kommenterer med bruk av din Facebook konto. Logg ut / Endre )

Google+ photo

Du kommenterer med bruk av din Google+ konto. Logg ut / Endre )

Kobler til %s

Rektors refleksjoner

– et profesjonsnært tenkerom

Støtt dr Lipkins forskning! http://www.microbediscovery.org/

Hvis du ser etter noe spesielt på denne siden, kan du søke på siden med eple+F eller ctrl+F

FredagsKilden

– et profesjonsnært tenkerom

Norsklærer med digitalt grensesnitt

– et profesjonsnært tenkerom

Skolestua

– et profesjonsnært tenkerom

Mattelærer'n

– et profesjonsnært tenkerom

LP-modellen - læringsmiljø og pedagogisk analyse

en blogg fra Læringsmiljøsenteret for alle som arbeider med LP-modellen

Skoleprat med Hanne Sand

Sterke meninger om norsk skole

Sparringmamma

– et profesjonsnært tenkerom

Meldingsboka

Blogg om skole, barnehage og utdanning. Og Utdanningsforbundet.

Mindblog | Roger Steinbakk

– et profesjonsnært tenkerom

Barnehagske betraktninger

– et profesjonsnært tenkerom

Kjetil - about maths

- didactics and digital solutions in maths

dalstroka-innafor.net

skribleri frå Hr. Sinnes

8c - 10c

Blogging fra Hinna skole

Lektor Thues tavle

– et profesjonsnært tenkerom

Eva 2.0

Brenner for digital kompetanse og god læring

LPU

– et profesjonsnært tenkerom

LIV MARIE SCHOUs ARENA

– et profesjonsnært tenkerom

Krumelurebloggen

En lærerblogg om barn med stort læringspotensial (evnerike barn).

Dysleksidama

– et profesjonsnært tenkerom

Knut Michelsens blogg

– et profesjonsnært tenkerom

Best praksis

– et profesjonsnært tenkerom

Lærerrommet

– et profesjonsnært tenkerom

Ut av uføre(t)

– et profesjonsnært tenkerom

%d bloggers like this: