TIMSS

Praktisk gjennomføring av TIMSS 2003

Generalprøve

Et år før hovedtesten ble det gjennomført en generalprøve. Her deltok 24 skoler fra 4.trinn og 30 skoler på 8.trinn. Hensikten med denne var først og fremst å prøve ut oppgaver. Resultatene fra utprøvingen ga grunnlag for å velge ut hvilke oppgaver som skulle være med i hovedundersøkelsen. Generalprøven inneholdt derfor langt flere oppgaver enn de som ble med i den endelige testen. Videre var generalprøven viktig for å prøve ut prosedyrene ved gjennomføringen.

Utvalg av skoler og deltakelse

Rammene for utvelgelsen ble satt opp av vår nasjonale TIMSS-gruppe ut fra data innhentet fra offisiell norsk skolestatistikk. Det endelige utvalget av skoler ble trukket av Statistics Canada.

Ved utsendelsen av invitasjonsbrevene til skolene om å være med på TIMSS 2003, la vi ved separate anbefalingsbrev fra Undervisningsdepartementet og Undervisningsforbundet. Skoler ble ikke pålagt, men oppfordret til å delta i undersøkelsen.

Responsen fra skolene ble slik:

• Populasjon 1 (4.klasse): 134 av 150 uttrukne skoler sa seg villig til å delta. Vi kontaktet ytterligere 7 skoler fra reservelista og 5 av disse ga positivt svar. Det totale antallet deltakende skoler ble derfor 139.
• Populasjon 2 (8.klasse): 139 av 150 uttrukne skoler svarte bekreftende på anmodningen om deltakelse. Her ble ingen reserveskoler kontaktet.

Vi benyttet ikke det samme utvalget av skoler i TIMSS populasjon 2 som i PISA, slik vi gjorde i generalprøven, ettersom vi da mottok en del mishagsytringer fra de deltakende skolene om mye merarbeid.
37 skoler ble imidlertid tilfeldigvis trukket ut i begge utvalgene til hovedundersøkelsene, men disse var overveiende positive til å delta i både TIMSS og PISA.

Vi sendte brev til alle kommunene hvor skoler var trukket ut til å delta hvor vi opplyste hvilke skoler det gjaldt.

Utvalg av klasser

I Norge trakk man ut hele klasser til å delta i undersøkelsen. Skolestrukturen i Norge for begge de aktuelle trinn er slik at klassen hovedsakelig er samlet i alle fag. ”Matematikklasser” blir altså et lite treffende begrep i norsk skolehverdag, ettersom det her hos oss blir identisk med begrepet ”skoleklasse”. Dette gjør at elev – lærer relasjonen også er oversiktlig hos oss enn i en del andre land.

På skolenivå ble klasser trukket ut etter disse kriteriene:

• Populasjon 1: To klasser ble trukket ut i alle skoler med mer enn én klasse på 4.trinn.
• Populasjon 2: To klasser ble trukket ut i alle skoler med 5 eller flere klasser på 8.trinn.

Oversettelse og verifikasjon

Dette arbeidet ble utført i tilknytning til generalprøven. Prosedyrene og retningslinjene ble nøye fulgt. I motsetning til i generalprøven ble alle instrumentene for hovedundersøkelsen oversatt til både bokmål og nynorsk. Vi tok hele tiden hensyn til kommentarene fra de internasjonale ”verifiers” og en rekke revisjoner ble gjennomført. Det falt heldig ut å ha to forskjellige ”verifiers”, en for bokmål og en for nynorsk, ettersom vi da fikk ulike språklige innspill og kunne dra nytte av dette i den endelige versjonen. Vi tilstrebet å gjøre bokmål- og nynorskutgaven av instrumentene så like som mulig. Det var få betydningsfulle problemer.

Oppgaver som ikke passet i Norge

Vi utarbeidet en liste over oppgaver som vi mente ikke passet så godt for norske elever, delvis fordi emnet ikke var dekket av læreplanen i faget på det aktuelle trinn og delvis fordi generalprøven viste lave p-verdier for disse oppgavene. Vi vil samtidig understreke at det ofte er vanskelig å skille problemer oppstått p.g.a. at tema ikke dekkes av læreplanen fra problemer som skyldes logiske vanskeligheter. For matematikk ble oppgaver av førstenevnte kategori tatt ut, mens ved logiske vanskeligheter ble de beholdt.

Innenfor naturfag var dette enda vanskeligere. Her ble det nærmest umulig å skille mellom elevers mangelfulle kunnskaper i et faglig felt og deres manglende evne til å løse spesifikke problemer i enkeltoppgaver. Naturfagoppgavene var dessuten formulert på en måte som gjorde det vanskeligere å relatere dem direkte til omtalte emner i L97. På bakgrunn av dette bestemte vi oss for å utelukke naturfagoppgaver vi mente ikke passet for norske elever, uten ytterligere begrunnelse.

Praktisk gjennomføring av testen

Invitasjonsbrevet som ble sendt ut til uttrukne skoler inneholdt generell informasjon om TIMSS og i tillegg anbefalinger fra Undervisningsdepartementet og Undervisningsforbundet.

Gjennomføringen av testen fulgte følgende tidsskjema:

1. Ca. 10 min til organisering og forberedelse, inkludert høytlesing av instruksjoner.
2. Nøyaktig 36/45 minutter til delprøve 1.
3. En kort pause på noen minutter, fortrinnsvis uten å forlate klasserommet.
4. Nøyaktig 36/45 minutter til delprøve 2.
5. En pause på noen minutter. Her kunne elevene forlate klasserommet.
6. Omtrent 20 minutter til utfylling av spørreskjemaet.

Hver enkelt elev mottok en konvolutt som inneholdt et oppgavehefte og et elevspørreskjema. Konvoluttene var forseglet. Individuelt elevnummer var påført alt materiale, dvs. både oppgaveheftet og spørreskjemaet.
Vi la inn noen mindre endringer i manualene til testadministrator og skolekoordinator, knyttet til gjennomføringen av testen. Dette ble gjort for å unngå kjedelige gjentakelser av den samme informasjonen som kunne virke demotiverende for de involverte ressurspersonene.

Ved de fleste skoler tok inspektør/rektor på seg rollen som skolekoordinator mens lærere var testadministratorer. Treningen ble gjennomført på følgende måte:

• Skolekoordinatorene fikk tilsendt manualer noen uker før tidspunktet for gjennomføringen av testen. De ble anmodet om å sette seg godt inn i disse, slik at de hadde grundig kjennskap til hvordan undersøkelsen skulle foregå. I tillegg fikk de det overordnede ansvaret for at testadministratorer også var oppdatert på sitt arbeidsområde. Ved eventuelle uklarheter i disse manualene skulle skolekoordinator henvende seg til oss.
• Både i tidsrommet før testen ble avholdt og underveis i testperioden var vi tilgjengelige på telefon dersom skolekoordinatorene skulle oppleve problemer av noe slag.
• Ut fra rapportene til så vel kvalitetskontrollørene som testadministratorene viste det seg at få problemer oppsto.

Vi ba ikke om supplerende gjennomføring av testen (retesting) ved stort fravær av elever, da vi mente dette ville innebære en for stor belastning for deltakerskolene.

Retting

Vi fulgte et nøye bestemt opplegg. Dette gikk blant annet ut på å dele ut heftene til rettere i grupper ut fra gitte kriterier. Alle rettere ble plassert i samme rom på en bestemt foreskrevet måte. Rettetreningen ble utført i umiddelbar forkant av den aktuelle oppgaven, ledet av de faglige instruktørene. Retterne var kjent med oppgavene på forhånd ettersom de god tid i forveien hadde fått utdelt permer med materiale de skulle sette seg inn i. Disse inneholdt alle oppgavene med retteguide.

Under rettingen av heftene forflyttet retterne seg etter et spesielt utarbeidet system. Reliabilitetskontroll, populært kalt relling, ble utført parallelt med rettingen ved at omtrent 30% av en de åpne oppgavene ble rettet av to personer.