TIMSS

Instrumentene

Undersøkelsen omfattet 30 forskjellige instrumenter: 3 skole- og lærerspørreskjemaer, 3 elevspørreskjemaer og 21 oppgavehefter. Når man regner med at elevspørreskjemaene og oppgaveheftene både er på bokmål og nynorsk, blir det totale antall instrumenter 54. Det følgende er en mer detaljert oversikt over hvilke instrumenter som ble sendt ut i de ulike populasjonene.

Oppgaveheftene

Det var 8 forskjellige oppgavehefter i populasjon 1. Hvert hefte besto av 7 forskjellige "clustere" med oppgaver i både matematikk og naturfag. Totalt var det 26 clustere.

Cluster A besto av kjerneoppgaver som vil si at disse oppgavene var med i alle heftene, cluster B var i 4 hefter, cluster C - H var i 3 hefter, cluster I - R var bare i ett hefte, cluster S - Z var i to hefter. Nedenfor er det en oversikt over hvilke clustere de åtte forskjellige heftene besto av.

Tabell 1: Sammensetningen av clustere i heftene, populasjon 1

Cluster rekkefølge	Hefte 1	Hefte 2	Hefte 3	Hefte 4	Hefte 5	Hefte 6	Hefte 7	Hefte 8
1.	B	C	D	E	F	G	H	B
2.	A	A	A	A	A	A	A	A
3.	C	D	E	F	G	H	B	R
4.	S	W	T	X	U	Y	V	Z
5.	E	F	G	H	B	C	D	I
6.	J	N	K	O	L	P	M	Q
7.	T	X	U	Y	V	Z	W	S

Elevene fikk totalt 64 minutter til å svare på oppgavene, 37 minutter på første del og 27 minutter på andre del. I hvert hefte var det både flervalgsoppgaver og åpne oppgaver. Tilsammen var det 199 oppgaver; 153 flervalgsoppgaver og 46 åpne oppgaver.

I populasjon 2 var det også åtte forskjellige hefter med til sammen 26 forskjellige clustere. Nedenfor er det en oversikt over hvilke clustere de forskjellige heftene besto av.

Tabell 2: Sammensetningen av clustere i heftene, populasjon 2

Cluster rekkefølge	Hefte 1	Hefte 2	Hefte 3	Hefte 4	Hefte 5	Hefte 6	Hefte 7	Hefte 8
1.	B	C	D	E	F	G	H	B
2.	A	A	A	A	A	A	A	A
3.	C	D	E	F	E	H	B	Q
4.	S	W	T	X	G	Y	V
5.	E	F	G	H	U	C	D	R
6.	I	J	K	L	B	V	O	P
7.	T	X	U	Y	M	Z	W

Av tabellen ser vi at hefte 8 bare hadde 3 clustere i første del og 2 clustere i andre del, men arbeidsmengden var beregnet til å være den samme som for de andre heftene. Elevene fikk 46 minutter på første del og 44 minutter på andre del. Det var til sammen 286 oppgaver; 228 flervalgsoppgaver og 59 åpne oppgaver.

I populasjon 3 var det for generalistene to forskjellige hefter (1a og 1b) og fire clustere. For fysikkspesialistene var det tre forskjellige hefter (2a, 2b og 2c) og fire forskjellige clustere. Se tabell 3.

Tabell 3: Sammensetning av clustere i hefter, populasjon 3

Cluster rekkefølge	Hefte 1a	Hefte 1b	Hefte 2a	Hefte 2b	Hefte 2c
1.	A	B	E	E	E
2.	B	A	F	G	H
3.	C	D

Cluster A er kjernen i "Reasoning and Social Utility" og besto av 5 flervalgsoppgaver og 7 åpne oppgaver, ingen rotasjoner. "Mathematics and Science Literacy" besto av 47 flervalgsoppgaver og 17 åpne oppgaver, B var kjernen og C og D var rotasjoner. Tilsammen i generalistheftene var det 52 flervalgsoppgaver og 24 åpne oppgaver. I heftene for fysikkspesialistene var det tilsammen 42 flervalgsoppgaver og 23 åpne oppgaver.

Elevspørreskjema

Elevene skulle svare på et elevspørreskjema med spørsmål om deres bakgrunn, hva de gjør utenom skolen, holdninger til fag, undervisning, skole etc. Dette skulle besvares etter at de hadde gjennomført oppgaveheftet. Det var beregnet å ta ca 20 minutter, men i motsetning til oppgavedelen kunne de her bruke lenger tid hvis det var ønskelig eller praktisk mulig.

Lærerspørreskjema

I populasjon 1 var det ett lærerspørreskjema med omfang på omtrent en time som skulle besvares av den læreren som hadde klassen i matematikk og/eller naturfag. Det var spørsmål blant annet om akademisk og yrkesmessig bakgrunn, undervisningsmetoder og holdninger til undervisning av matematikk og naturfag. Noen av spørsmålene gjaldt også en spesiell undervisningstime i matematikk i den klassen som gjennomførte testen.

I populasjon 2 var det to forskjellige lærerspørreskjemaer; ett i matematikk og ett i naturfag. Begge var delt i fire deler. I del A var spørsmålene stort sett de samme som i populasjon 1 og like for matematikk og naturfag. I del B var det spørsmål som skulle refereres til den naturfag-/matematikk-klassen som var med i TIMSS-undersøkelsen. Del C og D, "Opportunity to learn" og "Pedagogical Approach", var valgfrie. Vi valgte å ikke ta med disse, først og fremst for å redusere arbeidsmengden til lærerne, men også fordi vi var usikre på verdien av denne delen. Men vi la til noen ekstra spørsmål om lærernes faglige bakgrunn og om praktisk arbeid i naturfagundervisningen.

Det var ingen lærerspørreskjemaer i populasjon 3.

Skolespørreskjema

Det var ett skolespørreskjema for hver populasjon som skulle besvares av rektor eller en annen i administrasjonen. Bortsett fra noen få spørsmål, var disse like i populasjon 1 og 2. I alle tre populasjonene gjorde vi store forandringer i forhold til den internasjonale versjonen. Dels var dette fordi spørmålene ikke passet til norske forhold, og dels fordi vi kunne svare på en del spørsmål sentralt. Hensikten med en del spørsmål var for oss også uklare, og noen av spørsmålene kunne også forstås på flere måter.

Oversetting

Hele høsten 1994 ble det lagt ned et omfattende arbeid i oversettelse av oppgaver og ulike spørreskjemaer. 6 - 7 personer var mer eller mindre innvolvert i dette arbeidet. De fleste var fra den norske prosjektgruppa med bakgrunn i matematikk og naturfag.

Det var strenge krav til oversettingsprosedyren. Alle oppgaver og spørsmål måtte oversettes av minst to uavhengige personer som var både språklig og faglig dyktige. I tillegg måtte det være med minst en person til i diskusjonen om hvordan den endelige versjonen skulle være. Når det gjaldt oversetting av oppgavene, var vi stort sett delt inn i to grupper; en i matematikk og en i naturfag.

Det var krav om å finne ord som var så nær den engelskspråklige versjonen som mulig slik at vanskelighetsgraden både når det gjaldt faglig vanskegrad og lesbarhet skulle bli så lik som mulig. Dette har ført til at den norske teksten i noen av oppgavene ikke er like god som den kunne ha vært hvis en hadde startet på et fritt grunnlag. Den norske versjonen fra generalprøven dannet grunnlag for oversettingen.

Før trykking måtte de ferdig oversatte oppgavene sendes til Canada hvor språkeksperter i hvert språk gikk gjennom teksten og grafikken til hver eneste oppgave for å sjekke dem i forhold til den originale versjonen. Eventuelle avvik eller tilpasninger til norske forhold måtte godkjennes av Study Center i Boston. Vi har fått svært positiv tilbakemelding på vårt arbeid med oversettelse.

Elevspørreskjemaene ble også oversatt så direkte som mulig. I lærer- og skolespørreskjemaene ble det som nevnt tidligere, gjort en del forandringer. Oppgaveheftene og elevspørreskjemaene ble oversatt til nynorsk fra den godkjente bokmålversjonen. Dette ble utført av folk med norsk som fag.

Prosessen med innskriving, korrekturlesing og oppretting tok mye lenger tid enn beregnet. Årsaken var at vi manglet personer som hadde erfaring med Pagemaker-programmet som ble brukt.

Før heftene kunne trykkes sendte vi et eksempel av hvert hefte i alle populasjonene til Study Center. Dette var for å sjekke dem i forhold til de originale med hensyn på "lay-out", instruksjonen til elevene og rekkefølgen av oppgavene.