TIMSS

Utvalg og kontakt med skoler

Statistisk Sentralbyrå (SSB) ble engasjert av prosjektledelsen for å utføre det endelige utvalget av skoler. Utvelgelsen skjedde etter en lang periode med samarbeid mellom SSB og prosjektledelsen, og med gjenntatte konsultasjoner og godkjenning av TIMSS sentralt, representert ved Statistics Canada.

Populasjon 1 og 2

For å få et effektivt utvalg, ble populasjon 1 delt i tre strata og populasjon 2 i fem strata etter skolestørrelse, se tabellene nedenfor. I tillegg til denne eksplisitte stratifiseringen ble det foretatt implisitt stratifisering, etter regioner og kommuner, etter SSB's tett/spredt-indeks for kommuner.

For hver av de 410 uttrukne skolene ble det også trukket to reserveskoler, fra den sorterte utvalgslista, slik at om en skole ikke ønsket å delta, så ville reserveskolen ha de samme karakteristika.

Tabell 1: Oversikt over strata og antall elever og skoler i populasjon 1

Strata	Størrelse (antall elever per stratum)	Skoler i utvalget	Minimum klasse-størrelse	Laveste anslag for antall elever
Små skoler Pop 1	18096	38	5	380
Store skoler Pop 1	76488	86	20	3440
Andre skoler Pop 1	8005	26	14	728
Totalt	102589	150		4548

Tabell 2: Oversikt over strata og antall elever og skoler i populasjon 2

Strata	Størrelse (antall elever per stratum)	Skoler i utvalget	Minimum klasse-størrelse	Laveste anslag for antall elever
Pop 2, store 1 - 9 (7) skoler	8170	13	20	520
Pop 2, små 1- 9 (7) skoler	15942	27	5	270
Pop 2, ungdomsskoler	37466	110	20	2200
Pop 2, store 1- 6 skoler	34323	91	18	1638
Pop 2 , små 1- 6 skoler	7156	19	5	95
Totalt	103057	260		4723

Populasjon 3

I populasjon 3 valgte Norge å delta med fysikkspesialister og såkalte generalister. Generalistene besto av elever fra alle studieretninger. Fysikkspesialister ble definert som 3 FY elever.

På grunn av alle de forskjellige studieretningene i populasjon 3, var prosedyrene for utvalg mye mer komplisert enn for populasjon 1 og 2. Vi valgte å dele studieretningene inn i følgende fire strata: Allmennfag, Handel og kontor, Håndverk og industri og Andre (alle de andre studieretningene). Vi valgte å rette oss mot elever som tok VK II.

For å kunne trekke ut skolene som skulle delta i 3 FY, måtte vi finne ut hvor mange som tok 3 FY dette året og hvordan disse fordelte seg på ulike skoler. Noe statistikk på dette fantes verken i Statistisk Sentralbyrå eller i KUF. Vi skrev derfor til alle videregående skoler med allmennfaglig studieretning og ba om tilbakemelding om antall 3 FY - elever (vedlegg 2).

For populasjon 3 ble det brukt de samme implisitte strata som for populasjon 1 og 2. For å få estimat for fysikkspesialister og generalister fra ulike studieretninger, ble det valgt ut skoler/klasser etter følgende fem strata, se tabellen nedenfor.

Tabell 3: Oversikt over strata og antall skoler, populasjon 3

Strata	Antall skoler totalt	Antall utvalgte skoler
31 Fysikk spesialister (3Fy)	234	70
32 Allmenfaglig studieretning	261	60
33 Handel og kontor	174	40
34 Håndverk og industri	214	40 (31)
35 Andre studieretninger	215	40

Det viste seg da vi fikk svar fra skolene, at dataene som Statistisk Sentralbyrå baserte utvalget på, hadde svakheter. Spesielt gjaldt dette stratum 34, men også stratum 35. Noen av skolene som var trukket ut, hadde ikke elever på den utvalgte studieretningen og noen skoler hadde eldre elever som var kommet tilbake for å fullføre en utdanning. Av den grunn ble tekniske fagskoler tatt ut.

Praktisk prøve

50 skoler ble trukket ut til å delta i den praktiske prøven som i Norge bare ble gjennomført i populasjon 2. Det var kun det øverste klassetrinnet som skulle delta, som for oss vil si 7. klassetrinn. Det var 150 skoler med 7. klassetrinn. 37 skoler ble ekskludert fra dette utvalget, enten fordi de hadde for få elever (færre enn 9) eller av geografiske grunner (kostnadene ved å besøke skolene ville bli for høye).

Kontakt med skolene

Populasjon 1 og 2

Så snart utvelgelsen av skolene var godkjent av Statistics Canada, startet vi å kontakte skolene. Først ble det sendt brev til rektorene med spørsmål om skolen ønsket å delta i TIMSS, november 94, (vedlegg 3). Samtidig ble det sendt brev til Utdanningskontorene og fylkesskolesjefene (vedlegg 4-5). I alle disse henvendelsene var det vedlagt anbefalingsbrev fra Departementet, Lærerforbundet og Norsk lærerlag (vedlegg 6-8).

Så snart vi fikk negativt svar fra en skole, ble skolens 1. reserve kontaktet (vedlegg 9). I populasjon 1 og 2 var det svært positiv respons fra skolene, i overkant av 90 prosent ga positivt svar.

Til skolene som svarte ja, ble det så sendt et skjema der skolene skulle oppgi antall elever på de aktuelle klassetrinn og de lærere som underviste disse klassene i matematikk og naturfag (vedlegg 10). På bakgrunn av disse data ble klassene og lærerne trukket ut. Det ble brukt et dataprogram spesielt utviklet for TIMSS i dette arbeidet. Med bakgrunn i denne prosedyren ble følgende antall elever trukket ut for å delta i undersøkelsen:

Populasjon 1: 4992 elever

Populasjon 2: 6432 elever

Deretter ble det sendt brev til skolene om å finne skolekontakter for undersøkelsen (vedlegg 11). Omtrent 70% av skolene valgte å ha en av klasselærerne som skolekontakt, på de resterende var det rektor eller inspektør.

Populasjon 3

I populasjon 3 var den første henvendelsen til de uttrukne skolene også via brev til rektorene, desember 94 (vedlegg 12). Det ble samtidig sendt brev til alle Fylkesskolesjefene med informasjon om TIMSS og om hvilke skoler som var trukket ut til å delta i deres fylke (vedlegg 13).

Svarprosenten varierte veldig i de forskjellige studieretningene fra 91, 4% for 3 FY-elever ned til 62,5% for handel og kontor. Av tabellen på neste side ser man hvor mange elever som var trukket ut i de ulike strata, og svarprosenten.

Tabell 4: De ulike strata og svarprosent, populasjon 3

Strata	Antall elever som var trukket ut	Svarprosent
31 Fysikk spesialister (3Fy)	1325	91,4%
32 Allmennfaglig studieretning	1228	88,3%
33 Handel og kontor	642	62,5%
34 Håndverk og industri	545	67,7%
35 Andre studieretninger	595	70,0%

De noe lave deltakerprosentene i de tre siste strataene må sees i sammenheng med at matematikk og naturfag ikke ble ansett som sentrale skolefag på disse studieretningene. På noen av skolene var også elevene ute i praksis i perioden som testen skulle avholdes. Det viste seg også vanskelig å finne reserveskoler som var villig til å være med. Vi endte derfor opp med et lavere antall skoler og elever enn planlagt. Men i utgangspunktet hadde vi et høyere antall "generalist-skoler" enn kravet fordi vi ønsket å gi separate estimater for prestasjoner og holdninger innenfor de ulike studieretningene.

Kontakten med skolene var veldig tidkrevende, fordi det alltid var en del skoler som ikke svarte innen tidsfristene og som ble purret på både per brev og telefon. Erfaringer fra populasjon 1 og 2 medførte at vi for å spare tid, reduserte antall ganger vi kontaktet skolene. Prosedyrene vi brukte for å få skolekontakt i populasjon 3, var også annerledes enn i populasjon 1 og 2. De skolene som ønsket at rektor ikke skulle være kontaktperson, måtte gi beskjed. Dette resulterte i at omtrent 30% av skolekoordinatorene var klasselærere, resten var rektorer eller en annen fra administrasjonen.

I alle populasjonene fikk skolene selv velge om de ville ha testen på bokmål- eller nynorsk.

Det ble laget et forslag til brev til foreldrene som skolene kunne sende med som informasjon (vedlegg 14).

Eksklusjon av elever

Det var internasjonale kriterier for hvilke elever som kunne ekskluderes fra testen. Kort gjengitt var det elever som var så fysisk eller psykisk funsksjonshemmet at de ikke var i stand til å besvare oppgavene, eller fremmedspråklige som ikke hadde hatt tilstrekkelig norsk til å kunne lese teksten. Disse kriteriene er beskrevet i brev til skolekoordinatorene, se vedlegg 11 side 2. Elever som hadde problemer med lesing, kunne få hjelp til lesing av teksten i den grad det var praktisk mulig.

I populasjon 1 var 2,1% var ekskludert fra testen (2,5% i 2. klasse og 1,7% i 3. klasse).

I populasjon 2 var 1,6% av elevene ekskludert fra testen (2% i 6. klasse og 1,4% i 7. klasse).