Retting av de åpne oppgavene
Som tidligere nevnt skulle hver elev svare på en del åpne oppgaver. Disse oppgavene måtte rettes etter en internasjonal rettemal. Prosjektgruppa i Norge har vært aktivt med i utarbeiding av disse kodene.
Det ble arrangert internasjonale treningsleire for koding av de åpne oppgavene og oppgavene i den praktiske prøven. Norge deltok med tre personer på dette.
Retting av de åpne oppgavene tok omtrent syv uker, og 14 personer var involvert i dette arbeidet. Totalt dreide det seg om ca ett årsverk. Seks av dem var leid inn kun for dette arbeidet, de resterende var fra prosjektgruppa. Antall personer som var involvert i de forskjellige delene var som følgende:
- To personer kodet fysikkspesialistoppgavene
- Syv personer rettet oppgavene til generalistene
- Elleve personer rettet oppgavene i populasjon 1 og 2
De som rettet, ble delt i to grupper; en for matematikk og en for naturfag. Alle som rettet, fikk en innføring i hvordan kodene generelt skulle brukes. Deretter ble rettingen organisert hefte for hefte, innledet med trening i retting av de enkelte oppgavene.
Alle som rettet, satt i samme rom, fordelt på et A-bord og et B-bord. Ti prosent av alle heftene ble reliabilitetsrettet, det vil si rettet av to uavhengige personer. De fra A-bordet reliabilitetsrettet 10% av heftene i en bunke og ga dem til B-bordet og omvendt. Resultatene av dette var svært bra, og vi tror at organiseringen har mye av æren av dette. Ved å sitte i samme rom og ved at vi hadde trening og diskusjoner før hvert hefte, bidro til at sensor-reliabiliteten ble høyere enn om de som rettet, hadde sittet hver for seg.