Exjobb: Populärvetenskaplig sammanfattning
Replikering av kontrollerade experiment inom empiriska studier av programvaruteknik—en undersökning
Programvaruteknik (software engineering) i den betydelsen det används i detta examensarbete är studiet av metoder, processer och tekniker som används för att producera program, dvs. mjukvara för datasystem.
Inom detta fält finns ett viktigt fält av empiriska studier inom programvaruproduktion: studier där man observerar programmerare när de tillämpar sådana metoder, processer och tekniker och resultaten därav.
I mitt examensarbete har jag tittat på den vanligaste formen av sådana empiriska studier: kontrollerade experiment. Andra former av studier är bland annat fallstudier (case studies) och undersökningar (surveys).
För att resultaten från sådana studier skall kunna betraktas som gilitga, måste dessa studier upprepas—replikeras—under olika former. Jag har i detta examensarbete sett på alla sådana experiment som är beskrivna i ett urval av vetenskapliga publikationer; både förstagångsexperiment och upprepningar—replikeringar.
Replikeringar av kontrollerade experiment kan kategoriseras på olika sätt. För exempel kan man se om replikationen har utförts av samma forskare som gjore det ursprungliga experimentet (sk. ‘intern replikering’) eller av andra forskare (’extern replikering’). En rad andra kategorier har också föreslagits, och examensarbetets första del går ut på att sammanställa hur man kan kategorisera replikeringar i syfte att studera dem närmare.
Examensarbetets andra del är en sammanställning av information och kategorisering av experimentserier som jag har letat upp i en lång rad vetenskapliga publikationer på området, och en beskrivning av experimentreslutat och sammanhang inom och mellan serierna.
Därefter undersöker jag hur forskarna som har utfört replikeringarna beskriver sina erfarenheter med replikering, samt vilka riktlinjer och standarder som finns för att replikera experiment. Denna del avslutas med ett sammandrag av befintliga riktlinger och förslag på hur dessa kan kompletteras och förbättras.
Avslutningsvis presenteras slutsatserna, samtidigt som förslag ges på områden osm kan studeras vidare i framtiden: exempel på sådana områden är att studera reslutaten från flera experimentserier med statistiska metoder, eller att studera replikering av andra empiriska studier i syfte att vidare befästa den kunskap vi har idag om programvaruproduktion, samt att identifiera områden där mer forskning behövs.