Zoals hiervoor aangegeven wordt de kwaliteit van een kwalitatief onderzoek vaak getoetst aan de hand van de vier pijlers: geloofwaardigheid (credibility), overdraagbaarheid (transferability), afhankelijkheid (dependability) en bevestigbaarheid (confirmability) van (Guba, 1981) en Lincoln and Guba (1985).
De betrouwbaarheid, dus de onafhankelijkheid van het toeval, kun je testen door te kijken hoe stabiel jouw meting is. Wanneer bij een onderzoek sprake is van stabiliteit, betekent het dat een meting bij herhaling telkens dezelfde uitkomst heeft.
In totaal zijn er acht eigenschappen welke onderzoek wetenschappelijk maken: doelgerichtheid, striktheid, testbaarheid, repliceerbaarheid, precisie en betrouwbaarheid, objectiviteit, generaliseerbaarheid en de mate van eenvoud.
Een onderzoek is herhaalbaar als een andere onderzoeker met hetzelfde onderzoek dezelfde resultaten kan bereiken. Het onderzoek moet dus op een ander tijdstip, met andere respondenten, andere omstandigheden en door een andere onderzoeker gedaan kunnen worden.
Kwalitatief onderzoek: validiteit en betrouwbaarheid
Validiteit is de mate waarin het onderzoek meet wat het zou moeten meten. Stel je de vragen waarmee je de juiste informatie ophaalt? Betrouwbaarheid gaat over de reproduceerbaarheid van het onderzoek.
Betrouwbaarheid heeft betrekking op de mate waarin een meting in je scriptie vrij is van fouten, op consistente wijze iets meet, en daarmee herhaalbaar is. Je kunt voor een hoge betrouwbaarheid zorgen door willekeurige meetfouten (random errors) te voorkomen.
Bij je discussie kun je vervolgens aangeven in hoeverre jouw gekozen onderzoeksmethode ook hebben gemeten wat je wilde meten (validiteit) en in hoeverre de resultaten hetzelfde zouden zijn als je het onderzoek op dezelfde manier zou uitvoeren (betrouwbaarheid).
Wetenschappelijk onderzoek is pas echt betrouwbaar als het meerdere malen herhaald is, het liefst door verschillende, onafhankelijke onderzoeksgroepen. Maar wel altijd met zo sterk mogelijk vergelijkbare methoden.
De belangrijkste onderdelen zijn de validiteit van je onderzoek, of je verwachtingen juist waren, of er beperkingen zijn en wat als eventueel vervolgonderzoek kan dienen.
Bij validiteit gaat het om het meten wat je beoogt te meten. Bij betrouwbaarheid daarentegen gaat het om de vraag of je onderzoeksresultaten hetzelfde zouden zijn als je het onderzoek op dezelfde wijze nogmaals uitvoert.
Met 4 à 5 metingen heb je een grove indicatie van de spreiding. Met 10 metingen heb je een redelijke waarde. Dit laatste is dus eigenlijk het minimum dat je nodig hebt voor een betrouwbaar resultaat.
Wanneer je de steekproef en het onderzoek goed hebt uitgevoerd, mag je de resultaten en conclusies betrekken op de gehele populatie. De resultaten en conclusies zijn dus generaliseerbaar voor de hele populatie.
Generaliseerbaarheid. Onderzoekers analyseren een specifiek deel van de werkelijkheid en doen hier uitspraken over. Ze willen dat deze uitspraken gelden voor een zo groot mogelijke groep personen of situaties. Dit noem je generaliseerbaarheid.
In wetenschappelijk onderzoek noemt men een meetinstrument betrouwbaar wanneer de geobserveerde waarde precies gelijk is aan de waarde op een ander moment, indien onder identieke omstandigheden wordt gemeten.
Er zijn drie noodzakelijke voorwaarden waaraan het onderzoek moet voldoen om de interne validiteit te waarborgen. Alleen dan kun je een causale relatie vaststellen tussen een onafhankelijke variabele (die je manipuleert) en een afhankelijke variabele (die je meet).
Betrouwbaarheid is de mate van eerlijkheid of geloofwaardigheid van een persoon. Een beeld van de betrouwbaarheid van iemand krijgt men door middel van de omgang met iemand, waarbij levenservaring een belangrijke rol speelt.
De betrouwbaarheid 'reliability' kun je inschatten door te kijken naar de auteur, de uitgever, of er sprake is van 'peer-review', hoe de publicatie in boekbesprekingen wordt beoordeeld en hoe vaak andere wetenschappers naar de publicatie verwijzen.
Een betrouwbare bron is een bron die gegevens verstrekt die op waarheid berusten. Een blogartikel of Wikipedia kan bijvoorbeeld interessante informatie bevatten, desondanks wil dat niet zeggen dat de informatie die verstrekt wordt door deze bronnen ook daadwerkelijk juist is. Niet elke bron is dus betrouwbaar.
Kwalitatieve studies moeten op een duidelijke manier beschrijven welke vorm van gegevensanalyse ze gebruiken en wie de analyse uitvoert. Er bestaan verschillende analytische benaderingen.
Vragenlijsten, registratieformulieren, schalen, beoordelingslijsten, protocollen: in onderzoek zijn dit allemaal meetinstrumenten. Ze zijn bedoeld om de realiteit op de een of andere manier om te zetten in iets meer formeels, een concept, een code, een cijfer, een reeks getallen, verbanden, al of niet gekwantificeerd.
Door het experiment van een laboratoriumsetting te verplaatsen naar een circuit, verhoog je de externe validiteit aanzienlijk. Tegelijkertijd kun je de interne validiteit minder goed waarborgen, omdat je geen controle hebt over externe factoren, zoals het weer.
Cronbachs alfa is een maat voor interne consistentie oftewel voor de homogeniteit van de vragen. Een hoge score, zeg groter dan 0,70, wijst op een hoge mate van betrouwbaarheid zodat je een somscore kunt maken. Je kunt je voorgenomen hebben de tevredenheid over de woning te onderzoeken.
Vaak wordt het 95% betrouwbaarheidsinterval gebruikt. Hiermee zeg je eigenlijk: stel ik zou mijn onderzoek 100 maal herhalen, dan verwacht ik dat de werkelijke waarde (parameter) minstens 95 keer binnen het (voor ieder onderzoek apart opgestelde) 95% betrouwbaarheidsinterval ligt.
Stel je hebt 95% gekozen. Bereken de foutmarge. Je kunt de foutmarge vinden middels de volgende formule: Za/2 * σ/√(n). Za/2 = betrouwbaarheidscoëfficient, waarbij a = betrouwbaarheidsniveau, σ = standaarddeviatie en n = steekproefgrootte.