Hoofdstuk 5 Populaties en steekproeven
- populaties
- steekproeven
- probability samples
- non-probability samples
- wanneer welke soort steekproef gebruiken.
- Onderzoekspracticum inleiding onderzoek (PB0212)
5.1 Inleiding
Een van de uitdagingen van onderzoek is dat we niet alle data kunnen verzamelen die we zouden willen verzamelen. Je kunt nooit iedereen bevragen en dit is ook niet noodzakelijk. Als we onderzoek willen doen bij een bepaalde groep, een zogenaamde populatie, dan bevragen we meestal een kleine groep uit die populatie, een zogenaamde steekproef. In dit hoofdstuk leggen we dit verder uit.
5.2 Populaties
Als we mensen willen onderzoeken, kunnen we niet alle onderzoekseenheden onderzoeken; de doelgroep of populatie is meestal te groot. Voorbeelden van populaties bij onderzoek naar mensen zijn ‘de Nederlandse bevolking’, ‘middelbare scholieren’, ‘ziekenhuizen’, of ‘gezinnen in grote steden’.
Er zijn twee redenen waarom niet alle onderzoekseenheden in een populatie onderzocht kunnen worden. De eerste is simpelweg dat het er meestal te veel zijn. De tweede is dat de populatie zodanig is gedefinieerd dat deze ook mensen in het verleden en de toekomst bevat. Als dat niet het geval zou zijn, zouden verzamelde data namelijk onmiddellijk na verzameling verwijzen naar een populatie die niet langer bestaat. Om ‘houdbare data’ te verzamelen over een populatie, wordt deze meestal gedefinieerd als een oneindig grote groep mensen. Door de populatie op die manier te definiëren is het ook mogelijk om dagen, weken, maanden en soms zelfs jaren nadat data verzameld zijn, uitspraken te doen over een populatie.
Een nadeel van die definitie is dat we oneindig lang bezig zouden zijn iedereen in die populatie te onderzoeken. Daarom onderzoeken we niet de hele populatie, maar nemen we een steekproef. Een steekproef is een groep mensen, of andere onderzoekseenheden, die minder groot is dan de volledige populatie. Een steekproef is altijd een selectie van de totale populatie. Die selectie kan op meerdere manieren plaatsvinden en elk van die manieren is van invloed op de conclusies die uit het onderzoek getrokken mogen worden.
5.3 Steekproeven
Er zijn verschillende methoden van steekproeftrekking (‘sampling methods’) om deelnemers te werven voor onderzoek. Steekproeven kunnen worden onderverdeeld in probability samples en non-probability samples. Bij een probability sample heeft elk lid van de populatie een bepaalde, bekende kans (probability) om te worden opgenomen in de steekproef (sample). Bij een non-probability sample daarentegen weet je niet wat de kans is dat een bepaald lid van de populatie wordt opgenomen in de steekproef.
5.3.1 Probability samples
Drie voorbeelden van probability samples zijn:
aselecte steekproef: bij het trekken van een simpele aselecte steekproef heeft elke onderzoekseenheid in de populatie evenveel kans om in de steekproef te belanden. Een aselecte steekproef wordt ook wel een ‘random’ of ‘willekeurige’ steekproef genoemd.
gestratificeerde aselecte steekproef: bij het trekken van een gestratificeerde aselecte steekproef wordt de populatie eerst opgedeeld in een aantal subpopulaties aan de hand van bepaalde kenmerken die relevant zijn voor de onderzoeksvariabele. Daarna wordt uit elke subpopulatie een aselecte steekproef genomen, waarbij de verhouding tussen de subpopulaties in de steekproef gelijk is aan die in de populatie. Bij onderzoek naar alcoholgebruik kan het bijvoorbeeld zinvol zijn om aselecte steekproeven te trekken die zijn gestratificeerd naar geslacht, omdat mannen over het algemeen meer drinken dan vrouwen. In de Nederlandse volwassen bevolking is de man-vrouwverdeling ongeveer 50-50. Een op geslacht gestratificeerde steekproef zal daarom ongeveer evenveel mannen als vrouwen moeten bevatten. Een gestratificeerde steekproef wordt ook wel een gelaagde steekproef genoemd.
multilevel aselecte steekproef: als de onderzoekseenheden (de mogelijke deelnemers) in de populatie georganiseerd zijn in groepen, zoals scholieren in klassen en scholen, kan een multilevel aselecte steekproef getrokken worden. Hierbij wordt bijvoorbeeld eerst een aselecte steekproef van scholen genomen, waarna per school een aselecte steekproef van klassen wordt genomen, waarna vervolgens alle scholieren uit de geselecteerde klassen worden onderzocht. Een multilevel steekproef wordt ook wel een clustersteekproef genoemd.
Omdat bij probability samples elk lid van de populatie een bepaalde bekende kans (probability) heeft om opgenomen te worden in de steekproef (sample), zijn uitspraken op basis van deze steekproeven generaliseerbaar naar de populatie. Dit houdt in dat conclusies over de data uit deze steekproeven iets zeggen over de populatie waaruit zij getrokken zijn. Bij bovenstaande probability samples worden (telkens op een iets andere manier) aselecte steekproeven getrokken. Het grote voordeel van werken met aselecte steekproeven is dus dat deze steekproeven - mits de steekproeven groot genoeg zijn - representatief zijn voor de populatie.
Toeval kan echter een verstorende factor zijn bij probability samples. Toeval manifesteert zich op twee manieren. Ten eerste is er altijd sprake van een niet-systematische meetfout: elke meting wordt op toevallige wijze een beetje verstoord en geen enkele meting is dus perfect. Hoe groter de steekproef, hoe kleiner de rol van de niet-systematische meetfout. Ten tweede is er de steekproeffout: puur door toeval kunnen een of meer uitzonderlijke mensen in een steekproef belanden. Daardoor is de steekproef minder representatief zonder dat de onderzoekers zich dat realiseren. Ook de steekproeffout wordt kleiner naarmate de steekproef groter wordt.
In een populatie zijn er altijd mensen die op bepaalde variabelen, bijvoorbeeld intelligentie, erg hoog scoren; anderen scoren erg laag en weer anderen ertussenin. In een aselecte steekproef zal datzelfde patroon zichtbaar zijn in de data, hoewel toeval en ruis in de hoedanigheid van steekproeffout en meetfout dus voor enige afwijkingen kunnen zorgen. Naarmate de steekproef groter wordt, gaat deze steeds meer op de populatie lijken.
5.3.2 Non-probaility samples
Bij non-probability samples is onbekend wat de kans is dat een lid van de populatie in de steekproef wordt opgenomen. Daarom zijn resultaten op basis van non-probability samples minder goed te generaliseren naar de populatie. Vier voorbeelden van non-probability sampling zijn:
convenience sampling: bij deze vorm van steekproeftrekking worden deelnemers gekozen op basis van een aantal praktische criteria, zoals dat ze gemakkelijk toegankelijk zijn (denk aan het werven van deelnemers binnen je kennissenkring), de geografische locatie (denk aan het benaderen van scholen in de buurt zodat leerlingen niet te ver hoeven te fietsen), of de bereidheid van deelnemers zichzelf aan te melden voor onderzoek (denk aan het posten van een oproep op sociale media waarin staat aangegeven hoe mensen zich kunnen aanmelden voor het onderzoek). Convenience sampling is meestal weinig systematisch. Er wordt niet nagedacht over welke kenmerken de deelnemers uit de steekproef moeten hebben en er wordt niet nagedacht over hoe deze steekproef het beste bereikt kan worden. Het verkrijgen van data die representatief zijn voor de populatie staat niet centraal.
snowball sampling: bij deze vorm van steekproeftrekking wordt wel nagedacht over de kenmerken die de deelnemers uit de steekproef moeten hebben. Snowballing start met een klein aantal weloverwogen gekozen deelnemers. Deze eerste deelnemers wordt vervolgens gevraagd om vrienden en kennissen uit te nodigen die voldoen aan bepaalde eisen. Snowballing vereist wel een plan, zoals het nadenken over de kenmerken waaraan deelnemers moeten voldoen en het weloverwogen kiezen van ‘seeds’. Snowball sampling wordt veel gebruikt bij moeilijk te bereiken groepen, zoals sekswerkers in een land waar sekswerk illegaal is, mensen met gestigmatiseerde of zeldzame seksuele voorkeuren, of gebruikers van illegale middelen.
purposive sampling: bij deze selectieve vorm van steekproeftrekking worden deelnemers weloverwogen geselecteerd op basis van specifieke kenmerken. Bijvoorbeeld jonge vrouwen die het hebben van kinderen combineren met een fulltime baan. Deze vorm van steekproeftrekking wordt vaak bij kwalitatief onderzoek gebruikt.
quota sampling: het idee en de procedure van deze vorm van steekproeftrekking is vergelijkbaar met het trekken van een gestratificeerde steekproef, alleen worden nu geen aselecte steekproeven getrokken maar selecte steekproeven door bijvoorbeeld convenience sampling of snowball sampling toe te passen op de verschillende subpopulaties.
Non-probability samples zijn dus selecte steekproeven. Deze steekproeven verschillen niet meer uitsluitend op basis van toeval van de populatie, maar ook op andere, onbekende, verstorende factoren. Conclusies op basis van een selecte steekproef kunnen daarom minder goed gegeneraliseerd worden naar de populatie. Het gebruik van selecte steekproeven resulteert dus in een lagere generaliseerbaarheid, oftewel een lagere externe validiteit.
5.3.3 Wanneer welk soort steekproef?
Het doel bij kwantitatief onderzoek is vaak om op basis van de onderzochte steekproef uitspraken te doen over de populatie. Als je onderzoek doet naar mogelijke voorspellers van alcoholgebruik en een steekproef trekt van 300 deelnemers, wil je over het algemeen de grotere populatie kunnen adviseren over factoren die het risico van overmatig alcoholgebruik verhogen, niet enkel de 300 deelnemers die je had onderzocht. Voor kwantitatief onderzoek zijn aselect getrokken steekproeven die een representatieve afspiegeling vormen van de populatie dus belangrijk. Hierin verschilt kwantitatief onderzoek van kwalitatief onderzoek.
Bij kwalitatief onderzoek is de dataverzameling en -analyse zo intensief dat vaak maar kleine steekproeven onderzocht kunnen worden. Daarom worden meestal geen aselecte steekproeven, maar selecte steekproeven geworven, die strategisch worden samengesteld, waarbij de deelnemers weloverwogen geselecteerd worden op basis van hun kenmerken, zoals leeftijd en geslacht. Dit betekent dat onderzoekers er nooit zomaar vanuit kunnen gaan dat hun data naar de populatie generaliseerbaar is. Bovendien hebben de onderzoekers geen zicht op de niet-systematische meetfout en de steekproeffout en is de power om verbanden op te sporen bij kwalitatief onderzoek erg laag. Dit is niet erg, omdat het doel van kwalitatief onderzoek meestal anders is, bijvoorbeeld om het perspectief van deelnemers te begrijpen in plaats van om verbanden op te sporen en te verklaren.