Bootstrapping

Uit Methodologiewinkel
Ga naar: navigatie, zoeken

Bootstrapping is een statistische techniek die gebruikt wordt om de steekproevenverdeling /sampling distribution van parameters te schatten. Bootstrapping doet dit door heel vaak een nieuwe steekproef te nemen uit de huidige steekproef met teruglegging en per steekproef de parameter te schatten en te kijken naar de verdeling van de parameters over deze steekproeven.

De bootstrap procedure (Adėr, & Mellenbergh, 2008)


Wanneer en waarom gebruik je bootstrapping?

Er zijn verschillende situaties waarin bootstrapping gebruikt kan worden. Zoals Adėr, Mellenbergh (2008) opmerken, kan bootstrapping gebruikt worden als:

1. De theoretische verdeling van een parameter ingewikkeld of onbekend is. Aangezien de bootstrapping procedure onafhankelijk is van de verdeling, zorgt bootstrapping er voor dat je een indirecte manier hebt om de verschillende eigenschappen van de onderliggende verdeling van de steekproef en om de bijbehorende parameters te schatten (Adėr, & Mellenbergh, 2008)

2. De steekproefgrootte te klein is voor ‘normale’ statistische inferentie. Zoals bekend, kan een steekproefverdeling enigszins afwijken van de populatieverdeling. Dit komt omdat je vaak niet de gehele populatie kan testen. In het geval dat je steekproef groot genoeg is, maar toch niet de hele populatie bevat kan je op basis van de centrale limietstelling er wel van uitgaan dat de waarde van de parameters uit jouw steekproef de waardes van de parameters van de populatie benaderen en dat je steekproef normaal verdeeld zal zijn. Bij een te kleine steekproef geldt deze regel niet, bootstrapping kan echter voor deze afwijkingen corrigeren (Adėr, & Mellenbergh, 2008).

3. Er een poweranalyse gedaan moet worden en er een kleine pilot steekproef tot je beschikking is. De meeste poweranalyses en steekproefgrootte berekeningen zijn afhankelijk van de standaarddeviatie van de parameter die je wilt onderzoeken. Als de geschatte waarde die gebruikt wordt verkeerd is, is de berekening van de benodigde steekproefgrootte ook fout. Bootstrapping kan dit probleem tegen gaan (Adėr, & Mellenbergh, 2008).


Assumpties

Bij de bootstrap procedure neem je aan dat de steekproef representatief is voor de populatie. Met andere woorden, ga je ervan uit dat de manier waarop de scores verdeeld zijn in de steekproef gelijk is aan de verdeling van de scores in de populatie.

De Bootstrap Procedure voor het Populatiegemiddelde

In de praktijk probeer je aan de hand van een steekproef bijvoorbeeld het populatiegemiddelde te schatten. Zo’n steekproefgemiddelde wijkt echter bijna altijd af van het daadwerkelijke populatiegemiddelde. Met bootstrapping kan je, op basis van één steekproef, zowel het populatiegemiddelde schatten als de nauwkeurigheid van deze schatting.

Zoals te zien in Figuur 1 bestaat de bootstrapprocedure uit het trekken van een bootstrapsteekproef uit de ‘gewone’ steekproef MET TERUGLEGGING. Daarna bereken je de voor jou relevante statistiek. Dit herhaal je vervolgens B keer. Op basis van deze resultaten kan je vervolgens een schatting maken van het populatie gemiddelde en de nauwkeurigheid van deze schatting vinden. Dit doe je door alle gemiddelden van de B bootstrapsteekproeven op te schrijven en (in het geval van een 95% betrouwbaarheidsinterval) de onderste en bovenste 2.5% van de gevonden bootstrapgemiddelden te negeren. Stel dat je vindt dat het gemiddelde van de bootstrapsteekproef 11.31 is. Deze 11.31 is een schatting van het ware gemiddelde en omdat deze gebaseerd is op een steekproef zal hij waarschijnlijk niet precies gelijk zijn aan het populatiegemiddelde. Daarom kijken we naar het 95% betrouwbaarheidsinterval. Stel dat, na het negeren van de onderste en bovenste 2.5% van de gemiddelden, je vindt dat de gemiddelden tussen 9.86 en 12.86 liggen. Het gevonden 95% betrouwbaarheidsinterval is dan 9.86-12.86. Dit betrouwbaarheids interval kan je interpreteren zoals je dat normaliter doet met een betrouwbaarheidsinterval[1]

Waarom werkt het?

In veel gevallen zullen mensen zich afvragen waarom bootstrapping werkt. Je moet het als volgt zien. Normaliter neem je een steekproef uit de populatie, omdat de hele populatie onderzoeken (in veel gevallen) onmogelijk is. Als alles volgens plan verloopt, kan je assumpties maken over je steekproef (bijvoorbeeld normaal verdeeld) en de data gaan analyseren. In het geval dat je deze assumpties niet kan maken kan je dus kiezen voor bootstrapping. In dit geval behandel je jouw steekproef dus als de populatie en trek je daar meerdere steekproeven uit. Je kan dit doen omdat de steekproef die je hebt niet alleen de beste, maar zeer waarschijnlijk ook de enige informatie is die je hebt over de daadwerkelijke populatie. Daarnaast is het ook zo dat de meeste willekeurig getrokken steekproeven lijken op de populatie en jouw steekproef dat daarom zeer waarschijnlijk ook is.

Hoe uit te voeren in SPSS (voor gemiddelden):

Voor dit voorbeeld gebruiken we wat willekeurige data van 40 deelnemers.

Ga naar Analyze -> Descriptive Statistics -> Descriptives Klik in het scherm dat je te zien krijgt op bootstrap Vink Perform bootstrapping en Bias corrected accelerated (BCa) aan en klik vervolgens op continue. Vink bij options dat wat voor jou van belang is aan (in dit geval alleen mean) en klik op ok. (Voor andere analyses, bijvoorbeeld regressie is hetzelfde stappenplan van toepassing).

Gem1.png


Output

thumb

In onze resultaten zien we onder BCa 95% Confidence Interval bij lower 1.80 en Upper 2.58. Zoals eerder vermeld, heb je in dit geval dus een betrouwbaarheidsinterval van 1.80-2.58. Dit betrouwbaarheidsinterval kan je interpreteren zoals je het standaard betrouwbaarheidsinterval interpreteert


De Bootstrap procedure in het geval van een kleine steekproef met scheve verdeling

De ware kracht van de bootstrap procedure komt pas naar voren in een geval waarbij je bijvoorbeeld een kleine steekproef hebt die een scheve verdeling heeft (skewed distribution). Stel dat je een correlatie wilt berekenen tussen twee variabelen uit een kleine steekproef van n = 50, maar dat deze variabelen zeer scheef verdeeld zijn zoals in onderstaande afbeelding.

Skew1.png
Skew2.png

Als je in dit geval een correlatie analyse zou uitvoeren vind je een significant positieve correlatie (r = .28, p = 0.049). Maar, omdat de assumptie van normaliteit is geschonden, kunnen we deze resultaten niet zomaar aannemen als waar. We weten niet hoe de onderliggen verdeling er uit ziet omdat onze steekproef niet normaal verdeeld is, en kunnen daarom niet conclusies trekken over bepaalde parameters van deze populatie. In dit geval zou bootstrapping een oplossing kunnen bieden. Door het vele male trekken van een steekproef uit de originele steekproef, kunnen we een bootstrap-betrouwbaarheidsinterval krijgen van de correlatiecoëffiecient. Bij het heruitvoeren van de correlatie analyse met bootstrapping komt naar voren dat we een betrouwbaarheids interval hebben dat loopt van -0.196 tot 0.721. Uit deze resultaten kunnen we concluderen dat de correlatie niet significant is, omdat het betrouwbaarheids interval nul bevat. Hiermee laat de bootstrap procedure zien dat hoewel de variabelen in eerste instantie geassocieerd met elkaar leken te zijn, er in werkelijkheid geen associatie is.

Skew3.png

Op een zelfde manier zou je voor bijvoorbeeld een ANOVA die niet voldoet aan de assumptie van normaliteit, of voor een regressie analyse die niet voldoet aan de assumptie van homogeniteit toch een betrouwbare conclusie trekken.


Wanneer werkt bootstrapping niet?

Er zijn verschillende momenten waarin bootstrapping niet tot de juist conclusies leidt. Eén daarvan is een te kleine steekproefgrootte. Zoals Chernick (2007) aangeeft zijn steekproeven met n < 10 te klein om te bootstrappen. Het herhaaldelijk trekken van een steekproef heeft in zo een geval geen zin omdat de scores zeer waarschijnlijk niet op dezelfde manier verdeeld zijn in de populatie. Verder wijst Chernick (2007) erop dat bootstrapping ook niet werkt om schatting te maken van extreme waarden (maxima en minima). Een steekproef zou deze extreme waarden misschien niet kunnen bevatten wat leidt tot foute conclusies rondom de extreme waarden. Voor meer geavanceerde gevallen verwijzen we naar Chernick (2007).

Refererenties

1. Adėr, H. J., & Mellenbergh, G. J. (2008). Advising on research methods: A consultant’s companion. Huizen, The Netherlands: van Kessel. (with contributions by David J. Hand).

2. Chernick, M. (2007). Bootstrap methods: A guide for researchers and practitioners. Wiley, New York.