Repeated-Measures ANOVA

Uit Methodologiewinkel
Ga naar: navigatie, zoeken

Waar deze test voor wordt gebruikt

De Repeated Measures ANOVA is een variant van de ANOVA waarbij dezelfde groep mensen herhaaldelijk wordt gemeten en je deze scores met elkaar wilt vergelijken.

Stel dat er een nieuwe wiskundemodule is opgezet en je wilt kijken wat het effect is van deze module op wiskundecijfers. Om hierop antwoord te geven test je een groep leerlingen voordat ze gebruik maken van de nieuwe module (meetmoment 1), gedurende het schooljaar (meetmoment 2) en een aan het eind van het schooljaar na het afronden van de module (meetmoment 3).

Merk op dat om echt iets te concluderen over de effectiviteit van de module er eigenlijk ook een controlegroep nodig is die je ook drie keert test maar zonder dat deze groep gebruik maakt van de nieuwe module. Zie hiervoor Mixed ANOVA

Assumpties

1. Normaal Verdeeld – De afhankelijke variabele moet voor iedere groep normaal verdeeld moeten zijn, zie Normaliteit.

2. Niveau van de variabelen - De onafhankelijke variabelen zijn op categorisch niveau en de afhankelijke variabelen zijn continu of op interval niveau.

3. Sphericiteit - De variantie van de verschil-scores tussen de condities moet gelijk zijn. Bijvoorbeeld bij drie meetmomenten heb je de verschilscore tussen meetmoment 1 en meetmoment 2; en de verschilscore tussen meetmoment 2 en meetmoment 3. De variantie van deze verschilscores moet ruwweg hetzelfde zijn.

4. Onafhankelijkheid - De scores zijn onafhankelijk, zie Onafhankelijkheid.

Wat te doen als je niet aan je assumptie(s) voldoet?

In het geval dat de assumptie van sphericiteit wordt geschonden bestaan er verschillende correcties (Greenhouse-Geisser correctie en Huyhnh-Feldt correctie). Deze correcties worden automatisch door SPSS weergegeven.

Hoe uit te voeren in SPSS

Klik op Analyze > General Linear Model > Repeated Measures

Nu verschijnt een venster "Define Factor(s)" waarin je de repeated-measures factor moet toevoegen. In ons voorbeeld in de within-factor tijd; we nemen namelijk drie keer een wiskunde-test af op drie verschillende momenten.

Repmeasures.png

Nadat je de Factoren hebt gespecificeerd klik je op "Define". Nu verschijnt het volgende venster:

Repanova2.png

Hierin selecteer je de variabelen en verplaats ze naar "Within-Subjects Variables (Tijd)".

Er zijn nu verschillende opties die we kunnen aanklikken. De verschillende mogelijkheden voor "Contrasts", "Post Hoc", "Plots" en "Options" staan stap voor stap uitgelegd bij Factorial ANOVA. Op het moment dat je niet goed weet wat contrasten en post-hoc analyses inhouden raad ik aan om eerst te lezen bij Factorial ANOVA over het verschil van deze analyses en het doel ervan.

Hier noem ik nu alleen welke opties is heb aangeklikt voor de huidige analyse:

Bij "Contrasts" heb ik gekozen voor "repeated" (voor een uitleg over de verschillende contrasten en hun eigenschappen zie Factorial ANOVA.)

Bij "Options" kun je post-hoc analyses specificeren: voer de betreffende onafhankelijke variabelen in bij "Display Means for" en klik vervolgens op "Compare main effects". Kies hierbij voor de zekerheid voor een Bonferroni correctie (deze is ook te interpreteren op het moment dat de assumptie van sphericiteit is geschonden). Verder heb ik bij options de "Descriptives statistics", "Estimates of effect size" en "Homogeneity tests" aangevinkt.

Merk op dat je normaal óf contrasten óf post-hoc analyses doet, maar niet beide. Contrasten voer je uit wanneer je specifieke hypotheses hebt en post-hoc analyses wanneer je geen specifieke hypotheses hebt. Bij post-hoc analyses worden dan alle groepen met elkaar vergeleken terwijl bij contrasten alleen die groepen met elkaar vergeleken worden die nodig zijn om jouw hypotheses te testen. Voor meer uitleg hierover, zie Factorial ANOVA.

Bij "Plots" heb ik aangegeven dat ik een plot wil met de within-factor "tijd" op de x-as.

Om stap voor stap te zien hoe de Repeated-Measures ANOVA wordt uitgevoerd in SPSS, zie ook: Repeated-Measures ANOVA in SPSS


Interpreteren SPSS-output

Bij het interpreteren van de SPSS output is het belangrijk om de volgende volgorde aan te houden:

1. Descriptives

Bij options had ik de beschrijvende statistieken opgevraagd. Door deze op te vragen is het makkelijker om eventueel gevonden effecten te interpreteren. In deze tabel staat het gemiddelde en de bijbehorende standaard deviatie voor de verschillende tijdspunten waarop de wiskunde test is afgenomen.

Descriptives rep.png

2. Mauchly's Test of Sphericity

Voordat we de resultaten kunnen interpreteren is het van belang om eerst te kijken of er is voldaan aan de aanname van sphericiteit. Daarom interpreteren we allereerst de Mauchly's Test of Sphericity.

In deze tabel staat aangegeven of de assumptie van sphericiteit is geschonden door te kijken naar de p-waarde aangegeven onder Sig.. Als deze significiant is (p < .05) is de assumptie van sphericiteit geschonden. Bij ons is de p-waarde niet significant (p = .298) dus is voldaan aan de aanname van sphericiteit.

Wanneer deze aanname is geschonden is het belangrijk dit te rapporteren. Dit heeft gevolgen voor hoe we de rest van de resultaten interpreteren (zie hieronder).

Mauchly.png

3. Repeated Measures ANOVA

Voor het interpreteren van de Repeated Measures ANOVA kijken we naar de "Tests of Within-Subjects Effects" tabel. Hierin staat voor de onafhankelijke variabele (tijd) aangegeven of de afhankelijke variabele (score op de wiskunde test) significant van elkaar verschillen (of niet). Het valt meteen op dat er meerdere testen worden gegeven. Hierbij is het dus van belang om rekening te houden met het al dan niet voldoen aan de assumptie van sphericiteit. Wanneer aan deze assumptie is voldaan interpreteren we de resultaten achter "Sphericity Assumed". Omdat onze data voldoet aan de assumptie van sphericiteit kunnen wij deze resultaten interpreteren en zien we dat de scores op de wiskunde toets significant verschillen over tijd (meetmoment 1, meetmoment 2, meetmoment 3): F(2, 48) = 34.97, p < .001.

Mocht er niet aan de assumptie van sphericiteit zijn voldaan dan interpreteren we de resultaten achter "Greenhouse-Geisser" of "Huynh-Feldt". Merk hierbij op dat de F-waarde gelijk blijft, alleen dat de degrees of freedom zijn gecorrigeerd. Let dus bij het rapporteren van de resultaten op dat je de gecorrigeerde degrees of freedom behorende bij de gebruikte correctie noteert. De Greenhouse-Geisser correctie is vrij conservatief, waardoor deze misschien aangeeft dat er geen effect is terwijl er in werkelijkheid wel een effect is. Aan de ander kant is de Huynh-Feldt correctie vrij liberaal, waardoor deze misschien aangeeft dat er wel een effect is terwijl er in werkelijkheid geen effect is. Daarom kan het gebeuren dat dat de Greenhouse-Geisser aangeeft dat er geen effect is terwijl Huyhnh-Feldt aangeeft dat er wel een effect is. Daarom kun je de volgende richtlijnen aanhouden

1. Als beide correcties tot dezelfde conclusie leiden (beide geven aan dat geen effect is of beide geven aan dat er wel een effect is) rapporteer dan de Greenhouse Geisser

2. Als de conclusies verschillen op basis van de correctie die je gebruikt (bv. Greenhouse-Geisser geeft aan dat er geen effect is (p > .05) en Huynh-Feldt geeft aan dat er wel een effect is (p < .05)), neem dan het gemiddelde van de twee p-waarden. Is de gemiddelde p-waarde significant? Rapporteer dan de resultaten van de correctie behorende bij de significante p-waarde (rapporteer Huynh-Feldt). Is de gemiddelde p-waarde niet significant? Rapporteer dan de resultaten van de correctie behorende bij de niet-significante p-waarde (rapporteer Greenhouse-Geisser).

Repanova3.png

We weten nu dat er een significant verschil is in wiskunde cijfers op de verschillende meetmomenten. Alleen doordat we drie meetmomenten hebben weten we nog niet waar dit verschil precies zit (bv: verschillen alle meetmomenten of elkaar; of misschien verschilt alleen meetmoment 1 van meetmoment 3). Hiervoor kijken we naar de "vervolganalyses"

Opmerking: Een andere optie wanneer de assumptie van sphericiteit is geschonden is om de "Multivariate Tests" tabel te interpreteren. Hierbij wordt wiskunde toets niet als 1 afhankelijke variabele gezien die 3 keer is gemeten, maar wordt de data geanalyseerd alsof elke wiskunde toets een aparte afhankelijke variabele is. We hebben dan dus drie afhankelijke variabelen. Voor de interpretatie van multivariate tests zie MANOVA. In principe hoeven we deze optie niet te gebruiken, omdat, zoals hierboven uitgelegd, er correcties bestaan wanneer de assumptie van sphericiteit is geschonden.

3. Vervolg Analyses

Wanneer je specifieke hypotheses had (bijvoorbeeld: we verwachten een significant verschil tussen meetmoment 1 en meetmoment 2, en een significant verschil tussen meetmoment 2 en meetmoment 3) heb je als het goed is contrasten gespecificeerd (in het geval van deze verwachting zou een "repeated" contrast zijn geselecteerd) - zie 3.1. Wanneer je geen specifieke hypotheses had en alle groepen met elkaar wilde vergelijken heb je als het goed is post-hoc analyses uitgevoerd - zie 3.2.

3.1 Contrasten

De contrasten laten zien dat level 1 significant verschilt van level 2 (F(1, 24) = 30.55, p < .001) en dat level 2 significant verschilt van level 3 (F(1,24) = 12.75, p = .002).

Repcontrasts.png

3.2 Post-Hoc Analyses

Bij de post-hoc analyses wordt elke groep met elkaar vergeleken (bij ons: tijdmoment 1 vs. tijdmoment 2; tijdmoment 1 vs. tijdmoment 3; tijdmoment 2 vs. tijdmoment 3).

Uit de post-hoc analyse blijkt dat alle groepen significant van elkaar verschillen (alle p-waarden onder Sig. zijn kleiner dan .05). Ook wordt in de tabel het verschil tussen de gemiddelden van de groepen gegeven (Mean Difference), de bijbehorende standaard error (Std. Error) en het 95%-betrouwbaarheidsinterval voor het verschil in gemiddelde.

We zien dus bijvoorbeeld dat het gemiddelde op tijdmoment 1 .560 lager was dan het gemiddelde op tijdpunt 2 en dat dit verschil significant is, p < .001.

Posthocrep.png

Rapporteren conclusie

Er was voldaan aan de assumptie van sphericiteit, χ(2) = .90, p = .298.

Uit de resultaten blijkt dat de wiskunde cijfers significant verschilden over tijd, F(2, 48) = 34.97, p < .001.

Stel dat er niet voldaan is aan de assumptie van sphericiteit (Merk op dat gecorrigeerde vrijheidsgraden zijn gerapporteerd).

Mauchly's test liet zien dat er niet was voldaan aan de assumptie van sphericiteit χ(2) = 8.90, p < .001, daarom zijn de vrijheidsgraden Greenhouse-Geisser (ε = .53) gecorrigeerd. De resultaten laten zien dat wiskunde cijfers significant verschilden over tijd, F(1.82, 43.64) = 34.97, p < .001.


Rapporteren Vervolganalyses:

(Let op: rapporteer of de resultaten uit de contrast-analyse of de resultaten uit de post-hoc analyse! Normaliter voer je niet beide vervolganalyses uit, dit hebben we hier alleen gedaan voor de volledigheid).

Contrasten lieten zien dat het wiskunde cijfer voorafgaand aan de module (M = 6.5, SD = 1.05) lager was dan het wiskunde cijfer halverwege het jaar (M = 7.08, SD = 1.01); F(1, 24) = 30.55, p < .001. Daarnaast bleek dat het wiskunde cijfer halverwege het jaar (M = 7.08, SD = 1.01) lager was dan het wiskunde cijfer aan het eind van het jaar (M = 7.54, SD = .95); F(1,24) = 12.75, p = .002.


Non-parametrische variant

Er is geen non-parametrisch alternatief voor de Repeated-Measures ANOVA. Men kan kijken bij de verschillende assumpties te vinden op de hoofdpagina onder het kopje Overzicht assumpties. Of kijk op: Do your data violate F test assumptions?.

Video Tutorial

EmbedVideo is missing a required parameter.