Mixed ANOVA

Uit Methodologiewinkel
Ga naar: navigatie, zoeken

Waar deze test voor wordt gebruikt

Bij de Mixed ANOVA zijn er twee type onafhankelijke variabelen in het design: ten minste één between-subject variabele en ten minste één within-subject variabele.

Bij One-way ANOVA staat een voorbeeld van een design waarbij er alleen een between-subject variabele is opgenomen. Bij Repeated-Measures ANOVA staat een voorbeeld van een design waarbij er alleen een within-subject variabele is opgenomen.

Een Mixed ANOVA is dus een combinatie van de twee. In dit voorbeeld bouwen we voort op het voorbeeld van de Repeated-Measures ANOVA. Hierbij was een nieuw wiskundemodule ontwikkeld en we wilden weten wat het effect was van de nieuwe module op wiskunde cijfers. Daarom hadden we een voormeting (meetmoment 1), een meting in het midden van het jaar (meetmoment 2), en een meting aan het eind van het jaar (meetmoment 3).

Echter, is het heel logisch dat de leerlingen beter worden gedurende een schooljaar. Ze krijgen immers wiskunde les. Om dus echt iets te kunnen zeggen over of de nieuwe module beter is dan hoe er voorheen wiskunde werd gegeven, hebben we ook een controle groep nodig. Deze krijgt dan les volgens de oude wiskunde module.

Nu hebben we dus twee type variabelen:

1. Soort wiskunde module (between subjects): de controle conditie krijgt les volgens de oude module; de experimentele conditie krijgt les volgens de nieuwe module

2. Tijd factor (within subjects): er zijn drie meetmoment waarin we een wiskunde toets afnemen. Zo kunnen we zien hoe iedereen verbetert over tijd.

Assumpties

1. Normaal Verdeeld – De afhankelijke variabele moet voor iedere groep normaal verdeeld moeten zijn, zie Normaliteit.

2. Niveau van de variabelen - De onafhankelijke variabelen zijn op categorisch niveau en de afhankelijke variabelen zijn continu of op interval niveau.

3. Sphericiteit - De variantie van de verschil-scores tussen de condities moet gelijk zijn. Bijvoorbeeld bij drie meetmomenten heb je de verschilscore tussen meetmoment 1 en meetmoment 2; en de verschilscore tussen meetmoment 2 en meetmoment 3. De variantie van deze verschilscores moet ruwweg hetzelfde zijn.

4. Onafhankelijkheid - De scores zijn onafhankelijk, zie Onafhankelijkheid.

Wat te doen als je niet aan je assumptie(s) voldoet?

In het geval dat de assumptie van sphericiteit wordt geschonden bestaan er verschillende correcties (Greenhouse-Geisser correctie en Huyhnh-Feldt correctie). Deze correcties worden automatisch door SPSS weergegeven.

Hoe uit te voeren in SPSS

Klik op Analyze > General Linear Model > Repeated Measures

In ons voorbeeld hebben we maar één within-subject variabele, namelijk "tijd" (dit zijn de drie meetmomenten waarop de wiskunde toets wordt afgenomen. Deze heeft drie levels (namelijk de drie verschillende meetmomenten).

Mixedanova.png

Nu verplaatsen we de scores op de wiskundetoets van de drie meetmomenten naar de "Within-Subject Variables". In dit voorbeeld is er ook maar één between-subject variabele, namelijk "wiskunde module". De helft van de leerlingen kreeg les volgens de nieuwe wiskunde module (conditie = 1), terwijl de andere helft les kreeg volgens de oude wiskunde module (conditie = 2). Deze variabele voeren we in bij "Between-Subjects Factor(s)".

Mixedanova2.png

Hieronder laat ik zien welke opties ik heb aangevinkt voor "Contrasts", "Plots", en "Options". Voor een uitgebreide uitleg over alle mogelijkheden, zie Factorial ANOVA. Merk op: normaliter voer je of contrasten uit (bij specifieke hypotheses) of post-hoc analyses (zonder specifieke hypotheses). Voor een uitgebreide uitleg, zie weer Factorial ANOVA.

1. Contrasts

We specificeren alleen contrasten voor de variabele "tijd" omdat dit de enige variabele is met meer dan twee niveaus (want: op het moment dat er maar twee niveaus zijn, en we zien dat dit verschil significant is, weten we automatisch welke groepen van elkaar verschillen). Hier kiezen we voor het "repeated" contrast. Voor meer informatie over de verschillende contrasten zie Factorial ANOVA.

Mixedcontrasts.png

2. Plots

De data is vaak makkelijker te interpreteren wanneer deze is weergegeven in een plot. Daarom kiezen we ervoor om wiskundecijfers weer te geven in een plot voor de verschillende niveaus van tijd (meetmoment 1, meetmoment 2, meetmoment 3) en aparte lijnen voor de verschillende condities.

Mixedplots.png

3. Options

Bij options specificeren we de post-hoc comparisons. Opnieuw voeren we alleen post-hoc analyses uit voor de onafhankelijke variabele met meer dan twee niveaus (in ons geval tijd). We selecteren de Bonferroni correctie, omdat deze ook robuust is in het geval de assumptie van sphericiteit wordt geschonden. Verder geef ik aan dat ik de beschrijven statistieken, de geschatte effect size, en de homogeniteit van de varianties wil opvragen.

Mixedoptions.png

Interpreteren SPSS-output

1. Descriptives

Bij options had ik de beschrijvende statistieken opgevraagd. Door deze op te vragen is het makkelijker om eventueel gevonden effecten te interpreteren. In deze tabel staat het gemiddelde en de bijbehorende standaard deviatie van de scores op de wiskunde toets voor ieder tijdsmoment (meetmoment 1, meetmoment 2 en meetmoment 3) per conditie (1 = nieuwe wiskunde module, 2 = oude wiskunde module). Zo kunnen we bijvoorbeeld zien dat het wiskundecijfer op meetmoment 1 voor leerlingen in conditie 1 (= nieuwe wiskunde module) gemiddeld 6.4 was met een standaarddeviatie van 1.23.

Mixedescriptives.png

2. Mauchly's Test of Sphericity

Voordat we de resultaten kunnen interpreteren is het van belang om eerst te kijken of er is voldaan aan de aanname van sphericiteit. Daarom interpreteren we allereerst de Mauchly's Test of Sphericity.

In deze tabel staat aangegeven of de assumptie van sphericiteit is geschonden door te kijken naar de p-waarde aangegeven onder Sig.. Als deze significiant is (p < .05) is de assumptie van sphericiteit geschonden. Bij ons is de p-waarde significant (p = .024) dus is de aanname van sphericiteit geschonden. Dit is belangrijk om te rapporteren. Ook heeft het gevolgen voor hoe we de rest van de resultaten moeten interpreteren (zie hieronder).

Mixedmauchly.png

3. Repeated Measures ANOVA

Voor het interpreteren van de Mixed ANOVA kijken we allereerst naar de "Tests of Within-Subjects Effects" tabel. Hierin staat voor de onafhankelijke variabele (tijd) aangegeven of de afhankelijke variabele (score op de wiskunde test) significant van elkaar verschillen (of niet). Dit is het hoofdeffect van de onafhankelijke variabele "tijd". Het valt meteen op dat er meerdere testen worden gegeven. Hierbij is het dus van belang om rekening te houden met het al dan niet voldoen aan de assumptie van sphericiteit. Wanneer aan deze assumptie is voldaan interpreteren we de resultaten achter "Sphericity Assumed". Omdat onze data niet voldoet aan de assumptie van sphericiteit kunnen wij deze resultaten niet interpreteren.

Mixedwithin.png

Omdat er niet aan de assumptie van sphericiteit is voldaan interpreteren we de resultaten achter "Greenhouse-Geisser" of "Huynh-Feldt". Merk hierbij op dat de F-waarde gelijk blijft, alleen dat de degrees of freedom zijn gecorrigeerd. Let dus bij het rapporteren van de resultaten op dat je de gecorrigeerde degrees of freedom behorende bij de gebruikte correctie noteert. De Greenhouse-Geisser correctie is vrij conservatief, waardoor deze misschien aangeeft dat er geen effect is terwijl er in werkelijkheid wel een effect is. Aan de ander kant is de Huynh-Feldt correctie vrij liberaal, waardoor deze misschien aangeeft dat er wel een effect is terwijl er in werkelijkheid geen effect is. Daarom kan het gebeuren dat dat de Greenhouse-Geisser aangeeft dat er geen effect is terwijl Huyhnh-Feldt aangeeft dat er wel een effect is. Daarom kun je de volgende richtlijnen aanhouden

1. Als beide correcties tot dezelfde conclusie leiden (beide geven aan dat geen effect is of beide geven aan dat er wel een effect is) rapporteer dan de Greenhouse Geisser

2. Als de conclusies verschillen op basis van de correctie die je gebruikt (bv. Greenhouse-Geisser geeft aan dat er geen effect is (p > .05) en Huynh-Feldt geeft aan dat er wel een effect is (p < .05)), neem dan het gemiddelde van de twee p-waarden. Is de gemiddelde p-waarde significant? Rapporteer dan de resultaten van de correctie behorende bij de significante p-waarde (rapporteer Huynh-Feldt). Is de gemiddelde p-waarde niet significant? Rapporteer dan de resultaten van de correctie behorende bij de niet-significante p-waarde (rapporteer Greenhouse-Geisser).

In ons geval geven beide correcties aan dat het effect van tijd significant is (beide p-waarden zijn kleiner dan .05). Daarom kiezen we in het rapporteren voor de Greenhouse-Geisser: F(1.61, 45.15) = 31.76, p < .001.

Voor het hoofdeffect van de onafhankelijke variabele "wiskunde module" moeten we kijken naar de "Tests of Between-Subjects Effects". Hier zien we dat er geen significant verschil is tussen de verschillende condities (p > .05).

Mixedbetweensubjects.png

Maar let op: zoals we vaker hebben gezien moeten we voorzichtig zijn met het interpreteren van hoofdeffecten op het moment dat er een interactie effect is gevonden. Om te kijken of er een interactie effect is gaan we weer terug naar de "Tests of Within-Subjects Effects" tabel.

In de tweede "rij" van de "Tests of Within-Subjects Effects" tabel (Tijd * WiskundeModule) staat het interactie-effect tussen de twee onafhankelijke variabelen (tijd en wiskunde module). Aangezien de assumptie van sphericiteit is geschonden interpreteren we de gecorrigeerde p-waarden achter Greenhouse-Geisser en Huynh-Feldt. Deze zijn opnieuw beiden significant (beide p-waarden zijn kleiner dan .05). Er is dus een significant interactie-effect tussen tijd en wiskunde-module op de wiskunde scores. Zoals hierboven aangegeven betekent dit dat we de hoofdeffecten niet zo maar kunnen interpreteren. Namelijk, het significante interactie effect laat zien dat het effect van tijd op wiskunde cijfers anders is voor leerlingen die les kregen volgens de oude module dan voor leerlingen die les kregen volgens de nieuwe module. We kiezen opnieuw voor het rapporteren van de Greenhouse-Geisser: F(1.61, 45.15) = 7.15, p = .004.

4. Plots

Om het interpreteren van een interactie effect eenvoudiger te maken is het handig om naar de plots te kijken. In de plot is duidelijk te zien te zien dat de wiskundecijfers omhoog gaan gedurende het jaar, maar dat dit effect van tijd veel groter is voor leerlingen in conditie 1 (= leerlingen die les kregen volgens de nieuwe module) dan voor leerlingen in conditie 2 (= leerlingen die les kregen volgens de oude module).

Mixedplotjes.png

5. Vervolg Analyses

Wanneer je specifieke hypotheses had (bijvoorbeeld: we verwachten een significant verschil tussen meetmoment 1 en meetmoment 2, en een significant verschil tussen meetmoment 2 en meetmoment 3) heb je als het goed is contrasten gespecificeerd (in het geval van deze verwachting zou een "repeated" contrast zijn geselecteerd) - zie 3.1. Wanneer je geen specifieke hypotheses had en alle groepen met elkaar wilde vergelijken heb je als het goed is post-hoc analyses uitgevoerd - zie 3.2. Merk op: het is alleen nodig contrasten of post-hoc analyses uit te voeren over de onafhankelijke variabele met meer dan twee niveaus. In ons geval dus alleen voor "tijd" en voor de interactie "tijd*wiskunde module".

5.1 Contrasten

De contrasten voor de onafhankelijke variabele "tijd" laten zien dat

1. level 1 significant verschilt van level 2 (p < .001);

2. dat level 2 significant verschilt van level 3 (p = .001).


De contrasten voor de interactie tussen tijd en wiskunde module laten zien dat

1. er een significant verschil is tussen de condities tussen meetmoment 1 (level1) en meetmoment 2 (level2) (p = .001)

2. er geen significant verschil is tussen de condities tussen meetmoment 2 en meetmoment 3 (p = .459)

Mixedcontrastresults.png

3.2 Post-Hoc Analyses

Bij de post-hoc analyses wordt elke groep met elkaar vergeleken (bij ons: tijdmoment 1 vs. tijdmoment 2; tijdmoment 1 vs. tijdmoment 3; tijdmoment 2 vs. tijdmoment 3).

Mixedpairwise.png

Uit de post-hoc analyse blijkt dat alle groepen significant van elkaar verschillen (alle p-waarden onder Sig. zijn kleiner dan .05). Ook wordt in de tabel het verschil tussen de gemiddelden van de groepen gegeven (Mean Difference), de bijbehorende standaard error (Std. Error) en het 95%-betrouwbaarheidsinterval voor het verschil in gemiddelde.

We zien dus bijvoorbeeld dat het gemiddelde op tijdmoment 1 .433 lager was dan het gemiddelde op tijdpunt 2 en dat dit verschil significant is, p < .001. Merk op dat er bij de pairwise comparisons geen verschil wordt gemaakt tussen condities. Wel wordt een tabel gegeven ("WiskundeModule * Tijd) waarin de gemiddelden en standaard deviaties per combinatie staan weergegeven. Bijvoorbeed: gemiddelde wiskunde cijfer op meetmoment 1 in conditie 1.

Mixedinteractie.png

Rapporteren conclusie

De assumptie van sphericiteit was geschonden, χ(2) = 7.42, p = .024, daarom zijn het aantal vrijheidsgraden Greenhouse-Geisser (ε = .81) gecorrigeerd.

De resultaten laten zien dat wiskunde cijfers significant verschilden over tijd; hoofd effect van tijd, F(1.61, 45.15) = 31.76, p < .001. Contrasten lieten zien dat het wiskundecijfer bij aanvang van het schooljaar lager was dan in het midden van het schooljaar F(1, 28) = 30.53, p < .001. Daarnaast bleek dat het wiskundecijfer in het midden van het schooljaar lager was dan aan het eind van het schooljaar F(1,28) = 14.11, p = .001.

Er bleek een significant interactie effect tussen tijd en wiskunde module, F(1.61, 45.15) = 7.15, p = .004. Dat betekent dat het effect van tijd op wiskundecijfers anders was voor leerlingen die les kregen volgens de oude wiskunde module dan voor leerlingen die les kregen van de nieuwe wiskunde module. Contrasten lieten zien dat tussen het begin van het schooljaar en midden van het schooljaar leerlingen die les kregen volgens de nieuwe wiskunde module meer verbeterden op hun wiskunde cijfer dan kinderen die les kregen volgens de oude wiskunde module, F(1, 28) = 14.63, p = .001. Er was geen significant verschil tussen beide condities van meetmoment 2 naar meetmoment 3.

Video Tutorial

EmbedVideo is missing a required parameter.