Factorial MANOVA

Uit Methodologiewinkel
Ga naar: navigatie, zoeken

Waar deze test voor wordt gebruikt

De Factorial MANOVA is een uitbreiding op de MANOVA, waarbij nu meerdere onafhankelijke variabelen kunnen worden opgenomen in het design. Een oneway MANOVA houdt in dat men groepen vergelijkt op meerdere afhankelijke variabelen, wat een uitbreiding is van de ANOVA. Bijvoorbeeld het verschil tussen mannen en vrouwen op zowel test 1 als test 2. Echter nu met de Factorial MANOVA kunnen er ook nog meerdere onafhankelijke variabelen toegevoegd worden. Zo kan men bijvoorbeeld testen of groepen mensen met verschillende kleuren ogen (blauw, bruin, groen) en verschillende sekse (man, vrouw) verschillen op test 1 en test 2. De twee onafhankelijke variabelen zijn dus categorisch (sekse & kleur ogen) en de afhankelijke variabelen continu (test 1 en test 2). Voor meer uitleg over de ANOVA en de MANOVA die hier de basis van vormen, zie ANOVA en MANOVA.

Assumpties

Niveau van de variabelen - De onafhankelijke variabelen zijn op categorisch niveau en de afhankelijke variabelen zijn continu of op interval niveau.

Normaal Verdeeld – Alle afhankelijke variabelen zouden voor iedere groep normaal verdeeld moeten zijn. Om te lezen hoe je deze assumptie kan checken, zie Normaliteit. Ook kun je naar dit filmpje kijken: Kolmogorov-Smirnov test Sharon Klinkenberg. Hierin wordt uitgelegd hoe je met de Kolmogorov-Smirnov test normaliteit kunt testen.

Lineariteit – De Factorial MANOVA heeft net als de MANOVA als assumptie dat alle afhankelijke variabelen een lineair verband met elkaar hebben. Ze zouden dus langs een rechte lijn moeten liggen. De afhankelijke variabelen hoeven niet te correleren maar men wil dus niet dat de variabelen een ander patroon laten zien zoals een quadratisch verband. Zie Lineariteit.

Homogeniteit van varianties en covarianties - Homogeniteit van varianties houdt in dat iedere groep uit een populatie komt met een vergelijkbare hoeveelheid variantie op de afhankelijke variabelen. Stel dat je mannen en vrouwen vergelijkt in hun score op een bepaalde test (score test is de afhankelijke variabele), dan zou het kunnen zijn dat mannen scores hebben die variëren tussen de 10 en 100, waar vrouwen scores hebben die variëren tussen de 50 en 60. De scores van de mannen laten veel meer variantie zien dan bij de vrouwen en dus zijn deze scores van de groepen mannen en vrouwen niet goed te vergelijken. Deze homogeniteit van de varianties moet voor iedere afhankelijke variabele gecheckt worden. Dus wanneer deze mannen en vrouwen vier verschillende tests doen waarop ze vergeleken worden, dan zal je voor alle vier de tests na moeten gaan of de variantie gelijk is over groepen. Homogeniteit van de variantie wordt ook wel homoscedasticiteit genoemd.

Omdat er bij een MANOVA sprake is van meerdere afhankelijke variabelen wordt er niet alleen uitgegaan van gelijke varianties binnen de afhankelijke variabelen maar ook tussen de variabelen. Dit zijn de covarianties. Om terug te grijpen naar het voorbeeld: men verwacht dus dat de covariantie tussen test 1 en 2 niet verschilt voor mannen en vrouwen.
Om deze assumptie te checken zal in SPSS de optie 'Homogeneity tests' moeten worden aangevinkt bij 'options'. Waar je dit precies doet vind je bij 'Hoe uit te voeren in SPSS' op deze pagina. Vervolgens zal de Levene's test geïnterpreteerd moeten worden om de assumptie van gelijke varianties te checken. Omdat deze test nog niet de covarianties mee neemt zal ook de Box's test geïnterpreteerd moeten worden. Beide tests zouden niet significant moeten zijn. Voor een voorbeeld van de interpretatie van deze tests zie 'Interpreteren SPSS output'.


Wat te doen als je niet aan je assumptie(s) voldoet?

SPSS biedt helaas geen non-parametrisch alternatief voor de MANOVA. Men kan kijken bij de verschillende assumpties te vinden op de hoofdpagina onder het kopje Overzicht assumpties. Of neem anders een kijkje of deze site: Do your data violate F test assumptions?. Immers is de MANOVA net als de ANOVA een F-test.

Hoe uit te voeren in SPSS

Model: In mijn voorbeeld heb ik twee onafhankelijke variabelen: kleur ogen (blauw,bruin,groen) en sekse (man,vrouw). Dit maakt dat er 3X2=6 groepen zijn. Er zijn twee afhankelijke variabelen opgenomen test 1 en test 2 (op scale niveau). Wat ik test is of de scores op test 1 en 2 verschillend zijn voor blauwe, bruine of groene ogen en of de scores op test 1 en 2 verschillend zijn tussen mannen en vrouwen. Ook kan ik nog kijken naar een interactie tussen de kleur ogen en sekse (bijvoorbeeld: bij mannen maakt de kleur ogen wel uit voor de scores op test 1 maar voor vrouwen niet).

Wikidata.jpg

Een Factorial MANOVA voer je uit via Analyze --> General Linear Model --> Multivariate.

Wiki optie.jpg

Onder het vakje 'dependent variables' geeft ik test 1 en test 2 aan omdat dit de afhankelijke variabelen zijn in mijn design. Onder het vakje 'fixed factors' geef ik kleur ogen en sekse aan omdat dit de onafhankelijke variabelen zijn in mijn design. De overige vakjes laat ik leeg. Voor het toevoegen van een covariaat zie MANCOVA.

Wikimenu.jpg

Vervolgens kan ik nog rechts in het blok een aantal opties aanklikken. Om mijn vrij simpele design te testen laat ik 'Model' en 'Contrasts' voor wat het is. In principe gebruik je contrasts wanneer je een hypothese hebt over welke groepen van elkaar verschillen. Daarbij kan je bijvoorbeeld aangeven dat binnen de variabele 'oogkleur' je alleen de blauwe met groene ogen wilt vergelijken. Immers wanneer je veel verschillende groepen hebt wil je deze niet allemaal met allemaal vergelijken omdat je hiermee veel power verliest. Bij 'contrasts' kan je dan aangeven welke groepen je wilt vergelijken. In dit voorbeeld doe ik in plaats van contrasts een post-hoc test om de verschillende groepen te vergelijken, waarbij wel alle groepen met elkaar worden vergeleken. Echter heb ik maar drie groepen (blauw, groen en bruin) en ben ik in alle verschillen tussen deze groepen geïnteresseerd. Post hoc bespreek ik hieronder. Voor meer informatie over het gebruik van contrasts, zie Field, hoofdstuk 10.2.11.

Wel creëer ik bij 'Plots', een plot om de resultaten inzichtelijk te maken. Omdat ik twee onafhankelijke variabelen heb kan ik namelijk ook de interactie tussen deze twee variabelen testen. Bijvoorbeeld wanneer ik de hypothese heb dat de kleur ogen bij test 1 alleen invloed heeft bij mannen en niet bij vrouwen. In andere woorden, ik verwacht voor verschillende niveaus op de ene onafhankelijke variabele x dat de andere onafhankelijke variabele z een andere invloed heeft op de afhankelijke variabelen (test 1 en test 2) dan voor een andere niveau op deze onafhankelijke variabele x. Deze interactie wordt met name inzichtelijk met een plot. Om deze op te vragen vul je een van de onafhankelijke variabelen in bij 'Horizontal axis' en een bij 'Separate lines'.

Wikiplot.jpg

Vervolgens klik je op 'Add' en dan op 'Continue'. Zo plaats ik de kleur ogen bij separate lines en sekse bij horizontal axis zodat ik een plotje per test zal krijgen waarin drie lijnen lopen voor iedere kleur ogen en die de waarden aangeven op die test voor zowel mannen als vrouwen. Dit zal uitgebreider uitgelegd worden bij de subsectie 'Interpreteren SPSS output'.

Een andere optie in het hoofdmenu die aangeklikt kan worden is Post Hoc. Deze functie heb ik nodig om bij de onafhankelijke variabele 'kleur ogen' die meer dan twee categorieën heeft, te testen waar het verschil ligt als dit er is. Dus wanneer ik deze optie niet aan vink zal de test slechts aangeven of er een verschil is, maar wanneer dit er is weet ik niet of dit verschil tussen blauw en groene ogen ligt of tussen blauw en bruine ogen of allebei. Let op, deze functie is dus alleen nodig wanneer je een onafhankelijke variabele gebruikt die uit meer dan twee categorieën bestaat. Immers wanneer er een verschil bij sekse (= 2 categorieën) wordt gevonden ligt dit verschil natuurlijk sowieso tussen mannen en vrouwen. Ik selecteer in mijn geval dus bij 'Factors', kleuroog, en plaats die in 'Post Hoc Tests for'.

Wikipost.jpg

Bij de Post Hoc tests kies ik voor Tukey's en Bonferroni's tests. Tukey en Bonferroni zijn vrij conservatief, dit houdt in dat ze corrigeren voor Type I fout maar daardoor wel minder power hebben. Van deze twee heeft Tukey meer power wanneer je veel groepen vergelijkt terwijl Bonferroni meer power heeft wanneer je minder groepen vergelijkt. Een andere post hoc test die door Field wordt aangeraden is de REGWQ, echter moet deze niet gebruikt worden als de aantallen deelnemers per groep erg verschillen. Voor een uitgebreidere uitleg over de keuze voor een Post Hoc test zie Field 10.2.12. De keuze hangt namelijk ook af van welke assumpties er geschonden zijn.

Vervolgens kies ik nog voor 'options' in het menu. Hier selecteer ik verschillende opties.

Wikioptions.jpg

Zo kies ik voor 'Descriptive statistics', 'Estimates of effect size' en 'Homogeneity tests'. Dit is genoeg voor een simpele analyse, maar voor andere opties of bootstrapping zie Field. Ik druk nu op continue en dan op OK om de test te runnen.

Interpreteren SPSS-output

Een MANOVA geeft als uitkomst alleen voor iedere afhankelijke variabelen aan of er een verschil is tussen de groepen, maar niet welke richting en tussen welke groepen. Om te zien tussen welke groepen een verschil is doe je een Post Hoc analyse zoals Tukey’s. Dit doe je dus alleen wanneer er meer dan twee groepen bestaan immers wanneer men slechts twee groepen vergelijkt en er wordt een verschil gevonden (de MANOVA is significant) dan weet je natuurlijk dat het verschil tussen deze twee groepen ligt. Echter wanneer er drie groepen zijn en er een verschil wordt gevonden, zou dit verschil tussen groep 1 en 2 kunnen liggen of groep 1 en 3 of allebei. Om te zien welke richting het verschil heeft (dus als er een verschil is tussen twee groepen, welke groep hoger/lager scoort), kijk je naar de gemiddelden die je simpelweg opvraagt met de descriptives.

Model: In mijn voorbeeld heb ik twee onafhankelijke variabelen: kleur ogen (blauw,bruin,groen) en sekse (man,vrouw). Dit maakt dat er 3X2=6 groepen zijn. Er zijn twee afhankelijke variabelen opgenomen test 1 en test 2 (op scale niveau). Wat ik test is of de scores op test 1 en 2 verschillend zijn voor blauwe, bruine of groene ogen en of de scores op test 1 en 2 verschillend zijn tussen mannen en vrouwen. Ook kan ik nog kijken naar een interactie tussen de kleur ogen en sekse (bijvoorbeeld: bij mannen maakt de kleur ogen wel uit voor de scores op test 1 maar voor vrouwen niet).

Homogeniteits assumpties checken in de SPSS output: In de 'box’s test of equality of covariance matrices' kijk ik of de covariantie matrices verschillen over groepen.

Boxtest.jpg

Wanneer de p-waarde significant is in deze test betekent dit dat de groepen verschillende covariantiematrices hebben en dat wil men niet. In het voorbeeld is de p-waarde gelijk aan .950 en is deze assumptie dus niet geschonden.

Levene’s test of equality of error variances test voor iedere afhankelijke variabele of de variantie op deze variabele verschilt over groepen.

Wiki equalvariances.jpg

Wanneer de p-waarde significant is verschillen de groepen en dat wil men niet. In het voorbeeld is de p-waarde voor test 1 gelijk aan .415 en voor test 2 gelijk aan .325. Dit is allebei niet significant en dus is de assumptie voor beide afhankelijke variabelen niet geschonden.

In de output van de multivariate tests zie je of de groepen verschillen op de totale combinatie van de afhankelijke variabelen. De vier test statistieken (Pillai's trace, Wilks' Lambda, Roy's largest Root en Hotelling's Trace) komen allen op een andere manier tot stand, maar meestal wordt Wilks' lambda als standaard maat aangehouden. Meer informatie over deze verschillende statistieken en hoe deze tot stand komen, vind je in Field 16.4.4.

Wiki multivariatetests.jpg

De Multivariate tests vertelt ons echter niet over welke van de afhankelijke variabelen het gaat. Dit betekent dat wanneer de p-waarde in deze tabel niet significant is, de groepen niet verschillen op de combinatie van de afhankelijke variabelen. In dit geval zullen we dan ook niet meer per afhankelijke variabele verder gaan interpreteren. Als de p-waarde wel significant is weten we slechts dat de groepen verschillen op minstens een van de afhankelijke variabelen. In dit voorbeeld is sekse niet significant (p = .106) en de interactie tussen sekse en kleur ogen ook niet (p = .608). De p-waarde voor de afhankelijke variabele ‘kleur ogen’ is wel significant (p <.001), maar we weten uit deze tabel dus nog niet of de groepen met verschillende kleuren ogen, verschillen op test 1, op test 2 of op allebei de testen. (Ook weten we van de drie groepen met verschillende kleuren ogen nog niet welke groepen van elkaar verschillen; blauw van bruin, blauw van groen, of alle groepen van elkaar). Hier voor moeten we dus nog verder kijken. De ‘partial eta-squared’ is de geschatte effect grootte die ik had opgevraagd. Voor de interpretatie van deze effect grootte zie Eta-squared Wikiversity . De effect grootte eta-squared wordt meestal als volgt geïnterpreteerd: 0 - .1 is een zwak effect (weak). 0.1 - 0.3 is een bescheiden effect (modest). 0.3 - 0.5 is een moderate effect en >0.5 is een sterk effect. In dit voorbeeld is de effectgrootte bij de kleur ogen dus medium maar tegen sterk aan (eta-squared = .481). De waarden van de multivariate tests geven wel al een indicatie van de verschillende groepen op de twee afhankelijke variabelen maar beantwoorden nog niet op welke afhankelijke variabele de groepen verschillen.

In de output van de tests of between-subject effects, vind je nogmaals de verschillen tussen groepen maar nu per afhankelijke variabele.

Wiki betweensubject.jpg

De interactie tussen kleur ogen en sekse blijkt voor beide afhankelijke variabelen niet significant te zijn: test 1; p =.950 en voor test 2; p = .269. Dit hadden we kunnen verwachten uit de multivariate tests aangezien de interactie ook niet significant was voor de afhankelijke variabelen samen (p =.608). We wisten al dat sekse bij de multivariate tests niet significant was maar zien nu dat hoewel op de afhankelijke variabelen samen de groepen niet verschillen, dat wanneer je naar de afhankelijke variabelen apart gaat kijken mannen wel van vrouwen lijken te verschillen op test 2 (p =.045). Maar niet op test 1 (p = .260). Echter is deze significante p-waarde van sekse op test 2 een p-waarde die we niet interpreteren omdat we nou juist de multivariate test hebben gebruikt om voor type 1 fout te corrigeren en dus alleen de effecten die in de tabel 'multivariate tests' significant waren, verder geïnterpreteerd mogen worden via losse testen per afhankelijke variabele. Omdat de onafhankelijke variabele sekse dus geen significant effect had op de combinatie van variabelen kijken we verder niet naar de univariate tests voor sekse. De enige variabele waarvoor we dus naar deze tabel moeten kijken was de onafhankelijke variabele 'kleur ogen'. Voor deze variabele weten we namelijk dat hij significant is op de combinatie van afhankelijke variabelen maar willen we uit deze tabel de informatie halen op welke afhankelijke variabele deze groepen verschillen.

Voor de groepen met verschillende kleuren ogen verwachtten we al ergens een effect op een van de afhankelijke variabelen maar we wisten nog niet of dat voor test 1, test 2 of allebei zou zijn. Uit de output in deze tabel blijkt dat de groepen verschillen op test 2 (p < .001). De effect grootte hierbij is ongeloofwaardig groot (eta-squared = .955), dit zal je in het echt niet snel tegen komen maar dat komt nu omdat ik de data heb verzonnen. De groepen blijken niet te verschillen op test 1 (p = .858). Wat we nu nog steeds niet weten is hoe de drie groepen met verschillende kleuren ogen op deze test 2 verschillen. Welke van de drie groepen verschillen van elkaar? Hiervoor moeten we naar de Post Hoc analyses kijken.

De Post Hoc analyses vind je in de tabel multiple comparisons. Deze analyse is dus alleen voor de onafhankelijke variabele ‘kleur ogen’ uitgevoerd omdat deze variabele meer dan twee groepen heeft.

Wiki posthoc.jpg

Voor test 1 hadden we al gevonden dat de groepen met verschillende kleuren ogen niet verschillen op deze test (p = .858, in de tabel hierboven; tests of between-subject effects). Dit is nu ook terug te zien omdat noch groep 1 van groep 2 verschilt (p =.881), noch groep 1 van groep 3 (p =.881), noch groep 2 van groep 3 (p = 1.000). (Ik heb naar Tukey gekeken, echter geeft deze geen verschillende conclusie van Bonferroni). Geen van deze groepen verschillen significant. Voor test 2 wisten we dat er wel groepen waren die zouden verschillen maar we wisten nog niet welke. Uit deze tabel blijkt dat, wanneer we weer naar Tukey kijken, alle drie de groepen (blauw, bruin, groen) van elkaar verschillen op test 2. Voor alle vergelijkingen van groepen (blauw vs bruin EN bruin vs groen EN blauw vs groen) is de p-waarde <.001. We zien nu in de descriptives dat de gemiddelden voor de drie oogkleuren op test 2 als volgt zijn: de groep blauwe ogen heeft een gemiddelde van 84.50 met een SD van 8.62. De groep bruine ogen hebben een gemiddelde van 53.67 met SD = 6.53. De groep groene ogen heeft een gemiddelde van 24.17 met een SD van 7.31.


Wiki descriptive.jpg


Hieruit blijkt dus dat op test 2 de groep met blauwe ogen significant hoger scoort dan de groep bruine ogen, en de groep bruine ogen significant hoger scoort dan de groep met groene ogen. Op test 1 zijn deze verschillen er niet.

Ten slotte hadden we nog de plot die het geheel inzichtelijk maakt. De interactie was niet significant voor geen van de twee afhankelijke variabelen en dus verwachten we voor geen van de twee plots dat de lijnen al te heftig de parallelliteit verbreken.

Plottest1.jpg

Deze plot van test 1 lijkt wel een interactie tussen kleur ogen en sekse te impliceren. (Bij de mannen scoren deelnemers met bruine ogen hoger dan deelnemers met groene ogen, terwijl dit voor de vrouwen andersom is). Echter dat de interactie niet significant was (p = .950) zal te maken hebben met de grote standaard afwijkingen in vergelijking met de verschillen tussen de groepen (zie descriptives, immers moet men opmerken dat de getallen op de y-as erg dicht bij elkaar liggen, en de afstand tussen de punten in de grafiek dus om hele kleine verschillen gaat. De plot van test 2 lijkt geen interactie te impliceren, dit komt overeen met de test statistiek (die niet significant was, p = .269). Voor beide tests concluderen we dan ook dat er geen significante interactie is.

Plottest2.jpg


Rapporteren conclusie

Wilks's Λ laat zien dat er een significant verschil is tussen de groepen met verschillende kleuren ogen op test 1 en test 2, Λ = 0.04, F(4, 22) = 20.57, p < .001. Univariate tests laten zien dat deze groepen niet op test 1 verschillen, F(2, 12) = 0.16, p = .858, eta-squared= .025, maar wel op test 2, F(2, 12) = 127.83, p < .001, eta-squared = .955. Een Tukey Post Hoc analyse laat zien dat de groep met blauwe ogen (M = 84.50, SD = 8.62), significant hoger scoorde op test 2 dan de groep met bruine ogen, M = 84.50, SD = 6.53, mean difference = 30.83, p <.001, en hoger scoorde dan de groep met groene ogen, M = 84.50, SD = 7.31, mean difference = 60.33, p <.001. De groep met bruine ogen scoorde ook significant hoger op test 2 dan de groep met groene ogen, mean difference = 29.50, p < .001.

Wilks's Λ, laat geen verschil zien tussen mannen en vrouwen op test 1 en test 2, Λ = 0.66, F(2, 11) = 2.79, p = .106. Ook blijkt uit Wilks's Λ, dat er geen significante interactie bestaat tussen sekse en de kleur ogen op test 1 en test 2, Λ = 0.80, F(4, 22) = 0.66, p = .623.

(let op: de univariate tests van sekse en de interactie tussen kleur ogen en sekse worden dus niet verder genoteerd omdat de multivariate tests niet significant waren)