Einfaktorielle MANOVA

Einfaktorielle MANOVA: Post-hoc Tests #2: Paarweise Vergleiche

Wie bereits erwähnt, berechnen wir im letzten Schritt post-hoc Tests zwischen den einzelnen Gruppen, für jede der vorherigen signifikanten ANOVAs. Dies machen wir, da uns die einfaktorielle MANOVA und später die einfaktoriellen ANOVAs als Omnibusverfahren lediglich sagen, dass es einen Unterschied zwischen den Gruppen gab aber nicht wo.

Wir haben zwei verschiedene Tests bei der Berechnung der einfaktoriellen MANOVA ausgewählt: den Tukey-Test und den Games-Howell-Test. Die Interpretation richtet sich danach, ob wir im vorigen Schritt Gleichheit der Fehlervarianzen (Levene-Test) bzw. Gleichheit der Kovarianzenmatrizen (Box-Test) hatten.

Falls wir keine Gleichheit der Kovarianzenmatrizen haben, würden wir nachfolgend immer den Games-Howell-Test interpretieren. Falls wir Gleichheit der Kovarianzenmatrizen, würden wir uns den Levene-Test anschauen und bei gegebener Varianzgleichheit den Tukey-Test und bei nicht gegebener Varianzgleichheit den Games-Howell-Test interpretieren. Der Games-Howell-Test basiert auf dem Lösungsansatz von Welch, der uns auch schon in ähnlicher Weise in der Welch-ANOVA und in dem Welch-Test (als Alternative zum ungepaarten t-Test) begegnet ist.

In unserem Beispiel hatten wir Gleichheit der Kovarianzenmatrizen, aber nach dem Levene-Test keine Gleichheit der Fehlervarianzen für den Summenscore Zufriedenheit, nur für das Ergebnis der Mathematikklausuren. Da aber die einfaktorielle post-hoc ANOVA für den Summenscore Zufriedenheit im vorigen Schritt nicht signifikant wurde, müssen wir hierfür keine weiteren post-hoc Paarvergleiche berechnen. Wir werden

SPSS Ausgabe

Die post-hoc Tests stehen in der SPSS-Ausgabe unter dem Punkt Mehrfachvergleiche bzw. Multiple Comparisons. Für unseren Datensatz sieht die Ausgabe wie unten aus.

Multiple Comparisons
Abhängige Variable (I)Lehrmethode (J)Lehrmethode Mittlere Differenz (I-J) Standard Fehler Sig. 95%-Konfidenzintervall
Untergrenze Obergrenze
Summenscore Zufriedenheit Tukey-HSD Vollintegriert Teilintegriert -,5800 1,10312 ,859 -3,1784 2,0184
Kontrollgruppe -,0200 1,10312 1,000 -2,6184 2,5784
Teilintegriert Vollintegriert ,5800 1,10312 ,859 -2,0184 3,1784
Kontrollgruppe ,5600 1,10312 ,868 -2,0384 3,1584
Kontrollgruppe Vollintegriert ,0200 1,10312 1,000 -2,5784 2,6184
Teilintegriert -,5600 1,10312 ,868 -3,1584 2,0384
Games-Howell Vollintegriert Teilintegriert -,5800 1,03933 ,842 -3,0347 1,8747
Kontrollgruppe -,0200 1,10285 1,000 -2,6254 2,5854
Teilintegriert Vollintegriert ,5800 1,03933 ,842 -1,8747 3,0347
Kontrollgruppe ,5600 1,16367 ,880 -2,1882 3,3082
Kontrollgruppe Vollintegriert ,0200 1,10285 1,000 -2,5854 2,6254
Teilintegriert -,5600 1,16367 ,880 -3,3082 2,1882
Ergebnis Mathematikklausuren Tukey-HSD Vollintegriert Teilintegriert -8,3900* 2,70644 ,006 -14,7651 -2,0149
Kontrollgruppe -9,8600* 2,70644 ,001 -16,2351 -3,4849
Teilintegriert Vollintegriert 8,3900* 2,70644 ,006 2,0149 14,7651
Kontrollgruppe -1,4700 2,70644 ,850 -7,8451 4,9051
Kontrollgruppe Vollintegriert 9,8600* 2,70644 ,001 3,4849 16,2351
Teilintegriert 1,4700 2,70644 ,850 -4,9051 7,8451
Games-Howell Vollintegriert Teilintegriert -8,3900* 2,63390 ,005 -14,6101 -2,1699
Kontrollgruppe -9,8600* 2,77896 ,001 -16,4226 -3,2974
Teilintegriert Vollintegriert 8,3900* 2,63390 ,005 2,1699 14,6101
Kontrollgruppe -1,4700 2,70451 ,850 -7,8572 4,9172
Kontrollgruppe Vollintegriert 9,8600* 2,77896 ,001 3,2974 16,4226
Teilintegriert 1,4700 2,70451 ,850 -4,9172 7,8572
Grundlage: beobachtete Mittelwerte.
Der Fehlerterm ist Mittel der Quadrate(Fehler) = 366,240.
*. Die mittlere Differenz ist auf dem ,05-Niveau signifikant.

 

Da allerdings im vorigen Schritt nur die einfaktorielle ANOVA für das Ergebnis der Mathematikklausuren signifikant geworden ist, interpretieren wir hier nur den Tukey-HSD dieser abhängigen Variable. Grundsätzlich sollte jeder signifikanten einfaktoriellen ANOVA mit paarweisen Vergleichen nachgegangen werden.

Multiple Comparisons
Abhängige Variable (I)Lehrmethode (J)Lehrmethode Mittlere Differenz (I-J) Standard Fehler Sig. 95%-Konfidenzintervall
Untergrenze Obergrenze
Summenscore Zufriedenheit Tukey-HSD Vollintegriert Teilintegriert -,5800 1,10312 ,859 -3,1784 2,0184
Kontrollgruppe -,0200 1,10312 1,000 -2,6184 2,5784
Teilintegriert Vollintegriert ,5800 1,10312 ,859 -2,0184 3,1784
Kontrollgruppe ,5600 1,10312 ,868 -2,0384 3,1584
Kontrollgruppe Vollintegriert ,0200 1,10312 1,000 -2,5784 2,6184
Teilintegriert -,5600 1,10312 ,868 -3,1584 2,0384
Games-Howell Vollintegriert Teilintegriert -,5800 1,03933 ,842 -3,0347 1,8747
Kontrollgruppe -,0200 1,10285 1,000 -2,6254 2,5854
Teilintegriert Vollintegriert ,5800 1,03933 ,842 -1,8747 3,0347
Kontrollgruppe ,5600 1,16367 ,880 -2,1882 3,3082
Kontrollgruppe Vollintegriert ,0200 1,10285 1,000 -2,5854 2,6254
Teilintegriert -,5600 1,16367 ,880 -3,3082 2,1882
Ergebnis Mathematikklausuren Tukey-HSD Vollintegriert Teilintegriert -8,3900* 2,70644 ,006 -14,7651 -2,0149
Kontrollgruppe -9,8600* 2,70644 ,001 -16,2351 -3,4849
Teilintegriert Vollintegriert 8,3900* 2,70644 ,006 2,0149 14,7651
Kontrollgruppe -1,4700 2,70644 ,850 -7,8451 4,9051
Kontrollgruppe Vollintegriert 9,8600* 2,70644 ,001 3,4849 16,2351
Teilintegriert 1,4700 2,70644 ,850 -4,9051 7,8451
Games-Howell Vollintegriert Teilintegriert -8,3900* 2,63390 ,005 -14,6101 -2,1699
Kontrollgruppe -9,8600* 2,77896 ,001 -16,4226 -3,2974
Teilintegriert Vollintegriert 8,3900* 2,63390 ,005 2,1699 14,6101
Kontrollgruppe -1,4700 2,70451 ,850 -7,8572 4,9172
Kontrollgruppe Vollintegriert 9,8600* 2,77896 ,001 3,2974 16,4226
Teilintegriert 1,4700 2,70451 ,850 -4,9172 7,8572
Grundlage: beobachtete Mittelwerte.
Der Fehlerterm ist Mittel der Quadrate(Fehler) = 366,240.
*. Die mittlere Differenz ist auf dem ,05-Niveau signifikant.

 

Uns interessiert in der unteren Hälfte der Tabelle der Tukey-HSD Test für das Ergebnis der Mathematikklausuren. Es gibt insgesamt sechs verschiedene Gruppenvergleiche. Die Anzahl an Gruppenvergleichen richtet sich nach der Anzahl der Gruppen unseres Faktors. Wenn n die Anzahl der Gruppen ist, berechnet sich die Anzahl der Gruppenvergleiche g mit folgender Formel:

\(g = \frac{1}{2}\cdot n\cdot\left (n-1\right )\)

Bei drei Gruppen ergeben sich daraus auch wiederum drei mögliche Gruppenvergleiche. In der Tabelle von SPSS sehen wir allerdings sechs Vergleiche für den Tukey-HSD. Der Grund dafür ist einfach: SPSS macht einen Unterschied zwischen einem Vergleich von Gruppe A vs. Gruppe B und Gruppe B vs. Gruppe A. SPSS berücksichtigt also die Reihenfolge noch einmal – das ist allerdings nicht nötig. Schauen wir uns dazu einmal die Tabelle mit den Mehrfachvergleichen genauer an:

Multiple Comparisons
Abhängige Variable (I)Lehrmethode (J)Lehrmethode Mittlere Differenz (I-J) Standard Fehler Sig. 95%-Konfidenzintervall
Untergrenze Obergrenze
Summenscore Zufriedenheit Tukey-HSD Vollintegriert Teilintegriert -,5800 1,10312 ,859 -3,1784 2,0184
Kontrollgruppe -,0200 1,10312 1,000 -2,6184 2,5784
Teilintegriert Vollintegriert ,5800 1,10312 ,859 -2,0184 3,1784
Kontrollgruppe ,5600 1,10312 ,868 -2,0384 3,1584
Kontrollgruppe Vollintegriert ,0200 1,10312 1,000 -2,5784 2,6184
Teilintegriert -,5600 1,10312 ,868 -3,1584 2,0384
Games-Howell Vollintegriert Teilintegriert -,5800 1,03933 ,842 -3,0347 1,8747
Kontrollgruppe -,0200 1,10285 1,000 -2,6254 2,5854
Teilintegriert Vollintegriert ,5800 1,03933 ,842 -1,8747 3,0347
Kontrollgruppe ,5600 1,16367 ,880 -2,1882 3,3082
Kontrollgruppe Vollintegriert ,0200 1,10285 1,000 -2,5854 2,6254
Teilintegriert -,5600 1,16367 ,880 -3,3082 2,1882
Ergebnis Mathematikklausuren Tukey-HSD Vollintegriert Teilintegriert -8,3900* 2,70644 ,006 -14,7651 -2,0149
Kontrollgruppe -9,8600* 2,70644 ,001 -16,2351 -3,4849
Teilintegriert Vollintegriert 8,3900* 2,70644 ,006 2,0149 14,7651
Kontrollgruppe -1,4700 2,70644 ,850 -7,8451 4,9051
Kontrollgruppe Vollintegriert 9,8600* 2,70644 ,001 3,4849 16,2351
Teilintegriert 1,4700 2,70644 ,850 -4,9051 7,8451
Games-Howell Vollintegriert Teilintegriert -8,3900* 2,63390 ,005 -14,6101 -2,1699
Kontrollgruppe -9,8600* 2,77896 ,001 -16,4226 -3,2974
Teilintegriert Vollintegriert 8,3900* 2,63390 ,005 2,1699 14,6101
Kontrollgruppe -1,4700 2,70451 ,850 -7,8572 4,9172
Kontrollgruppe Vollintegriert 9,8600* 2,77896 ,001 3,2974 16,4226
Teilintegriert 1,4700 2,70451 ,850 -4,9172 7,8572
Grundlage: beobachtete Mittelwerte.
Der Fehlerterm ist Mittel der Quadrate(Fehler) = 366,240.
*. Die mittlere Differenz ist auf dem ,05-Niveau signifikant.

In den ersten beiden Spalten (I) Gruppe und (J) Gruppe sehen wir, welche beiden Gruppen verglichen werden. Die Spalte daneben, Mittlere Differenz (I-J), ist die Differenz zwischen den Mittelwert aus Gruppe I und Gruppe J. Bei genauerer Betrachtung der farbig gleichen Zeilen sehen wir, dass die Mittlere Differenz dieselbe ist, nur das Vorzeichen ein anderes. Die Information in beiden Zeilen ist aber essentiell dieselbe. Auch die Spalten für Standardfehler und Signifikanz halten dieselben Werte, auch wenn es aus diesem Beispiel nicht ersichtlich wird.

Im letzten Teil der Tabelle sehen wir das 95%-Konfidenzintervall. Bei farbig gleichen Zeilen sind Ober- und Untergrenze vertauscht und die Vorzeichen anders. Ansonsten sind auch die Werte in diesen Spalten identisch.

Welche Gruppen sollten wir also interpretieren?

Bei essentiell zwei identischen Gruppen mit unterschiedlichen Vorzeichen stellt sich natürlich die Frage: Welche der beiden Zeilen sollen man interpretieren? Die Antwort ist, dass es nicht wirklich einen Unterschied macht, ob man die eine oder andere Zeile nimmt, solange man die Richtung des Effekts korrekt interpretiert. Dennoch ist es von Vorteil, sich die Gruppen auszusuchen, die für die Fragestellung der Studie den meisten Sinn machen.

In unserer Beispielstudie haben wir eine Kontrollgruppe. Es würde daher für uns Sinn machen, wenn wir Werte relativ zu der Kontrollgruppe interpretieren würden. Bei der übrigen Gruppe ist es im Prinzip egal, welche wir nehmen. Wir haben uns damit für die unten markieren Zeilen entschieden:

Multiple Comparisons
Abhängige Variable (I)Lehrmethode (J)Lehrmethode Mittlere Differenz (I-J) Standard Fehler Sig. 95%-Konfidenzintervall
Untergrenze Obergrenze
Summenscore Zufriedenheit Tukey-HSD Vollintegriert Teilintegriert -,5800 1,10312 ,859 -3,1784 2,0184
Kontrollgruppe -,0200 1,10312 1,000 -2,6184 2,5784
Teilintegriert Vollintegriert ,5800 1,10312 ,859 -2,0184 3,1784
Kontrollgruppe ,5600 1,10312 ,868 -2,0384 3,1584
Kontrollgruppe Vollintegriert ,0200 1,10312 1,000 -2,5784 2,6184
Teilintegriert -,5600 1,10312 ,868 -3,1584 2,0384
Games-Howell Vollintegriert Teilintegriert -,5800 1,03933 ,842 -3,0347 1,8747
Kontrollgruppe -,0200 1,10285 1,000 -2,6254 2,5854
Teilintegriert Vollintegriert ,5800 1,03933 ,842 -1,8747 3,0347
Kontrollgruppe ,5600 1,16367 ,880 -2,1882 3,3082
Kontrollgruppe Vollintegriert ,0200 1,10285 1,000 -2,5854 2,6254
Teilintegriert -,5600 1,16367 ,880 -3,3082 2,1882
Ergebnis Mathematikklausuren Tukey-HSD Vollintegriert Teilintegriert -8,3900* 2,70644 ,006 -14,7651 -2,0149
Kontrollgruppe -9,8600* 2,70644 ,001 -16,2351 -3,4849
Teilintegriert Vollintegriert 8,3900* 2,70644 ,006 2,0149 14,7651
Kontrollgruppe -1,4700 2,70644 ,850 -7,8451 4,9051
Kontrollgruppe Vollintegriert 9,8600* 2,70644 ,001 3,4849 16,2351
Teilintegriert 1,4700 2,70644 ,850 -4,9051 7,8451
Games-Howell Vollintegriert Teilintegriert -8,3900* 2,63390 ,005 -14,6101 -2,1699
Kontrollgruppe -9,8600* 2,77896 ,001 -16,4226 -3,2974
Teilintegriert Vollintegriert 8,3900* 2,63390 ,005 2,1699 14,6101
Kontrollgruppe -1,4700 2,70451 ,850 -7,8572 4,9172
Kontrollgruppe Vollintegriert 9,8600* 2,77896 ,001 3,2974 16,4226
Teilintegriert 1,4700 2,70451 ,850 -4,9172 7,8572
Grundlage: beobachtete Mittelwerte.
Der Fehlerterm ist Mittel der Quadrate(Fehler) = 366,240.
*. Die mittlere Differenz ist auf dem ,05-Niveau signifikant.

Nehmen wir als Beispiel die blaue Zeile. In der Spalte Mittlere Differenz (I-J) sehen wir die Differenz der moderaten körperlichen Aktivität und der geringen körperlichen Aktivität. Der Wert -7,867 bedeutet, dass die Gruppe mit moderater körperlicher Aktivität im Schnitt 7,867 weniger Punkte auf dem BDI Depressionsindex hatte, als die Gruppe mit geringer körperlicher Aktivität. Wir testen auf einem Alphaniveau von 5 %. Daher sind Ergebnisse signifikant, bei denen p < .05 ist. Diese Werte werden von SPSS zusätzlich mit einem Sternchen (*) in der Spalte Mittlere Differenz (I-J) markiert.

Auch wenn SPSS in der Spalte Signifikanz einen Wert von .000 angibt, ist dies nur ein gerundeter Wert (Signifikanzen können weder die Werte 0 oder 1 annehmen, sondern liegen immer dazwischen.) Bei einem Wert von .000 würden wir dies als p < .001 schreiben. Das APA-Handbuch empfiehlt ansonsten die Angabe genauer p-Werte (gerundet auf drei Nachkommastellen).

Unterschiedliche Ergebnisse

Es kann vorkommen und kommt auch oft genug vor, dass die einfaktorielle ANOVA signifikant wird, aber die paarweisen post-hoc Vergleiche keine signifikanten Gruppenunterschiede finden. Umgekehrt kann es auch sein, dass die ANOVA nicht signifikant wird, der paarweisen post-hoc Vergleiche allerdings einen oder gleich mehrere signifikante Unterschiede finden – auch wenn bei einer nicht-signifikanten ANOVA meist keine weiteren Tests gemacht werden. Es gibt unterschiedliche Gründe dafür, wie beispielsweise die unterschiedliche Power beider Tests oder die unterschiedliche Art, wie beide Verfahren auf Signifikanz testen.

Ergebnisse berichten

Die Ergebnisse aus den hervorgehobenen Zeilen könnten wir so in einer wissenschaftlichen Arbeit angeben:

Deutsch
Der Tukey-HSD post-hoc Test zeigte für die Ergebnisse der Mathematikklausur einen signifikanten Unterschied zwischen der Kontrollgruppe und der vollintegrierten Gruppe, p = .001 (MDiff = 9.86, 95%-CI[3.48, 16.24]), und der teilintegrierten und vollintegrierten Gruppe, p = .006 (MDiff = 8.39, 95%-CI[2.01, 14.77]), nicht aber zwischen der Kontrollgruppe und der teilintegrierten Gruppe, p = .850 (MDiff = -1.47, 95%-CI[-7.84, 4.91]).
English
Tukey HSD post-hoc analysis on math scores revealed a significant difference between the control group and fully integrated group, p = .001 (MDiff = 9.86, 95%-CI[3.48, 16.24]), and the partially integrated group and the fully integrated group, p = .006 (MDiff = 8.39, 95%-CI[2.01, 14.77]), but not between the control group and the partially integrated group, p = .850 (MDiff = -1.47, 95%-CI[-7.84, 4.91]).
Auch hier gilt: Bei sehr vielen paarweisen Vergleichen empfiehlt sich zur Darstellung eine Tabelle, statt der kompletten Verschriftlichung als Fließtext.