Einfaktorielle ANCOVA: Post-Hoc Tests oder Kontraste?
Eine statistisch signifikante einfaktorielle ANCOVA sagt uns lediglich, dass sich mindestens zwei Gruppen statistisch voneinander unterscheiden, aber nicht, welche. In den meisten Fällen interessiert uns allerdings nicht nur, dass es einen Unterschied gab, wir wollen auch wissen, wo er ist. Für diesen Zweck müssen wir erneut testen. Dafür haben wir zwei verschiedene Möglichkeiten: post-hoc Tests und Kontraste.
Auf den folgenden Seiten besprechen wir die Berechnung der einfaktoriellen ANCOVA jeweils mit post-hoc Tests und mit Kontrasten. Eine genaue Erklärung der Unterschiede und wann man welches der beiden Verfahren nehmen sollte, geben wir in diesem Artikel.
Post-Hoc Tests
Die gebräuchlichste Art von post-hoc Tests sind solche, die alle paarweisen Vergleiche vornehmen. Ein paarweiser Vergleich ist ein Vergleich zwischen zwei Gruppen der einfaktoriellen ANCOVA. Gehen wir beispielsweise davon aus, dass wir drei Gruppen haben: „klein“, „mittel“ und „groß“. Diese Art von post-hoc Tests würde alle möglichen Kombinationen der drei Gruppen gegeneinander testen. Wir hätten damit „klein vs. mittel“, „klein vs. groß“ und „mittel vs. groß“.
Im Anschluss an die Berechnung werden die p-Werte meist noch für multiples Testen adjustiert. Da wir auf einem Alphaniveau von 5% testen, würden wir davon ausgehen, dass rund 5% der Tests signifikant werden, auch wenn kein tatsächlicher Effekt vorliegt. Die Adjustierung wirkt dem entgegen.
Eine wichtige Implikation davon ist, dass (a) post-hoc Tests möglicherweise paarweise Vergleiche auswerten, die für unsere Fragestellung uninteressant sind, und (b) alle unsere paarweisen Vergleiche, für das Testen dieser eigentlich uninteressanter Hypothesen mit der Bonferroni-Korrektur sanktioniert werden. Wenn wir also im Vorhinein konkretere Hypothesen über die Unterschiede zwischen Gruppen haben, sind Kontraste meist die bessere Option.
Kontraste
Auf der anderen Seite können wir Gruppen mit Kontrasten vergleichen. Sie werden manchmal auch geplante Kontraste genannt, da man bereits vor Berechnung der ANCOVA (und eigentlich auch vor Durchführung der gesamten Untersuchung) eine Hypothese über die Unterschiede der Gruppen haben muss, die man dann vergleicht. Vergleicht man eine Gruppe mit einer anderen Gruppe, dann spricht man auch von einfachen Kontrasten. Wir können allerdings auch mehr als zwei Gruppen miteinander vergleichen. Bei dieser Art von Kontrasten spricht man von komplexen Kontrasten (wir könnten beispielsweise die Kombination von der Gruppe „klein“ und „groß“ mit der Gruppe „mittel“ vergleichen).
Im Gegensatz zu post-hoc Tests, werden Kontraste oft nicht adjustiert (beispielsweise durch die Bonferroni-Korrektur). Literatur dazu besprechen wir im Artikel zur Interpretation von Kontrasten.
Post-Hoc Tests oder Kontraste?
Ob nun post-hoc Tests oder Kontraste verwendet werden, hängt in der Regel von einer einzigen Überlegung ab: Hatten wir bereits vor der Datenerhebung eine Hypothese, welche Gruppen sich unterscheiden würden? Wir würden Kontraste nur verwenden, wenn wir eine genaue Vorstellung über unsere Datenlage haben. Oft wird man keine Hypothese darüber haben, welche Gruppen sich unterscheiden werden. In solche Situationen werden post-hoc Tests und keine Kontraste berechnet.
Post-hoc Tests werden in wissenschaftlichen Studien regelmäßiger verwendet, nicht weil ein Verfahren dem anderen überlegen ist, sondern weil die meisten Wissenschaftler keine genauen Vorstellungen über die Datenlage vor der Datenerhebung haben. Für die meisten Personen, die sich unsicher sind, welches der beiden Verfahren für sie das richtige ist, ist wahrscheinlich der post-hoc Test vorzuziehen.