Bayes Faktor

Das Problem mehrere konkurrierende statistische Modelle zu vergleichen ist ein schwieriges und war im Laufe der Jahre Gegenstand zahlreicher Forschungsarbeiten. Für Statistiker mit einer Bayes’schen Veranlagung bietet der Bayes-Faktor eine einfache Möglichkeit, zwei Modelle (hier M₁ und M₂) miteinander zu vergleichen. Einfach definiert ist der Bayes-Faktor das Verhältnis zwischen der a-posteriori- und der a-priori-Wahrscheinlichkeit – zwei Begriffe, die Zentral in dem Verständnis bayesianische Statistik sind und auf die wir in diesem Artikel detailliert eingehen werden. Grundlegend könnte der Bayes Faktor so definiert werden:

\(\mathbf{BF_{10}} = \dfrac{\mathrm{P}(D\,|\, M_1)}{\mathrm{P}(D\,|\, M_0)}\)

Der Bayes Faktor bildet einen numerischen Wert, der quantifiziert, wie gut eine Hypothese empirische Daten (hier D) im Vergleich zu einer konkurrierenden Hypothese voraussagt. Ein Bayes Faktor von 3 gibt beispielsweise an, dass die empirischen Daten 3 Mal wahrscheinlicher sind, wenn unsere Alternativhypothese H₁ wahr ist, als wenn H₀ wahr wäre. Die Befundlage würde damit eher für H₁ sprechen. Ein Bayes Faktor von 1 wäre – wie beim Odds Ratio auch – ein Unentschieden: Beide Hypothesen wären gleich wahrscheinlich.

Beispiel

Nehmen wir zwei Forscher, Benjamin und Sophia, sind an der allgemeinen Meinung zu strengeren Regeln für den Klimaschutz interessiert. Benjamin glaubt, dass 50% der Deutschen für strengeren Regeln beim Klimaschutz sind, Sophia glaubt es sind 60%. Sie führen daraufhin eine Umfrage mit 100 Personen durch.

Da Benjamin und Sophia sehr unterschiedliche Einschätzungen über die tatsächliche Unterstützung für strengeren Regeln für den Klimaschutz haben, haben sie auch eine unterschiedliche Erwartungshaltung, wie die öffentliche Meinung zu dem Thema steht.

Benjamin geht so davon aus, dass 50% der Befragten für strengere Regeln beim Klimaschutz sind, während Sophia sagt, dass es 60% sein werden. Ihre Annahmen lassen sich über die Binomialverteilung modellieren, wie in der Abbildung unten (Benjamin in blau und Sophia in orange).

Die Ergebnisse der Umfrage zeigen: 57% der Befragten befürworten strengere Regeln beim Klimaschutz. Die Daten scheinen also eher für Sophias Hypothese zu sprechen, da ihre Schätzung näher am Tatsächlichen Ergebnis liegt. Aber Benjamin sagt, 57% wäre auch in seiner Binomialverteilung ein möglicher Wert gewesen. Es scheint offensichtlich, dass Sophia Recht hat, aber in welchem Ausmaß? Hier kommt der Bayes Faktor ins Spiel.

Eine Möglichkeit, diese Frage zu beantworten, ist die Frage nach dem relativen Anteil der vorliegenden Erkenntnisse: das heißt, wie beweiskräftig ist die Beobachtung in Bezug auf die beiden fraglichen Hypothesen? Um diese Frage zu beantworten, brauchen wir eine Möglichkeit das Ausmaß unserer Meinungsänderung zu verstehen und zu quantifizieren. Wir beginnen mit dem Konzept der Priors oder auch a-priori-Wahrscheinlichkeiten genannt.

Die Prior aus unserem Beispiel könnten wir so schreiben:

\(\dfrac{\mathrm{P}(H_S)}{\mathrm{P}(H_B)}\)

wobei H_S und H_B die Hypothesen jeweils von Sophia und Benjamin sind. Wir können auch schon die a-posteriori-Wahrscheinlichkeit berechnen, die den Grad beschreiben, mit dem wir nach Beobachtung der Daten eine Hypothese gegenüber der anderen bevorzugen:

\(\dfrac{\mathrm{P}(H_S\,|\, D)}{\mathrm{P}(H_B\,|\, D)}\)

Wobei D unsere beobachteten Daten sind. Jetzt müssen wir nur noch die a-posteriori-Wahrscheinlichkeit berechnen. Hier kommt der Satz von Bayes ins Spiel.

\[\underbrace{\dfrac{\mathrm{P}(D \,|\, H_S)}{\mathrm{P}(D \,|\, H_B)}}_{\small\text{Bayes-Faktor}} = \underbrace{\dfrac{\mathrm{P}(H_S\,|\, D)}{\mathrm{P}(H_B\,|\, D)}}_{\small\text{a-priori-}\\ \small\text{Wahrschl.}} \cdot \underbrace{\dfrac{\mathrm{P}(H_S)}{\mathrm{P}(H_B)}}_{\small\text{a-posteriori-}\\ \small{\text{Wahrschl.}}}\]

Der Bayes-Faktor ist also einfach das Produkt aus der a-priori-Wahrscheinlichkeit und der a-posteriori-Wahrscheinlichkeit.

Jetzt können wir auch bestimmen, wie viel besser Sophias Einschätzung gewesen ist. Dazu berechnen wir einfach die Wahrscheinlichkeiten aus der Binomialverteilung und berechnen den Quotienten.

\(\mathbf{BF} = \dfrac{B(57\mid .60,100)}{B(57\mid .50,100)}\;\approx\; 2.2192\)

Unsere empirischen Daten favorisieren Sophias Hypothese damit um etwas mehr als das Doppelte.

Keine Information

In den meisten Fällen haben wir allerdings keine genauen Vorstellungen über den wahren Wert. In unserem Beispiel hatten sowohl Benjamin, als auch Sophia eine genaue Hypothese über die Daten. In der Wissenschaft – besonders, wenn wir Menschen untersuchen – ist dies allerdings in den meisten Fällen nicht der Fall.

Wenn eine Hypothese über einen bestimmten Parameter nicht sehr spezifisch ist (z.B. dass eine experimentelle Intervention keine Wirkung hat), sind unsere Hypothesen unspezifischer. Die Hypothesen von Sophia und Ben könnten beispielsweise eher wie unten aussehen:

Anstatt wie vorher zu glauben, dass es eine Zustimmung von 50% bzw. 60% in der Bevölkerung gibt, sind die Hypothesen von sowohl Ben als auch Sophia unspezifischer und umfassen jetzt einen größeren Bereich.

Wir sehen, dass Sophia (orange) eine deutlich dünnere und dafür spitzere Verteilung hat, als Ben (hier in blau). Das heißt, dass Ben sich nicht ganz sicher ist, wo der wahre Wert in der Bevölkerung wirklich liegen wird. Seine Verteilung ist flacher, umspannt dafür aber etwas größeren Bereich als Sophias. Sophia ist sich hingegen ziemlich sicher richtig zu liegen: Ihre Verteilung umspannt einen recht kleinen und engen Bereich. Eines hat sich aber bei beiden nicht geändert: Die Verteilung von Ben hat weiterhin ihren Höhepunkt bei 50%, die von Sophia bei 60%. Die blaue Verteilung von Ben nennen wir \(\mathrm{P}_B(\tau)\) und die orangefarbene von Sophia \(\mathrm{P}_S(\tau)\).

Da der Bayes Faktor durch die Wahrscheinlichkeit bestimmt wird, die jede Hypothese den beobachteten Daten zuordnet, müssen wir als nächstes bestimmen, was Sophia und Ben voraussagen würden. Sophias Hypothese H_S ist eine Verteilung der Werte der Zustimmung in der Bevölkerung (τ), mit jeweils unterschiedlicher Gewichtung. Einige Werte (wie 0,6) sind recht plausibel, andere Werte (wie 0,5) sind sind deutlich weniger plausibel. Um die Plausibilität einer bestimmten Beobachtung zu bestimmen, können wir die Wahrscheinlichkeit berechnen, mit der sie bei einem bestimmten Wert für τ (d.h. \(\mathrm{P}_B(x\,|\,\tau)\)) auftreten würde. Diese Wahrscheinlichkeit gewichten wir dann mit der Plausibilität, die diesem bestimmten Wert für τ gegeben ist, P(τ). Für jede Hypothese kann dies durch ein Integral dargestellt werden:

\(\mathrm{P}_B(x\,|\,{H}_S) = \displaystyle\int \mathrm{P}_B(x\,|\,\tau)\,\cdot\,\mathrm{P}_B(\tau)\;\mathrm{d}\tau\)

Interpretation

Abgewandelt nach Wagenmakers, Wetzels, Borsboom, und van der Maas (2011)

Literaturverzeichnis

1. Wagenmakers, E.-J., Wetzels, R., Borsboom, D., & van der Maas, H. L. J. (2011). Why psychologists must change the way they analyze their data: The case of psi: Comment on Bem (2011). Journal of Personality and Social Psychology, 100(3), 426–432. doi:10.1037/a0022790

@misc{statistikguru,
    title    = {StatistikGuru},
    subtitle = {Bayes Faktor},
    year     = {2020},
    month    = {jun},
    url      = {https://statistikguru.de/lexikon/bayes-faktor.html},
    author   = {Hemmerich, Wanja A.},
    urldate  = {2023-06-10}
}