AIC, Akaike-Informationskriterium

Das Akaike-Informationskriterium (AIC; Akaike information criterion) ist eine alternative Methode für den Vergleich von Modellen auf der Grundlage von Entscheidungen über die Entropie, d. h. darüber, wie viele zusätzliche Informationen ein komplexeres Modell im Vergleich zu dem (unbekannten) stochastischen Modell, auf dem die Daten basieren, liefert. Das AIC schätzt dabei die Menge an verlorengegangener Information eines Modell und sollte daher möglichst niedrig sein.

Die Logik ist nicht die eines Hypothesentests, d. h. man stellt keine Nullhypothese auf, berechnet keinen p-Wert und muss sich nicht für ein Signifikanzniveau entscheiden. Vielmehr kann man mit dieser Methode feststellen, welches Modell mit größerer Wahrscheinlichkeit das richtige ist, und quantifizieren, um wie viel wahrscheinlicher dies ist. Im Gegensatz zum F-Test, der nur zum Vergleich verschachtelter Modelle verwendet werden kann, kann die Akaike-Methode zum Vergleich verschachtelter und nicht verschachtelter Modelle verwendet werden.

Die theoretische Grundlage der Akaike-Methode ist schwer zu verstehen. Sie kombiniert die Maximum-Likelihood-Theorie, die Informationstheorie und das Konzept der Informationsentropie. Der AIC ist wie folgt definiert:

\(\mathrm{AIC} \, = \, 2k – 2\ln(\hat L)\)

wobei k die Anzahl der Parameter des Modells und L der maximaler Wert der Likelihood-Funktion für das Modell ist. Ziel ist es, den AIC-Wert zu minimieren, was durch einen Kompromiss zwischen einer geringen Modellkomplexität erreicht wird. Dies wird in der Regel durch zwei Mechanismen erreicht: Zum einen, ein kleiner Wert für k und einer guten Modellanpassung, d. h. einer hohen Likelihood, die allerdings bei komplexen Modellen (mit höherem k) leichter zu erreichen ist.

Es ist schwierig einen einzelnen AIC-Wert zu interpretieren. Ein AIC-Wert kann positiv oder negativ sein, und das Vorzeichen des AIC gibt im Grunde kaum zusätzliche Informationen. Der Wert des AIC liegt darin, Modelle zu vergleichen, daher ist nur der Unterschied zwischen den AIC-Werten von Interesse.

Das AIC stellt die Abwägung zwischen der Veränderung der Anpassungsgüte und dem Unterschied in der Anzahl der Parameter dar. Aber die mathematische Gleichung muss nicht verinnerlicht werden. Es genügt, sich die einzelnen AIC-Werte anzusehen und das Modell mit dem kleinsten AIC-Wert auszuwählen. Dieses Modell ist mit großer Wahrscheinlichkeit richtig.

Siehe auch

• BIC, Bayes’sches Informationskriterium

@misc{statistikguru,
    title    = {StatistikGuru},
    subtitle = {AIC, Akaike-Informationskriterium},
    year     = {2021},
    month    = {nov},
    url      = {https://statistikguru.de/lexikon/aic-akaike-informationskriterium.html},
    author   = {Hemmerich, Wanja A.},
    urldate  = {2023-06-09}
}