Akaike Information Criterion

Ein Informationskriterium ist ein Kriterium zur Auswahl eines Modells in der angewandten Statistik bzw. der Ökonometrie. Dabei gehen die Anpassungsgüte des geschätzten Modells an die vorliegenden empirischen Daten (Stichprobe) und Komplexität des Modells, gemessen an der Anzahl der Parameter, in die Beurteilung ein. Die Anzahl der Parameter wird dabei "strafend" berücksichtigt, da sonst umfassende Modelle mit vielen Parametern bevorzugt würden. In diesem Sinne ist das korrigierte Bestimmtheitsmaß, das auf Henri Theil (1970) zurückgeht, ein Vorläufer der heute bekannten Informationskriterien.

Allen heute verwendeten Informationskriterien ist gleich, dass sie in zwei verschiedenen Formulierungen vorliegen. Entweder ist das Maß für die Anpassungsgüte als die maximale Wahrscheinlichkeit oder als die minimale Varianz der Residuen formuliert. Hieraus ergeben sich unterschiedliche Interpretationsmöglichkeiten. Beim Ersteren ist das Modell "am besten", bei dem das jeweilige Informationskriterium den höchsten Wert hat (die "strafende" Anzahl der Parameter muss dabei abgezogen werden). Beim Letzteren ist das Modell mit dem niedrigsten Wert des Informationskriteriums am besten (die Anzahl der Parameter muss "strafend" addiert werden).

Das historisch älteste Kriterium wurde 1973 von Hirotugu Akaike als "an information criterion" (engl.) vorgeschlagen. Heutzutage ist es als Akaikes Informationskriterium (engl. Akaike's Information Criterion, AIC) bekannt und wird vorwiegend in der Ökonometrie verwendet. Es lässt sich mit der logarithmierten Likelihood-Funktion l wie folgt darstellen:


AIC_l=-l(\mathbf{\hat{\phi}},\mathbf{\hat{\theta}}|\mathbf{\tilde{y}})+M

Unter Verwendung der minimalen Varianz der Residuen ergibt sich im klassischen Regressionsmodell mit normalverteilten Fehlern folgende Notation:


AIC_\sigma=\ln({\hat{\sigma}}_Z^2)+\frac{M}{T} \cdot 2

Der Nachteil des Informationskriteriums von Akaike ist, dass der Strafterm von der Stichprobengröße unabhängig ist. Bei großen Stichproben sind Verbesserungen der Log-Likelihood bzw. der Residualvarianz "leichter" möglich, weshalb das Kriterium bei großen Stichproben tendenziell Modelle mit verhältnismäßig vielen Parametern vorteilhaft erscheinen lässt. Deshalb empfiehlt sich die Verwendung des durch Gideon Schwarz 1978 vorgeschlagenen Bayesschen Informationskriteriums (engl. Bayesian Information Criterion[BIC] oder Schwarz-Bayes Criterion[SBC]):


SBC_l=l(\mathbf{\hat{\phi}},\mathbf{\hat{\theta}}|\mathbf{\tilde{y}})- {M} \cdot \frac {\ln T}{2}

bzw.


SBC_\sigma=\ln ({\hat{\sigma}}_Z^2)+ \frac{M}{T} \cdot {\ln T}

Bei diesem Kriterium wächst der Faktor des Strafterms logarithmisch mit der Anzahl der Beobachtungen T. Bereits ab acht Beobachtungen (ln 8 = 2,07944 > 2) bestraft das SBC zusätzliche Parameter schärfer als das AIC.

Zur Notation:
T: Anzahl der beobachteten Stichprobenwerte
M: Anzahl der geschätzten Parameter
σ: Standardabweichung
Z: Störvariable
{\hat{\sigma}}_Z^2: empirisch gemessene Varianz der Störvariablen Z (als Proxy wird hier die Varianz der Residuen verwendet)

Letzteres Modell wird vor allem in der Soziologie häufig verwendet. Kuha (2004) weist auf die unterschiedlichen Ziele der beiden Kenngrößen hin: Während das BIC das wahre Modell zeigen soll, wird beim AIC die Existenz eines wahren Modells ausgeschlossen und man versucht, möglichst gute Vorhersagen zu treffen.

Daneben existieren weitere, seltener verwendete Informationskriterien, wie:

  • das von Hannan-Quinn
  • das Deviance Information Criterion - DIC (Spiegelhalter, Best, Carlin und van der Linde (2002))
  • EIC (Ishiguro, Sakamoto, and Kitgawa (1997))
  • FIC (Wei (1992)), GIC (Nishii (1984))
  • NIC (Murata, Yoshizawa und Amari (1991))
  • TIC (Takeuchi (1976))

Siehe auch

Literatur

  • Hirotugu Akaike: Information theory and an extension of the maximum likelihood principle. In: B. N. Petrov (Hrsg.) u.A.: Proceedings of the Second International Symposium on Information Theory Budapest: Akademiai Kiado 1973. S. 267-281
  • Kenneth P. Burnham und David R. Anderson: Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach. Springer-Verlag, New York 2002, ISBN 0-387-95364-7
  • Kenneth P. Burnham/David R. Anderson (2004): Multimodel Inference: Understanding AIC and BIC in Model Selection, in: Sociological Methods and Research, Vol. 33, 2004, Seite 261-304
  • Jouni Kuha (2004): AIC and BIC: Comparisons of Assumptions and Performance, in: Sociological Methods and Research, Vol. 33, 2004, Seite 188-229
  • Gideon Schwarz: Estimating the Dimension of a Model. In: Annals of Statistics. 2/6/1978. S. 461-464 (Originalartikel: http://www.math.tau.ac.il/~yekutiel/MA%20seminar/Schwarz%201978.pdf)
  • David L. Weakliem (2004): Introduction to the Special Issue on Model Selection, in: Sociological Methods and Research, Vol. 33, 2004, Seite 167-187

Wikimedia Foundation.

Schlagen Sie auch in anderen Wörterbüchern nach:

  • Akaike information criterion — Akaike s information criterion, developed by Hirotsugu Akaike under the name of an information criterion (AIC) in 1971 and proposed in Akaike (1974), is a measure of the goodness of fit of an estimated statistical model. It is grounded in the… …   Wikipedia

  • Information criterion — may refer to: *Akaike information criterion, a measure of the goodness fit of an estimated statistical model *Bayesian information criterion also known as the Schwarz information criterion, a statistical criterion for model selection *Hannan… …   Wikipedia

  • Deviance information criterion — The deviance information criterion (DIC) is a hierarchical modeling generalization of the AIC (Akaike information criterion) and BIC (Bayesian information criterion, also known as the Schwarz criterion). It is particularly useful in Bayesian… …   Wikipedia

  • Bayesian information criterion — In statistics, in order to describe a particular dataset, one can use non parametric methods or parametric methods. In parametric methods, there might be various candidate models with different number of parameters to represent a dataset. The… …   Wikipedia

  • Hannan-Quinn information criterion — Information criteria are often used as a guide in model selection (see forexample, Grasa 1989). The Kullback Leibler quantity of information contained in a model is the distance from the“true” model and is measured by the log likelihood function …   Wikipedia

  • Hirotsugu Akaike — nihongo|Hirotsugu Akaike|赤池 弘次| Akaike Hirotsugu |In academic publications Hirotugu without an S (born November 5, 1927) is a Japanese statistician. In the early 1970s he formulated an information criterion for model identification which has… …   Wikipedia

  • AIC — Akaike information criterion [a goodness of fit measure]; aminoimidazole carboxamide; Association des Infirmieres Canadiennes …   Medical dictionary

  • AIC — • Akaike information criterion [a goodness of fit measure]; • aminoimidazole carboxamide; • Association des Infirmieres Canadiennes …   Dictionary of medical acronyms & abbreviations

  • Rasoir d'Occam — Rasoir d Ockham Pour les articles homonymes, voir Rasoir d Occam (homonymie). Le rasoir d’Occam ou rasoir d’Ockham est un principe de raisonnement que l on attribue au frère franciscain et philosophe Guillaume d Ockham (XIVe siècle), mais… …   Wikipédia en Français

  • Rasoir d'Ockham — Pour les articles homonymes, voir Rasoir d Occam (homonymie). Il est possible de décrire le soleil et les planètes comme étant en orbite autour de la te …   Wikipédia en Français

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”