Bestimmtheitsmaß

Das Bestimmtheitsmaß (abk. R2 oder B, auch Determinationskoeffizient) ist ein Maß der Statistik für den erklärten Anteil der Variabilität (Varianz) einer abhängigen Variablen Y durch ein statistisches Modell. Indirekt wird damit auch der Zusammenhang zwischen der abhängigen und der/den unabhängigen Variablen gemessen (siehe Fehlerreduktionsmaße) [1][2].

Nur im Fall eines linearen Regressionsmodells, d.h. Yi = b0 + b1Xi1 + ... + bpXip + Ui, gibt es eine eindeutige Definition: das Quadrat des multiplen Korrelationskoeffizienten. Ansonsten existieren meist mehrere unterschiedliche Definitionen (siehe Pseudo-Bestimmtheitsmaß).

Inhaltsverzeichnis

Das Bestimmtheitsmaß R2

Zusammenhang von Korrelations- und Determinationskoeffizient

Interpretation

Die Maßzahl R2 ist der Anteil der Variation von Y (oder auch der Varianz von Y, da gilt Variation(Y) = n * Var(Y)), der durch die lineare Regression erklärt wird, und liegt daher zwischen

0 (oder 0 %): kein linearer Zusammenhang und
1 (oder 100%): perfekter linearer Zusammenhang.

Ist R2 = 0, dann besteht das "beste" lineare Regressionsmodell nur aus der Konstanten b0, alle anderen Koeffizienten bi sind Null. Ist R2 = 1, dann lässt sich die Variable Y vollständig durch das lineare Regressionsmodell erklären.

Konstruktion

Die Variation von Y wird zerlegt in die Variation der Residuen (durch das Modell nicht erklärte Variation) und die Variation der Regresswerte (durch das Modell erklärte Variation):

 \underbrace{\sum_{i=1}^n (Y_i - \bar{Y})^2}_{\mbox{Variation von Y}} = \underbrace{\sum_{i=1}^n (Y_i - \hat{Y}_i)^2}_{\mbox{Variation der Residuen}}+\underbrace{\sum_{i=1}^n (\hat{Y}_i- \bar{Y})^2}_{\mbox{Variation der Regresswerte}}

mit \bar{Y} der Mittelwert der Y's, \hat{Y}_i die geschätzten Regresswerte aus dem Regressionsmodell (\hat{Y}_i = \hat{b}_0 + \hat{b}_1 X_{i1} + ... + \hat{b}_p X_{ip}). Dies folgt in zwei Schritten

1. \sum_{i=1}^n (Y_i - \bar{Y})^2 = \sum_{i=1}^n (Y_i - \hat{Y}_i + \hat{Y}_i - \bar{Y})^2

 = \sum_{i=1}^n (Y_i-\hat{Y}_i)^2 + 2\underbrace{\sum_{i=1}^n (Y_i - \hat{Y}_i) (\hat{Y}_i-\bar{Y})}_{=0} + \sum_{i=1}^n (\hat{Y}_i- \bar{Y})^2

2. Wenn die Residuen U_i=Y_i - \hat{Y}_i sind, dann gilt

\sum_{i=1}^n (Y_i - \hat{Y}_i) (\hat{Y}_i-\bar{Y}) = \sum_{i=1}^n U_i (\hat{Y}_i-\bar{Y}) = \underbrace{\sum_{i=1}^n U_i \hat{Y}_i}_{=0} - \bar{Y}  \underbrace{\sum_{i=1}^n U_i}_{=0} = 0 und
\sum_{i=1}^n U_i \hat{Y}_i = \hat{b}_0 \underbrace{\sum_{i=1}^n U_i}_{=0} + \hat{b}_1 \underbrace{\sum_{i=1}^n U_i X_{i1} }_{=0} + ... + \hat{b}_p \underbrace{\sum_{i=1}^n U_i X_{ip}}_{=0}=0
Dass alle Ausdrücke Null sind, folgt aus den verwendeten Schätzverfahren (Maximum-Likelihood-Methode mit normalverteilten Fehlern oder Kleinste-Quadrate-Methode). Denn die ersten Ableitungen nach bi müssen gleich Null gesetzt werden um das Maximum bzw. Minimum zu finden, also für \hat{b}_0: -2 \sum_{i=1}^n  U_i=0 bzw. für \hat{b}_k mit k > 0: -2 \sum_{i=1}^n U_i X_{ik}=0.

Damit wird das Bestimmtheitsmaß R2 definiert als:

R^2 = 1-\frac{\displaystyle\sum_{i=1}^n (Y_i - \hat{Y}_i)^2}{\displaystyle\sum_{i=1}^n (Y_i - \bar{Y})^2}= 1-\frac{\mbox{Variation der Residuen}}{\mbox{Variation von Y}} = \frac{\mbox{Variation der Regresswerte}}{\mbox{Variation von Y}}=
\frac{\displaystyle\sum_{i=1}^n (\hat{Y}_i- \bar{Y})^2}{\displaystyle\sum_{i=1}^n (Y_i - \bar{Y})^2}

In der Literatur findet man auch folgende Notation für die

  • Variation von Y: TSS = SSTotal (total sum of squares),
  • Variation der Residuen: RSS = SSResiduen (sum of squared residual) und
  • Variation der Regresswerte: ESS = SSRegression (estimated sum of squares).

Zusammenhang mit Korrelationskoeffizienten

Bei einer einfachen Regression (nur eine unabhängige Variable) entspricht R2 dem Quadrat des Pearson'schen Korrelationskoeffizienten rxy und lässt sich aus der Kovarianz sxy und den Einzelvarianzen s_x^2 und s_y^2 berechnen:

R^2 = r_{xy}^2 = \frac{s_{xy}^2}{s_x^2 s_y^2}.

Bei einer multiplen Regression (mehr als eine unabhängige Variable) entspricht R2 dem Quadrat des multiplen Korrelationskoeffizienten, also der Korrelation zwischen Y und b1X1 + ... + bpXp.

Beispiel

Streudiagramm von Längen und Breiten von 10 zufällig ausgewählten Kriegsschiffen

Folgendes Beispiel soll die Berechnung des Bestimmtheitsmaßes zeigen. Es wurden zufällig 10 Kriegsschiffe ausgewählt und zwei Merkmale, Länge (m) und Breite (m), analysiert. Das Streudiagramm zeigt, dass zwischen Länge und Breite eines Schiffs offensichtlich ein linearer Zusammenhang besteht:

Geschätzte Breite = 0,1612339286 * Länge − 8,645057143,

d.h. die Breite der ausgewählten Kriegsschiffe entspricht grob einem Sechstel der Länge.

Nummer Länge (m) Breite (m) Abweichung vom Mittelwert Quadrierte Abweichung Geschätzte Breite Residuum Quadriertes Residuum
i xi yi y_i-\bar{y} (y_i-\bar{y})^2 \hat{y}_i u_i=y_i-\hat{y}_i u_i^2
1 208 21,6 3,19 10,1761 24,8916 -3,2916 10,8347
2 152 15,5 -2,91 8,4681 15,8625 -0,3625 0,1314
3 113 10,4 -8,01 64,1601 9,5744 0,8256 0,6817
4 227 31,0 12,59 158,5081 27,9550 3,045 9,2720
5 137 13,0 -5,41 29,2681 13,4440 -0,4440 0,1971
6 238 32,4 13,99 195,7201 29,7286 2,6714 7,1362
7 178 19,0 0,59 0,3481 20,0546 -1,0546 1,1122
8 104 10,4 -8,01 64,1601 8,1233 2,2767 5,1835
9 191 19,0 0,59 0,3481 22,1506 -3,1506 9,9265
10 130 11,8 -6,61 43,6921 12,3154 -0,5154 0,2656
Σ 184,1 574,8490 0,0000 44,7405

Der Mittelwert der Breite ist \bar{y}=18,41 m, die Variation von y ist gleich 574,849 m² und die Variation der Residuen 44,7405 m². Daher ergibt sich das Bestimmtheitsmaß zu

R^2 = 1-\frac{44,7405}{574,8490}=0,9222,

d.h. ca. 92% der Variation der Breite der ausgewählten Kriegsschiffe kann mit Hilfe der Länge der ausgewählten Kriegsschiffe erklärt werden. Nur knapp 8% der Variation der Breite bleiben unerklärt, d.h. hier könnte man z.B. nach weiteren Faktoren suchen, die die Breite eines Kriegsschiffes beeinflussen.

Auch mit der Schätzung der Standardabweichung der Residuen könnte die Qualität der Regression eingeschätzt werden:

s_u = \begin{cases} \sqrt{\tfrac1n \sum_{i=1}^n u_i^2} = 2,1152 & \mbox{ (verzerrte Schätzung)} \\ 
\sqrt{\tfrac1{n-2} \sum_{i=1}^n u_i^2} = 2,3649 & \mbox{ (unverzerrte Schätzung)} \end{cases}

Zum Vergleich ist jedoch die Kenntnis der Variation der Y Werte notwendig. Beim normierten Bestimmtheitsmaß kann man, ohne Kenntnis der Variation der Y Werte, aufgrund des Wertes von 92% sehen, dass die lineare Regression sehr gut ist.

Grenzen und Kritik

Beispiele für Daten mit einem hohen (pink) und einem niedrigen (blau) Bestimmtheitsmaß bei einem zugrundegelegten linearen Modell
  • Das Bestimmtheitsmaß zeigt zwar die Qualität der linearen Approximation, jedoch nicht, ob das Modell richtig spezifiziert wurde. Modelle, die mittels kleinster Quadrate geschätzt wurden, werden daher die höchsten R2 erhalten.
  • Übliche Missverständnisse sind:
    • Ein hohes R2 erlaubt eine gute Vorhersage. Die roten Daten in der Grafik rechts legen nahe, dass sich die Richtung der Daten für höherere Werte von X ändert.
    • Ein hohes R2 gibt an, dass die geschätzte Regressionslinie eine gute Approximation an die Daten darstellt; die roten Daten legen auch hier etwas anderes nahe.
    • Ein R2 nahe bei Null zeigt an, dass es keinen linearen Zusammenhang zwischen der abhängigen und den unabhängigen Variablen gibt. Die blauen Daten in der Grafik rechts zeigen einen deutlichen, allerdings nicht-linearen, Zusammenhang, obwohl R2 Null ist.
  • Es sagt nichts darüber aus, ob die unabhängigen Variablen Xi wirklich der Grund für die Änderungen in Y sind. Z.B. gibt es tatsächlich einen Zusammenhang zwischen der Anzahl der Störche und der Anzahl der neugeborenen Kinder in einem Gebiet. Der Grund für den Zusammenhang ist jedoch, dass in einem mehr ländlichen Gebiet sowohl die Zahl der Störche als auch die Zahl der neugeborenen Kinder größer ist als in einem mehr städtisch geprägten Gebiet. Korrekterweise müsste man statt einer Regression Zahl der Kinder = b0 + b1Zahl der Störche eine Regression Zahl der Kinder = b0 + b1Städtische Ausprägung durchführen.
  • Außerdem sagt es nichts über die statistische Signifikanz des ermittelten Zusammenhangs und der einzelnen Regressoren aus. Dazu muss zusätzlich ein Signifikanztest durchgeführt werden.
  • Es macht keine Aussage über Multikollinearität der unabhängigen Variablen Xi.
  • Es macht keine Aussage, ob eine Transformation der Daten die Erklärungskraft der Regression verbessert.
  • Ein weiterer Nachteil liegt in der Empfindlichkeit gegenüber Trends: Sofern sich eine exogene Variable parallel zu einer erklärenden entwickelt, werden unabhängig von der wahren Erklärungskraft des Modells hohe R2 ausgewiesen.

Das korrigierte Bestimmtheitsmaß \bar R^2

Definition

Das Bestimmtheitsmaß R2 hat die Eigenschaft, dass es umso größer wird je größer die Zahl der unabhängigen Variablen ist. Und zwar unabhängig davon, ob weitere unabhängige Variablen wirklich einen Beitrag zur Erklärungskraft liefern. Daher ist es ratsam, das korrigierte Bestimmtheitsmaß (auch bereinigtes, adjustiertes oder angepasstes Bestimmtheitsmaß genannt) zu Rate zu ziehen. Es berechnet sich wie folgt

\bar R^2 = 1- (1-R^2) \frac{n-1}{n-p-1} = R^2 - (1-R^2) \frac{p}{n-p-1}.

Hierbei wird die Erklärungskraft des Modells, repräsentiert durch R2, ausbalanciert mit der Komplexität des Modells, repräsentiert durch p, die Anzahl der unabhängigen Variablen. Je komplexer das Modell ist, desto mehr "bestraft" \bar R^2 jede neu hinzugenommene unabhängige Variable.

Das angepasste Bestimmtheitsmaß \bar R^2 steigt nur, wenn R2 ausreichend steigt, um den gegenläufigen Effekt des Quotienten \frac{n-1}{n-p-1} auszugleichen und kann auch sinken. Auf diese Weise lässt sich \bar R^2 als Entscheidungskriterium bei der Auswahl zwischen zwei alternativen Modellspezifikationen (etwa einem restringierten und einem unrestringierten Modell) verwenden.

Das korrigierte Bestimmtheitsmaß \bar R^2 kann auch negative Werte annehmen und ist kleiner als das unbereinigte, außer falls R^2= 1\;, dann ist auch \bar R^2=1.

Konstruktion

Aus der obigen Definition von R2 folgt, dass

R^2= 1-\frac{\displaystyle \frac{1}{n} \sum_{i=1}^n (Y_i-\hat{Y}_i)^2}{\displaystyle \frac{1}{n} \sum_{i=1}^n (Y_i-\bar{Y})^2}.

Wir wissen jedoch, dass \frac{1}{n} \sum_{i=1}^n (Y_i-\hat{Y}_i)^2 und \frac{1}{n} \sum_{i=1}^n (Y_i-\bar{Y})^2 keine unverzerrten Schätzer für die Varianzen sind. Setzt man oben und unten unverzerrte Schätzer ein, so erhält man das korrigierte Bestimmtheitsmaß:

\bar R^2=1-\frac{\displaystyle \frac{1}{n-p-1} \sum_{i=1}^n (Y_i-\hat{Y}_i)^2}{\displaystyle \frac{1}{n-1} \sum_{i=1}^n (Y_i-\bar{Y})^2}.

Pseudo-Bestimmtheitsmaß

Im Falle einer linearen Regression mit einer abhängigen metrischen Variablen Y beschreibt das Bestimmtheitsmaß den erklärten Anteil der Variabilität (Varianz) einer abhängigen Variablen Y durch ein statistisches Modell. Bei einem nominalen oder ordinalen Skalenniveau von Y existiert jedoch kein Äquivalent, da man die Varianz und damit ein R2 nicht berechnen kann. Für diese wurden verschiedene Pseudo-Bestimmtheitsmaße vorgeschlagen.

Hauptartikel: Pseudo-Bestimmtheitsmaß

Prognose-Bestimmtheitsmaß

Während das Bestimmtheitsmaß, das korrigierte Bestimmtheitsmaß oder auch die Pseudo-Bestimmtheitsmaße eine Aussage über die Modellgüte machen zielt das Prognose-Bestimmtheitsmaß auf die Vorhersagequalität des Modells. Im allgemeinen wird das Prognose-Bestimmtheitsmaß kleiner als das Bestimmtheitsmaß sein.

Zunächst wird der PRESS Wert (engl.: PREdiction Sum of Squares) berechnet

PRESS = \sum_{i=1}^n (y_i - \hat{y}_{i,-i})^2.

yi ist der beobachtete Wert und \hat{y}_{i,-i} der Wert, der sich als Schätzung von yi ergibt, wenn alle Beobachtungen außer der iten in das Regressionmodell einfliessen. D.h. zur Berechnung des PRESS Wertes müssten n lineare Regressionsmodelle mit jeweils n − 1 Beobachtungen berechnet werden.

Es lässt sich jedoch zeigen, dass das Residuum y_i - \hat{y}_{i,-i} aus den Regressionsresiduen y_i - \hat{y}_i (bei Benutzung aller n Beobachtungen) berechnet werden kann.

Das Prognose-Bestimmtheitsmaß ergibt sich dann als

R^2_\text{prog.} = 1 - \frac{PRESS}{\sum_{i=1}^n (y_i - \bar{y})^2}

mit \bar{y} der Mittelwert aller y Werte.

Literatur

  • Neter, J., Kutner, M.H., Nachtsheim, C.J., Wasserman, W. (1996), Applied linear statistical models (Fourth edition), McGraw-Hill

Einzelnachweise

  1. Yule, G.U. (1897), On the theory of correlation, Journal of the Royal Statistical Society, 62, S. 249-295
  2. Pearson, K., Lee, A. (1897), On the Distribution of Frequency (Variation and Correlation) of the Barometric Height at Divers Stations, Philosophical Transactions of the Royal Society of London. Series A, Vol. 190, S. 423-469

Wikimedia Foundation.

Schlagen Sie auch in anderen Wörterbüchern nach:

  • Bestimmtheitsmaß — in der ⇡ Regressionsanalyse ein Koeffizient zur Kennzeichnung des Ausmaßes, mit welchem die ⇡ Streuung der ⇡ endogenen Variablen durch die ⇡ exogenen Variablen erklärt wird. Das B. lässt sich als Quadrat des Korrelationskoeffizienten zwischen… …   Lexikon der Economics

  • Adjustiertes Bestimmtheitsmaß — Das Bestimmtheitsmaß (abk. R2 oder B, auch Determinationskoeffizient) ist ein Maß der Statistik für den erklärten Anteil der Variabilität (Varianz) einer abhängigen Variablen Y durch ein statistisches Modell. Indirekt wird damit auch der… …   Deutsch Wikipedia

  • Pseudo-Bestimmtheitsmaß — Im Falle einer linearen Regression beschreibt das Bestimmtheitsmaß den erklärten Anteil der Variabilität (Varianz) einer abhängigen Variablen Y durch ein statistisches Modell. Bei einem nominalen oder ordinalen Skalenniveau von Y existiert jedoch …   Deutsch Wikipedia

  • Determinationskoeffizient — Das Bestimmtheitsmaß (abk. R2 oder B, auch Determinationskoeffizient) ist ein Maß der Statistik für den erklärten Anteil der Variabilität (Varianz) einer abhängigen Variablen Y durch ein statistisches Modell. Indirekt wird damit auch der… …   Deutsch Wikipedia

  • Pseudobestimmtheitsmaß — Das Bestimmtheitsmaß (abk. R2 oder B, auch Determinationskoeffizient) ist ein Maß der Statistik für den erklärten Anteil der Variabilität (Varianz) einer abhängigen Variablen Y durch ein statistisches Modell. Indirekt wird damit auch der… …   Deutsch Wikipedia

  • R-Quadrat — Das Bestimmtheitsmaß (abk. R2 oder B, auch Determinationskoeffizient) ist ein Maß der Statistik für den erklärten Anteil der Variabilität (Varianz) einer abhängigen Variablen Y durch ein statistisches Modell. Indirekt wird damit auch der… …   Deutsch Wikipedia

  • R^2 — Das Bestimmtheitsmaß (abk. R2 oder B, auch Determinationskoeffizient) ist ein Maß der Statistik für den erklärten Anteil der Variabilität (Varianz) einer abhängigen Variablen Y durch ein statistisches Modell. Indirekt wird damit auch der… …   Deutsch Wikipedia

  • Residualvarianz — Das Bestimmtheitsmaß (abk. R2 oder B, auch Determinationskoeffizient) ist ein Maß der Statistik für den erklärten Anteil der Variabilität (Varianz) einer abhängigen Variablen Y durch ein statistisches Modell. Indirekt wird damit auch der… …   Deutsch Wikipedia

  • — Das Bestimmtheitsmaß (abk. R2 oder B, auch Determinationskoeffizient) ist ein Maß der Statistik für den erklärten Anteil der Variabilität (Varianz) einer abhängigen Variablen Y durch ein statistisches Modell. Indirekt wird damit auch der… …   Deutsch Wikipedia

  • Varianzzerlegung — Das Bestimmtheitsmaß (abk. R2 oder B, auch Determinationskoeffizient) ist ein Maß der Statistik für den erklärten Anteil der Variabilität (Varianz) einer abhängigen Variablen Y durch ein statistisches Modell. Indirekt wird damit auch der… …   Deutsch Wikipedia

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”