Likelihood-Funktion

Bei der Likelihood-Funktion handelt es sich um eine mathematische Funktion, die im Rahmen der Maximum-Likelihood-Methode verwendet wird, um Parameter einer Dichte- bzw. Wahrscheinlichkeitsfunktion zu schätzen. Die Log-Likelihood-Funktion ist die logarithmierte Likelihood-Funktion.

Definition

Es bezeichne nun X eine Zufallsvariable mit zugehöriger Dichte- bzw. Wahrscheinlichkeitsfunktion f(x;θ). Hierbei ist θ ein (möglicherweise mehrdimensionaler) unbekannter Parameter. Weiterhin seien $x_1, x_2, \dots, x_n$ verschiedene Realisationen dieser Zufallsvariablen. Die Likelihood-Funktion $L(\theta | x_1, x_2, \dots, x_n)$ dieser Stichprobe ist nun definiert als die Funktion, die jedem Parameterwert θ den Wert

$L(\theta|x_1,x_2,\cdots,x_n) = f(x_1,x_2,\cdots,x_n;\theta)$,

also die gemeinsame Dichte- bzw. Wahrscheinlichkeitsfunktion, zuordnet. ^[1]

Log-Likelihood-Funktion

Die Log-Likelihood-Funktion ist die logarithmierte Likelihood-Funktion. Sie wird meist im Zusammenhang mit der Bestimmung einer Maximum-Likelihood-Schätzung verwendet. Zur Bestimmung des Maximums der Likelihood-Funktion müssen die ersten und zweiten Ableitungen nach θ berechnet werden, sowie die Nullstellen der ersten Ableitung bestimmt werden. Um die Berechnung dieser Ableitungen zu erleichtern, verwendet man die Log-Likelihood-Funktion

$\log(L(\theta)) = \log(f(x_1,x_2,\cdots,x_n;\theta))$,

da in vielen Fällen die Ableitung der Log-Likelihood nach θ einfacher zu bestimmen ist als die Ableitung der Likelihood nach θ. Generell gilt: Ist θ ^* ein Maximum der Log-Likelihood-Funktion so ist es auch ein Maximum der Likelihood-Funktion und umgekehrt.

Eine deutliche Vereinfachung bringt die Verwendung der Log-Likelihood z. B. wenn $x_1, x_2, \dots, x_n$ unabhängige Realisationen der Zufallsvariablen X sind. Dann ergibt sich die Likelihood-Funktion als

$L(\theta) = f(x_1;\theta) \cdot f(x_2;\theta) \cdot \cdots \cdot f(x_n;\theta)$,

d.h. als das Produkt der eindimensionalen Dichte- bzw. Wahrscheinlichkeitsfunktionen. Die Log-Likelihood erhält man in diesem Fall durch die Summe

$\log(L(\theta)) = \log(f(x_1;\theta)) + \log(f(x_2;\theta)) + \cdots + \log(f(x_n;\theta))$

Beispiel

Die Normalverteilung $\mathcal{N}(\mu, \sigma^2)$ mit Mittelwert μ und Varianz σ² besitzt die Wahrscheinlichkeitsdichte

$f\left(x ; \mu,\sigma^2\right) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp{\left(-\frac {(x-\mu)^2}{2\sigma^2} \right)}.$

Sind nun $x_1,\ldots,x_n$ unabhängige Realisationen einer Normalverteilung $\mathcal{N}(m, s^2)$ mit unbekanntem Mittelwert und Varianz, so erhält man die entsprechende Likelihood-Funktion mit θ = (m,s) zu

$L(m,s^2) = \prod_{i=1}^{n} f\left( x_{i}; m, s^2\right) = \left( \frac{1}{2\pi s^2} \right)^{n/2} \exp\left( -\frac{ \sum_{i=1}^{n}(x_i-m)^2}{2 s^2}\right)$

und die Log-Likelihood-Funktion zu

$\log(L(m,s^2)) = -\tfrac{n}{2} \log(2\pi s^2) - \frac{ \sum_{i=1}^{n}(x_i-m)^2}{2 s^2}.$

Pseudo-Likelihood-Funktion

Für die Lösung des Maximum-Likelihood Problems ist nur das Auffinden des Maximums der Likelihoodfunktion von Belang. Dies ist einer der Gründe, warum die Maximum-Likelihood-Methode oft auch funktioniert, obwohl die Voraussetzungen nicht erfüllt sind. In den folgenden Fällen spricht man von einer Pseudo-Likelihood-Funktion:

• die Verteilungsvoraussetzungen für die Maximum-Likelihood-Methode sind nicht erfüllt: man nennt dann die Likelihoodfunktion eine Pseudo-Likelihood-Funktion und
• die eigentliche Likelihoodfunktion oder Loglikelihoodfunktion ist zu schwierig zu maximieren und wird z. B. durch eine geglätte Version ersetzt und diese Pseudo-Likelihood-Funktion wird dann maximiert.

Einzelnachweise

1. ↑ Ulrich Krengel (1988), S. 157.

Literatur

• Ulrich Krengel: Einführung in die Wahrscheinlichkeitstheorie und Statistik. Verlag Friedrich Vieweg & Sohn, Braunschweig/Wiesbaden 1988. ISBN 3-528-07259-8.