Neyman-Pearson-Lemma


Neyman-Pearson-Lemma

Das Neyman-Pearson-Lemma ist ein Satz der mathematischen Statistik, der eine Optimalitätsaussage über die Konstruktion eines Hypothesentests macht. Gegenstand des Neyman-Pearson-Lemmas ist das denkbar einfachste Szenario eines Hypothesentests: Dabei ist sowohl die Nullhypothese H0 als auch die Alternativhypothese H1 einfach, d.h. sie entsprechen jeweils einer einzelnen Wahrscheinlichkeitsverteilung, deren zugehörige Wahrscheinlichkeitsdichten nachfolgend mit f0 und f1 bezeichnet werden. Dann, so die Aussage des Neyman-Pearson-Lemmas, erhält man einen stärksten Test durch eine Entscheidung, bei der die Nullhypothese verworfen wird, wenn der Likelihoodquotient f0 / f1 einen bestimmten Wert unterschreitet.

Das Lemma ist nach Jerzy Neyman und Egon Pearson benannt.

Inhaltsverzeichnis

Situation

Gesucht ist ein möglichst „guter“ Hypothesentest, der mit hoher Zuverlässigkeit eine Entscheidung zwischen Null- und Alternativhypothese herbeiführen soll. Dabei wird vorausgesetzt, dass Null- und Alternativhypothese jeweils genau einer für die Beobachtungsergebnisse geltenden Wahrscheinlichkeitsverteilung entsprechen. Unter dieser Voraussetzung kann für jede Festlegung eines Verwerfungsbereichs die Wahrscheinlichkeit einer falschen Testentscheidung exakt berechnet werden: Im Detail handelt es sich um die beiden Wahrscheinlichkeiten für einen Fehler erster Art und einen Fehler zweiter Art. Daher können bei einer durch das Signifikanzniveau vorgegebenen Obergrenze für einen Fehler erster Art die theoretisch denkbaren Testentscheidungen besonders einfach in qualitativer Hinsicht untereinander verglichen werden.

Formale Beschreibung der Situation

Beobachtet werden Realisationen eines reellen Zufallsvektors X mit Dimension d über dem Messraum (\mathbb R^d,\mathcal B^d). Unbekannt ist die exakte Verteilung PX von X. Getestet werden soll die Hypothese "PX = P0" gegen die Alternative "PX = P1" für zwei Wahrscheinlichkeitsmaße P0,P1 über dem gegebenen Messraum. Die Maße P0 und P1 besitzen Dichten f0 bzw. f1 bzgl. dem Lebesgue-Maß, d.h. sie beschreiben stetige Verteilungen über dem \mathbb R^d.

Charakterisiert wird ein Entscheidungsverfahren jetzt durch die Festlegung eines Verwerfungsbereichs B\in\mathcal B^d, mit dessen Hilfe man die Grundhypothese genau dann verwirft, wenn die beobachtete Realisation von X in B liegt. Dieser Test darf ein vorgegebenes Niveau \alpha\in(0,1) nicht überschreiten,

P_0(B)=\int 1_B(x)f_0(x)dx \leq \alpha ,

d.h. die Wahrscheinlichkeit für ein fälschliches Verwerfen der Grundhypothese, der sog. Fehler 1. Art, darf nicht größer als α sein. Unter allen Tests, die dieses Niveau einhalten, nennt man denjenigen den stärksten Test, der die sog. Teststärke P1(B) maximiert, sprich einen minimalen Fehler 2. Art,

P_1(B^\complement)=\int 1_{B^\complement}(x)f_1(x)dx ,

die Wahrscheinlichkeit für ein fälschliches Nichtverwerfen der Grundhypothese, besitzt.

Formulierung

Das Neyman-Pearson-Lemma

Unter der obigen Situation betrachtet man für eine Realisation von X den erweiterten Likelihoodquotienten

q(x):=\begin{cases}\frac{f_0(x)}{f_1(x)}\ ,& f_1(x)>0 \\ 1\ ,& f_0(x)=f_1(x)=0 \\ \infty \ ,& f_0(x)>0, f_1(x)=0\end{cases} \ .

Der Fall f0(x) = f1(x) = 0 wird nur der Vollständigkeit halber definiert, da er mit keiner positiven Wahrscheinlichkeit eintritt.

Jetzt ist ein Test der Hypothese "PX = P0" gegen die Alternative "PX = P1" zu einem gegebenen Niveau \alpha\in(0,1) genau dann optimal (stärkster Test), wenn ein \gamma\in(0,\infty) existiert, sodass sein Verwerfungsbereich B\in\mathcal B^d die Forderungen

  1. P0(B) = α sowie
  2. q(x)\leq\gamma für fast sicher alle x\in B und
  3. q(x)\geq\gamma für fast sicher alle x\in B^\complement

erfüllt. Die fast sicheren Eigenschaften aus 2. und 3. beziehen sich hierbei auf das Wahrscheinlichkeitsmaß 0.5(P0 + P1), d.h. sie müssen fast sicher bzgl. P0 und P1 eintreten.

Erfüllt ein Verwerfungsbereich B die Forderungen 1.-3., nennt man diesen auch einen Neyman-Pearson-Bereich. In diskreten Modellen existiert solch ein Verwerfungsbereich nur zu bestimmten Niveaus α, um ein vorgebenes Niveau komplett auszuschöpfen muss gegebenenfalls auf randomisierte Tests zurückgegriffen werden.

Sonderfälle

Durch das obige Lemma nicht betrachtet wurden wenigstens die folgenden Sonderfälle:

  • Der Verwerfungsbereich B0 = {f0 = 0} ist der stärkste Test zum Testniveau α = 0, d.h. der Test weist keinen Fehler 1. Art auf. Der entsprechende Testparameter ist γ = 0.
  • Der Verwerfungsbereich B1 = {f1 > 0} ist der stärkste Test zum Niveau α = P0(B1), denn er besitzt die Teststärke P1(B1) = 1, d.h. der Test weist keinen Fehler 2. Art auf. Der entsprechende Testparameter ist \gamma=\infty.

Literatur

Weblinks


Wikimedia Foundation.

Schlagen Sie auch in anderen Wörterbüchern nach:

  • Neyman–Pearson lemma — In statistics, the Neyman Pearson lemma, named after Jerzy Neyman and Egon Pearson, states that when performing a hypothesis test between two point hypotheses H0: θ = θ0 and H1: θ = θ1, then the likelihood ratio test …   Wikipedia

  • Neyman-Pearson lemma — In statistics, the Neyman Pearson lemma states that when performing a hypothesis test between two point hypotheses H 0: θ = θ 0 and H 1: θ = θ 1, then the likelihood ratio test which rejects H 0 in favour of H 1 when:Lambda(x)=frac{ L( heta {0}… …   Wikipedia

  • Egon Sharpe Pearson — (* 11. August 1895 in Hampstead; † 12. Juni 1980 London) war ein britischer Statistiker. Er ist der Sohn von Karl Pearson. Pearson folgte seinem Vater als Professor für Statistik am University College London. Er war Herausgeber der Zeitschrift… …   Deutsch Wikipedia

  • Jerzy Neyman — (* 16. April 1894 in Bendery, Moldawien; † 5. August 1981 in Oakland, Kalifornien) war ein polnischer Mathematiker und Autor wichtiger statistischer Bücher. Das Neyman Pearson Lemma ist nach ihm benannt. Neyman in Warschau 1973 …   Deutsch Wikipedia

  • Jerzy Neyman — Born April 16, 1894(1894 04 16) Bendery, Bessarabia, Imperial Russia Died August 5, 1981(1981 …   Wikipedia

  • Egon Pearson — Egon Sharpe Pearson (* 11. August 1895 in Hampstead; † 12. Juni 1980 Midhurst) war ein britischer Statistiker. Er ist der Sohn von Karl Pearson. Pearson folgte seinem Vater als Professor für Statistik am University College London. Er war… …   Deutsch Wikipedia

  • Karl Pearson — Infobox Scientist name = Karl Pearson |300px caption = Karl Pearson (né Carl Pearson) birth date = birth date|1857|3|27|mf=y birth place = Islington, London, England death date = death date and age|1936|4|27|1857|3|27|mf=y death place =… …   Wikipedia

  • Egon Pearson — Egon Sharpe Pearson (Hampstead, 11 August 1895 – London, 12 June 1980) was the only son of Karl Pearson, and like his father, a leading British statistician. He went to Winchester School and Trinity College, Cambridge, and succeeded his father as …   Wikipedia

  • Type I and type II errors — In statistics, the terms Type I error (also, α error, or false positive) and type II error (β error, or a false negative) are used to describe possible errors made in a statistical decision process. In 1928, Jerzy Neyman (1894 1981) and Egon… …   Wikipedia

  • Founders of statistics — Statistics is the theory and application of mathematics to the scientific method including hypothesis generation, experimental design, sampling, data collection, data summarization, estimation, prediction and inference from those results to the… …   Wikipedia