Bayes-Theorem

Das Bayestheorem (auch Satz von Bayes) ist ein Ergebnis der Wahrscheinlichkeitstheorie, benannt nach dem Mathematiker Thomas Bayes. Es gibt an, wie man mit bedingten Wahrscheinlichkeiten rechnet.

Inhaltsverzeichnis

Formel

Für zwei Ereignisse A und B mit P(B) > 0 lautet es

P(A|B) \; = \; \frac {P(B|A) \cdot P(A)} {P(B)}

Hierbei ist

P(A) die A-priori-Wahrscheinlichkeit für ein Ereignis A und
P(B | A) die Wahrscheinlichkeit für ein Ereignis B unter der Bedingung, dass A eingetreten ist und
P(B) die A-priori-Wahrscheinlichkeit für ein Ereignis B

Der Satz folgt unmittelbar aus der Definition der bedingten Wahrscheinlichkeit:

P(A|B) \; = \; \frac{P(A \cap B)}{P(B)} \; = \; \frac{\frac{P(A \cap B)}{P(A)} \cdot P(A)}{P(B)} \; = \; \frac {P(B|A) \cdot P(A)} {P(B)}

Bei endlich vielen Ereignissen ergibt sich das Bayessche Theorem folgendermaßen: Wenn A_{i},\; i = 1, \ldots, N eine Zerlegung der Ergebnismenge in disjunkte Ereignisse ist, gilt für die A-posteriori-Wahrscheinlichkeit P(Ai | B)

 P(A_i | B) \; = \; \frac{P(B | A_i) \cdot P(A_i)}{\sum_{j=1} ^{N} P(B | A_j) \cdot P(A_j)} = \; \frac{P(B | A_i) \cdot P(A_i)}{P(B)} \;

Den zuletzt gemachten Umformungsschritt bezeichnet man auch als Marginalisierung. Man nennt diese Formel auch Bayesformel.

Die Beziehung

 P(B) \; = \; \sum_{j=1}^N P(A_j \cap B) \; = \; {\sum_{j=1}^{N} P(B | A_j) \cdot P(A_j)}

wird als Gesetz der totalen Wahrscheinlichkeit bezeichnet.

Interpretation

Der Satz von Bayes erlaubt in gewissem Sinn das Umkehren von Schlussfolgerungen:

Die Berechnung von P(Ereignis | Ursache) ist häufig einfach, aber oft ist eigentlich P(Ursache | Ereignis) gesucht, also ein Vertauschen der Argumente. Für das Verständnis können der Entscheidungsbaum und die A-priori-Wahrscheinlichkeit helfen. Das Verfahren ist auch als Rückwärtsinduktion bekannt.

Anwendungsgebiete

  • Statistik: Alle Fragen des Lernens aus Erfahrung, bei denen eine A-priori-Wahrscheinlichkeitseinschätzung aufgrund von Erfahrungen verändert und in eine A-posteriori-Verteilung überführt wird (vgl. Bayessche Statistik).
  • Medizin: Von einem oder mehreren positiven medizinischen Testergebnissen (Ereignisse, Symptome einer Krankheit) wird auf das Vorhandensein einer Krankheit (Ursache) abduktiv geschlossen.
  • Informatik: Bayesscher Filter - Von charakteristischen Wörtern in einer E-Mail (Ereignis) wird auf die Eigenschaft Spam (Ursache) zu sein, geschlossen.
  • Künstliche Intelligenz: Hier wird das Bayestheorem verwendet, um auch in Domänen mit "unsicherem" Wissen Schlussfolgerungen ziehen zu können. Diese sind dann nicht deduktiv und somit auch nicht immer korrekt, sondern eher abduktiver Natur, haben sich aber zur Hypothesenbildung und zum Lernen in solchen Systemen als durchaus nützlich erwiesen.
  • Qualitätsmanagement: Beurteilung der Aussagekraft von Testreihen.
  • Entscheidungstheorie/Informationsökonomik: Bestimmung des erwarteten Wertes von zusätzlichen Informationen.
  • Grundmodell der Verkehrsverteilung.
  • Bioinformatik: Bestimmung funktioneller Ähnlichkeit von Sequenzen.
  • Kommunikationstheorie: Lösung von Detektions- und Dekodierproblemen.

Rechenbeispiel 1

Es sind zwei Urnen „A“ und „B“ gegeben, in denen sich rote und weiße Kugeln befinden. In „A“ sind sieben rote und drei weiße Kugeln, in „B“ eine rote und neun weiße. Es wird nun eine beliebige Kugel aus einer willkürlich gewählten Urne gezogen. Anders ausgedrückt: Ob aus Urne A oder B gezogen wird, sei a priori gleich wahrscheinlich. Es sei das Ergebnis der Ziehung: Die Kugel ist rot. Gesucht ist die Wahrscheinlichkeit dafür, dass diese rote Kugel aus Urne „A“ stammt.

Datei:Stochastik_urnen.PNG
Urnenversuch

Es sei A das Ereignis: Die Kugel stammt aus Urne „A“. Es sei R das Ereignis „Die Kugel ist rot“. Dann gilt:

P(A) = P(B) = {1 \over 2} (Beide Urnen a priori gleich wahrscheinlich)

P(R \vert A) = {7 \over 10} (in Urne A sind 10 Kugeln, davon 7 rote)

P(R \vert B) = {1 \over 10} (analog)

P(R) = P(A) \cdot P(R \vert A) + P(B) \cdot P(R \vert B) = {1 \over 2} \cdot {7 \over 10} + {1 \over 2} \cdot {1 \over 10} = {2 \over 5} (totale Wahrscheinlichkeit)

Damit ist P(A \vert R) = \frac {P(R \vert A) \cdot P(A)} {P(R)} = {{{7 \over 10} \cdot {1 \over 2}} \over {2 \over 5}} = { 7 \over 8 }. Die Wahrscheinlichkeit, dass eine gezogene rote Kugel aus Urne „A“ stammt (A vorausgesetzt R), beträgt 7/8.

Rechenbeispiel 2

In einem medizinischen Beispiel trete der Sachverhalt A, dass ein Mensch eine bestimmte Krankheit in sich trage, mit der Wahrscheinlichkeit P(A) = 0,0002 auf (Prävalenz). Jetzt soll in einem Screening-Test ermittelt werden, welche Personen diese Krankheit haben. B bezeichne die Tatsache, dass der Test bei einer Person positiv ausgefallen ist, d. h. der Test lässt vermuten, dass die Person die Krankheit hat. Der Hersteller des Tests versichert, dass der Test eine Krankheit zu 99 % erkennt (Sensitivität = P(B | A) = 0,99) und nur in 1 % der Fälle falsch anschlägt, obwohl gar keine Krankheit vorliegt (1 − Spezifität = P(B | Ac) = 0,01; wobei Ac das Komplement von A bezeichnet).

Die Frage ist: Wie wahrscheinlich ist das Vorliegen der Krankheit, wenn der Test positiv ist? (Positiver prädiktiver Wert)

Wir wissen bereits, mit welcher Wahrscheinlichkeit der Test positiv ist, wenn die Krankheit vorliegt (nämlich mit 99%-iger Wahrscheinlichkeit), jetzt soll das Ganze von der anderen Seite her gesehen werden.

Die Aufgabe kann

  • durch Einsetzen in die Formel oder
  • durch einen Entscheidungsbaum (nur bei diskreten Wahrscheinlichkeiten)

gelöst werden.

Lösung mit dem Satz von Bayes

Da P(B) unbekannt ist, muss man P(B) auf die bekannten Größen zurückführen. Dies geschieht mittels folgender Gleichungskette:

P(B) = P(B) \cdot 1

= P(B) \cdot (P(A^c|B) + P(A|B))
= P(A^c|B) \cdot P(B) + P(A|B) \cdot P(B)
= P(B|A^c) \cdot P(A^c) + P(B|A) \cdot P(A) (Satz von Bayes)

Nach dieser Umformung kann nun der Satz von Bayes auf die gegebenen Daten angewendet werden


P(A|B) 
= \frac{P(B|A)P(A)}{P(B|A^c)P(A^c) + P(B|A)P(A)}
=\frac{0{,}99 \cdot 0{,}0002}{0{,}01 \cdot 0{,}9998 + 0{,}99 \cdot 0{,}0002}
\approx 0{,}019

Es liegt also nur zu 1,9 % eine Krankheit vor d. h. der Patient hat eine Chance von 98 % gesund zu sein, obwohl der Test ihn als krank einschätzte! Das ist schwer zu glauben, liegt aber daran, dass die Wahrscheinlichkeit tatsächlich erkrankt zu sein (0,02 %) um das fünfzigfache geringer ist als die Wahrscheinlichkeit eines falschen Testergebnisses (1 %). Diese Problematik und dessen Konsequenzen werden von Gerd Gigerenzer im Buch Das Einmaleins der Skepsis ausführlich beschrieben.

Lösung mittels Baumdiagramm

Probleme mit wenigen Klassen und einfachen Verteilungen lassen sich übersichtlich im Baumdiagramm für die Aufteilung der Häufigkeiten darstellen. Geht man von den Häufigkeiten auf relative Häufigkeiten bzw. auf (bedingte) Wahrscheinlichkeiten über, wird aus dem Baumdiagramm ein Ereignisbaum, ein Sonderfall des Entscheidungsbaums.


                   10 000
                  /      \
                 /        \ 
                /          \ 
              2(krank)    9 998 (gesund)
              /\             /\
             /  \           /  \
            /    \         /    \
           /      \       /      \
Test-     0       2     100      9898
ergebnis  -       +     +        -
(gerundet)

Ergebnis: 2+100=102 haben ein positives Ergebnis, obwohl 100 (=falsch positiv) von ihnen gesund sind. Diese Angaben erfolgen hier in der absoluten Häufigkeit.

Parameterschätzung mit dem Bayestheorem

Ermittlung von Messunsicherheiten

Für die Ermittlung von Unsicherheiten beim Messen existiert der international vereinbarte Leitfaden GUM (Norm). Eine der empfohlenen Methoden zur Bestimmung der Messunsicherheit basiert auf der Formel von Bayes und funktioniert im Kern folgendermaßen: Zu bestimmen ist ein Parameter α, der einer Messung direkt nicht zugänglich ist. Messbar ist die Zufallsvariable X, deren Verteilungsdichte f vom Parameter α abhängt: fα(x).

Der Parameter α wird als Realisierung einer Zufallsvariablen Α aufgefasst. Das anfängliche Wissen oder auch Unwissen hinsichtlich dieser Variablen wird durch die A-priori-Verteilungsdichte g(α) modelliert. Die A-priori-Wahrscheinlichkeitsdichte kann das Ergebnis vergangener Beobachtungen sein oder sie kann nach dem Prinzip maximaler Unwissenheit als nichtinformative Verteilung angesetzt werden (Rüger, 1999, S. 211 ff.).

Wird nun ein bestimmter Wert x gemessen, dann ergibt sich mit der Formel von Bayes eine neue Schätzung der Verteilungsdichte des Parameters, die A-posteriori-Schätzung h(α):

h(α) ~ fα(x)∙g(α).

Hierin ist der Proportionalitätsfaktor durch die Eigenschaft der Dichte bestimmt: Das Integral über h muss den Wert 1 ergeben.

Die A-posteriori-Schätzung kann laut Messunsicherheits-Leitfaden GUM als Verbesserung der ursprünglichen Schätzung angesehen werden.

Kritik

Anders als bei den klassischen Test- und Schätzverfahren (Beispiel: Konfidenzintervall) gibt es für die Bayes-Schätzung von Messunsicherheiten keine gesicherten Genauigkeitsangaben. Zuweilen ergeben mehr Daten sogar schlechtere Folgerungen[1]. Dass es zu solchen paradoxen Resultaten kommen kann, liegt daran, dass die Bayes-Schätzung von Parametern nicht auf einer logisch zwingenden Deduktion beruht.

Wenn man die A-posteriori-Verteilung des Parameters als eine gegenüber der A-priori-Verteilung bessere Schätzung der tatsächlichen Verteilung des Parameters ansieht, dann ist das lediglich ein plausibler Schluss. Die A-posteriori-Verteilung ist nur eine verbesserte Schätzung unter der Bedingung des Messergebnisses; sie besagt, mit welchen Wahrscheinlichkeiten die verschiedenen Parameterwerte zu dem beobachteten Messergebnis beigetragen haben können. Der Umkehrschluss von der Beobachtung auf die tatsächliche Verteilung des Parameters kann demnach auch falsch sein. Denn im Grunde werden „aus einer Beobachtung zu starke Schlussfolgerungen gezogen”[2], ein altbekanntes Problem der Induktion, auf das bereits David Hume und Karl Raimund Popper hingewiesen haben.

Eine umfassende Behandlung der mit der Parameterschätzung einhergehenden Probleme bietet die Test- und Schätztheorie (Rüger, 1999).

Siehe auch

Weblinks

Literaturhinweise

Rüger, Bernhard: Test- und Schätztheorie. Band I: Grundlagen. Oldenbourg, München 1999


Wikimedia Foundation.

Schlagen Sie auch in anderen Wörterbüchern nach:

  • Bayes' theorem — In probability theory, Bayes theorem (often called Bayes law after Thomas Bayes) relates the conditional and marginal probabilities of two random events. It is often used to compute posterior probabilities given observations. For example, a… …   Wikipedia

  • Bayes theorem — A probability principle set forth by the English mathematician Thomas Bayes (1702 1761). Bayes theorem is of value in medical decision making and some of the biomedical sciences. Bayes theorem is employed in clinical epidemiology to determine the …   Medical dictionary

  • Bayes Theorem — Das Bayestheorem (auch Satz von Bayes) ist ein Ergebnis der Wahrscheinlichkeitstheorie, benannt nach dem Mathematiker Thomas Bayes. Es gibt an, wie man mit bedingten Wahrscheinlichkeiten rechnet. Inhaltsverzeichnis 1 Formel 2 Interpretation 3… …   Deutsch Wikipedia

  • Bayes' Theorem — A formula for determining conditional probability named after 18th century British mathematician Thomas Bayes. The theorem provides a way to revise existing predictions or theories given new or additional evidence. In finance, Bayes’… …   Investment dictionary

  • Bayes' theorem — /beɪz ˈθɪərəm/ (say bayz thearruhm) noun Statistics a method of measuring the degree of belief that can be attached to a proposition, based on the relevance of ascertainable facts. Also, Bayes law. {named posthumously after Thomas Bayes, 1701–61 …   Australian English dictionary

  • Bayes' theorem — noun Etymology: Thomas Bayes died 1761 English mathematician Date: 1865 a theorem about conditional probabilities: the probability that an event A occurs given that another event B has already occurred is equal to the probability that the event B …   New Collegiate Dictionary

  • Bayes' theorem — noun Statistics a theorem expressing the conditional probability of each of a set of possible causes for a given observed outcome in terms of the known probability of each cause and the conditional probability of the outcome of each cause.… …   English new terms dictionary

  • Bayes' theorem — noun (statistics) a theorem describing how the conditional probability of a set of possible causes for a given observed event can be computed from knowledge of the probability of each cause and the conditional probability of the outcome of each… …   Useful english dictionary

  • Bayes' theorem — /bayz, bay ziz/, Statistics. a theorem describing how the conditional probability of each of a set of possible causes, given an observed outcome, can be computed from knowledge of the probability of each cause and of the conditional probability… …   Universalium

  • Bayes-Theorem — Es sei f(y | δ) die bedingte ⇡ Dichtefunktion von y. Gemäß der baysianischen Sichtweise ist der Parameter δ die Realisation einer Zufallsvariablen mit einer Dichtefunktion f (δ), dem sog. „Prior“. Der Prior kann durch eine meist subjektive… …   Lexikon der Economics

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”