Zipfsches Gesetz


Zipfsches Gesetz

Das Zipfsche Gesetz (nach George Kingsley Zipf, der dieses Gesetz in den 1930er Jahren aufstellte) ist ein Modell, mit dessen Hilfe man bei bestimmten Größen, die in eine Rangfolge gebracht werden, deren Wert aus ihrem Rang abschätzen kann. Häufige Verwendung findet das Gesetz in der Linguistik, speziell in der Korpuslinguistik und Quantitativen Linguistik, wo es zum Beispiel die Häufigkeit von Wörtern in einem Text zur Rangfolge in Beziehung setzt. Das Zipfsche Gesetz markierte den Beginn der Quantitativen Linguistik.

Ihm liegt ein Potenzgesetz zugrunde, das von der Pareto-Verteilung mathematisch beschrieben wird.

Inhaltsverzeichnis

Einfache Zipfverteilung

Die vereinfachte Aussage des Zipfschen Gesetzes lautet: Wenn die Elemente einer Menge – beispielsweise die Wörter eines Textes – nach ihrer Häufigkeit geordnet werden, ist die Wahrscheinlichkeit p ihres Auftretens umgekehrt proportional zur Position n innerhalb der Reihenfolge:

p(n) \sim \frac{1}{n}.

Der Normierungsfaktor bei N Elementen ist durch die harmonische Reihe

H_N = \sum_{n=1}^N \frac{1}{n} \approx \ln(N) + 0,577 \approx \ln(1,78 N)

gegeben und lässt sich nur für endliche Mengen angeben. Damit folgt:

p(n) = \frac{1}{H_N} \cdot \frac{1}{n}  \approx \frac{1}{n\ln(1,78 N)}

Wahrscheinlichkeitsverteilung

Das Zipfsche Gesetz hat seinen Ursprung in der Linguistik. Es besagt, dass bestimmte Wörter viel häufiger auftreten als andere und die Verteilung einer Hyperbel \tfrac 1 n ähnelt. Beispielsweise treten bei den meisten Sprachen Wörter umso seltener auf, je länger sie sind. Der Ordnungsparameter Rang n lässt sich als kumulative Größe beschreiben: Der Rang n ist gleichbedeutend mit der Anzahl aller Elemente, die genauso groß oder größer sind als n. Für Rang 1 gibt es genau ein Element, nämlich das größte. Für Rang 2 sind es zwei, nämlich das erste und das zweite Element, für 3 drei usw.

Zipf nimmt einen einfachen reziproken Zusammenhang zum Rang an: {}~y(Rang) \sim Rang^{-a}. In der ursprünglichen Form ist das Zipfsche Gesetz frei von Parametern, es ist a = 1.

Die Zipfsche Verteilung entspricht genau der Pareto-Verteilung, unter Vertauschung von Ordinate und Abszisse:

y(x) \sim x^{-a} \mbox{ (Zipf) } \Leftrightarrow x(y) \sim y^{\frac{-1}{a}} \mbox{ (Pareto)}

Sie ist die Umkehrfunktion der Pareto-Verteilung. Wie diese ist sie eine kumulative Verteilungsfunktion, die einem Potenzgesetz gehorcht. Der Exponent e der Verteilungsdichtefunktion lautet entsprechend:

e = 1 + \frac{1}{a}

und für den einfachen Fall a = 1:

e = 2

Beispiele

Zipf-Verteilung der Worthäufigkeiten anhand von Effi Briest.
Zipf-Buchstabenhäufigkeit eines deutschen Textes.

Die Verteilung der Worthäufigkeiten in einem Text, linke Grafik, gehorcht qualitativ einer einfachen Zipfschen Verteilung.

Das Zipfsche Gesetz gibt den Exponenten a der kumulativen Verteilungsfunktion vor: a=1.

Der Fitwert für die Worthäufigkeiten beträgt jedoch a=0,83, gleichbedeutend mit dem Exponenten apareto=1,20 einer Paretoverteilung und dem Exponenten e einer Potenz-Verteilungsdichtefunktion von e=2,20.

Auch die Verteilung der Buchstabenhäufigkeiten ähnelt einer Zipfschen Verteilung. Die Statistik mit 20–30 Buchstaben ist aber zu schlecht, um den Verlauf mit einer Potenzfunktion anzupassen.

Zipf-Verteilung und Messung der Größenverteilung von Städten.

Ein weiteres Beispiel aus dem Artikel Pareto-Verteilung behandelt die Größenverteilung von Städten. Auch hier findet man eine Abhängigkeit, die einem Potenzgesetz gehorcht. Die Grafik rechts stellt die Zipf-Näherung den Messwerten gegenüber. Der lineare Verlauf in der doppeltlogarithmischen Verteilung stützt die Annahme eines Potenzgesetzes. Anders als die Vermutung von Zipf hat der Exponent nicht den Wert 1, sondern den Wert 0,77, entsprechend einem Exponenten einer Potenzdichteverteilung von e=2,3.

Die Bedeutung der Zipf-Verteilung liegt in der schnellen qualitativen Beschreibung von Verteilungen aus den unterschiedlichsten Bereichen, während die Pareto-Verteilung den Exponenten der Verteilung verfeinert.

Beispielsweise ist die Datenbasis für einen Fit bei der Angabe der Einwohnerzahl von nur sieben Städten zu klein. Das Zipfsche Gesetz liefert eine gute Näherung:

Rang n  Stadt     Einw.    1/Rang  p(n)  p(N)*Menschen  Abweichung in %
1       Berlin    3522896  1       0,39   3531136,31      -0,23
2       Hamburg   1626220  0,5     0,19   1765568,15      -8,57
3       München   1206683  0,33    0,13   1177045,44       2,46
4       Köln       946280  0,25    0,1     882784,08       6,71
5       Frankfurt  635150  0,2     0,08    706227,26     -11,19
6       Dortmund   594058  0,17    0,06    588522,72       0,93
7       Essen      624445  0,14    0,06    504448,04      19,22

Die Schlagworte Potenzgesetz, Skalengesetz oder Selbstorganisation suchen nach Antworten für das Auftreten von Potenzverteilungen.

Siehe auch

Literatur

  • Helmut Birkhan: Das „Zipfsche Gesetz“, das schwache Präteritum und die germanische Lautverschiebung, Verl. d. Österr. Akad. d. Wiss., 1979 ISBN 3-700-10285-2
  • David Crystal: Die Cambridge-Enzyklopädie der Sprache. Campus, Frankfurt/New York 1993, ISBN 3-593-34824-1
  • X. Gabaix: Zipf's law for cities: An explanation. In: Quarterly Journal of Economics 114 (3): 739–767 AUG 1999
  • Henry Guiter, M. V. Arapov (eds.): Studies on Zipfs Law. Brockmeyer, Bochum 1982, ISBN 3-88339-244-8
  • M. Marsili, Y. C. Zhang: Interacting individuals leading to Zipf's law. In: Physical Review Letters 80 (12): 2741–2744 MAR 23 1998
  • George Kingsley Zipf: The Psycho-Biology of Language. An Introduction to Dynamic Philology. The M.I.T. Press, Cambridge, Mass. 1935/1968
  • George Kingsley Zipf: Human Behavior and the Principle of Least Effort. An Introduction to Human Ecology. Addison-Wesley Press, Cambridge, Mass. 1949

Weblinks

Wiktionary Wiktionary: Zipfsches Gesetz – Bedeutungserklärungen, Wortherkunft, Synonyme, Übersetzungen



Wikimedia Foundation.

Schlagen Sie auch in anderen Wörterbüchern nach:

  • zipfsches Gesetz — zịpfsches Gesetz   [nach dem amerikanischen Psychologen und Sprachwissenschaftler George Kingsley Zipf, * 1902,✝ 1950], Sprachstatistik: eine die Auftretenswahrscheinlichkeit von Wörtern erfassende Formel, die Häufigkeit (im Text) und… …   Universal-Lexikon

  • Falsches Zipfsches Gesetz — Das Falsche Zipfsche Gesetz ist eine als Gesetz formulierte Beobachtung zur Sparsamkeit im Gebrauch von Sprache. Inhaltsverzeichnis 1 Herkunft 2 Aussage 3 Bedeutung 4 Siehe auch …   Deutsch Wikipedia

  • Gesetz von Benford — Das benfordsche Gesetz, auch Newcomb Benford’s Law (NBL) beschreibt eine Gesetzmäßigkeit in der Verteilung der Ziffernstrukturen von Zahlen in empirischen Datensätzen, zum Beispiel ihrer ersten Ziffern. Es lässt sich etwa in Datensätzen über… …   Deutsch Wikipedia

  • Zipf'sches Gesetz — Dieser Artikel befasst sich mit dem Echten Zipfschen Gesetz. Für das sogenannte Falsche siehe Falsches Zipfsches Gesetz. Das Zipf sche Gesetz (nach George Kingsley Zipf, der dieses Gesetz in den 1930er Jahren aufstellte) ist ein Modell, mit… …   Deutsch Wikipedia

  • Benford'sches Gesetz — Das benfordsche Gesetz, auch Newcomb Benford’s Law (NBL) beschreibt eine Gesetzmäßigkeit in der Verteilung der Ziffernstrukturen von Zahlen in empirischen Datensätzen, zum Beispiel ihrer ersten Ziffern. Es lässt sich etwa in Datensätzen über… …   Deutsch Wikipedia

  • Benfords Gesetz — Das benfordsche Gesetz, auch Newcomb Benford’s Law (NBL) beschreibt eine Gesetzmäßigkeit in der Verteilung der Ziffernstrukturen von Zahlen in empirischen Datensätzen, zum Beispiel ihrer ersten Ziffern. Es lässt sich etwa in Datensätzen über… …   Deutsch Wikipedia

  • Perfekter Zipf — Dieser Artikel befasst sich mit dem Echten Zipfschen Gesetz. Für das sogenannte Falsche siehe Falsches Zipfsches Gesetz. Das Zipf sche Gesetz (nach George Kingsley Zipf, der dieses Gesetz in den 1930er Jahren aufstellte) ist ein Modell, mit… …   Deutsch Wikipedia

  • Pareto-Regel — Die Pareto Verteilung, benannt nach dem italienischen Ingenieur, Soziologen und Ökonomen Vilfredo Pareto (1848–1923), ist eine stetige Wahrscheinlichkeitsverteilung. Inhaltsverzeichnis 1 Definition 2 Eigenschaften 2.1 Erwartungswert 2.2 Varianz …   Deutsch Wikipedia

  • Paretoverteilung — Die Pareto Verteilung, benannt nach dem italienischen Ingenieur, Soziologen und Ökonomen Vilfredo Pareto (1848–1923), ist eine stetige Wahrscheinlichkeitsverteilung. Inhaltsverzeichnis 1 Definition 2 Eigenschaften 2.1 Erwartungswert 2.2 Varianz …   Deutsch Wikipedia

  • Quantitative Linguistik — Die Quantitative Linguistik (auch: Statistische Linguistik; engl. Quantitative Linguistics, Statistical Linguistics) ist eine Disziplin der Mathematischen Linguistik und damit der allgemeinen Linguistik bzw. Sprachwissenschaft insgesamt.… …   Deutsch Wikipedia