Redundanz (Informationstheorie)

Redundanz (Informationstheorie)

Der Begriff der Redundanz in der Informationstheorie gibt an, wie viel Information im Mittel pro Zeichen in einer Informationsquelle mehrfach vorhanden ist. Eine Informationseinheit ist dann redundant, wenn sie ohne Informationsverlust weggelassen werden kann. Das Identifizieren und Entfernen solcher Redundanzen heißt Deduplizierung.

Inhaltsverzeichnis

Nachrichten- und Informationsübertragung

Redundant ist der Teil einer Nachricht, der keine Information enthält. Der redundante Teil der Nachricht kann eine Funktion der in der Nachricht enthaltenen Information sein. In der informationstechnischen und nachrichtentechnischen Anwendung wird Redundanz genutzt, um Defekte in einer Übertragung ausgleichen zu können. Daher ist Redundanz allenfalls in einem ungestörten Informationskanal überflüssig.

Fehlertoleranz

Eine Kommunikation lässt sich durch redundante Informationen fehlertolerant über einen Informationskanal durchführen, da unter Umständen verloren gegangene oder verfälschte Teilinformationen von dem Empfänger aus ihrem Kontext rekonstruiert werden können. Ein Maß für die Fehlertoleranz ist die Hamming-Distanz.

Mittlere Codewortlänge

Sei Z ein Alphabet und zZ
C(z) bezeichnet das zu z gehörende Codewort
l(z) bezeichnet die Länge von C(z)

Die mittlere Codewortlänge L(C) eines Quell-Codes C(z) mit der Wahrscheinlichkeitsverteilung p(z) ist gegeben durch:

L(C) = \sum_{i=1}^{|Z|}{l(z_i)p(z_i)}

Redundanz eines Codes

Die Redundanz des Codes ist die Differenz zwischen mittlerer Codewortlänge L(C) und Entropie H(X). (Beispiel: Huffman-Kodierung für optimales (= minimales) L(C)).

R_{Code} = L(C) - H(X) \,

Die Redundanz der Quelle ist die Differenz zwischen maximaler Entropie Hmax(X) = log2|Z| und der Entropie H(X) der Nachrichtenquelle.

R_{Quelle} = \log_2 |Z| - H(X) \,

Da die Codewortlänge nicht kleiner als die Entropie sein kann, ist die Redundanz nie negativ.

Codierung

In der Codierungstheorie werden zwei Erscheinungsformen der Redundanz unterschieden:

  • Die Verteilungsredundanz liegt in dem unterschiedlich wahrscheinlichen Auftreten der einzelnen Zeichen des Alphabets.
  • Die Bindungsredundanz liegt darin, dass nach bestimmten Zeichen das Auftreten eines bestimmten anderen Zeichens besonders wahrscheinlich ist. Beispielsweise folgt in einem deutschen Text auf ein q fast immer ein u.

Datenbanken und Datenstrukturen

In der Datenbankentwicklung sowie in Datenstrukturen von Programmen gilt es, Redundanzen möglichst vollständig zu vermeiden, da diese zu einem höheren Speicherplatzbedarf und zu Inkonsistenzen führen können. Redundanzen werden daher zu den Anomalien gezählt. Redundanzfreiheit gilt als Grundprinzip für ein logisches Datenmodell.

Durch Normalisierung des Datenbankschemas können Redundanzen weitgehend vermieden werden. Es gibt auch Redundanzen, die unvermeidbar sind (zum Beispiel Schlüsselredundanzen) und daher als notwendiges Übel in Kauf genommen werden. Es gibt auch Redundanzen, die in Kauf genommen werden, weil deren Vermeidung einen zu hohen Aufwand im Verhältnis zu ihrer Problematik darstellen würde, wie zum Beispiel das mehrfache Auftreten eines Attributwertes oder die doppelte Speicherung des Namens Müller für Herrn Müller und für Frau Müller.

Die absichtliche Inkaufnahme von Redundanz zur Gewinnung einer besseren Leseleistung nennt man Denormalisierung.

Nachteile

In Datenstrukturen von Programmen und Datenbanken können Redundanzen zu Programmfehlern führen. Der Programmierer muss darauf achten, dass er bei allen Änderungen auch die redundanten Daten konsistent hält. Dies erfordert einen hohen Synchronisationsaufwand. Je größer das Projekt ist und je länger an dem Projekt entwickelt wird, desto schwieriger gestaltet sich dies. Wenn mehrere Programmierer unwissenderweise unabhängig voneinander an redundanten Daten arbeiten, so ist es fast unmöglich, die Änderungen konsistent zu halten.

Vorteile

Es gibt einige Fälle, in denen absichtlich herbeigeführte Datenredundanz die Rechenzeit der Software reduziert. Sie kann durch gezielte Denormalisierung erreicht werden. Diese genau kalkulierte und gewollte Redundanz ist jedoch deutlich zu unterscheiden von nachlässig entstandener Redundanz, weil jemand die Normalisierungsregeln nicht anwendet. Denormalisierungen steigern in der Regel die Leseleistung, aber verschlechtern die Schreibleistung.


Wikimedia Foundation.

См. также в других словарях:

  • Redundanz-Reduktion — Datenkompression oder Datenkomprimierung ist die Anwendung von Verfahren zur Reduktion des Speicherbedarfs von Daten bzw. zur Vermeidung von Datenaufkommen, bspw. während der Übertragung von Daten. Die Datenmenge wird reduziert, indem eine… …   Deutsch Wikipedia

  • Redundanz — Der Begriff Redundanz, adj. redundant, (lateinisch redundare „überlaufen, im Überfluss vorhanden sein“) bezeichnet: allgemein einen Zustand von Überschneidung oder Überfluss im Sinne von Überschüssigkeit Redundanz (Technik), das mehrfache… …   Deutsch Wikipedia

  • Redundanz (Information) — Der Begriff der Redundanz in der Informationstheorie gibt an, wie viel Information im Mittel pro Zeichen in einer Informationsquelle mehrfach vorhanden ist. Eine Informationseinheit ist dann redundant, wenn sie ohne Informationsverlust… …   Deutsch Wikipedia

  • Redundanz — Weitschweifigkeit; Langatmigkeit; Pleonasmus; Tautologie; Doppelaussage * * * Red|un|dạnz auch: Re|dun|dạnz 〈f. 20〉 1. Überfluss, Überreichlichkeit 2. Übermaß an Merkmalen 3. 〈Nachrichtentech.〉 Teil einer Nachricht, der keinen Informationswert… …   Universal-Lexikon

  • Informationstheorie — In|for|ma|ti|ons|the|o|rie 〈f. 19; unz.〉 Lehre über die quantitativen Zusammenhänge bei Übertragung, Speicherung u. Empfang von Informationen * * * I Informationstheorie,   von dem amerikanischen Mathematiker C. E. Shannon 1948 begründete… …   Universal-Lexikon

  • Informationstheorie — Die Informationstheorie ist eine mathematische Theorie aus dem Bereich der Wahrscheinlichkeitstheorie und Statistik, die auf Claude Shannon zurückgeht. Sie beschäftigt sich mit Begriffen wie Information, Entropie, Informationsübertragung,… …   Deutsch Wikipedia

  • Redundanz — Re|dun|danz die; , en <aus lat. redundantia »Überfülle (des Ausdrucks)« zu redundare, vgl. ↑redundant>: 1. Überreichlichkeit, Überfluss, Üppigkeit. 2. a) im Sprachsystem angelegte mehrfache Kennzeichnung derselben Information (z. B. den… …   Das große Fremdwörterbuch

  • Bit (Informationstheorie) — Die Artikel Informationstheorie, Shannon Index und Shannon (Einheit) überschneiden sich thematisch. Hilf mit, die Artikel besser voneinander abzugrenzen oder zu vereinigen. Beteilige dich dazu an der Diskussion über diese Überschneidungen. Bitte… …   Deutsch Wikipedia

  • Entropie (Informationstheorie) — Entropie ist ein Maß für den mittleren Informationsgehalt oder auch Informationsdichte eines Zeichensystems. Der Begriff in der Informationstheorie ist in Analogie zur Entropie in der Thermodynamik und Statistischen Mechanik benannt. Das… …   Deutsch Wikipedia

  • Kommunikation (Informationstheorie) — Der Begriff der Kommunikation ist in der Informationstheorie durch das Sender Empfänger Modell geprägt: Informationen werden in Zeichen kodiert und dann von einem Sender über einen Übertragungskanal an einen Empfänger übertragen. Dabei ist es… …   Deutsch Wikipedia


Поделиться ссылкой на выделенное

Прямая ссылка:
Нажмите правой клавишей мыши и выберите «Копировать ссылку»