Shannon (Einheit)

Shannon (Einheit)

Shannon (Sh) ist die nach dem amerikanischen Mathematiker und Begründer der Informationstheorie Claude Elwood Shannon benannte Einheit für den Informationsgehalt einer Nachricht.

Inhaltsverzeichnis

Definition

Ein Shannon (1 Sh) ist eine Einheit für das Maß an Information in einer Nachricht. Dabei wird die Nachricht (das Signal) durch eine Zeichenmenge Z = {z1,z2,...,zS} sowie durch die Wahrscheinlichkeiten pi, mit denen die einzelnen Zeichen in der Nachricht auftauchen, beschrieben. Eine solche Nachricht besitzt nach Definition den folgenden, in Shannon (Sh) gemessen, Informationsgehalt von:

 -\sum_i{p_i \cdot \log_2 p_i}

Die Einheit Sh ergibt sich aus der von Claude Shannon begründeten Informationstheorie und entspricht der Entropie der betreffenden Nachrichtenquelle und in der Biometrie dem Shannon-Index einer Population unterschiedlicher Spezies.

Beispiele

  • Das einfachste Beispiel: Eine einmalige Nachricht aus dem Zeichenvorrat Z = {0,1}, wobei beide Zeichen mit der Wahrscheinlichkeit von je 1/2 auftreten, hat den Informationsgehalt -\frac 1 2 \; \log_2 \!\left(\frac 1 2\right) - \frac 1 2 \; \log_2 \!\left(\frac 1 2\right) = -\log_2 \!\left(\frac 1 2\right) = \log_2 (2) = 1\!\; (Sh).
  • Wenn der Zeichenvorrat aus zehn Zeichen, etwa {0,1,2,3,4,5,6,7,8,9} besteht, wobei wieder alle Zeichen mit gleicher Wahrscheinlichkeit auftreten, dann beträgt der Informationsgehalt -\log_2 \left(\frac{1}{10} \right) = \log_2 (10) \approx 3{,}322\ \mathrm{Sh}. Das kann man so interpretieren, dass man auf jeden Fall mit einer 4-Bit-Kodierung auskommt, um solche Nachrichten zu übertragen (dies wird etwa durch den BCD-Code realisiert), dass dabei aber noch Redundanz vorhanden ist. Beim BCD-Code äußert sich diese Redundanz so, dass von den 16 unterschiedlichen Zeichen, die mit diesem Code dargestellt werden können, nur 10 wirklich auftreten.

Normung

Normen zu Einheiten des Entscheidungsgehalts in der Informationstheorie findet man in IEC 60027-3 oder ISO 2382-16. Dort ist neben der auf dem Logarithmus zur Basis 2 beruhenden Einheit Shannon (Einheitenzeichen: Sh) noch das auf dem Zehner-Logarithmus beruhende Hartley (Einheitenzeichen: Hart) und die auf dem natürlichen Logarithmus beruhende natürliche Informationseinheit (Einheitenzeichen: nat) erklärt.

„Der Versuch der International Organization for Standardization(ISO) 1975 die Einheit Bit durch die Shannon-Einheit zu ersetzen, […] war rückblickend betrachtet nicht sehr erfolgreich.“

Walter Umstätter [1]

Einzelnachweis

  1. Nachrichten für Dokumentation 49 (4) S.221-224 (1998)

Wikimedia Foundation.

Игры ⚽ Нужно решить контрольную?

Schlagen Sie auch in anderen Wörterbüchern nach:

  • Shannon — steht für: Shannon (Name) ohne Nennung des Vornamens häufig Claude Elwood Shannon (1916–2001), US amerikanischer Informationstheoretiker Shannon (Einheit), Maßeinheit für den Informationsgehalt einer Nachricht Shannon Index für die Beschreibung… …   Deutsch Wikipedia

  • Shannon-Entropie — Entropie ist ein Maß für den mittleren Informationsgehalt oder auch Informationsdichte eines Zeichensystems. Der Begriff in der Informationstheorie ist in Analogie zur Entropie in der Thermodynamik und Statistischen Mechanik benannt. Beide… …   Deutsch Wikipedia

  • Shannon-Hartley-Theorem — Das Shannon Hartley Gesetz beschreibt in der Nachrichtentechnik die theoretische Obergrenze der Bitrate eines Übertragungskanals in Abhängigkeit von Bandbreite und Signal zu Rausch Verhältnis über den mit einer gewissen Wahrscheinlichkeit eine… …   Deutsch Wikipedia

  • Shannon Grenze — Das Shannon Hartley Gesetz beschreibt in der Nachrichtentechnik die theoretische Obergrenze der Bitrate eines Übertragungskanals in Abhängigkeit von Bandbreite und Signal zu Rausch Verhältnis über den mit einer gewissen Wahrscheinlichkeit eine… …   Deutsch Wikipedia

  • Shannon Limit — Das Shannon Hartley Gesetz beschreibt in der Nachrichtentechnik die theoretische Obergrenze der Bitrate eines Übertragungskanals in Abhängigkeit von Bandbreite und Signal zu Rausch Verhältnis über den mit einer gewissen Wahrscheinlichkeit eine… …   Deutsch Wikipedia

  • Shannon — I Shannon   [ ʃænən] der, längster Fluss (370 km) Irlands, entspringt am Cuilcagh in der historischen Provinz Leitrim, durchfließt einige Seen (Lough Allen, Lough Ree, Lough Derg u. a.) und Moore; bildet ab Limerick einen 113 km langen… …   Universal-Lexikon

  • Hartley (Einheit) — Das ban ist eine heute nicht mehr gebräuchliche dimensionslose Maßeinheit für die Datenmenge. Es wird auch als hartley (Abkürzung: Hart) oder als dit (Wortkreuzung aus decimal und digit; deutsch wörtlich: Dezimalziffer) bezeichnet.… …   Deutsch Wikipedia

  • Claude Shannon — Claude Elwood Shannon (* 30. April 1916 in Petoskey, Michigan; † 24. Februar 2001 in Medford, Massachusetts) war ein amerikanischer Mathematiker. Er gilt als Begründer der Informationstheorie. Inhaltsverzeichnis 1 Biographie 2 Siehe auch …   Deutsch Wikipedia

  • Ban (Einheit) — Das ban ist eine heute nicht mehr gebräuchliche dimensionslose Maßeinheit für die Datenmenge. Es wird auch als hartley (Abkürzung: Hart) oder als dit (Wortkreuzung aus decimal und digit; deutsch wörtlich: Dezimalziffer) bezeichnet. Eine… …   Deutsch Wikipedia

  • Claude Elwood Shannon — (* 30. April 1916 in Petoskey, Michigan; † 24. Februar 2001 in Medford, Massachusetts) war ein amerikanischer Mathematiker und Elektrotechniker. Er gilt als Begründer der Informationstheorie. Inhaltsverzeichnis 1 Leben 2 Werk …   Deutsch Wikipedia

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”