Kullback-Leibler-Divergenz

Kullback-Leibler-Divergenz

Die Begriffe Kullback-Leibler-Divergenz (kurz KL-Divergenz), Kullback-Leibler-Entropie, Kullback-Leibler-Information oder Kullback-Leibler-Abstand (nach Solomon Kullback und Richard Leibler) bezeichnen ein Maß für die Unterschiedlichkeit zweier Wahrscheinlichkeitsverteilungen. Typischerweise repräsentiert P Beobachtungen oder eine präzise Wahrscheinlichkeitsverteilung, während Q ein Modell oder eine Approximation darstellt.

Vorsicht: Die KL-Divergenz wird auch relative Entropie genannt, wobei der Begriff relative Entropie gelegentlich auch für die Transinformation verwendet wird.

Formal lässt sich die KL-Divergenz für die Wahrscheinlichkeitsfunktionen P und Q diskreter Werte folgendermaßen bestimmen:

D(P\|Q) = KL(P, Q)= \sum_{x \in X} P(x) \cdot \log_2 {P(x) \over Q(x)}

Werden die Verteilungen P und Q für kontinuierliche Werte durch die Wahrscheinlichkeitsdichtefunktionen p und q dargestellt, wird hingegen ein Integral berechnet:

D(P\|Q) = \int_{-\infty}^{\infty} p(x) \cdot \log_2 \frac{p(x)}{q(x)} \; \mathrm dx

Die Kullback-Leibler-Divergenz gibt aus informationstheoretischer Sicht an, wie viele Bits durchschnittlich verschwendet werden, wenn eine eigentlich auf q basierende Kodierung auf Ereignisse angewendet wird, die p folgen. Somit besteht ein Zusammenhang zur Kanalkapazität.

Anstatt der Kullback-Leibler-Divergenz wird auch oft die Kreuzentropie verwendet. Diese liefert qualitativ vergleichbare Werte, kann jedoch ohne die Kenntnis von p berechnet werden. In praktischen Anwendungen ist dies vorteilhaft, da dort p meist unbekannt ist.

Belege


Wikimedia Foundation.

Игры ⚽ Поможем написать курсовую
Synonyme:

Schlagen Sie auch in anderen Wörterbüchern nach:

  • Kullback-Leibler-Abstand — Die Begriffe Kullback Leibler Divergenz (kurz KL Divergenz), Kullback Leibler Entropie, Kullback Leibler Information oder Kullback Leibler Abstand (nach Solomon Kullback und Richard Leibler) bezeichnen ein Maß für die Unterschiedlichkeit zweier… …   Deutsch Wikipedia

  • Kullback-Leibler-Distanz — Die Begriffe Kullback Leibler Divergenz (kurz KL Divergenz), Kullback Leibler Entropie, Kullback Leibler Information oder Kullback Leibler Abstand (nach Solomon Kullback und Richard Leibler) bezeichnen ein Maß für die Unterschiedlichkeit zweier… …   Deutsch Wikipedia

  • Kullback-Leibler-Entropie — Die Begriffe Kullback Leibler Divergenz (kurz KL Divergenz), Kullback Leibler Entropie, Kullback Leibler Information oder Kullback Leibler Abstand (nach Solomon Kullback und Richard Leibler) bezeichnen ein Maß für die Unterschiedlichkeit zweier… …   Deutsch Wikipedia

  • Kullback-Leibler-Information — Die Begriffe Kullback Leibler Divergenz (kurz KL Divergenz), Kullback Leibler Entropie, Kullback Leibler Information oder Kullback Leibler Abstand (nach Solomon Kullback und Richard Leibler) bezeichnen ein Maß für die Unterschiedlichkeit zweier… …   Deutsch Wikipedia

  • Leibler — Richard Arthur Leibler (* 18. März 1914 in Chicago, Illinois; † 25. Oktober 2003 in Reston, Virginia) war ein US amerikanischer Mathematiker und Kryptologe. Er arbeitete unter Anderem für die Geheimdienstbehörde National Security Agency. Nach… …   Deutsch Wikipedia

  • Kullback — Solomon Kullback Solomon Kullback (* 1903; † 1994) war ein US amerikanischer Mathematiker und Kryptologe. In den 1930er Jahren wurde er Mitarbeiter des Signals Intelligence Service (SIS). Nach ihm und Richard Leibler ist die …   Deutsch Wikipedia

  • KL-Divergenz — Die Begriffe Kullback Leibler Divergenz (kurz KL Divergenz), Kullback Leibler Entropie, Kullback Leibler Information oder Kullback Leibler Abstand (nach Solomon Kullback und Richard Leibler) bezeichnen ein Maß für die Unterschiedlichkeit zweier… …   Deutsch Wikipedia

  • Richard A. Leibler — Richard Arthur Leibler (* 18. März 1914 in Chicago, Illinois; † 25. Oktober 2003 in Reston, Virginia) war ein US amerikanischer Mathematiker und Kryptologe. Er arbeitete unter Anderem für die Geheimdienstbehörde National Security Agency. Nach… …   Deutsch Wikipedia

  • Richard Leibler — Richard Arthur Leibler (* 18. März 1914 in Chicago, Illinois; † 25. Oktober 2003 in Reston, Virginia) war ein US amerikanischer Mathematiker und Kryptologe. Er arbeitete unter anderem für die Geheimdienstbehörde National Security Agency. Nach… …   Deutsch Wikipedia

  • Solomon Kullback — (* 4. April 1907 in Brooklyn, New York; † 5. August 1994 in Boynton Beach, Florida) war ein US amerikanischer Mathematiker (Statistik) und Kryptologe. Kullback besuchte die Boys High School in Brooklyn und studierte am …   Deutsch Wikipedia

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”