Mehrdimensionale Normalverteilung

Mehrdimensionale Normalverteilung

Die mehrdimensionale oder multivariate Normalverteilung ist ein Typ multivariater Wahrscheinlichkeitsverteilungen und stellt eine Verallgemeinerung der (eindimensionalen) Normalverteilung auf mehrere Dimensionen dar.[1]

Bestimmt wird eine multivariate Normalverteilung durch zwei Verteilungsparameter - den Vektor der Erwartungswerte der eindimensionalen Komponenten μ und durch die Kovarianzmatrix Σ, welche den Parametern μ und σ2 der eindimensionalen Normalverteilungen entsprechen.

Multivariat normalverteilte Zufallsvariablen treten als Grenzwerte bestimmter Summen unabhängiger mehrdimensionaler Zufallsvariabler auf. Dies ist die Übertragung des zentralen Grenzwertsatz auf den mehrdimensionalen Fall.

Weil sie entsprechend dort auftreten, wo mehrdimensionale zufällige Größen als Überlagerung vieler voneinander unabhängiger Einzeleffekte angesehen werden können, haben sie für die Praxis eine große Bedeutung.

Aufgrund der sogenannten Reproduktionseigenschaft der multivariaten Normalverteilung lässt sich die Verteilung von Summen (und Linearkombinationen) multivariat normalverteiler Zufallsvariablen konkret angeben, was auf dem Gebiet der multivariaten Statistik eine Rolle spielt.

Inhaltsverzeichnis

Die multivariate Normalverteilung: allgemeiner Fall

10000 Stichproben einer zweidimensionalen Normalverteilung mit σ1 = 1, σ2 = 2 und ρ = 0.7

Eine p-dimensionale reelle Zufallvariable X ist normalverteilt mit Erwartungswertvektor μ und (positiv definiter) Kovarianzmatrix Σ, wenn sie eine Dichtefunktion der Form

f_X(x)=\frac 1{(2\pi)^{\frac p 2}|\Sigma|^{\frac 1 2}} \exp\left(-{\frac 1 2}(x-\mu)^T\Sigma^{-1}(x-\mu)\right).

besitzt. Hier bezeichnet | Σ | die Determinante der Kovarianzmatrix.

Man schreibt

X\sim \mathcal N_p(\mu, \Sigma).

Für die zugehörige Verteilungsfunktion F gibt es keine geschlossene Formel. Die entsprechenden Integrale müssen numerisch berechnet werden.

Die multivariate Normalverteilung hat die folgenden Eigenschaften:

  • Die lineare Transformation Y = a + B \, X mit einer Matrix B \in \R^{q\times p} (mit q \le p) und a\in\R^q ist q-dimensional normalverteilt: Y \sim \mathcal N_q(a + B \mu, B\Sigma B^T). Dies gilt aber nach der hier gegebenen Definition nur, wenn B\Sigma B^T\, nicht-singulär ist, also eine nicht-verschwindende Determinante hat.
  • Die lineare Transformation
Y = \Sigma^{-\frac 1 2}(X-\mu)
standardisiert den Zufallsvektor X\,: es ist Y \sim N_p(0,E)\, (mit Einheitsmatrix E).
  • X\, kann auch eine singuläre Kovarianzmatrix besitzen. Man spricht dann von einer degenerierten oder singulären multivariaten Normalverteilung. In diesem Fall existiert keine Dichtefunktion.
  • Bedingte Verteilung bei partieller Kenntnis des Zufallsvektors: Bedingt man einen multivariat normal verteilten Zufallsvektor auf einen Teilvektor, so ist das Ergebnis selbst wieder multivariat normal verteilt, für
{X} = \binom{{X}_1}{{X}_2} \sim \mathcal N\left(\binom{{\mu}_1}{{\mu}_2}, \begin{pmatrix}{\Sigma}_{11} & {\Sigma}_{12} \\ {\Sigma}_{21} & {\Sigma}_{22}\end{pmatrix}\right)
gilt
X_1 \mid X_2 \sim \mathcal N \left(\mu_1 + \Sigma_{12}\Sigma_{22}^{-1} (X_2 - \mu_2),  \Sigma_{11} - \Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}\right) ,
insbesondere hängt der Erwartungswert linear vom Wert von X2 ab und die Varianz ist unabhängig vom Wert von X2.

Die p-dimensionale Standardnormalverteilung

Dichte der zweidimensionalen Standardnormalverteilung

Das Wahrscheinlichkeitsmaß auf \R^p, das durch die Dichtefunktion

f_X: \R^p \to \R,\,(x_1,\ldots,x_p) \mapsto \frac 1{\sqrt{(2\pi)^p}} \exp\left( -\frac 12 \sum_{i=1}^p x_i^2 \right)

definiert wird, heißt Standardnormalverteilung der Dimension p. Die p-dimensionale Standardnormalverteilung ist abgesehen von Translationen (d. h. Erwartungswert \mu\ne0) die einzige multivariate Verteilung, deren Komponenten stochastisch unabhängig sind und deren Dichte zugleich rotationssymmetrisch ist.

Dichte der zweidimensionalen Normalverteilung

Die Dichtefunktion der zweidimensionalen Normalverteilung mit Mittelwert = (0,0), \sigma_1^2=\sigma_2^2=1 und Korrelationskoeffizient \varrho ist

f_X(x_1,x_2) = \frac 1{2\pi\sqrt{1-\varrho^2}}
  \exp\left(
    -\frac 1{2(1-\varrho^2)}
    (x_1^2 - 2\varrho\,x_1 x_2 + x_2^2)
  \right).
Jeweils 10.000 Stichproben zweidimensionaler Normalverteilungen mit ρ = -0.8, 0, 0.8 (alle Varianzen sind 1).

Im allgemeineren zweidimensionalen Fall mit Mittelwert = (0,0) und beliebigen Varianzen ist die Dichtefunktion

f_X(x_1,x_2)
=
\frac{1}{2 \pi \sigma_1 \sigma_2 \sqrt{1-\varrho^2}} \,
\exp
\left(
 -\frac{1}{2 (1-\varrho^2)}
 \left[
  \frac{x_1^2}{\sigma_1^2} +
  \frac{x_2^2}{\sigma_2^2} -
  \frac{2 \varrho x_1 x_2}{\sigma_1 \sigma_2}
 \right]
\right),

und den allgemeinsten Fall mit Mittelwert = 12) bekommt man durch Translation (ersetze x1 durch x1 − μ1 und x2 durch x2 − μ2).

Beispiel für eine multivariate Normalverteilung

Betrachtet wird eine Apfelbaumplantage mit sehr vielen gleich alten, also vergleichbaren Apfelbäumen. Man interessiert sich für die Merkmale Größe der Apfelbäume, die Zahl der Blätter und die Erträge. Es werden also die Zufallsvariablen definiert:

X1: Höhe eines Baumes [m]; X2: Ertrag [100 kg]; X3: Zahl der Blätter [1000 Stück].

Die Variablen sind jeweils normalverteilt wie

X1N(4;1);X2N(20;100);X3N(20;225);.

Die meisten Bäume sind also um 4 ± 1m groß, sehr kleine oder sehr große Bäume sind eher selten. Bei einem großen Baum ist der Ertrag tendenziell größer als bei einem kleinen Baum, aber es gibt natürlich hin und wieder einen großen Baum mit wenig Ertrag. Ertrag und Größe sind korreliert, die Kovarianz beträgt Cov(X1,X2) = 9 und der Korrelationskoeffizient \varrho_{12} = 0{,}9.

Ebenso ist \operatorname{Cov}(X_1,X_3)=12{,}75 mit dem Korrelationskoeffizienten \varrho_{13} = 0{,}85, und \operatorname{Cov}(X_2,X_3)=120 mit dem Korrelationskoeffzienten \varrho_{23} = 0{,}8.

Fasst man die drei Zufallsvariablen im Zufallsvektor \underline x zusammen, ist \underline x multivariat normalverteilt mit

\underline \mu = 
  \begin{pmatrix}
     4\\
    20\\
    20
  \end{pmatrix}

und

\Sigma=
  \begin{pmatrix}
    1       &   9 & 12{,}75\\
    9       & 100 &  120\\
    12{,}75 & 120 &  225 
\end{pmatrix}.

Die entsprechende Korrelationsmatrix ist

R=
  \begin{pmatrix}
    1      & 0{,}9 & 0{,}85\\
    0{,}9  & 1     & 0{,}8\\
    0{,}85 & 0{,}8 & 1 
\end{pmatrix}.

Stichproben bei multivariaten Verteilungen

In der Realität werden in aller Regel die Verteilungsparameter einer multivariaten Verteilung nicht bekannt sein. Diese Parameter müssen also geschätzt werden.

Man zieht eine Stichprobe vom Umfang n. Jede Realisation i\in\{1,\ldots,n\} des Zufallsvektors \underline x könnte man als Punkt in einem p-dimensionalen Hyperraum auffassen. Man erhält so die (n\times p)-Datenmatrix X als

X=
\begin{pmatrix}
x_{11}& x_{12}& \cdots &x_{1j}&\cdots &x_{1p}\\
x_{21}& x_{22}& \cdots &x_{2j}&\cdots &x_{2p}\\
\vdots& & & & &\vdots \\
x_{i1}& x_{i2}& \cdots &x_{ij}&\cdots &x_{ip}\\
\vdots& & & & &\vdots \\
x_{n1}& x_{n2}& \cdots &x_{nj}&\cdots &x_{np}
\end{pmatrix},

die in jeder Zeile die Koordinaten eines Punktes enthält.

Der Erwartungswertvektor wird geschätzt durch den Mittelwertvektor der p arithmetischen Mittelwerte

\hat E(\underline x)=\underline{\bar x}=
  \begin{pmatrix}
\bar x_1\\
\bar x_2\\
\vdots\\
\bar x_j\\
\vdots\\
\bar x_p
  \end{pmatrix}

mit den Komponenten

\bar x_j = \frac 1n\sum_{i=1}^n x_{ij}.

Für die Schätzung der Kovarianzmatrix erweist sich die bezüglich der arithmetischen Mittelwerte zentrierte Datenmatrix X * als nützlich. Sie berechnet sich als

X^*=X-\underline 1\cdot\underline{\bar x}^T,

mit den Elementen x^*_{ij}, wobei \underline 1 einen Spaltenvektor der Länge n mit lauter Einsen darstellt.

Die (p\times p)-Kovarianzmatrix hat die geschätzten Komponenten

s_{jk}=\widehat{\operatorname{Cov}}(X_j,X_k)=\frac 1{n-1}\sum_{i=1}^n x^*_{ij}x^*_{ik}.

Sie ergibt sich als

\widehat\Sigma = S = \frac 1{n-1}X^{*T}X^*.

Die Korrelationsmatrix R wird geschätzt durch die paarweisen Korrelationskoeffizienten

r_{jk} = \frac{\sum\limits_{i=1}^n x^*_{ij}x^*_{ik}} {\sqrt{\sum\limits_{i=1}^n {x^*_{ij}}^2}\sqrt{\sum\limits_{i=1}^n {x^*_{ik}}^2}},

auf ihrer Hauptdiagonalen stehen Einsen.

Beispiel zu Stichproben

Es wurden 10 Apfelbäume zufällig ausgewählt und jeweils 3 Eigenschaften gemessen: X1: Höhe eines Baumes [m]; X2: Ertrag [100 kg]; X3: Zahl der Blätter [1000 Stück]. Diese 10 Beobachtungen werden in der Datenmatrix X zusammengefasst:

X=
\begin{pmatrix}
3{,}3&24& 27 \\
4{,}9& 41&55\\
5{,}9& 46&52 \\
5{,}2& 49&54\\
3{,}6& 29 &34 \\
4{,}2&33& 51 \\
5{,}0&42& 43\\
5{,}1&35& 54 \\
6{,}8&60& 70 \\
5{,}0&41&50
\end{pmatrix}.

Die Mittelwerte berechnen sich, wie beispielhaft an \bar x_1 gezeigt, als

\bar x_1=\frac{1}{10}(3{,}3+4{,}9+\ldots+5{,}0)=4{,}9.

Sie ergeben den Mittelwertvektor

\underline{\bar x}=
  \begin{pmatrix}
4{,}9\\
40\\
49
  \end{pmatrix}.

Für die zentrierte Datenmatrix X * erhält man die zentrierten Beobachtungen, indem von den Spalten der entsprechende Mittelwert abzogen wird:


\begin{array}{lll}
 3,3 - 4,9 = -1,6 & 24 - 40 = -16 & 27 - 49 = -22\\
 4,9 - 4,9 = 0    & 41 - 40 = 1   & 55 - 49 = 6\\
 \vdots
\end{array},

also

X^*=
\begin{pmatrix}
-1{,}6&-16& -22 \\
0{,}0& 1&6\\
1{,}0& 6&3 \\
0{,}3& 9&5\\
-1{,}3& -11 &-15 \\
-0{,}7&-7& 2 \\
0{,}1&2& -6\\
0{,}2&-5& 5 \\
1{,}9&20& 21 \\
0{,}1&1&1
\end{pmatrix}.

Man berechnet für die Kovarianzmatrix die Kovarianzen, wie im Beispiel,

s_{12}=\hat{\operatorname{Cov}}(X_1,X_2)=\frac 19(-1{,}6 \cdot (-16)+0\cdot 1+\ldots+0{,}1\cdot 1) =\frac{91}{9}\approx 10{,}09

und entsprechend die Varianzen

s_{22}=\hat V(X_2)=\frac{1}{9}((-16)^2 +1^2+...+1^2) =\frac{974}{9}\approx 108{,}22,

so dass sich die Kovarianzmatrix

S=
\begin{pmatrix}
1{,}06&10{,}09&10{,}91 \\
10{,}09& 108{,}22&106{,}22\\
10{,}91& 106{,}22&142{,}89
\end{pmatrix}

ergibt.

Entsprechend erhält man für die Korrelationsmatrix zum Beispiel

 r_{12}=\frac{10{,}09}{\sqrt{1{,}06\cdot 108{,}22 }} \approx 0{,}9439

bzw. insgesamt

R=
\begin{pmatrix}
1&0{,}9439&0{,}8884 \\
0{,}9439& 1&0{,}8542\\
0{,}8884& 0{,}8542&1
\end{pmatrix}.

Erzeugung mehrdimensionaler, normalverteilter Zufallszahlen

Eine oft verwendete Methode zur Erzeugung eines Zufallsvektors X einer N-dimensionalen Normalverteilung mit Mittelwertvektor μ und (symmetrischer und positiv definiter) Kovarianzmatrix Σ kann wie folgt angegeben werden:

  1. Bestimme eine Matrix A, so dass AAT = Σ. Dies ist oft die Cholesky-Zerlegung von Σ, allerdings genügt auch in den meisten Fällen die Wurzel von Σ.
  2. Sei Z = (z_1, \ldots, z_N)^T ein Vektor, dessen Komponenten N stochastisch unabhängige, standardnormalverteilte Zufallszahlen sind. Diese können beispielsweise mit Hilfe der Box-Muller-Methode generiert werden.
  3. Mit X = μ + AZ ergibt sich aufgrund der affinen Abbildung die gewünschte Verteilung.

Anmerkungen

  1. Mehrdimensionale und multivariate Normalverteilung werden in diesem Artikel synonym verwendet. Bei Hartung/Elpelt: Multivariate Statistik haben sie aber (in Kapitel 1, Abschnitt 5) unterschiedliche Bedeutungen: hier ist die multivariate Normalverteilung eine Matrix-Verteilung.

Literatur

  • Mardia, KV, Kent, JT, Bibby, JM: Multivariate Analysis, New York 1979
  • Fahrmeir, Ludwig, Hamerle, Alfred, Tutz, Gerhard (Hrsg): Multivariate statistische Verfahren, New York 1996
  • Hartung, Joachim, Elpelt, Bärbel: Multivariate Statistik, München, Wien 1999

Wikimedia Foundation.

Игры ⚽ Поможем написать курсовую

Schlagen Sie auch in anderen Wörterbüchern nach:

  • mehrdimensionale Normalverteilung — normalusis daugiamatis skirstinys statusas T sritis fizika atitikmenys: angl. multivariate normal distribution vok. mehrdimensionale Normalverteilung, f rus. многомерное нормальное распределение, n pranc. distribution normale multivariée, f …   Fizikos terminų žodynas

  • Normalverteilung — Dichtefunktionen der Normalverteilungen (blau), (grün) und (rot) Die Normal oder Gauß Verteilung …   Deutsch Wikipedia

  • Normalverteilung — Gaußverteilung * * * Nor|mal|ver|tei|lung: svw. ↑ Gauß Verteilung. * * * I Normalverteilung,   Verteilung. II Normalverteilung,   Statistik. III Norma …   Universal-Lexikon

  • Multivariate Normalverteilung — Die gemeinsame Wahrscheinlichkeitsverteilung mehrerer Zufallsvariablen nennt man multivariate Verteilung oder auch mehrdimensionale Verteilung. Inhaltsverzeichnis 1 Formale Darstellung 2 Ausgewählte multivariate Verteilungen 3 Die multivariate… …   Deutsch Wikipedia

  • Canny-Detektor — Der Canny Algorithmus, benannt nach John Canny, ist ein in der digitalen Bildverarbeitung weit verbreiteter, robuster Algorithmus zur Kantendetektion. Er gliedert sich in verschiedene Faltungsoperationen und liefert ein Bild, welches idealerweise …   Deutsch Wikipedia

  • Canny-Kantendetektor — Der Canny Algorithmus, benannt nach John Canny, ist ein in der digitalen Bildverarbeitung weit verbreiteter, robuster Algorithmus zur Kantendetektion. Er gliedert sich in verschiedene Faltungsoperationen und liefert ein Bild, welches idealerweise …   Deutsch Wikipedia

  • Multivariate Verteilung — Die Wahrscheinlichkeitsverteilung einer mehrdimensionalen Zufallsvariable nennt man multivariate Verteilung oder auch mehrdimensionale Verteilung. Inhaltsverzeichnis 1 Einführendes Beispiel 2 Zweidimensionale Verteilungsfunktion 3 Der allgemeine… …   Deutsch Wikipedia

  • Canny-Algorithmus — Der Canny Algorithmus, benannt nach John Canny[1], ist ein in der digitalen Bildverarbeitung weit verbreiteter, robuster Algorithmus zur Kantendetektion. Er gliedert sich in verschiedene Faltungsoperationen und liefert ein Bild, welches… …   Deutsch Wikipedia

  • Gauss-Prozess — Ein stochastischer Prozess auf einer beliebigen Indexmenge T wird Gauß Prozess (nach Carl Friedrich Gauß) genannt, wenn seine endlichdimensionalen Verteilungen (mehrdimensionale) Normalverteilungen (auch Gauß Verteilungen, daher der Name) sind.… …   Deutsch Wikipedia

  • distribution normale multivariée — normalusis daugiamatis skirstinys statusas T sritis fizika atitikmenys: angl. multivariate normal distribution vok. mehrdimensionale Normalverteilung, f rus. многомерное нормальное распределение, n pranc. distribution normale multivariée, f …   Fizikos terminų žodynas

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”