Varianzschätzung

Varianzschätzung

Mit Varianzschätzung werden in der Statistik zwei verwandte Begrifflichkeiten bezeichnet:

Im letzteren Fall ist sie eine Methode zur Messung der Genauigkeit von Schätzverfahren und erlaubt die Konstruktion von Konfidenzintervallen (Intervallschätzung). Oft fließt in die Berechnung von Intervallschätzungen auch die unbekannte Varianz der Grundgesamtheit ein. Diese wird mit einem Verfahren für den ersten Fall geschätzt.

Inhaltsverzeichnis

Schätzung der Varianz der Grundgesamtheit

Zur Schätzung der Varianz der Grundgesamtheit mit Hilfe der Stichprobenvarianz gibt es verschiedene Schätzfunktionen, siehe auch

Hauptartikel: Stichprobenvarianz

Meist wird die korrigierte Stichprobenvarianz benutzt, die auf der Maximum-Likelihood-Schätzung der Varianz einer normal-verteilten Grundgesamtheit basiert.

Varianzschätzung einer normal-verteilten Grundgesamtheit

Die Stichprobenvariablen sind, wie Grundgesamtheit, normal verteilt XiN(μ,σ2) mit μ der unbekannte Mittelwert und σ2 die unbekannte Varianz der Grundgesamtheit. Dann ist die Likelihoodfunktion einer Stichprobe mit Umfang n

L(x_1,\ldots,x_n|\mu,\sigma)=\prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x_i-\mu)^2}{2\sigma^2}\right)= 
\left(\frac{1}{2\pi\sigma^2}\right)^{n/2} \exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\mu)^2 \right)

und die Log-Likelihoodfunktion

\log(L(x_1,\ldots,x_n|\mu,\sigma))=-\frac{n}{2}\log(2\pi\sigma^2)-\frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\mu)^2.

Um einen Schätzer \hat{\sigma}^2für σ2 finden, wird die Log-Likelihoodfunktion nach σ2 abgeleitet

\frac{\partial\log(L(x_1,\ldots,x_n|\mu,\sigma))}{\partial \sigma^2}=-\frac{n}{2\sigma^2}+\frac{1}{2\sigma^4}\sum_{i=1}^n (x_i-\mu)^2

und gleich Null gesetzt um ein Maximum zu finden

0=-\frac{n}{2\hat{\sigma}^2}+\frac{1}{2\hat{\sigma}^4}\sum_{i=1}^n (x_i-\mu)^2\quad\Longrightarrow\quad\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (x_i-\mu)^2.

Die zweite Ableitung ergibt sich als

\frac{\partial^2\log(L(x_1,\ldots,x_n|\mu,\sigma))}{\partial \sigma^2\partial \sigma^2}=\frac{1}{\sigma^4}\left(\frac{n}{2}-\frac{\sum_{i=1}^n (x_i-\mu)^2}{\sigma^2}\right)

und an der Stelle \sigma^2=\hat{\sigma}^2:

\frac{1}{\hat{\sigma}^4}\left(\frac{n}{2}-\frac{\sum_{i=1}^n (x_i-\mu)^2}{\hat{\sigma}^2}\right)=\frac{1}{\hat{\sigma}^4}\left(\frac{n}{2}-\frac{n\hat{\sigma}^2}{\hat{\sigma}^2}\right)=-\frac{n}{2\hat{\sigma}^4}< 0,

d.h. es handelt sich um ein Maximum, wenn \hat{\sigma}^2>0.

Schätzung der Varianz einer Schätzfunktion

Hat man eine Schätzfunktion \hat{\theta} für einen unbekannten Parameter θ der Grundgesamtheit, so hat man zunächst nur eine Punktschätzung \hat{\vartheta} für diesen. Man ist jedoch interessiert auch Konfidenzintervalle für den geschätzten Parameter anzugeben, d.h. man muss die Verteilung und die Varianz von \hat{\theta} kennen.

Dies ist jedoch nicht immer möglich und deswegen gibt es verschiedene Verfahren:

  • direkte Verfahren auf Basis der Likelihoodfunktion,
  • lineare Approximation der log-Likelihoodfunktion und
  • Resampling-Methoden.

Wurde die Schätzfunktion \hat{\theta} mit Hilfe der Maximum-Likelihood-Methode berechnet, so weiß man über das asymptotische Verhalten:

  • \lim_{n\to\infty} \hat{\theta} \longrightarrow N(\theta; \Sigma_{\hat{\theta}}) sowie
  • \lim_{n\to\infty} Var(\hat{\theta}) \longrightarrow \mathcal I^{-1}(\theta) = \Sigma_{\hat{\theta}}

mit \Sigma_{\hat{\theta}} die Kovarianzmatrix der Schätzfunktion(en) \hat{\theta} und I(θ) die Fisher-Informationsmatrix.

Bekannte Verteilung von \hat{\theta}

Lässt sich die Verteilung und die Varianz von \hat{\theta} berechnen, z.B. mit Hilfe des zentralen Grenzwertsatzes, so lässt sich die Varianz leicht schätzen.

Ein Beispiel ist der Stichprobenmittelwert einer normalverteilten Grundgesamtheit bzw. bei Gültigkeit des zentralen Grenzwertsatzes bei einer beliebigen Verteilung in der Grundgesamtheit:

\bar{X} = \frac{1}{n} \sum_{i=1}^n X_i \approx N\left(\mu; \frac{\sigma^2}{n}\right).

Daraus lässt sich das Konfidenzintervall ableiten

P\left(\bar{X}-z_{1-\alpha/2}\frac{\sigma}{\sqrt{n}}\leq \mu \leq \bar{X}+z_{1-\alpha/2}\frac{\sigma}{\sqrt{n}}\right)\approx 1-\alpha

mit z1 − α / 2 aus der Standardnormalverteilung.

Direkte Verfahren

Bei direkten Verfahren nutzt man die Darstellung

Var(\hat{\theta}) = \int (\hat{\theta}-\theta)^2 L(x_1, \ldots, x_n|\theta) dx_1 \ldots dx_n bzw. multivariat \sigma_{ij}(\hat{\theta}) = \int (\hat{\theta}_i-\theta_i) (\hat{\theta}_j-\theta_j) L(x_1, \ldots, x_n|\theta) dx_1 \ldots dx_n

Darauf basierende Varianzschätzungen kann man meist nur bei einfachen Punktschätzern angeben. Hier werden Approximationsformeln nur bei Stichprobendesigns mit Inklusionswahrscheinlichkeiten zweiter Ordnung benötigt. Exakte Methoden, das heißt einfach auszurechnende Formeln können im Fall eines Linearen Schätzers angegeben werden.

Jedoch sind weder der wahre Parameter θ noch die Funktion L(x_1, \ldots, x_n|\theta) bekannt. Daher werden die Schätzwerte und die normierte Likelihoodfunktion als Wahrscheinlihkeitsdichte für θ genutzt:

\widehat{Var}(\hat{\theta}) = \frac{\int (\theta-\hat{\vartheta})^2 L(x_1, \ldots, x_n|\theta) d\theta}{\int L(x_1, \ldots, x_n|\theta) d\theta} bzw. multivariat \hat{\sigma}_{ij}(\hat{\theta}) = \frac{\int (\theta_i-\hat{\vartheta}_i) (\theta_j-\hat{\vartheta}_j) L(x_1, \ldots, x_n|\theta) d\theta_1 \ldots d\theta_m}{\int L(x_1, \ldots, x_n|\theta) d\theta_1 \ldots d\theta_m}

Die Schätzung erfolgt dann mit Hilfe numerischer Integration.

Lineare Approximation

Bei nicht-linearen Schätzern (z.B. einem Ratio-Schätzer) kommen approximative Methoden zum Einsatz. Kann man die Log-Likelihood-Funktion mit der Taylorapproximation um das Maximum entwickeln

\log(L(x_1,\ldots,x_n|\theta)) \approx \log(\underbrace{L(x_1,\ldots,x_n|\hat{\vartheta})}_{=L_{max}}) + \underbrace{\left(\theta-\hat{\vartheta}\right) \left.\frac{\partial \log(L)}{\partial\theta}\right|_{\theta=\hat{\vartheta}}}_{=0} + \tfrac12 \left(\theta-\hat{\vartheta}\right)^2 \left.\frac{\partial^2 \log(L)}{\partial\theta^2}\right|_{\theta=\hat{\vartheta}}

und unter Ausnutzung der Definition der Fisher-Informationsmatrix

\log(L(x_1,\ldots,x_n|\theta)) \approx\log(L_{max}) - \tfrac12 \left(\theta-\hat{\vartheta}\right)^2 \sigma_{\hat{\theta}}^{-1}

folgt

\hat{\sigma}_{\hat{\theta}} = \left(-\left.\frac{\partial^2 \log(L)}{\partial\theta^2}\right|_{\theta=\hat{\vartheta}}\right)^{-1}.

Alternativ können durch die Woodruff-Linearisierung nicht-lineare Schätzer zu linearen umgewandelt werden.

Resampling-Methoden

Eine weitere Möglichkeit stellen Resamplingmethoden dar. Hierbei werden B Substichproben zufällig aus der vorhandenen Stichprobe gezogen und mit diesen ein Schätzwert \hat{\vartheta}^{(i)} berechnet. Diese Schätzwerte sind eine empirische Approximation an die unbekannte Verteilung von \hat{\theta}.

Stichprobe: x_1, \ldots x_n \longrightarrow \hat{\vartheta}
Substichprobe 1: x_1^{(1)}, \ldots x_n^{(1)} \longrightarrow \hat{\vartheta}^{(1)}
\vdots \vdots \vdots
Substichprobe B:  x_1^{(B)}, \ldots x_n^{(B)} \longrightarrow \hat{\vartheta}^{(B)}

Daher ergibt sich

\widehat{Var}(\hat{\theta}) = \frac{1}{B-1} \sum_{i=1}^B \left(\hat{\vartheta}^{(i)} - \bar{\vartheta}\right)^2

mit \bar{\vartheta} = \frac1B \sum_{i=1}^B \hat{\vartheta}^{(i)}. Bei der Schätzung kann das Stichprobendesign durch Gewichtung berücksichtigt werden.


Wikimedia Foundation.

Игры ⚽ Нужен реферат?

Schlagen Sie auch in anderen Wörterbüchern nach:

  • Varianzschätzer — In diesem Artikel oder Abschnitt fehlen folgende wichtige Informationen: In diesem Artikel wird als einzige Varianzschätzung die korrigierte Stichprobenvarianz erwähnt. Es fehlen konkrete Verfahren zur Schätzung der Varianz, die auf den… …   Deutsch Wikipedia

  • Design-Effekt — Ein Designeffekt (von engl. design: Auswahlverfahren) ist eine statistische Verzerrung, die durch ein spezielles Auswahlverfahren einer Stichprobe (Schichtung, Klumpung, Mehrstufige Ziehung) im Vergleich zur reinen Zufallsauswahl (simple random… …   Deutsch Wikipedia

  • Ralf Münnich — Ralf T. Münnich (* 1964)[1] ist ein Survey Statistiker, Diplom Mathematiker und seit dem 15. Februar 2006 Inhaber der Professur für Wirtschafts und Sozialstatistik an der Universität Trier. Münnichs Forschungsschwerpunkte sind… …   Deutsch Wikipedia

  • Designeffekt — Ein Designeffekt (von engl. design: Auswahlverfahren) ist eine statistische Verzerrung, die durch ein spezielles Auswahlverfahren einer Stichprobe (Schichtung, Klumpung, Mehrstufige Ziehung) im Vergleich zur reinen Zufallsauswahl (simple random… …   Deutsch Wikipedia

  • Empirische Standardabweichung — Die korrigierte Stichprobenvarianz (s2) ist eine Schätzfunktion für die Varianz einer Zufallsvariablen aus Beobachtungswerten, die einer Stichprobe der Grundgesamtheit entstammen. Diese Varianz wird auch in der deskriptiven Statistik als Maß für… …   Deutsch Wikipedia

  • Empirische Varianz — Die korrigierte Stichprobenvarianz (s2) ist eine Schätzfunktion für die Varianz einer Zufallsvariablen aus Beobachtungswerten, die einer Stichprobe der Grundgesamtheit entstammen. Diese Varianz wird auch in der deskriptiven Statistik als Maß für… …   Deutsch Wikipedia

  • Inferentielle Varianz — Dichten zweier normalverteilter Zufallsvariablen mit gleichem Erwartungswert aber unterschiedlichen Varianzen. Die orange Kurve hat eine geringere Varianz (entsprechend der Breite) als die grüne. Die Wurzel der Varianz, die Standardabweichung, k …   Deutsch Wikipedia

  • Resampling — (engl.) bzw. Stichprobewiederholung bezeichnet die Bestimmung der statistischen Eigenschaften von Stichprobenfunktionen, wie Schätzern oder Testgrößen auf Basis einer wiederholten Ziehung von Stichproben, sogenannten Unterstichproben, aus einer… …   Deutsch Wikipedia

  • Schwankungsquadrat — Dichten zweier normalverteilter Zufallsvariablen mit gleichem Erwartungswert aber unterschiedlichen Varianzen. Die orange Kurve hat eine geringere Varianz (entsprechend der Breite) als die grüne. Die Wurzel der Varianz, die Standardabweichung …   Deutsch Wikipedia

  • Stichprobenstandardabweichung — Die korrigierte Stichprobenvarianz (s2) ist eine Schätzfunktion für die Varianz einer Zufallsvariablen aus Beobachtungswerten, die einer Stichprobe der Grundgesamtheit entstammen. Diese Varianz wird auch in der deskriptiven Statistik als Maß für… …   Deutsch Wikipedia

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”