Cramer-Rao-Ungleichung

Die Cramér-Rao-Ungleichung, benannt nach den beiden Mathematikern Harald Cramér und Calyampudi Radhakrishna Rao, liefert in der mathematischen Statistik eine obere Schranke für die Genauigkeit bzw. eine untere Schranke für die Varianz eines Schätzers für einen unbekannten Parameter $\vartheta$ aus dem Parameterraum $\Theta\;$.

Definition

Formal gilt für eine Zufallsvariable $X\;$ mit unbekannter Dichte $F_{\vartheta}$ und jeden Schätzer $T(X)\;$ für $\vartheta$ die Ungleichung

$\mathrm{Var}_{\vartheta}(T(X)) \geq \frac{(\frac{\partial}{\partial \vartheta} \mathrm{E}_{\vartheta}[T(X)])^2}{I(\vartheta)}$,

sofern die Familie der Wahrscheinlichkeitsdichten bestimmte Regularitätsbedingungen erfüllt:

• Der Träger der Wahrscheinlichkeitsdichten darf nicht vom unbekannten Parameter $\vartheta$ abhängen
• Die Wahrscheinlichkeitsdichten müssen stetig nach $\vartheta$ differenzierbar sein
• $\mathrm{E}_{\vartheta} \left[T(X)^2 \right]<\infty$
• Es muss folgende Vertauschungsrelation gelten:

$\mathrm\frac{\partial}{\partial\vartheta}{E}_{\vartheta}\left[T(X) \right]=\frac{\partial}{\partial\vartheta}\int (T \cdot F_{\vartheta})(x) \;\mu \,(dx) =\int \frac{\partial}{\partial\vartheta}(T \cdot F_{\vartheta})(x) \;\mu \,(dx)$

$I(\vartheta)$ bezeichnet die Fisher-Information.

Effizienz und Optimalität

Wenn für einen Schätzer $T(X)\;$ die Identität

$\mathrm{Var}_{\vartheta}(T(X)) = \frac{(\frac{\partial}{\partial \vartheta} E_{\vartheta}[T(X)])^2}{I(\vartheta)}$

gilt, so heißt er effizient. Wenn er zudem erwartungstreu ist, so ist er bezüglich der mittleren quadratischen Abweichung optimal. Für einen erwartungstreuen Schätzer vereinfacht sich die untere Schranke zur inversen Fisher-Information.

Regularitätsbedingungen und Beweisidee

Der Beweis der Cramér-Rao-Ungleichung beruht im wesentlichen auf der Cauchy-Schwarz-Ungleichung und zwei Modellannahmen, die die Vertauschbarkeit von Differentiation und Integration regeln.

Einerseits soll

$\mathrm{E}_{\vartheta} \left[ \frac{\partial}{\partial\vartheta} \log f_{\vartheta}(X_i) \right] = 0$

gelten und andererseits nehmen wir

$\mathrm{E}_{\vartheta} \left[ T(X) \frac{\partial}{\partial\vartheta} \log f_{\vartheta}(X_i) \right] = \frac{\partial}{\partial\vartheta} \mathrm{E}_{\vartheta} \left[ T(X) \right]$

an. Direktes Einsetzen in die Cauchy-Schwarz-Ungleichung liefert dann die Behauptung.

Mehrdimensionale Formulierung

Unter ähnlichen Regularitätsbedingungen ist die Cramér-Rao-Ungleichung auch im Falle mehrdimensionaler Parameter formulierbar. Die Aussage überträgt sich dann auf die Betrachtung der Kovarianzmatrix des mehrdimensionalen Schätzers und liefert eine $\leq$-Relation im Sinne der Löwner-Ordnung für Matrizen.