QR-Algorithmus

Der QR-Algorithmus ist ein numerisches Verfahren zur Berechnung aller Eigenwerte und eventuell der Eigenvektoren einer quadratischen Matrix. Das auch QR-Verfahren oder QR-Iteration genannte Verfahren basiert auf der QR-Zerlegung und wurde im Jahre 1961–1962 unabhängig voneinander von John G. F. Francis und Wera Nikolajewna Kublanowskaja eingeführt. Oft konvergieren die Iterierten aus diesem Algorithmus gegen die Schur-Form der Matrix. Das originale Verfahren ist recht aufwändig und damit – selbst auf heutigen Rechnern – für Matrizen mit hunderttausenden Zeilen und Spalten nicht praktikabel.

Abgeleitete Varianten wie das Multishift-Verfahren von Bai und Demmel 1989 und die numerisch stabilere Variante von Braman, Byers und Mathias 2002 haben praktische Laufzeiten, die kubisch in der Größe der Matrix sind. Letzteres Verfahren ist in der numerischen Softwarebibliothek LAPACK implementiert, die wiederum in vielen Computeralgebrasystemen (CAS) für die numerischen Matrixalgorithmen verwendet wird.

Beschreibung des QR-Algorithmus

Ziel des Rechenverfahrens

Ausgehend von einer reellen oder komplexen Matrix $A\in\R^{n\times n}$ bzw. $A\in\mathbb{C}^{n\times n}$ wird eine Folge orthogonaler oder unitärer Matrizen $Q_1,Q_2,\dots,$ bestimmt, so dass die rekursive Matrixfolge $A_1=A,\,A_2=Q_1^{-1}A_1Q_1,\dots,A_{k+1}=Q_k^{-1}A_kQ_k,\dots$ weitestgehend gegen eine obere Dreiecksmatrix konvergiert. Da alle Umformungen in der Rekursion Ähnlichkeitstransformationen sind, haben alle Matrizen der Matrixfolge $A_1,A_2,\dots,$ dieselben Eigenwerte mit denselben Vielfachheiten.

Wird im Grenzwert eine obere Dreiecksmatrix erreicht, eine Schurform von A, so lassen sich die Eigenwerte aus den Diagonalelementen ablesen. Im Falle einer reellen Matrix mit orthogonalen Umformungen kann es jedoch auch komplexe Eigenwerte geben. Dann ist das Ergebnis des Verfahrens eine obere Blockdreiecksmatrix, deren Diagonalblöcke die Größe 1 für die reellen Eigenwerte oder die Größe 2 für komplexe Eigenwerte haben. Einem Eigenwert λ = a + ib und seinem konjugiert komplexen Eigenwert entspricht dabei der Diagonalblock der entsprechenden Drehstreckung $\left(\begin{smallmatrix}a&-b\\b&a\end{smallmatrix}\right)$.

Allgemeines Schema des Verfahrens

Ausgehend von einer Matrix $A_1=A\in\R^{n\times n}$ (bzw. $A\in\mathbb{C}^{n\times n}$) wird eine Folge von Matrizen A_i nach folgender Vorschrift bestimmt:

1. for $i\in\mathbb{N}$ do
2. Bestimme ein Polynom p_i und werte es in der Matrix A_i aus.
3. Berechne die QR-Zerlegung von p_i(A_i) = Q_iR_i.
4. Berechne die neue Iterierte: $A_{i+1}=Q_i^{-1}A_iQ_i$.
5. end for

In dieser allgemeinen Form können auch die Varianten mit (impliziten) Shifts (engl. für Verschiebung) und Mehrfach-Shifts dargestellt und analysiert werden.

Die Matrixfunktion p_i ist oft ein Polynom (hier also eine Linearkombination von Matrixpotenzen) mit reellen (bzw. komplexen) Koeffizienten. Im einfachsten Fall wird ein lineares Polynom gewählt, das dann die Gestalt p_i(A_i) = A_i − κ_iI hat. Der Algorithmus vereinfacht sich in diesem Fall auf die klassische Version (mit Einfach-Shift):

1. for $i\in\mathbb{N}$ do
2. Bestimme eine geeignete Zahl κ_i
3. Berechne die QR-Zerlegung von A_i − κ_iI = Q_iR_i
4. Berechne die neue Iterierte: $A_{i+1}=Q_i^{-1}A_iQ_i=Q_i^{-1}(Q_iR_i+\kappa_iI)Q_i=R_iQ_i+\kappa_iI$
5. end for

Wird in jedem Iterationsschritt κ_i = 0 gesetzt, so stimmt das Verfahren mit der auf Unterräume (hier den vollen Vektorraum) erweiterten Potenzmethode überein.

Das die QR-Zerlegung steuernde Polynom kann von Anfang an fixiert sein oder dynamisch in jedem Iterationsschritt der aktuellen Matrix A_i angepasst werden. Es gibt auch Versuche, für p_i rationale Matrixfunktionen zu verwenden, d.h. Funktionen der Form p(A) = h(A) ^{− 1}g(A) mit Polynomen g und h.

Deflation

Ergibt es sich in einem Iterationsschritt, dass ein linksunterer Block aus den Spalten $1,\dots,i$ und deren Zeilen $i+1,\dots,n$ in den Beträgen aller seiner Komponententen eine vorher bestimmte Schwelle unterschreitet, so wird das Verfahren auf den zwei diagonalen quadratischen Teilblöcken der Zeilen/Spalten $1,\dots,i$ sowie $i+1,\dots,n$ separat fortgesetzt. Sind die durch Teilung entstandenen Matrizen klein genug, so kann die Bestimmung der Eigenwerte z.B. mittels Berechnung des charakteristischen Polynoms und dessen Nullstellen beendet werden.

Transformation auf Hessenberg-Form

Das Ziel des QR-Algorithmus ist es, eine obere Dreiecksform, oder eine Block-Dreiecksform herzustellen, in der Blöcke der Größe 2 komplexen Eigenwerten entsprechen. Das kann nahezu auf einfache Weise durch eine Ähnlichkeitstransformation auf Hessenberg-Form, d. h. auf eine Matrix mit nur einer (nicht identisch verschwindenden) unteren Nebendiagonalen, erreicht werden.

• Setze $\tilde A=A$
• für k=1 bis n-1 führe aus

1. Bilde das Spaltensegment $u=\tilde A_{k+1:n,\,k}$
2. Bestimme die Householder-Spiegelung $\tilde P_k=I-2vv^H$, die u auf den ersten kanonischen Basisvektor abbildet,
3. Führe mit der Blockmatrix $P_k=\left(\begin{smallmatrix}I_k&0\\0& \tilde P_k\end{smallmatrix}\right)$ die Ersetzung von $\tilde A$ durch die ähnliche Matrix $P_k\tilde AP_k$ durch.

• Vermerke die Gesamttransformationsmatrix $Q_0=P_1P_2\cdots P_{n-1}$.
• $A_1=\tilde A=Q_0^{-1}AQ_0$ befindet sich nun in Hessenberg-Form.

Durch die Hessenberg-Form wird die Bestimmung der charakteristischen Polynome von Teilmatrizen erleichtert. Die Hessenberg-Form einer symmetrischen Matrix ist eine Tridiagonalform, was weitere Rechnungen wesentlich beschleunigt.

Weiterhin wird in jedem Schritt des QR-Algorithmus die Hessenberg-Form erhalten. Grundlage hierfür ist die Arithmetik verallgemeinerter Dreiecksmatrizen, bei denen alle Einträge unterhalb einer unteren Nebendiagonalen verschwinden. Eine Hessenberg-Matrix ist demnach eine verallgemeinerte Dreiecksmatrix mit einer Nebendiagonalen. Unter Multiplikation addieren sich die Anzahlen nichtverschwindender Nebendiagonalen, bei Addition bleibt meist die größere Anzahl erhalten.

Daher haben p_i(A_i) wie auch die orthogonale Matrix $Q_i=p_i(A_i)R_i^{-1}$ die Anzahl von m = deg p_i unteren Nebendiagonalen. Nun gilt, wegen $A_{i+1}=Q_i^{-1}A_iQ_i$, auch

$p_i(A_{i+1})=Q_i^{-1}p_i(A_i)Q_i=R_iQ_i$,

und letzteres Produkt hat ebenfalls m Nebendiagonalen. Das ist im allgemeinen nur möglich, wenn A_{i + 1} genau eine Nebendiagonale aufweist, also wieder in Hessenbergform ist. Aus der Zerlegung von P − i(x) in Linearfaktoren folgt (s. unten), dass dies immer der Fall ist.

Man kann darauf aufbauend zeigen (Francis 1962 nach Bai/Demmel), dass schon die erste Spalte x von p_i(A_i), die auch proportional zur ersten Spalte von Q_i ist, die nachfolgende Matrix $A_{i+1}=Q_i^{-1}A_iQ_i$ vollständig bestimmt. Genauer, ist U eine orthogonale Matrix, deren erste Spalte proportional zu x ist, so entsteht A_{i + 1}, indem die transformierte Matrix U ^{− 1}A_iU wieder in Hessenbergform gebracht wird. Da in x nur die Komponenten der Zeilen 1,...,m+1 von Null verschieden sind, kann U als eine Modifikation der Einheitsmatrix im linksoberen $s\times s$-Block sein, mit einem s>m.

Varianten des QR-Algorithmus

Einfache QR-Iteration

Es wird p_i(A) = A gewählt. Das Verfahren kann dann kurz als QR-Zerlegung A_i = Q_iR_i gefolgt vom Zusammenmultiplizieren A_{i + 1} = R_iQ_i in umgekehrter Reihenfolge angegeben werden. Dieses Verfahren ist die direkte Verallgemeinerung der simultanen Potenzmethode zur Bestimmung der ersten k Eigenwerte einer Matrix. Indirekt wird auch eine simultane inverse Potenzmethode ausgeführt.

QR-Algorithmus mit einfachen Shifts

Es wird p_i(A) = A − κ_iI gesetzt. Damit kann das Verfahren alternativ auch als QR-Zerlegung A_i − κ_iI = Q_iR_i gefolgt vom um den Shift korrigierten Zusammenmultiplizieren A_{i + 1} = R_iQ_i + κ_iI dargestellt werden. Üblicherweise wird versucht, mit dem Shift κ_i den betragskleinsten Eigenwert zu approximieren. Dazu kann das letzte Diagonalelement κ_i = (A_i)_n,n gewählt werden. Die einfache QR-Iteration ergibt sich, indem alle Shifts zu Null gesetzt werden.

Besitzt A_i Hessenberg-Form, so muss $Q_i=(A_i-\kappa_iI)R_i^{-1}$ als Produkt einer Matrix mit einer und einer Matrix ohne Nebendiagonalen ebenfalls Hessenberg-Form besitzen. Desgleichen gilt daher auch für A_{i + 1} = R_iQ_i + κ_iI. Wird also in Vorbereitung des QR-Algorithmus in $A_1=Q_0^{-1}AQ_0$ auf Hessenberg-Form gebracht, so bleibt dies während des gesamten Algorithmus erhalten.

Einfache Shifts für symmetrische Matrizen

Eine symmetrische reelle Matrix A₁ = A hat ausschließlich reelle Eigenwerte. Die Symmetrie bleibt während des QR-Algorithmus in allen A_i erhalten. Für symmetrische Matrizen schlug Wilkinson (1965) vor, denjenigen Eigenwert der rechtsuntersten $2\times2$-Teilmatrix

$\begin{pmatrix} a_{n-1,n-1}&a_{n-1,n}\\a_{n,n-1}&a_{n,n} \end{pmatrix}$

als Shift zu wählen, der näher an a_n,n liegt. Wilkinson zeigte, dass die so bestimmte Matrixfolge $(A_i)_{i\in\N}$ gegen eine Diagonalmatrix konvergiert, deren Diagonalelemente die Eigenwerte von A = A₁ sind. Die Konvergenzgeschwindigkeit ist dabei quadratisch.

QR-Algorithmus mit doppelten Shifts

Es kann ein Paar von einfachen Shifts in einem Iterationsschritt zusammengefasst werden. In der Konsequenz bedeutet dies, dass für reelle Matrizen auf komplexe Shifts verzichtet werden kann. In der oben angegebenen Notation ist

(A₁ − κ₂I)(A₁ − κ₁I) = (A₁ − κ₂I)Q₁R₁ = Q₁(A₂ − κ₂I)R₁ = Q₁Q₂R₂R₁

eine QR-Zerlegung für das quadratische Polynom p₁(x) = x² − (κ₁ + κ₂)x + κ₁κ₂, ausgewertet in A₁. Die Koeffizienten dieses Polynoms sind auch für ein konjugiertes Paar komplexer Shifts reell. Somit können auch komplexe Eigenwerte reeller Matrizen approximiert werden, ohne dass in der Rechnung komplexe Zahlen auftauchen.

Eine übliche Wahl für diesen Doppelshift besteht aus den Eigenwerten der rechtsuntersten $2\times2$-Teilmatrix, d.h. das quadratische Polynom ist das charakterische dieses Blocks,

p_i(x) = x² − (a_{n − 1,n − 1} + a_n,n)x + a_{n − 1,n − 1}a_n,n − a_{n − 1,n}a_{n,n − 1}.

QR-Algorithmus mit multiplen Shifts

Es wird eine Zahl m größer 2, aber wesentlich kleiner als die Größe n der Matrix A festgelegt. Das Polynom p_i(x) kann als das charakteristische Polynom der rechtsuntersten quadratischen $m\times m$-Teilmatrix der aktuellen Matrix A_i gewählt werden. Eine andere Strategie besteht darin, die s>m Eigenwerte der rechtsuntersten $s\times s$-Teilmatrix zu bestimmen und die m betragskleinsten Eigenwerte $s_1,\dots,s_m$ darunter auszuwählen. Mit diesen wird dann eine QR-Zerlegung von

$p_i(A_i)=(A_i-s_1I)(A-s_2I)\cdots(A-s_mI)=Q_iR_i$ und $A_{i+1}=Q_i^{-1}A_iQ_i$

bestimmt.

Mit einem Multishift-Verfahren wird oft erreicht, dass die Komponenten des linksunteren $(n-m+1,\dots,n)\times(1,\dots,n-m)$-Blocks in der Folge der iterierten Matrizen besonders schnell klein werden und somit eine Aufspaltung des Eigenwertproblems erreicht wird.

Implizite Multishift-Iteration

Das Zusammenfassen mehrfacher Shifts in der allgemeinen Form ist sehr aufwendig. Wie oben angesprochen, kann der Aufwand dadurch verringert werden, dass in einem vorbereitenden Schritt in $A_1=Q_0^{-1}AQ_0$ die Hessenberg-Form hergestellt wird. Da jeder Multishift-Schritt aus einzelnen (auch komplexen) Shifts zusammengesetzt werden kann, bleibt die Hessenberg-Form während des gesamten Algorithmus erhalten.

Dadurch kann der QR-Algorithmus in einen „Bulge-chasing“-Algorithmus umgewandelt werden, der eine Delle in der Hessenbergform am oberen Diagonalenende erzeugt und diese dann die Diagonale herunter und am unteren Ende aus der Matrix "jagt".

1. for $j\in\mathbb{N}_0$ do
2. Berechne das Polynom p(x) nach einer der angegebenen Varianten,
3. Bestimme den Vektor x = p(A_j)e₁.
4. Bestimme eine Spiegelung von x auf den ersten Einheitsvektor. Da in x nur die ersten m+1 Komponenten nicht verschwinden, hat diese Spiegelung eine einfache Blockgestalt.
5. Bilde die Matrix $\tilde A=U^{-1}A_jU$ und transformiere sie so, dass A_{j + 1} = Q ^{− 1}U ^{− 1}A_jUQ wieder in Hessenberg-Form ist.
6. end for

Wird Q aus Householder-Spiegelungen zusammengesetzt, $Q=P_1P_2\cdots P_{n-1}$, so haben diese Blockdiagonalgestalt $P_k=\mathrm{diag}(I_k,\tilde P_k,I_{\max(0,n-k-m)})$.

Anmerkungen zur Funktionsweise

Ähnlichkeitstransformationen

Die im QR-Algorithmus berechneten Matrizen sind zueinander unitär ähnlich, da aufgrund von $A_i-\kappa_iI=Q_iR_i\quad\Leftrightarrow\quad R_i=Q_i^H(A_i-\kappa_iI)$

  $A_{i+1}=R_iQ_i+\kappa_iI =Q_i^H(A_i-\kappa_iI)Q_i+\kappa_iI =Q_i^HA_iQ_i-\kappa_iQ_i^HQ_i+\kappa_iI =Q_i^HA_iQ_i$

gilt. Damit haben alle Matrizen A_i dieselben Eigenwerte (mit der algebraischen und geometrischen Vielfachheit gezählt).

Wahl der Shifts, Konvergenz

Eine einfache aber nicht sehr effektive Wahl ist die Wahl von Shifts identisch Null. Die Iterierten A_i des resultierenden Algorithmus, des QR-Algorithmus in der Grundform, konvergieren im Wesentlichen, wenn alle Eigenwerte dem Betrage nach verschieden sind, gegen eine obere Dreiecksmatrix mit den Eigenwerten auf der Diagonalen. Konvergenz im Wesentlichen bedeutet, daß die Elemente des unteren Dreiecks von A_i gegen Null gehen und die Diagonalelemente gegen die Eigenwerte. Über die Elemente im oberen Dreieck wird also nichts ausgesagt.

Werden die Shifts als das Matrixelement unten rechts der aktuellen Iterierten gewählt, also $\kappa_i=a_{nn}^{(i)}$, so konvergiert der Algorithmus unter geeigneten Umständen quadratisch oder sogar kubisch. Dieser Shift ist als Rayleigh-Quotienten-Shift bekannt, da er über die Inverse Iteration mit einem Rayleigh-Quotienten im Zusammenhang steht.

Bei der Rechnung im Reellen ($A\in\mathbb{R}^{n\times n}$) möchte man die reelle Schur-Form berechnen und trotzdem mit konjugiert komplexen Eigenwerten arbeiten können. Dazu gibt es verschiedene Shift-Strategien.

Eine Erweiterung von einfachen Shifts ist der nach James Hardy Wilkinson benannte Wilkinson-Shift. Für den Wilkinson-Shift wird der näher am letzten Matrixelement liegende Eigenwert der letzten $2\times 2$ Hauptunterabschnittsmatrix

  $\begin{pmatrix} a_{n-1,n-1}^{(i)} & a_{n-1,n}^{(i)} \\ a_{n,n-1}^{(i)} & a_{n,n}^{(i)} \end{pmatrix}$

verwendet.

Der QR-Algorithmus als Erweiterung der Potenzmethode

Zur Analyse des Algorithmus werden die zusätzlichen Matrixfolgen der kumulierten Produkte $\tilde Q_k=Q_1Q_2\cdots Q_k$ und $\tilde R_k=R_kR_{k-1}\cdots R_2R_1$, $k\in\N$ definiert. Dabei sind die Produkte $\tilde Q_k$ von orthogonalen bzw. unitären Matrizen wieder orthogonale bzw. unitäre Matrizen, genauso sind die Produkte $\tilde R_k$ von rechtsoberen Dreiecksmatrizen wieder rechtsobere Dreiecksmatrizen. Die Matrizen der QR-Iteration ergeben sich durch Ähnlichkeitstransformationen aus A, denn

$A_1=A,\; A_2=R_1Q_1=Q_1^{-1}A_1Q_1,\; A_3=Q_2^{-1}A_2Q_2=\tilde Q_2^{-1}A\tilde Q_2, \dots,\; A_k=\tilde Q_k^{-1}A\tilde Q_k, \dots$.

Daraus folgert man auf QR-Zerlegungen der Potenzen von A:

$\begin{align} A=&&&Q_1R_1&=&\tilde Q_1\tilde R_1\\ A^2=&AQ_1R_1=Q_1A_2R_1&=&Q_1Q_2R_2R_1&=&\tilde Q_2\tilde R_2\\ \vdots&\\ A^k=&A\tilde Q_{k-1}\tilde R_{k-1} =\tilde Q_{k-1}A_{k}\tilde R_{k-1}&=&\tilde Q_{k-1}Q_{k}R_k\tilde R_{k-1} &=&\tilde Q_k\tilde R_k \end{align}$

Es werden also im Verlaufe des Algorithmus implizit QR-Zerlegungen der Potenzen der Matrix A bestimmt. Aufgrund der Form dieser Zerlegungen gilt, dass für jedes j=1,2,...,n die ersten j Spalten der Matrix A^k denselben Unterraum aufspannen wie die ersten j Spalten der Matrix $\tilde Q_k$; zusätzlich sind die Spalten von $\tilde Q_k$ orthonormal zueinander. Dieses jedoch ist genau die Situation nach dem k-ten Schritt einer simultanen Potenziteration. Die Diagonalelemente von R_k sind wegen $A\tilde Q_{k-1}=\tilde Q_k R_k$ die Approximationen der Eigenwerte von A. Daher lassen sich die Konvergenzeigenschaften der Potenziteration übertragen:

Der einfache QR-Algorithmus konvergiert nur, wenn alle Eigenwerte in ihren Beträgen voneinander verschieden sind. Sind die Eigenwerte nach

$|\lambda_1|<|\lambda_2|<\dots<|\lambda_n|$

sortiert, so ist die Konvergenzgeschwindigkeit linear mit einem Kontraktionsfaktor, der dem Minimum der Quotienten $\tfrac{|\lambda_k|}{|\lambda_{k+1}|}$ entspricht.

Insbesondere für reelle Matrizen kann dieser Algorithmus nur konvergieren, wenn alle Eigenwerte reell sind (da sonst konjugiert komplexe Paare mit gleichem Betrag existieren würden). Diese Situation ist für alle symmetrischen Matrizen gegeben.

Der QR-Algorithmus als simultane inverse Potenziteration

Es gilt, falls A invertierbar ist, für die Transponierte (für komplexe Matrizen die hermitesch Adjungierte) der Inversen von A und alle ihre Potenzen

$(A^{-T})^k=(A^k)^{-T}=(\tilde R_k^{-1}\tilde Q_k^{-1})^T=\tilde Q_k\tilde R_k^{-T}$

Die Inverse einer rechtsoberen Dreiecksmatrix ist wieder eine rechtsobere Dreiecksmatrix, deren Transponierte eine linksuntere Dreiecksmatrix. Damit bestimmt der QR-Algorithmus auch eine QL-Zerlegung der Potenzen von A ^{− T}. Aus der Form dieser Zerlegung erhellt, dass für jedes j=1,2,...,n die letzten j Spalten von $\tilde Q_k$ denselben Unterraum aufspannen wie die letzten j Spalten von (A ^{− T})^k. In der letzten Spalte von $\tilde Q_k$ wird somit eine inverse Potenziteration für A^T durchgeführt, diese Spalte konvergiert also gegen den dualen Eigenvektor zum kleinsten Eigenwert von A. Im Produkt $\tilde Q_k^T A \tilde Q_k=A_k$ ist also die linke untere Komponente (A_k)_nn der sog. Rayleigh-Quotient der inversen Potenziteration. Die Konvergenzeigenschaften sind analog zum oben angegebenen.

Weblinks

• LP: QR-Verfahren für allgemeine EWP, Georg-August-Universität Göttingen

Literatur

• J. G. F. Francis (1961): The QR Transformation: A Unitary Analogue to the LR Transformation—Part 1. The Computer Journal Vol. 4(3), S. 265-271. doi:10.1093/comjnl/4.3.265
• J. G. F. Francis (1962): The QR Transformation—Part 2.The Computer Journal 1962 4(4):332-345; doi:10.1093/comjnl/4.4.332
• David S. Watkins (1982): Understanding the QR algorithm, SIAM Review, Vol. 24, S. 427-440 (JSTOR)
• Z. Bai; J. Demmel (1989): On a block implementation of Hessenberg multishift QR iteration, International Journal of High Speed Computing, Vol. 1(1), S. 97-112. (siehe LAPACK Working Notes)
• A. A. Dubrulle; G. H. Golub (1994): A multishift QR iteration without computation of the shifts. Numerical Algorithms, Vol 7, S. 173--181
• K. Braman; R. Byers; R. Mathias (2002): The Multishift QR Algorithm. Part I: Maintaining Well-Focused Shifts and Level 3 Performance. SIAM Journal on Matrix Analysis and Applications, Vol. 23, No. 4, S. 929-947
• K. Braman; R. Byers; R. Mathias (2002): The Multishift QR Algorithm. Part II: Aggressive Early Deflation. SIAM Journal on Matrix Analysis and Applications, Vol. 23, No. 4, S. 948-989
• David S. Watkins : The QR algorithm revisited , SIAM Review, Vol. 50, No. 1, S. 133-145