Gauß-Seidel-Verfahren

In der numerischen Mathematik ist das Gauß-Seidel-Verfahren oder Einzelschrittverfahren, (nach Carl Friedrich Gauß und Ludwig Seidel) ein Algorithmus zur näherungsweisen Lösung von linearen Gleichungssystemen. Es ist, wie das Jacobi-Verfahren und das SOR-Verfahren, ein spezielles Splitting-Verfahren. Das Verfahren wurde zuerst von Gauß entwickelt, aber nicht veröffentlicht. Später wurde es, bevor seine Anwendung durch Gauß bekannt war, von Seidel veröffentlicht.

Entwickelt wurde das Verfahren, da das Gaußsche Eliminationsverfahren, ein exakter Löser, für Rundungsfehler sehr anfällig ist. Eine iterative Vorgehensweise hat diesen Nachteil nicht.

Beschreibung des Verfahrens

Gegeben ist ein lineares Gleichungssystem in n Variablen mit den n Gleichungen

$\begin{matrix} a_{11}\cdot x_1+\dots+a_{1n}\cdot x_n&=&b_1\\ a_{21}\cdot x_1+\dots+a_{2n}\cdot x_n&=&b_2\\ &\vdots&\\ a_{n1}\cdot x_1+\dots+a_{nn}\cdot x_n&=&b_n\\ \end{matrix}.$

Um dieses zu lösen, wird ein Iterationsverfahren durchgeführt. Gegeben sei ein Näherungsvektor x^(m) an die exakte Lösung. Nun wird die k-te Gleichung nach der k-ten Variablen x_k aufgelöst, wobei die vorher berechneten Werte des aktuellen Iterationsschritts mit verwendet werden, im Gegensatz zum Jacobi-Verfahren, bei dem nur die Werte des letzten Iterationsschrittes verwendet werden. Das heißt für den (m + 1)-ten Iterationsschritt:

$x^{(m+1)}_k:=\frac1{a_{kk}}\left(b_k-\sum_{i=1}^{k-1} a_{ki}\cdot x^{(m+1)}_i -\sum_{i=k+1}^n a_{ki}\cdot x^{(m)}_i\right),\, k=1,...,n$

Das Ergebnis der Rechnung ist ein neuer Näherungsvektor x^{(m + 1)} für den gesuchten Lösungsvektor x. Wiederholt man diesen Vorgang, gewinnt man eine Folge von Werten, die sich dem Lösungsvektor im Falle der Konvergenz immer mehr annähern:

$x^{(0)}, x^{(1)}, x^{(2)}, \ldots \rightarrow x.$

Das Gauß-Seidel-Verfahren ist inhärent sequentiell, das heißt bevor eine Gleichung aufgelöst werden kann, müssen die Ergebnisse der vorherigen Gleichungen vorliegen. Es ist damit nicht zur Nutzung auf Parallelrechnern geeignet.

Als Algorithmusskizze mit Abbruchbedingung ergibt sich:

wiederhole

fehler: = 0

für k = 1 bis n

$x^{(m+1)}_k:=\frac1{a_{kk}}\left(b_k-\sum_{i=1}^{k-1} a_{ki}\cdot x^{(m+1)}_i -\sum_{i=k+1}^n a_{ki}\cdot x^{(m)}_i\right)$

$\text{fehler}:=\max(\text{fehler}, |x^{(m+1)}_k-x^{(m)}_k|)$

nächstes k

m: = m + 1

bis fehler < fehlerschranke

Dabei wurde die Erstbelegung des Variablenvektors, die willkürlich gewählt werden kann, und eine Fehlerschranke als Eingangsgrößen des Algorithmus angenommen, die Näherungslösung ist die vektorielle Rückgabegröße. Die Fehlerschranke misst hier, welche Größe die letzte Änderung des Variablenvektors hatte. Als Bedingung für die Durchführbarkeit des Algorithmus lässt sich festhalten, dass die Diagonalelemente a_kk von Null verschieden sein müssen.

Bei dünnbesetzten Matrizen reduziert sich der Aufwand des Verfahrens pro Iteration deutlich.

Beschreibung des Verfahrens in Matrixschreibweise

Die Matrix $A \in \mathbb{R}^{n\times n}$ des linearen Gleichungssystems $A \cdot x = b$ wird hierzu in eine Diagonalmatrix D, eine strikte obere Dreiecksmatrix U und eine strikte untere Dreiecksmatrix L zerlegt, so dass gilt:

A = L + D + U.

In jedem Iterationsschritt gilt dann Dx^(neu) = b − Lx^(neu) − Ux^(alt). Nach Umstellen ergibt sich formal

(D + L)x^(neu) = b − Ux^(alt) und daraus x^(neu) = (D + L) ^{− 1}(b − Ux^(alt)).

Man legt dann einen Startvektor x⁽⁰⁾ fest und setzt ihn in die Iterationsvorschrift ein:

x^{(k + 1)} = − (D + L) ^{− 1}Ux^(k) + (D + L) ^{− 1}b.

Da es der erste Iterationsschritt ist, hat dabei k den Wert Null.

Diagonaldominanz und Konvergenz

Das Verfahren konvergiert linear, wenn der Spektralradius der Iterationsmatrix T = − (D + L) ^{− 1}U kleiner 1 ist. In diesem Falle ist der Fixpunktsatz von Banach bzw. der Konvergenzsatz der Neumann-Reihe (auf eine hinreichend große Potenz von T) anwendbar und das Verfahren konvergiert. Im gegenteiligen Fall divergiert das Verfahren, wenn die rechte Seite des Gleichungssystems einen Anteil eines Eigenvektor zu einem Eigenwert mit Betrag größer als 1 beinhaltet. Je geringer der Spektralradius, desto schneller konvergiert das Verfahren.

Die Bestimmung des Spektralradius ist für den praktischen Einsatz meist ungeeignet, weswegen über die hinreichende Bedingung, dass eine Matrixnorm der Verfahrensmatrix T kleiner als 1 sein muss, bequemere Kriterien gefunden werden können. Diese Matrixnorm ist gleichzeitig die Kontraktionskonstante im Sinne des banachschen Fixpunktsatzes.

Im Falle, dass sowohl D ^{− 1}U als auch D ^{− 1}L "kleine" Matrizen bzgl. der gewählten Matrixnorm sind, gibt es die folgende Abschätzung der Matrixnorm für $T=(I+D^{-1}L)^{-1}\cdot D^{-1}U$ (siehe Neumann-Reihe für den ersten Faktor):

$\begin{align} \|T\| &\le \|(I+D^{-1}L)^{-1}\|\cdot\|D^{-1}U\| \le \frac{\|D^{-1}U\|}{1-\|D^{-1}L\|}\\ &\le 1-\frac{1-\left(\|D^{-1}L\|+\|D^{-1}U\|\right)}{1-\|D^{-1}L\|} \end{align}$

Der letzte Ausdruck ist für $\|D^{-1}L\|+\|D^{-1}U\|<1$ ebenfalls kleiner als 1. Obwohl die Konvergenzbedingung diejenige des Jacobi-Verfahrens ist, ist die so erhaltene Abschätzung der Kontraktionskonstante $\|T\|$ des Gauß-Seidel-Verfahrens immer kleinergleich der entsprechenden Abschätzung der Kontraktionskonstante des Jabobi-Verfahrens.

Das einfachste und gebräuchlichste hinreichende Konvergenzkriterium der Diagonaldominanz ergibt sich für die Supremumsnorm $\|x\|:=\max_k|x_k|$ der Vektoren und deren induzierter Matrixnorm $\|A\|:=\max_k\sum_i|a_{ki}|$. Es verlangt die Erfüllung des Zeilensummenkriteriums, also der Ungleichung

$\sum_{i=1 \atop i\ne k}^n|a_{ki}|<|a_{kk}|$ für $k=1,\ldots,n$.

Je größer die kleinste Differenz zwischen rechten und linken Seiten der Ungleichung ist, desto schneller konvergiert das Verfahren. Man kann versuchen, diese Differenz mittels Zeilen- und Spaltenvertauschungen zu vergrößern, d. h. durch Umnummerieren der Zeilen und Spalten. Dabei kann man beispielsweise anstreben, die betragsgrößten Elemente der Matrix auf die Diagonale zu bringen. Die Zeilenvertauschungen müssen natürlich auch auf der rechten Seite des Gleichungssystems vollzogen werden.

Anwendungen

Für moderne Anwendungen wie die Lösung großer dünnbesetzter Gleichungssysteme, die aus der Diskretisierung partieller Differentialgleichungen stammen, ist das Verfahren ungeeignet. Es wird jedoch mit Erfolg als Vorkonditionierer in Krylow-Unterraum-Verfahren oder als Glätter in Mehrgitterverfahren eingesetzt.

Erweiterung auf nichtlineare Gleichungssysteme

Die Idee des Gauß-Seidel-Verfahrens lässt sich auf nichtlineare Gleichungssysteme f(x) = g mit einer mehrdimensionalen nichtlinearen Funktion f erweitern. Wie im linearen Fall wird im i-ten Schritt die i-te Gleichung bezüglich der i-ten Variablen gelöst, wobei für die weiteren Variablen der bisherige Näherungswert und für die vorherigen Variablen der vorher berechnete neue Wert genommen wird:

Für k=1,... bis zur Konvergenz

Für i=1,...,n:

Löse $f_i(x_1^{k+1},\ldots, x^{k+1}_{i-1},x_i^{k+1},x_{i+1}^k,...,x_n^k)$ nach $x_i^{k+1}$.

Hierbei ist das Lösen in der Regel als die Anwendung eines weiteren iterativen Verfahrens zur Lösung nichtlinearer Gleichungen zu verstehen. Um dieses Verfahren vom Gauß-Seidel-Verfahren für lineare Gleichungssysteme zu unterscheiden, wird häufig vom Gauß-Seidel-Prozess gesprochen. Die Konvergenz des Prozesses folgt aus dem Banachschen Fixpunktsatz wieder als linear.

Literatur

• A. Meister: Numerik linearer Gleichungssysteme, 2. Auflage, Vieweg 2005, ISBN 3528131357
• R. Barrett et al.: Templates for the Solution of Linear Systems: Building Blocks for Iterative Methods, 2nd Edition, SIAM Philadelphia, 1994
• W. C. Rheinboldt: Methods for Solving Systems of Nonlinear Equations, 2. Auflage, SIAM, 1998, ISBN 089871415X

Weblinks

• Eric W. Weisstein et al. "Gauss-Seidel Method." MathWorld
• C code beispiel