Resilient Propagation

Resilient Propagation

Resilient Propagation (Rprop) ist ein iteratives Verfahren zur Bestimmung des Minimums der Fehlerfunktion in einem neuronalen Netz. Der Algorithmus wird manchmal der Gruppe Lernverfahren zweiter Ordnung zugerechnet, da in die Bestimmung der aktuellen Gewichtsänderung die letzte Gewichtsänderung mit einbezogen wird. Das Gewicht wird hierbei nur nach dem Vorzeichen des Gradienten geändert. Mit einem gewichtsindividuellen Parameter γ wird die Schrittweite bestimmt. Die Gewichtsänderung wird in zwei Schritten durchgeführt. Erster Schritt: Für jedes Gewicht wird der Änderungsparameter γ für die k-te Iteration wie folgt bestimmt:

 \gamma_{ij}^{(k+1)}=\begin{cases} \min \left( \gamma_{ij}^{(k)}\,\cdot \eta^{+} ,\gamma_{max} \right) &\mbox{falls} \ \nabla_{ij} \, E^{(k)} \,\cdot\, \nabla_{ij} \, E^{(k-1)} > 0 \\ \max \left( \gamma_{ij}^{(k)}\,\cdot \eta^{-} ,\gamma_{min} \right) &\mbox{falls} \ \nabla_{ij} \, E^{(k)} \,\cdot\, \nabla_{ij} \, E^{(k-1)} < 0 \\ \gamma_{ij}^{(k)} &\mbox{sonst} \end{cases}

mit 0 < η < 1 < η +

Schrittweite und maximale Schrittweite für einen Vorwärtsschritt bzw. einen Rückwärtsschritt werden mit den Parametern η + , η , γmin, γmax festgelegt. Gute Werte für die Parameter sind:  \eta^{+}=1{,}2 \ , \ \eta^{-}=0{,}5 \ , \ \gamma_{max}=50 \ , \ \gamma_{min}=10^{-6}

Im zweiten Schritt wird die Änderung der Gewichte der k-ten Iteration bestimmt:

 w_{ij}^{(k+1)} = w_{ij}^{(k)} + \Delta \, w_{ij}^{(k)}

mit

 \Delta \, w_{ij}^{(k)} = - \gamma_{ij}^{(k)} sgn \left( \nabla_{ij} \, E^{(k)} \right)

Dabei ist wij das Gewicht des Neurons j für den Eingang i und E die Summe der Fehler.

Der Rprop-Algorithmus konvergiert im allgemeinen schneller als Backpropagation, jedoch kann es aufgrund der Unstetigkeitsstelle am Minimum der lokalen Approximation zum Überspringen des Extremums kommen.

Der Rprop-Algorithmus wurde erstmals 1992 von Martin Riedmiller und Heinrich Braun in ihrer Arbeit "Rprop - A Fast Adaptive Learning Algorithm" vorgestellt.

Christian Igel und Michael Hüsken (2003) haben eine leichte Modifikation des Algorithmus vorgeschlagen, die seine Stabilität und Geschwindigkeit erhöht. Durch die von Aristoklis D. Anastasiadis et al. (2005) beschriebenen Veränderungen kann globale Konvergenz des Verfahrens bewiesen werden.

Literatur

  • M. Riedmiller und Heinrich Braun: Rprop - A Fast Adaptive Learning Algorithm. Proceedings of the International Symposium on Computer and Information Science VII, 1992
  • M. Riedmiller und Heinrich Braun: A direct adaptive method for faster backpropagation learning: The Rprop algorithm. Proceedings of the IEEE International Conference on Neural Networks, 586-591, IEEE Press, 1993
  • M. Riedmiller: Advanced supervised learning in multi-layer perceptrons - From backpropagation to adaptive learning algorithms. Computer Standards and Interfaces 16(5), 265-278, 1994
  • C. Igel und M. Hüsken: Empirical Evaluation of the Improved Rprop Learning. Neurocomputing 50, 105-123, 2003
  • A. D. Anastasiadis, G. D. Magoulas und M. N. Vrahatis: New globally convergent training scheme based on the resilient propagation algorithm. Neurocomputing 64, 253-270, 2005

Wikimedia Foundation.

Игры ⚽ Поможем решить контрольную работу

Schlagen Sie auch in anderen Wörterbüchern nach:

  • Rprop — Resilient Propagation (Rprop) ist ein iteratives Verfahren zur Bestimmung des Minimums der Fehlerfunktion. Der Algorithmus wird manchmal der Gruppe Lernverfahren zweiter Ordnung zugerechnet, da in die Bestimmung der aktuellen Gewichtsänderung die …   Deutsch Wikipedia

  • Künstliche neuronale Netze — (kurz: KNN, engl. artificial neural network – ANN) sind Netze aus künstlichen Neuronen. Sie sind ein Zweig der künstlichen Intelligenz und prinzipieller Forschungsgegenstand der Neuroinformatik. Der Ursprung der künstlichen neuronalen Netze liegt …   Deutsch Wikipedia

  • Künstliche neuronale Netzwerke — Künstliche neuronale Netze (kurz: KNN, engl. artificial neural network – ANN) sind Netze aus künstlichen Neuronen. Sie sind ein Zweig der künstlichen Intelligenz und prinzipieller Forschungsgegenstand der Neuroinformatik. Der Ursprung der… …   Deutsch Wikipedia

  • Künstliches neuronales Netz — Künstliche neuronale Netze (selten auch künstliche neuronale Netzwerke, kurz: KNN, engl. artificial neural network – ANN) sind Netze aus künstlichen Neuronen. Sie sind ein Zweig der künstlichen Intelligenz und prinzipieller Forschungsgegenstand… …   Deutsch Wikipedia

  • Advanced Audio Coding — AAC redirects here. For other uses, see AAC (disambiguation). Advanced Audio Codings iTunes standard AAC file icon Filename extension .m4a, .m4b, .m4p, .m4v, .m4r, .3gp, .mp4, .aac Internet media type audio/aac, audio/aacp, au …   Wikipedia

  • Computer network — Computer networks redirects here. For the periodical, see Computer Networks (journal). Datacom redirects here. For other uses, see Datacom (disambiguation). Internet map. The Internet is a global system of interconnected computer networks that… …   Wikipedia

  • climate — /kluy mit/, n. 1. the composite or generally prevailing weather conditions of a region, as temperature, air pressure, humidity, precipitation, sunshine, cloudiness, and winds, throughout the year, averaged over a series of years. 2. a region or… …   Universalium

  • Earth Sciences — ▪ 2009 Introduction Geology and Geochemistry       The theme of the 33rd International Geological Congress, which was held in Norway in August 2008, was “Earth System Science: Foundation for Sustainable Development.” It was attended by nearly… …   Universalium

  • Mangrove — World mangrove distribution …   Wikipedia

  • Nacre — Mother of pearl redirects here. For other uses, see Mother of pearl (disambiguation). Part of a series on Seashells …   Wikipedia

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”