σ(x)=1/(1 e^(-x) )

Die Sättigungscharakteristik lässt den Gradienten verschwinden

tanh(x)=2σ(x)-1

Reale Werte werden in das offene Intervall (-1, 1) komprimiert

f(x)=max(0,x)

Wenn die Eingabe in einem Bereich kleiner als 0 liegt, ist der Funktionswert immer 0 und der Gradient ist 0

Der lineare Teil auf der rechten Seite ermöglicht es der ELU, das Verschwinden des Gradienten zu mildern, während der weiche Sättigungsteil auf der linken Seite dafür sorgt, dass die ELU robuster gegenüber Eingabeänderungen oder Rauschen ist.

Der Ausgabemittelwert von elu liegt nahe bei Null

Vorteile: Es gibt keine Lernrate

Nachteil: Berechnung der zweiten Ableitung

Verbesserter Algorithmus: LBFGS

Häufig wird die L2-Regularisierung verwendet

Sobel:[-1 -2 -1; 0 1 2 1] und seine Transposition

Prewitt:[-1 -1 -1; 0 0 0;

Laplace:[1 1 1 -8 1;