Komprimieren Sie Eingabemerkmalswerte in einem weiten Bereich auf Werte zwischen 0 und 1, sodass die Datenamplitude in tiefen Netzwerken ohne größere Änderungen beibehalten werden kann

Im physikalischen Sinne den biologischen Neuronen am nächsten

Abhängig von ihrem Ausgabebereich eignet sich diese Funktion für Modelle, die vorhergesagte Wahrscheinlichkeiten als Ausgabe haben

Wenn die Eingabe sehr groß oder sehr klein ist, ist die Ausgabe grundsätzlich konstant, dh die Änderung ist sehr gering, was dazu führt, dass der Gradient nahe bei 0 liegt.

Gradienten können vorzeitig verschwinden, was zu einer langsameren Konvergenz führt

Exponentielle Operationen sind relativ zeitaufwändig

Die Ausgabe ist nicht 0-Mittelwert, was dazu führt, dass die Neuronen in der nächsten Schicht das von der vorherigen Schicht ausgegebene Signal, das nicht 0-Mittelwert ist, als Eingabe erhalten. Mit der Vertiefung des Netzwerks ändert sich der Verteilungstrend der Originaldaten.

Lösen Sie das Problem, dass die Ausgabe der obigen Sigmoid-Funktion nicht den Mittelwert 0 hat

Die Ableitung der Tanh-Funktion reicht von 0 bis 1, was besser ist als die 0 bis 0,25 der Sigmoidfunktion, wodurch das Problem verschwindender Gradienten bis zu einem gewissen Grad gemildert wird.

Die Tanh-Funktion ähnelt der y=x-Funktion in der Nähe des Ursprungs. Wenn der Eingabeaktivierungswert niedrig ist, können Matrixoperationen direkt ausgeführt werden und das Training ist relativ einfach.

Ähnlich wie bei der Sigmoid-Funktion besteht weiterhin das Problem des verschwindenden Gradienten

Beobachten Sie die beiden Ausdrucksformen 2*sigmoid(2x)-1 und (exp(x)-exp(-x))/(exp(x) exp(-x)). Der Leistungsbetrieb ist weiterhin vorhanden

Im Vergleich zur Sigmoidfunktion und der Tanh-Funktion weist die Relu-Funktion bei positiver Eingabe kein Sättigungsproblem auf, wodurch das Problem des Verschwindens des Gradienten gelöst und das tiefe Netzwerk trainierbar wird.

Die Berechnungsgeschwindigkeit ist sehr hoch. Sie müssen lediglich feststellen, ob die Eingabe größer als der Wert 0 ist

Die Konvergenzgeschwindigkeit ist viel schneller als bei Sigmoid- und Tanh-Funktionen

Die Relu-Ausgabe führt dazu, dass einige Neuronen einen Wert von 0 haben, was nicht nur zu Netzwerksparsität führt, sondern auch die Korrelation zwischen Parametern verringert, was das Problem der Überanpassung bis zu einem gewissen Grad lindert.

Die Ausgabe der Relu-Funktion ist keine Funktion mit 0 als Mittelwert.

Es liegt ein Dead Relu-Problem vor, das heißt, einige Neuronen werden möglicherweise nie aktiviert, was dazu führt, dass die entsprechenden Parameter nie aktualisiert werden. Zu den Hauptgründen für dieses Problem gehören Probleme bei der Parameterinitialisierung und zu große Lernrateneinstellungen.

Wenn die Eingabe ein positiver Wert und die Ableitung 1 ist, verschwindet der Gradient in der „Kettenreaktion“ nicht, aber die Stärke des Gradientenabfalls hängt vollständig vom Produkt der Gewichte ab, was zum Problem der Gradientenexplosion führen kann

Als Reaktion auf das Dead-Relu-Problem, das in der Relu-Funktion existiert, verleiht die Leaky-Relu-Funktion dem Eingabewert eine sehr kleine Steigung, wenn die Eingabe ein negativer Wert ist. Auf der Grundlage der Lösung des 0-Gradientenproblems im Fall einer negativen Eingabe. Es wird auch das Dead Relu-Problem gut gelindert

Die Ausgabe dieser Funktion reicht von negativer Unendlichkeit bis positiver Unendlichkeit, das heißt, Leaky erweitert den Bereich der Relu-Funktion, wobei der Wert von α im Allgemeinen auf einen kleineren Wert eingestellt wird, beispielsweise 0,01

Theoretisch hat diese Funktion bessere Auswirkungen als die Relu-Funktion, aber eine große Menge an Praxis hat gezeigt, dass ihre Wirkung instabil ist, sodass es in der Praxis nicht viele Anwendungen dieser Funktion gibt.

Inkonsistente Ergebnisse aufgrund unterschiedlicher Funktionen, die in unterschiedlichen Intervallen angewendet werden, führen dazu, dass keine konsistenten Beziehungsvorhersagen für positive und negative Eingabewerte bereitgestellt werden können.

Der erste Schritt von Softmax besteht darin, die Vorhersageergebnisse des Modells in eine Exponentialfunktion umzuwandeln und so sicherzustellen, dass die Wahrscheinlichkeit nicht negativ ist.

Die Methode besteht darin, die konvertierten Ergebnisse durch die Summe aller konvertierten Ergebnisse zu dividieren, was als Prozentsatz der konvertierten Ergebnisse an der Gesamtsumme verstanden werden kann. Dies ergibt ungefähre Wahrscheinlichkeiten.

Kreuzentropie kann als Verlustfunktion in neuronalen Netzen verwendet werden (maschinelles Lernen). p stellt die Verteilung realer Etiketten dar, und q ist die vorhergesagte Etikettenverteilung des trainierten Modells. Die Kreuzentropieverlustfunktion kann die Ähnlichkeit zwischen p und q messen .

Ein weiterer Vorteil der Kreuzentropie als Verlustfunktion besteht darin, dass durch die Verwendung der Sigmoidfunktion während des Gradientenabstiegs das Problem einer verringerten Lernrate der mittleren quadratischen Fehlerverlustfunktion vermieden werden kann, da die Lernrate durch den Ausgabefehler gesteuert werden kann.

Betrachten Sie p(i) als die reale Wahrscheinlichkeitsverteilung und q(i) als die vorhergesagte Wahrscheinlichkeitsverteilung. Wenn wir die Kreuzentropie als Verlustfunktion verwenden, können wir q(i) schrittweise an p(i) heranführen. Der Zweck der Anpassung wird erreicht.

Nehmen Sie bestimmte vorhergesagte Werte einzeln heraus oder weisen Sie Parameter unterschiedlicher Größe zu

Trainingsaufgaben mit mehreren Zielen, Festlegung angemessener Verlustkombinationsmethoden (verschiedene Operationen)

Verschiedene Verluste neuronaler Netzwerke werden kombiniert und der gemeinsame Verlust wird zum Trainieren und Führen des Netzwerks verwendet.

Fest, also eine feste Lernrate, ist die einfachste Konfiguration und erfordert nur einen Parameter.

Die Lernrate bleibt während des gesamten Optimierungsprozesses unverändert. Dies ist eine sehr selten verwendete Strategie, da die Lernrate bei Annäherung an den globalen optimalen Punkt immer kleiner werden sollte, um ein Überspringen des optimalen Punkts zu vermeiden.

adaptive Lernrate

Aus dem AdaGrad-Algorithmus ist ersichtlich, dass r mit der weiteren Iteration des Algorithmus immer größer wird und die Gesamtlernrate immer kleiner wird. Daher beginnt der AdaGrad-Algorithmus im Allgemeinen mit der Anreizkonvergenz und geht dann langsam in die Strafkonvergenz über, und die Geschwindigkeit wird immer langsamer.

Der RMSProp-Algorithmus akkumuliert nicht gewaltsam und direkt quadratische Gradienten wie der AdaGrad-Algorithmus, sondern fügt einen Dämpfungskoeffizienten hinzu, um zu steuern, wie viele historische Informationen erhalten werden.

Vereinfacht ausgedrückt wird nach dem Festlegen der globalen Lernrate für jeden Durchgang die globale Lernrate Parameter für Parameter durch die Quadratwurzel der Quadratsumme der historischen Gradienten dividiert, die durch den Dämpfungskoeffizienten gesteuert werden, sodass die Lernrate jedes einzelnen Parameters erhalten wird Parameter ist unterschiedlich.

Die Richtung ist anders und die Suche ist genauer.

Der Unterschied zwischen Dropout und Pooling

Während der Vorwärtsausbreitung lassen wir zu, dass der Aktivierungswert eines bestimmten Neurons mit einer bestimmten Wahrscheinlichkeit p nicht mehr funktioniert, was das Modell verallgemeinerbarer machen kann, da es sich nicht zu sehr auf bestimmte lokale Merkmale verlässt.

Welche Auswirkung hat die Regularisierung auf den Parameter w?

Was ist Gewichtsverlust und wie hängt er mit der Regularisierung zusammen?

Die meisten Parameter müssen nicht aktualisiert werden und die tatsächlichen Parameter werden stark reduziert.

Frieren Sie einen Teil der Faltungsschichten des vorab trainierten Modells ein (normalerweise die Mehrheit der Faltungsschichten in der Nähe der Eingabe, da diese Schichten viele zugrunde liegende Informationen behalten) oder frieren Sie sogar alle Netzwerkschichten ein und trainieren Sie die verbleibenden Faltungsschichten (normalerweise). die Teile nahe der Ausgabefaltungsschicht) und die vollständig verbundene Schicht.

Das Prinzip der Feinabstimmung besteht darin, die bekannte Netzwerkstruktur und die bekannten Netzwerkparameter zu verwenden, die Ausgabeschicht in unsere eigene Schicht zu ändern und die Parameter mehrerer Schichten vor der letzten Schicht zu optimieren, wodurch die leistungsstarken Generalisierungsfähigkeiten von Deep effektiv genutzt werden Feinabstimmungsmöglichkeiten für neuronale Netze und die Notwendigkeit, komplexe Modelle zu entwerfen und zeitaufwändiges Training durchzuführen, machen die Feinabstimmung besser geeignet, wenn die Datenmenge nicht ausreicht.

Bedeutung

Migrationsmodell