Der Datenfluss von der ursprünglichen Eingabe zum Ausgabeziel durchläuft mehrere lineare oder nichtlineare Komponenten. Jede Komponente verarbeitet Informationen und wirkt sich wiederum auf nachfolgende Komponenten aus.

Wenn wir schließlich die Ausgabe erhalten, wissen wir nicht genau, wie viel jede Komponente dazu beiträgt. Diese Frage wird Beitrag genannt Zuordnungsproblem.

Das Problem der Beitragszuordnung ist ein sehr kritisches Thema, das damit zusammenhängt, wie die Parameter in jeder Komponente gelernt werden.

intelligentes Konzept

Konzept der künstlichen Intelligenz

Die thematische Stellung der Künstlichen Intelligenz

Interdisziplinäre Forschung mit Hirnforschung und Kognitionswissenschaft

Forschung zu Methoden und Technologien der intelligenten Simulation

Wahrnehmung: Das heißt, die Simulation der menschlichen Wahrnehmungsfähigkeit, externe Reizinformationen (visuell und sprachlich usw.) wahrzunehmen und zu verarbeiten. Zu den Hauptforschungsgebieten gehören Sprachinformationsverarbeitung und Computer Vision.

Lernen: Simulation der menschlichen Lernfähigkeit, hauptsächlich Untersuchung, wie man anhand von Beispielen lernt oder mit der Umgebung interagiert. Zu den Hauptforschungsgebieten gehören überwachtes Lernen, unüberwachtes Lernen und verstärkendes Lernen.

Kognition: Es simuliert die kognitiven Fähigkeiten des Menschen. Die Hauptforschungsbereiche umfassen Wissensrepräsentation, natürliches Sprachverständnis, Argumentation, Planung, Entscheidungsfindung usw.

Symbolismus

Konnektionismus

Behaviorismus

Vorgeschlagenes Modell

Eiszeit

Die Renaissance durch den Backpropagation-Algorithmus

Rückgang der Popularität

Der Aufstieg des Deep Learning

Nach der Datenvorverarbeitung, z. B. Entfernen von Rauschen usw. Zum Beispiel bei der Textklassifizierung, dem Entfernen von Stoppwörtern usw.

Extrahieren Sie einige effektive Funktionen aus Rohdaten. Zum Beispiel bei der Bildklassifizierung, dem Extrahieren von Kanten, SIFT-Merkmalen (Scale Invariant Feature Transform) usw.

Führen Sie bestimmte Verarbeitungen an den Features durch, z. B. Dimensionsreduzierung und Dimensionsverbesserung. Die Dimensionsreduzierung umfasst zwei Ansätze: Merkmalsextraktion und Merkmalsauswahl. Zu den häufig verwendeten Methoden zur Merkmalstransformation gehören die Hauptkomponentenanalyse (PCA), die lineare Diskriminanzanalyse (Linear Discriminant Analysis) usw.

Der Kernbestandteil des maschinellen Lernens besteht darin, Vorhersagen mithilfe einer Funktion zu treffen

lokale Vertretung

verteilte Darstellung

Anders als beim „flachen Lernen“ ist das Hauptproblem, das Deep Learning lösen muss, die Verteilung des Beitrags

In gewissem Sinne kann Deep Learning auch als eine Art Reinforcement Learning (RL) betrachtet werden. Jede interne Komponente kann keine Überwachungsinformationen direkt erhalten, sondern muss diese durch die endgültigen Überwachungsinformationen (Belohnung) des gesamten Modells erhalten Gewisse Verzögerung.

Das neuronale Netzwerkmodell kann den Fehlerrückausbreitungsalgorithmus verwenden, der das Beitragsverteilungsproblem besser lösen kann.

traditioneller Lernstil

Neue Art des Lernens

Theano: Ein Python-Toolkit der Universität Montreal, das zur effizienten Definition, Optimierung und Ausführung des Theano-Projekts verwendet wird, wird derzeit nicht mehr gewartet. Mehrdimensionale Array-Daten entsprechen mathematischen Ausdrücken. Theano kann GPUs und effiziente Symbole transparent nutzen Differential.

Caffe: Der vollständige Name lautet Convolutional Architecture for Fast Feature Embedding. Es handelt sich um ein Rechenframework für Faltungsnetzwerkmodelle. Die zu implementierende Netzwerkstruktur kann in der Konfigurationsdatei angegeben werden und erfordert keine Codierung. Caffe ist in C und Python implementiert und wird hauptsächlich für Computer Vision verwendet.

TensorFlow: Ein von Google entwickeltes Python-Toolkit, das auf jedem Gerät mit CPU oder GPU ausgeführt werden kann. Der Berechnungsprozess von TensorFlow wird mithilfe von Datenflussdiagrammen dargestellt. Der Name Tensor Flow rührt von der Tatsache her, dass das Operationsobjekt in seinem Berechnungsprozess ein mehrdimensionales Array, also ein Tensor, ist.

Chainer: Eines der frühesten neuronalen Netzwerk-Frameworks, das dynamische Computergraphen verwendet. Das Kernentwicklungsteam ist Preferred Networks, ein Startup für maschinelles Lernen aus Japan. Im Vergleich zu statischen Berechnungsdiagrammen, die von Tensorflow, Theano, Caffe und anderen Frameworks verwendet werden, können dynamische Berechnungsdiagramme zur Laufzeit dynamisch Berechnungsdiagramme erstellen und eignen sich daher sehr gut für einige komplexe Entscheidungs- oder Argumentationsaufgaben.

PyTorch5: Ein Deep-Learning-Framework, das von Facebook, NVIDIA, Twitter und anderen Unternehmen entwickelt und gepflegt wird. Sein Vorgänger ist Torch6 der Lua-Sprache. PyTorch ist auch ein Framework, das auf dynamischen Rechendiagrammen basiert und offensichtliche Vorteile bei Aufgaben bietet, die eine dynamische Änderung der Struktur neuronaler Netze erfordern.

Neuronale Netze können durch den Einsatz von Matrixoperationen effizient implementiert werden.

Affine Schicht

Identitätsfunktion

Softmax-Funktion

Klassifizierungsproblem

Geben Sie mehrere Datensätze gleichzeitig ein

Wenn Sie nach optimalen Parametern (Gewichtungen und Verzerrungen) suchen, suchen Sie nach Parametern, die den Wert der Verlustfunktion so klein wie möglich machen. Daher müssen Sie die Ableitungen der Parameter berechnen (genauer gesagt den Gradienten).

Warum nicht direkt die Erkennungsgenauigkeit als Indikator nutzen?

mittlerer quadratischer Fehler

Kreuzentropiefehler

Extrahieren Sie einige Testdaten

Manuelle Einstellung

Ausbildung gewonnen

Der Gradient der Verlustfunktion in Bezug auf die Gewichtsparameter

Anzahl der Zyklen/Minibatch-Größe

Der Gelbanteil ist der Wert, der bei der Rückausbreitung erhalten wird

Die grüne Menge ist eine bekannte Größe

Netzwerk basierend auf vollständig verbundener Schicht (affine Schicht)

CNN-basiertes Netzwerk

Faltung[Faltungsschicht]-ReLU-(Pooling[Pooling-Schicht])

Die Ebene in der Nähe der Ausgabe verwendet die vorherige Kombination Affine [affine Transformation] – ReLU

Die letzte Ausgabeschicht verwendet die vorherige Affine-Softmax-Kombination

Probleme mit der vollständig verbundenen Schicht

Faltungsoperation

Korrelation

Varianten der Faltung

Mathematische Eigenschaften der Faltung

Faltungsoperation für 3D-Daten

Mehrere Faltungsoperationen

Stapelverarbeitung

Lokale Verbindung: Jedes Neuron in der Faltungsschicht (angenommen die l-te Schicht) ist nur mit den Neuronen in einem lokalen Fenster in der nächsten Schicht (l-1 Schicht) verbunden und bildet so ein lokales Verbindungsnetzwerk. Die Anzahl der Verbindungen zwischen der Faltungsschicht und der nächsten Schicht wird stark reduziert, von ursprünglich n(l) × n(l – 1) Verbindungen auf n(l) × m Verbindungen. m ist die Filtergröße.

Gewichtsverteilung: Der Filter w(l) als Parameter ist für alle Neuronen in Schicht l gleich.

Aufgrund lokaler Verbindungen und Gewichtsverteilung haben die Parameter der Faltungsschicht nur ein m-dimensionales Gewicht w(l) und einen eindimensionalen Bias b(l) mit insgesamt m 1 Parametern.

Die Anzahl der Neuronen in Schicht l ist nicht willkürlich gewählt, sondern erfüllt n(l) = n(l−1) − m 1.

Maximum: Generell wird der Maximalwert aller Neuronen in einer Region genommen.

Durchschnittliche Aggregation (Mittelwert): Im Allgemeinen wird der Durchschnittswert aller Neuronen im Bereich genommen.

Dabei ist Y(′d) die Ausgabe der Pooling-Schicht, f(·) die nichtlineare Aktivierungsfunktion, w(d) und b(d) lernbare Skalargewichte und Bias.

Es müssen keine Parameter gelernt werden

Die Anzahl der Kanäle ändert sich nicht

Robust gegenüber kleinen Positionsänderungen (Robustheit)

Der Filter wird vor dem Lernen zufällig initialisiert, sodass es kein Muster in den Schwarz- und Weißtönen gibt, aber der Filter wird nach dem Lernen zu einem regulären Bild. Wir haben festgestellt, dass die Filter durch das Lernen in reguläre Filter aktualisiert werden, z. B. Filter mit einem Farbverlauf von Weiß nach Schwarz, Filter, die blockige Bereiche (sogenannte Blobs) usw. enthalten. Filter, der auf horizontale und vertikale Kanten reagiert

Es ist ersichtlich, dass die Filter der Faltungsschicht Originalinformationen wie Kanten oder Patches extrahieren. Das gerade implementierte CNN wird diese Rohinformationen an nachfolgende Schichten weitergeben.

Aus den Faltungsschichten von CNN extrahierte Informationen. Die Neuronen in Schicht 1 reagieren auf Kanten oder Flecken, Schicht 3 reagiert auf Textur, Schicht 5 reagiert auf Objektteile und die letzte vollständig verbundene Schicht reagiert auf die Kategorie des Objekts (Hund oder Auto).

Wenn mehrere Faltungsschichten gestapelt werden, werden die extrahierten Informationen mit zunehmender Tiefe komplexer und abstrakter. Dies ist ein sehr interessanter Teil des Deep Learning. Wenn die Schichten tiefer werden, ändern sich die Neuronen von einfachen Formen zu „hochrangigen“ Informationen. Mit anderen Worten: So wie wir die „Bedeutung“ der Dinge verstehen, ändern sich auch die Objekte der Reaktion allmählich.

LeNet wurde 1998 als Netzwerk zur handschriftlichen Ziffernerkennung vorgeschlagen. Es verfügt über aufeinanderfolgende Faltungsschichten und Pooling-Schichten und gibt die Ergebnisse schließlich über eine vollständig verbundene Schicht aus.

Ohne die Eingabeschicht verfügt LeNet-5 über insgesamt 7 Schichten.

Tisch verbinden

Es wurde 2012 vorgeschlagen und nutzt viele technische Methoden moderner tiefer Faltungsnetzwerke.

Inception-Modul: Eine Faltungsschicht enthält mehrere Faltungsoperationen unterschiedlicher Größe

Das Inception-Netzwerk besteht aus mehreren Inception-Modulen und einer kleinen Anzahl von Aggregationsschichten.

V1-Version

Die früheste v1-Version des Inception-Netzwerks ist das sehr bekannte GoogLeNet [Szegedy et al., 2015] und gewann 2014 den ImageNet-Bildklassifizierungswettbewerb.

Die Effizienz der Informationsausbreitung wird durch das Hinzufügen direkter Kanten zur nichtlinearen Faltungsschicht verbessert.

nichtlineare Elemente

Auf dem Weg zu einem tieferen Netzwerk

Verbessern Sie die Erkennungsgenauigkeit weiter

Tiefere Motivation

ILSVRC-Wettbewerb

VGG

GoogLeNet

ResNet

Probleme, die gelöst werden müssen

GPU-basierte Beschleunigung

Verteiltes Lernen

Ziffernreduktion der arithmetischen Genauigkeit

Objekterkennung

Bildsegmentierung

Generierung von Bildunterschriften

Transformation des Bildstils

Bilderzeugung

Autopilot

Verstärkungslernen

Thesaurusbasierter Ansatz

Zählbasierter Ansatz

Inferenzbasierter Ansatz (word2vec)

Ein Diagramm, das auf der Hypernym-Hyponym-Beziehung entsprechend der Bedeutung jedes Wortes basiert

Das bekannteste Synonymwörterbuch

Wirkung

Wird über das NLTK-Modul verwendet

Es tauchen immer wieder neue Wörter auf, was es schwierig macht, sich an die Veränderungen der Zeit anzupassen

Hohe Arbeitskosten

Unfähig, subtile Unterschiede in Worte zu fassen

Ein Korpus ist eine große Menge an Textdaten

Korpora, die im Bereich der Verarbeitung natürlicher Sprache verwendet werden, fügen Textdaten manchmal zusätzliche Informationen hinzu. Beispielsweise kann jedes Wort der Textdaten mit einer Wortart markiert werden. Hier wird davon ausgegangen, dass dem von uns verwendeten Korpus keine Tags hinzugefügt wurden.

berühmtes Korpus

Vorverarbeitung

Konstruieren Sie kompakte und sinnvolle Vektordarstellungen im Wortbereich

Die Bedeutung eines Wortes wird durch die es umgebenden Wörter gebildet

Der Kontext bezieht sich auf die Wörter, die ein zentriertes Wort umgeben

Die Größe des Kontexts wird als Fenstergröße bezeichnet

Der einfachste Weg, einen Vektor zu verwenden, besteht darin, zu zählen, wie oft ein Wort um ihn herum vorkommt.

text = 'Du verabschiedest dich und ich sage Hallo.'

Fenstergröße auf 1 setzen

Kosinusähnlichkeit

Ermitteln Sie den Wortvektor des Abfrageworts

Ermitteln Sie die Kosinusähnlichkeit zwischen dem Wortvektor des Abfrageworts und allen anderen Wortvektoren.

Auf Kosinusähnlichkeit basierende Ergebnisse, deren Werte in absteigender Reihenfolge angezeigt werden

In der Kookkurrenzmatrix wird davon ausgegangen, dass gebräuchliche Wörter wie „the will“ eine starke Korrelation mit Substantiven wie „car“ haben

PMI

PMI basierend auf der Kookkurrenzmatrix

unzureichend

Erhalten Sie die PPMI-Matrix basierend auf der Kookkurrenzmatrix

Wir müssen die Datenverteilung beobachten und wichtige „Achsen“ finden

Singularwertzerlegung (SVD)

Das PTB-Korpus wird häufig als Maßstab für die Bewertung vorgeschlagener Methoden verwendet

Vorverarbeitung des PTB-Korpus

Die Vorverarbeitung, die ich gemacht habe

Hyperparameterzuweisung

Für das Abfragewort „you“ sehen Sie, dass Personalpronomen wie „i“ und „we“ an erster Stelle stehen. Dabei handelt es sich um Wörter mit derselben Verwendung in der Grammatik.

Das Abfragewort Jahr hat Synonyme wie Monat und Quartal.

Das Abfragewort „Auto“ hat Synonyme wie „Auto“ und „Fahrzeug“.

Bei der Verwendung von Toyota als Suchbegriff tauchten Autoherstellernamen oder Markennamen wie Nissan, Honda und Lexus auf.

Verwenden Sie den Korpus, um die Anzahl der Wörter im Kontext zu berechnen, sie in eine PPMI-Matrix umzuwandeln und dann gute Wortvektoren basierend auf der SVD-Dimensionalitätsreduzierung zu erhalten.

In der realen Welt handelt es sich bei Korpora um eine sehr große Anzahl von Wörtern. Es heißt beispielsweise, dass der englische Wortschatz über 1 Million Wörter umfasst. Wenn die Vokabulargröße 1 Million überschreitet, erfordert die Verwendung der zählbasierten Methode die Generierung einer riesigen Matrix von 1 Million × 1 Million, aber es ist offensichtlich unrealistisch, SVD für eine so große Matrix durchzuführen.

Inferenzbasierte Ansätze unter Verwendung neuronaler Netze

Ziel

Argumentationsmethode

Konvertieren Sie Wörter in Vektoren

Neuronale Netze

Struktur

Merkmale

Konvertieren Sie Ergebnisse mithilfe der Softmax-Funktion in Wahrscheinlichkeiten

Finden Sie den Kreuzentropiefehler zwischen diesen Wahrscheinlichkeiten und den überwachten Bezeichnungen

Lerne es als Verlust

W(in)-Gewicht ist die verteilte Darstellung des gewünschten Wortes

Die Wahrscheinlichkeit, dass wt auftritt, nachdem wt−1 und wt 1 aufgetreten sind.

Verlustfunktion L (negative logarithmische Wahrscheinlichkeit) des CBOW-Modells

word2vec hat zwei Modelle

Skip-Gram ist ein Modell, das den vom CBOW-Modell verarbeiteten Kontext und die Zielwörter umkehrt.

Strukturdiagramm des Skip-Gramm-Netzwerks

Skip-Gramm-Modelle und Wahrscheinlichkeit

Vergleich der Verlustfunktionen

Gemessen an der Genauigkeit der verteilten Darstellung von Wörtern liefert das Skip-Grm-Modell in den meisten Fällen bessere Ergebnisse.

Szenarien, in denen neue Wörter zum Vokabular hinzugefügt und die verteilte Darstellung der Wörter aktualisiert werden müssen

Eigenschaften verteilter Darstellungen von Wörtern

Genauigkeit verteilter Darstellungen von Wörtern

Die mit word2vec erhaltene verteilte Darstellung von Wörtern kann verwendet werden, um ungefähre Wörter zu finden

Transferlernen

Mithilfe verteilter Darstellungen von Wörtern ist es auch möglich, Dokumente (Wortfolgen) in Vektoren fester Länge umzuwandeln.

Künstlich erstellter Wortähnlichkeitsbewertungssatz zur Bewertung

Vergleichen Sie die von Personen angegebenen Bewertungen mit der von word2vec angegebenen Kosinusähnlichkeit, um die Korrelation zwischen ihnen zu untersuchen

abschließend

Kann der ursprüngliche Zweck des CBOW-Modells „Zielwörter aus dem Kontext vorhersagen“ für etwas verwendet werden? Kann P(wt|wt−2, wt−1) in einigen praktischen Szenarien eine Rolle spielen?

Die Fenster, die wir zuvor betrachtet haben, sind alle symmetrisch, und dann betrachten wir nur das linke Fenster.

Verwenden Sie die Wahrscheinlichkeit, um die Wahrscheinlichkeit zu bewerten, mit der eine Wortfolge auftritt, d. h. das Ausmaß, in dem eine Wortfolge natürlich ist.

Wahrscheinlichkeitsdarstellung

Markov-Kette

unzureichend

RNN verfügt über einen Mechanismus, der sich Kontextinformationen merken kann, unabhängig von der Länge des Kontexts. Daher können Zeitreihendaten beliebiger Länge mit RNN verarbeitet werden.

word2vec ist eine Methode, die darauf abzielt, eine verteilte Darstellung von Wörtern zu erhalten, und wird im Allgemeinen nicht in Sprachmodellen verwendet.

Die Struktur der RNN-Schicht

Die Eingabe zum Zeitpunkt t ist xt, was bedeutet, dass Zeitreihendaten (x0, x1, ···, xt, ···) in die Ebene eingegeben werden. Geben Sie dann (h0, h1, ···, ht, ···) in der der Eingabe entsprechenden Form aus.

Die Ausgabe hat zwei Zweige, was bedeutet, dass dasselbe kopiert wurde. Eine Verzweigung in der Ausgabe wird zu ihrer eigenen Eingabe.

Wir verwenden das Wort „Moment“, um uns auf den Index der Zeitreihendaten zu beziehen (dh die Eingabedaten zum Zeitpunkt t sind xt). Es werden Ausdrücke wie „das t-te Wort“ und „die t-te RNN-Schicht“ sowie Ausdrücke wie „das Wort zum Zeitpunkt t“ oder „die RNN-Schicht zum Zeitpunkt t“ verwendet.

Die RNN-Schicht empfängt zu jedem Zeitpunkt zwei Werte, nämlich die an diese Schicht übergebene Eingabe und die Ausgabe der vorherigen RNN-Schicht.

RNN hat zwei Gewichte, nämlich das Gewicht Wx, das die Eingabe x in die Ausgabe h umwandelt, und das Gewicht Wh, das die Ausgabe der vorherigen RNN-Schicht in die aktuelle Ausgabe umwandelt. Darüber hinaus gibt es Voreingenommenheit b.

Aus einer anderen Perspektive hat RNN einen Zustand h, der durch die obige Formel kontinuierlich aktualisiert wird. Daher kann h als verborgener Zustand oder verborgener Zustandsvektor bezeichnet werden

Die beiden schematischen Zeichenmethoden sind gleichwertig

Zeitbasierte Rückausbreitung

Um den Gradienten basierend auf BPTT zu finden, müssen die Zwischendaten der RNN-Schicht zu jedem Zeitpunkt im Speicher gespeichert werden. Wenn die Zeitreihendaten länger werden, erhöht sich daher auch die Speichernutzung des Computers (nicht nur für Berechnungen).

Um das obige Problem zu lösen, besteht die gängige Praxis bei der Verarbeitung langer Zeitreihendaten darin, die Netzwerkverbindung auf eine geeignete Länge zu kürzen.

Netzwerke, die in Richtung der Zeitachse zu lang sind, werden an geeigneten Stellen abgeschnitten, um mehrere kleine Netzwerke zu erstellen, und dann wird die Fehler-Backpropagation-Methode auf die ausgeschnittenen kleinen Netzwerke angewendet. Diese Methode wird als abgeschnittenes BPTT (abgeschnittenes BPTT) bezeichnet.

Bei verkürztem BPTT wird die Rückwärtsausbreitungsverbindung des Netzwerks unterbrochen, die Vorwärtsausbreitungsverbindung bleibt jedoch weiterhin bestehen.

Bearbeitungsauftrag

Zu Beginn der Eingabedaten muss innerhalb einzelner Chargen ein „Versatz“ vorgenommen werden.

Beachten

Nennen Sie eine Schicht, die T Schritte gleichzeitig verarbeitet, eine „Zeit-RNN-Schicht“.

Die Schicht, die die Einzelschrittverarbeitung in der Zeit-RNN-Schicht durchführt, wird als „RNN-Schicht“ bezeichnet.

Wie Time RNN werden Schichten, die Zeitreihendaten ganzheitlich verarbeiten, mit dem Wort „Time“ benannt, was der in diesem Buch dargelegten Namenskonvention entspricht. Danach werden wir auch die Time Affine-Ebene, die Time Embedding-Ebene usw. implementieren.

Vorwärtsausbreitung

Backpropagation

Vorwärtsausbreitung

Backpropagation

RNN-basierte Sprachmodelle werden RNNLM genannt

Struktur

Probe

Zielstruktur des neuronalen Netzwerks

Zeitaffin

Zeit Softmax

Die Eingabedaten sind 1

Die Eingabedaten sind vielfältig

Je größer die Wahrscheinlichkeit, desto besser und je geringer die Verwirrung, desto besser.

Ratlosigkeit stellt die Anzahl der Optionen dar, die als nächstes ausgewählt werden können. Wenn die Verwirrung 1,25 beträgt, bedeutet dies, dass die Anzahl der Kandidaten für das nächste Wort etwa 1 beträgt.

Kapseln Sie die oben genannten Operationen in Klassen

Es gibt drei verborgene Schichten h1, h2 und h3, wobei h1 aus zwei Eingaben x1 und x2 berechnet wird, h2 aus zwei anderen Eingabeschichten x3 und x4 berechnet wird und h3 aus zwei verborgenen Schichten h1 und h2 berechnet wird.

Aktivierungsfunktion

MatMul-Knoten (Matrixprodukt).

Es gibt eine etablierte Methode zur Lösung der Gradientenexplosion, die als Gradientenbeschneidung bezeichnet wird.

Dabei wird davon ausgegangen, dass die Gradienten aller vom neuronalen Netzwerk verwendeten Parameter in eine Variable integriert und durch das Symbol g dargestellt werden können. Stellen Sie dann den Schwellenwert auf Schwellenwert ein. Wenn zu diesem Zeitpunkt die L2-Norm g des Gradienten größer oder gleich dem Schwellenwert ist, wird der Gradient wie oben beschrieben korrigiert.

LSTM ist die Abkürzung für Long Short-Term Memory, was bedeutet, dass es das Kurzzeitgedächtnis (Short-Term Memory) über einen langen Zeitraum aufrechterhalten kann.

Drücken Sie zunächst die Berechnung von tanh(h(t−1)*Wh xt*Wx b) als rechteckigen Knoten tanh aus (ht−1 und xt sind Zeilenvektoren).

Vergleichen wir die Schnittstelle (Eingabe und Ausgabe) von LSTM und RNN

Der Unterschied zwischen der Schnittstelle von LSTM und RNN besteht darin, dass LSTM auch den Pfad c hat. Dieses c wird als Speichereinheit (oder einfach „Einheit“) bezeichnet, was der dedizierten Speicherabteilung von LSTM entspricht.

Das Merkmal der Speichereinheit besteht darin, dass sie Daten nur innerhalb der LSTM-Schicht empfängt und sendet. Das heißt, von der Seite, die die Ausgabe des LSTM empfängt, hat die Ausgabe des LSTM nur den verborgenen Zustandsvektor h. Die Speichereinheit c ist für die Außenwelt unsichtbar und wir müssen nicht einmal über ihre Existenz nachdenken.

ct speichert den Speicher des LSTM zum Zeitpunkt t, der alle notwendigen Informationen von der Vergangenheit bis zum Zeitpunkt t enthält. Basierend auf dem CT dieses Trägerspeichers wird dann der verborgene Zustand ht ausgegeben.

Berechnung

Tor

Der verborgene Zustand ht wendet die tanh-Funktion nur auf die Speichereinheit ct an, und wir erwägen die Anwendung von Gates auf tanh(ct). Da dieses Gatter die Ausgabe des nächsten verborgenen Zustands ht verwaltet, wird es als Ausgangsgatter bezeichnet.

Das Ausgangstor wird wie folgt berechnet. Die Sigmoidfunktion wird durch σ() dargestellt

ht kann aus dem Produkt von o und tanh(ct) berechnet werden. Die Berechnungsmethode ist das Produkt der entsprechenden Elemente. Es wird auch als Hadamard-Produkt bezeichnet.

Jetzt fügen wir ein Tor zum Vergessen unnötiger Speicher auf der Speichereinheit c(t−1) hinzu, das hier Vergessenstor genannt wird.

Die Berechnung des Vergessenstors ist wie folgt

ct wird durch das Produkt dieses f und des entsprechenden Elements der vorherigen Speichereinheit ct−1 erhalten

Nun möchten wir dieser Speichereinheit auch einige neue Informationen hinzufügen, die man sich merken sollte, dazu fügen wir einen neuen Tanh-Knoten hinzu

Das auf der Grundlage des Tanh-Knotens berechnete Ergebnis wird im vorherigen Moment zur Speichereinheit ct-1 hinzugefügt.

Wir fügen in Abbildung 6-17 ein Gatter zu g hinzu. Dieses neu hinzugefügte Gatter wird hier als Eingangsgatter bezeichnet.

Das Eingabegatter bestimmt den Wert jedes Elements der neuen Information g. Input-Gates fügen keine neuen Informationen hinzu, sondern treffen Entscheidungen darüber, welche Informationen hinzugefügt werden sollen. Mit anderen Worten: Das Eingabegatter fügt gewichtete neue Informationen hinzu.

Das Eingangstor wird wie folgt berechnet

Die Rückausbreitung von Speicherzellen erfolgt nur über die Knoten „ “ und „ד. Der „ “-Knoten fließt so wie er ist aus dem Gradienten von stromaufwärts, sodass sich der Gradient nicht ändert (degeneriert). Die Berechnung des „ד-Knotens erfolgt nicht über ein Matrixprodukt, sondern über das Produkt der entsprechenden Elemente (Hadama-Produkt), das keine Gradientenänderungen verursacht.

Die Vertiefung der LSTM-Schicht (Stapelung mehrerer LSTM-Schichten) funktioniert oft gut.

Wie viele Schichten sind angemessen?

Durch die Vertiefung der Tiefe können ausdrucksstärkere Modelle erstellt werden, diese Modelle leiden jedoch häufig unter einer Überanpassung. Erschwerend kommt hinzu, dass RNNs anfälliger für Überanpassung sind als herkömmliche Feedforward-Neuronale Netze, sodass Gegenmaßnahmen zur Überanpassung für RNNs sehr wichtig sind.

Gegenmaßnahmen

Ausfallen

Einfügeposition der Dropout-Ebene

Gewichtsbindung kann wörtlich mit „Gewichtsbindung“ übersetzt werden.

Der Trick beim Binden (Teilen) der Gewichte der Einbettungsschicht und der Affine-Schicht ist die Gewichtsteilung. Durch die Aufteilung der Gewichte zwischen diesen beiden Schichten kann die Anzahl der gelernten Parameter erheblich reduziert werden. Darüber hinaus verbessert es die Genauigkeit.

Wählen Sie das Wort mit der höchsten Wahrscheinlichkeit aus, das Ergebnis ist eindeutig bestimmt

Wörter mit hoher Wahrscheinlichkeit sind leicht auszuwählen, Wörter mit niedriger Wahrscheinlichkeit sind schwer auszuwählen.

Verwenden Sie bessere Sprachmodelle

Dieses Modell verfügt über zwei Module – Encoder und Decoder. Der Encoder codiert die Eingabedaten und der Decoder decodiert die codierten Daten.

seq2seq besteht aus zwei LSTM-Schichten, dem Encoder-LSTM und dem Decoder-LSTM.

Der verborgene Zustand h von LSTM ist ein Vektor fester Länge. Der Unterschied zum Modell im vorherigen Abschnitt besteht darin, dass die LSTM-Schicht den Vektor h empfängt. Diese einzige, kleine Änderung ermöglichte die Entwicklung gewöhnlicher Sprachmodelle zu Decodern, die Übersetzungen verarbeiten konnten.

Ich versuche, seq2seq dazu zu bringen, Additionsberechnungen durchzuführen

Füllung

In vielen Fällen schreitet der Lernfortschritt nach der Anwendung dieser Technik schneller voran und die endgültige Genauigkeit verbessert sich.

Intuitiv kann die Ausbreitung von Gradienten nach der Invertierung der Daten gleichmäßiger und effektiver sein.

Der Encoder, der den Helm verwendet, heißt Peeky Decoder, und der seq2seq, der Peeky Decoder verwendet, heißt Peeky seq2seq.

Der Encoder wandelt den Eingabesatz in einen Vektor h fester Länge um, der alle vom Decoder benötigten Informationen konzentriert. Es ist die einzige Informationsquelle für den Decoder.

Der Ausgang h des Encoders, der wichtige Informationen bündelt, kann anderen Schichten des Decoders zugeordnet werden

Zwei Vektoren werden gleichzeitig in die LSTM-Schicht und die Affine-Schicht eingegeben, was tatsächlich die Verkettung der beiden Vektoren darstellt.

In seq2seq wird ein Encoder verwendet, um die Zeitreihendaten zu kodieren, und dann werden die kodierten Informationen an den Dekoder übergeben. Zu diesem Zeitpunkt ist die Ausgabe des Encoders ein Vektor fester Länge.

Ein Vektor fester Länge bedeutet, dass die Eingabeanweisung unabhängig von der Länge (unabhängig von ihrer Länge) in einen Vektor derselben Länge umgewandelt wird.

Die Länge der Ausgabe des Encoders sollte sich entsprechend der Länge des Eingabetextes ändern

Da der Encoder streng genommen von links nach rechts verarbeitet, enthält der „cat“-Vektor lediglich die Informationen der drei Wörter „我的人“, „は“ und „猫“. Unter Berücksichtigung der Gesamtausgewogenheit ist es am besten, die Informationen rund um das Wort „Katze“ gleichmäßig einzubeziehen. In diesem Fall ist ein bidirektionales RNN (oder bidirektionales LSTM), das Zeitreihendaten aus beiden Richtungen verarbeitet, effektiver.

Zuvor haben wir den „letzten“ verborgenen Zustand der LSTM-Schicht des Encoders in den „anfänglichen“ verborgenen Zustand der LSTM-Schicht des Decoders versetzt.

Der Decoder im vorherigen Kapitel verwendete nur den letzten verborgenen Zustand der LSTM-Schicht des Encoders. Bei Verwendung von hs wird nur die letzte Zeile extrahiert und an den Decoder übergeben. Als nächstes verbessern wir den Decoder, um alle HS nutzen zu können.

Wir konzentrieren uns auf ein bestimmtes Wort (oder eine Reihe von Wörtern) und konvertieren dieses Wort jederzeit. Dadurch kann seq2seq die Entsprechung zwischen „welchen Wörtern in der Eingabe und Ausgabe mit welchen Wörtern zusammenhängen“ lernen.

Strukturelle Veränderungen

Wie man rechnet

Gewicht lernen a

Integrieren

Wenn wir das Gesamtgleichgewicht betrachten, hoffen wir, dass der Vektor die Informationen rund um das Wort „Katze“ gleichmäßiger enthält.

Bidirektionales LSTM fügt über der vorherigen LSTM-Schicht eine LSTM-Schicht hinzu, die in die entgegengesetzte Richtung verarbeitet.

Spleißen Sie die verborgenen Zustände der beiden LSTM-Schichten zu jedem Zeitpunkt und verwenden Sie sie als endgültigen verborgenen Zustandsvektor (zusätzlich zum Spleißen können Sie auch „summieren“ oder „mitteln“ usw.).

Der Ausgang der Aufmerksamkeitsschicht (Kontextvektor) wird im nächsten Moment mit dem Eingang der LSTM-Schicht verbunden. Durch diese Struktur ist die LSTM-Schicht in der Lage, die Informationen des Kontextvektors zu nutzen. Im Gegensatz dazu verwendet das von uns implementierte Modell Kontextvektoren in der affinen Ebene.

Vertiefen Sie die RNN-Schicht

Restverbindung

Die Geschichte der maschinellen Übersetzung

Seit 2016 nutzt Google Translate neuronale maschinelle Übersetzung für tatsächliche Dienste. Maschinelles Übersetzungssystem namens GNMT

GNMT erfordert große Datenmengen und Rechenressourcen. GNMT verwendet eine große Menge an Trainingsdaten (1 Modell), die 6 Tage lang auf fast 100 GPUs gelernt wurden. Darüber hinaus versucht GNMT, die Genauigkeit mithilfe von Technologien wie Ensemble-Lernen und Reinforcement-Learning weiter zu verbessern, mit denen 8 Modelle parallel gelernt werden können.

RNN kann Zeitreihendaten variabler Länge gut verarbeiten. RNN weist jedoch auch Mängel auf, beispielsweise Probleme bei der Parallelverarbeitung.

RNN muss Schritt für Schritt basierend auf den Berechnungsergebnissen des vorherigen Moments berechnet werden, sodass es (grundsätzlich) unmöglich ist, RNN parallel in Zeitrichtung zu berechnen. Dies wird zu einem großen Engpass bei der Durchführung von Deep Learning in einer parallelen Computerumgebung mit GPUs, daher haben wir die Motivation, RNN zu vermeiden.

Transformer verwendet kein RNN, sondern Aufmerksamkeit für die Verarbeitung. Werfen wir einen kurzen Blick auf diesen Transformer.

Selbstaufmerksamkeit

Verwenden Sie ein vollständig verbundenes neuronales Netzwerk mit einer verborgenen Schicht und der Aktivierungsfunktion ReLU. Darüber hinaus bedeutet Nx in der Abbildung, dass die vom grauen Hintergrund umgebenen Elemente N-mal gestapelt sind.

NTM (Neuronale Turingmaschine)

Neuronale Netze können auch durch den Einsatz externer Speichergeräte zusätzliche Fähigkeiten erlangen.

Basierend auf Aufmerksamkeit implementieren Encoder und Decoder „Speicheroperationen“ in Computern. Mit anderen Worten kann dies so interpretiert werden, dass der Encoder die erforderlichen Informationen in den Speicher schreibt und der Decoder aus dem Speicher liest Holen Sie sich die notwendigen Informationen.

Um den Speicherbetrieb des Computers zu imitieren, verwendet der Speicherbetrieb von NTM zwei Aufmerksamkeiten:

NTM hat Langzeitgedächtnisprobleme, Sortierprobleme (Anordnen von Zahlen von groß nach klein) usw. erfolgreich gelöst.

Schwierig zu optimieren und rechenintensiv

Die Anpassungsfähigkeit ist zu stark und es kommt leicht zu einer Überanpassung.

Vielfalt der Netzwerkstruktur

Schwierigkeiten mit niedrigdimensionalen Räumen

Schwierigkeiten mit hochdimensionalen Räumen

Typ der Gradientenabstiegsmethode

Verfall der Lernrate

Optimierung der Gradientenrichtung

Die Gaußsche Initialisierungsmethode ist die einfachste Initialisierungsmethode. Die Parameter werden zufällig aus einer Gaußschen Verteilung mit einem festen Mittelwert (z. B. 0) und einer festen Varianz (z. B. 0,01) initialisiert.

Wenn die Anzahl der Eingangsverbindungen eines Neurons n(in) beträgt, kann seine Eingangsverbindungsgewichtung so eingestellt werden, dass sie mit der Gaußschen Verteilung von N(0,sqrt(1/nin)) initialisiert wird.

Wenn auch die Anzahl der Ausgangsverbindungen nout berücksichtigt wird, kann sie gemäß der Gaußschen Verteilung von N(0,sqrt(2/(nin nout))) initialisiert werden.

Die Initialisierung einer gleichmäßigen Verteilung verwendet eine gleichmäßige Verteilung, um Parameter innerhalb eines bestimmten Intervalls [−r, r] zu initialisieren. Die Einstellung des Hyperparameters r kann auch adaptiv entsprechend der Anzahl der Verbindungen von Neuronen angepasst werden.

Art der Aktivierungsfunktion

Wir haben versucht, die in der Arbeit von Xavier Glorot et al. empfohlenen Gewichtsanfangswerte zu verwenden.

Wenn die Anzahl der Knoten in der vorherigen Ebene n beträgt, verwendet der Anfangswert eine Gaußsche Verteilung mit einer Standardabweichung von (1/sqrt(n)).

Wenn die Aktivierungsfunktion ReLU verwendet, wird im Allgemeinen empfohlen, den für ReLU vorgesehenen Anfangswert zu verwenden. Dabei handelt es sich um den von Kaiming He et al. empfohlenen Anfangswert, der auch als „He-Anfangswert“ bezeichnet wird.

Wenn die Anzahl der Knoten in der aktuellen Schicht n beträgt, verwendet der Anfangswert von He eine Gaußsche Verteilung mit einer Standardabweichung von (2/sqrt(n)).

Die unterschiedlichen Quellen und Maßeinheiten der einzelnen Dimensionsmerkmale führen dazu, dass der Verteilungsbereich dieser Merkmalswerte sehr unterschiedlich ist. Wenn wir den euklidischen Abstand zwischen verschiedenen Stichproben berechnen, spielen Merkmale mit einem großen Wertebereich eine dominierende Rolle.

Skalierungsnormalisierung

Standardnormalisierung

Nachdem die Eingabedaten aufgehellt wurden, ist die Korrelation zwischen den Merkmalen gering und alle Merkmale weisen die gleiche Varianz auf.

Eine der wichtigsten Möglichkeiten, eine Aufhellung zu erreichen, besteht darin, mithilfe der Hauptkomponentenanalyse die Korrelation zwischen Komponenten zu entfernen.

Wird auch als Batch-Normalisierung (BN-Methode) bezeichnet

Damit jede Schicht die richtige Breite hat, muss die Verteilung der Aktivierungswerte „erzwungen“ angepasst werden.

Führen Sie eine Regularisierung durch, sodass der Mittelwert der Datenverteilung 0 und die Varianz 1 beträgt.

Jede Zwischenschicht im neuronalen Netzwerk kann normalisiert werden.

Vorteil

Batch-Norm-Ebene

Einschränkungen der Batch-Normalisierung

Die Schichtnormalisierung normalisiert alle Neuronen in einer Zwischenschicht.

Netzwerkstruktur

Optimierungsparameter

Regularisierungskoeffizient

Die Leistung von Hyperparametern kann nicht anhand von Testdaten bewertet werden

Wenn die Testdaten verwendet werden, um die „Güte“ des Hyperparameterwerts zu bestätigen, führt dies dazu, dass der Hyperparameterwert so angepasst wird, dass er nur zu den Testdaten passt.

Die Trainingsdaten werden zum Lernen von Parametern (Gewichtungen und Verzerrungen) verwendet und die Validierungsdaten werden zur Leistungsbewertung von Hyperparametern verwendet. Um die Generalisierungsfähigkeit zu bestätigen, sollten die Testdaten am Ende (idealerweise nur einmal) verwendet werden.

Rastersuche

Zufallssuche

Bayesianische Optimierung

Dynamische Ressourcenzuteilung

Der Gewichtsabfall ist eine Methode, die häufig zur Unterdrückung einer Überanpassung eingesetzt wird. Diese Methode bestraft große Gewichte während des Lernprozesses.

Einfach ausgedrückt wird die Verlustfunktion

λ ist ein Hyperparameter, der die Stärke der Regularisierung steuert

Dropout-Methode

Wenn das Netzwerkmodell sehr komplex wird, wird es schwierig, es nur mithilfe der Gewichtsabnahme zu handhaben.

Bei der Methode zum zufälligen Löschen von Neuronen während des Lernprozesses werden Neuronen jedes Mal zufällig verworfen. Der einfachste Weg besteht darin, eine feste Wahrscheinlichkeit p festzulegen. Für jedes Neuron gibt es eine Wahrscheinlichkeit p, um zu bestimmen, ob es behalten werden soll.

Datenerweiterung

Etikettenglättung

Beim Selbsttraining werden zunächst markierte Daten verwendet, um ein Modell zu trainieren, und dieses Modell wird verwendet, um die Etiketten unbeschrifteter Proben vorherzusagen, Proben mit relativ hohem Vorhersagevertrauen und deren vorhergesagte Pseudoetiketten zum Trainingssatz hinzuzufügen und dann das neue Modell neu zu trainieren. und wiederholen Sie diesen Vorgang immer wieder.

Co-Training ist eine verbesserte Methode des Selbsttrainings

Zwei auf unterschiedlichen Ansichten basierende Klassifikatoren fördern sich gegenseitig. Viele Daten haben unterschiedliche Perspektiven, die relativ unabhängig sind.

Aufgrund der bedingten Unabhängigkeit unterschiedlicher Perspektiven sind Modelle, die auf unterschiedlichen Perspektiven trainiert werden, gleichbedeutend mit dem Verständnis des Problems aus unterschiedlichen Perspektiven und weisen eine gewisse Komplementarität auf. Kollaboratives Training ist eine Methode, die diese Komplementarität nutzt, um Selbsttraining durchzuführen. Zuerst werden zwei Modelle f1 und f2 aus unterschiedlichen Perspektiven auf dem Trainingssatz trainiert, und dann werden mit f1 und f2 Stichproben mit relativ hoher Vorhersagesicherheit ausgewählt, die dem Trainingssatz hinzugefügt werden sollen Es werden zwei unterschiedliche Perspektiven modelliert und dieser Vorgang wiederholt.

induktives Transferlernen

Transferlernen ableiten

Sobald das Training abgeschlossen ist, bleibt das Modell unverändert und wird nicht mehr iterativ aktualisiert.

Für ein Modell ist es immer noch sehr schwierig, bei vielen verschiedenen Aufgaben gleichzeitig erfolgreich zu sein.

Optimiererbasiertes Meta-Lernen

Modellunabhängiges Meta-Lernen