Mindmap-Galerie Grundlegender Regressionsalgorithmus für maschinelles Lernen
Es fasst die grundlegenden Regressionsalgorithmen beim maschinellen Lernen zusammen, wie z. B. grundlegende lineare Regression, rekursive Regression, regulierte lineare Regression, spärliche lineare Regression Lasso, lineare Basisfunktionsregression, Singularwertzerlegung, Fehlerzerlegung beim Regressionslernen usw.
Bearbeitet um 2023-02-15 23:14:30Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Projektmanagement ist der Prozess der Anwendung von Fachwissen, Fähigkeiten, Werkzeugen und Methoden auf die Projektaktivitäten, so dass das Projekt die festgelegten Anforderungen und Erwartungen im Rahmen der begrenzten Ressourcen erreichen oder übertreffen kann. Dieses Diagramm bietet einen umfassenden Überblick über die 8 Komponenten des Projektmanagementprozesses und kann als generische Vorlage verwendet werden.
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Projektmanagement ist der Prozess der Anwendung von Fachwissen, Fähigkeiten, Werkzeugen und Methoden auf die Projektaktivitäten, so dass das Projekt die festgelegten Anforderungen und Erwartungen im Rahmen der begrenzten Ressourcen erreichen oder übertreffen kann. Dieses Diagramm bietet einen umfassenden Überblick über die 8 Komponenten des Projektmanagementprozesses und kann als generische Vorlage verwendet werden.
maschinelles Lernen Grundlegender Regressionsalgorithmus
Regressionslernen
Merkmale
überwachtes Lernen
Datensatz mit der Bezeichnung y
Lernprozess
Der Prozess der Bestimmung der Modellparameter w
vorhersagen oder extrapolieren
Der Prozess der Berechnung der Regressionsausgabe durch Ersetzen neuer Eingaben
lineare Regression
grundlegende lineare Regression
lineare Zielfunktion
Fehlerhafte Annahme der Gaußschen Verteilung
Es besteht eine Diskrepanz zwischen dem Ausgabewert und dem gekennzeichneten Wert
Unter der Annahme, dass die Modellausgabe der erwartete Wert ist, beträgt die Wahrscheinlichkeitsfunktion der Zufallsvariablen (beschrifteter Wert) yi
Da die Stichproben unabhängig und identisch verteilt sind, beträgt die gemeinsame Wahrscheinlichkeitsdichtefunktion aller markierten Werte
Likelihood-Funktion zum Finden optimaler Parameter (Kleinste-Quadrate-LS-Lösung)
Log-Likelihood-Funktion
Fehlerquadratsumme
Maximum-Likelihood-Lösung
Testformel für den mittleren quadratischen Fehler
Rekursives Lernen für lineare Regression
Gezielte Probleme
Der Umfang des Problems ist zu groß und es ist schwierig, die Matrix zu lösen
Gradientenabstiegsalgorithmus
Nehmen Sie alle Proben, um den durchschnittlichen Gradienten zu berechnen
durchschnittliche Steigung
Rekursionsformel
Stochastischer Gradientenabstiegs-SGD-Algorithmus (LMS)
Nehmen Sie Zufallsstichproben, um den Gradienten zu berechnen
stochastischer Gradient
Rekursionsformel
Mini-Batch-SGD-Algorithmus
Nehmen Sie eine kleine Menge Proben, um den durchschnittlichen Gradienten zu berechnen
durchschnittliche Steigung
Rekursionsformel
Regularisierte lineare Regression
Gezielte Probleme
Die Bedingungszahl der Matrix ist sehr groß und die numerische Stabilität ist nicht gut.
Die Art der großen Bedingungszahl des Problems
Einige Spaltenvektoren einer Matrix sind proportional oder annähernd proportional
Es gibt redundante Gewichtungskoeffizienten und es kommt zu einer Überanpassung.
Lösung
Sollte „die Anzahl der Modellparameter reduzieren“ oder „die Modellparameter regulieren“
Regularisierte Zielfunktion
Fehler Quadratsumme J(w) Hyperparameter λ einschränkender Parametervektor w
bilden
Regularisierte Kleinste-Quadrate-LS-Lösung
Regularisierte lineare Regressionswahrscheinlichkeitsinterpretation
Die vorherige Verteilung des Gewichtskoeffizientenvektors w ist die Bayes'sche "maximale hintere Wahrscheinlichkeitsschätzung" MAP unter der Gaußschen Verteilung
Gradientenrekursionsalgorithmus (SGD als Beispiel für die stochastische Gradientenabstiegsmethode für kleine Chargen)
Lineare Regression mit mehreren Ausgaben (Ausgabevektor y).
Gezielte Probleme
Die Ausgabe ist ein Vektor y anstelle eines Skalars y
Fehler Quadratsumme Zielfunktion J(W)
LS-Lösung der kleinsten Quadrate
Lasso für spärliche lineare Regression
Norm des Regularisierungsterms
Norm p>1
Keine der Lösungskoordinaten ist 0 und die Lösung ist nicht dünn besetzt.
Norm p=1
Die meisten Lösungskoordinaten sind 0, die Lösungen sind dünn und die Verarbeitung ist relativ einfach.
Norm p<1
Die meisten Lösungskoordinaten sind 0, die Lösungen sind spärlich und die Verarbeitung ist schwierig.
Lasso-Problem
Inhalt
Für das Problem der Minimierung der Fehlerquadratsummenfunktion wird eine Einschränkung ||w||1<t auferlegt
Regularisierungsausdruck
Lassos Algorithmus für den zyklischen Koordinatenabstieg
Vorverarbeitung
Mitteln Sie die X-Spalten der Datenmatrix auf Null und normalisieren Sie sie auf Z
Lassos Lösung im Fall einer einzelnen Variablen
Lasso-Lösung
Verallgemeinerung der Lasso-Lösung in Fällen mit mehreren Variablen
Zyklische Koordinatenabstiegsmethode CCD
Bestimmen Sie zunächst einen der Parameter wj
Berechnen Sie die Parameter, die die Summe der Fehlerquadrate minimieren
Zu diesem Zeitpunkt sind andere Parameter w keine optimalen Werte, daher ist das Berechnungsergebnis von wj nur eine Schätzung.
Schleifenberechnung
Die gleiche Idee wird verwendet, um andere Parameter in einer Schleife zu berechnen, bis die Parameterschätzungen konvergieren.
Ein Teil des Restwerts ri(j) ersetzt yi
Mathematisch konsistent mit Univariat
Parameterschätzungen
Lassos LAR-Algorithmus
Anwendbar
Lösen Sie das Problem der spärlichen Regression unter 1-Norm-Einschränkungen
Entspricht dem Problem der regulierten Regression
Einstufung
λ=0
Standardproblem der kleinsten Quadrate
Je größer λ
Je spärlicher der Modellparameterlösungs-w-Vektor ist, desto spärlicher ist er
lineare Basisfunktionsregression
Basisfunktion
Regressionsmodell
Datenmatrix
Regressionskoeffizientenlösung
Einzelwertzerlegung
pseudoinvers
SVD-Zerlegung
Lösung des Regressionskoeffizientenmodells
Fehlerzerlegung für Regressionslernen
Fehlerfunktion
Fehlererwartung
Modell
theoretisch bestes Modell
Lernmodell
Fehlerzerlegung
Modellkomplexität und Fehlerzerlegung
Das Modell ist einfach
Große Abweichung, kleine Varianz
Das Modell ist komplex
Kleine Abweichung, große Varianz
Es muss eine angemessene Modellkomplexität gewählt werden