Mindmap-Galerie Ensemble-Lernen
Es enthält zwei Hauptkategorien von Algorithmen: Bagging und Boosting. Ich hoffe, dass es für interessierte Freunde hilfreich ist.
Bearbeitet um 2023-12-23 14:09:40Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Projektmanagement ist der Prozess der Anwendung von Fachwissen, Fähigkeiten, Werkzeugen und Methoden auf die Projektaktivitäten, so dass das Projekt die festgelegten Anforderungen und Erwartungen im Rahmen der begrenzten Ressourcen erreichen oder übertreffen kann. Dieses Diagramm bietet einen umfassenden Überblick über die 8 Komponenten des Projektmanagementprozesses und kann als generische Vorlage verwendet werden.
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Projektmanagement ist der Prozess der Anwendung von Fachwissen, Fähigkeiten, Werkzeugen und Methoden auf die Projektaktivitäten, so dass das Projekt die festgelegten Anforderungen und Erwartungen im Rahmen der begrenzten Ressourcen erreichen oder übertreffen kann. Dieses Diagramm bietet einen umfassenden Überblick über die 8 Komponenten des Projektmanagementprozesses und kann als generische Vorlage verwendet werden.
Ensemble-Lernen (Teil 1)
Einführung
Idee; mehrere schwache Lernende aufbauen und kombinieren, um Lernaufgaben zu erledigen
Illustration:
Zwei Probleme, auf die beim integrierten Lernen geachtet werden muss
Wie trainiert man einen einzelnen schwachen Lernenden?
Methode 1: Ändern Sie die Gewichtung des Trainingsdatensatzes
Methode 2: Ändern Sie die Wahrscheinlichkeitsverteilung des Trainingsdatensatzes
Wie kann man schwache Lernende zu starken Lernenden zusammenführen?
Methode 1: Parallele Abstimmungsmethode
Methode 2: Serielle Gewichtungsmethode
Zwei Hauptkategorien des Ensemble-Lernens
Bagging: Es besteht keine starke Abhängigkeit zwischen Basislernern und einer Parallelisierungsmethode, die gleichzeitig generiert werden kann
repräsentativer Algorithmus
zufälliger Wald
Algorithmusidee: Verwenden Sie Entscheidungsbäume als schwache Lernende und integrieren Sie schwache Lernende in die Bagging-Methode
Wie ist Random Forest zufällig? (durch Ändern der Wahrscheinlichkeitsverteilung des Datensatzes)
Methode 1: Forest-RI
Jedes Mal, wenn Sie einen Trainingssatz erstellen, müssen Sie k Stichproben zufällig aus dem Datensatz D und n Merkmale zufällig aus M Merkmalen auswählen.
Illustration:
Methode 2: Forest-RC
Jedes Mal, wenn ein Trainingssatz erstellt wird, müssen n Merkmale zufällig aus den M Merkmalen des Datensatzes D ausgewählt und linear gewichtet werden, um einen Datensatz mit F neuen Merkmalen zu bilden. (Zufallszahl mit Gewichtungskoeffizient [-1,1])
Illustration:
Algorithmusschritte
Schritt 1: Wählen Sie einen schwachen Lernenden (Entscheidungsbaum, KNN, logistische Regression usw.)
Schritt 2: Erstellen Sie einen Trainingssatz basierend auf Zufälligkeit
Wald-RI
Wald-RC
Schritt 3: Trainieren Sie den derzeit schwachen Lernenden
Schritt 4: Bestimmen Sie anhand des Abstimmungsmechanismus, ob der starke Lernende qualifiziert ist
Abstimmungsmechanismus: Der Modus aller schwachen Lernergebnisse
Illustration:
Vorteile und Nachteile
Vorteil
Während des Trainings sind die Bäume unabhängig voneinander und die Trainingsgeschwindigkeit ist hoch.
Der Generalisierungsfehler verwendet eine unvoreingenommene Schätzung und das Modell verfügt über eine starke Generalisierungsfähigkeit.
Es verfügt über einen eigenen verpackten Datensatz, sodass der Kreuzvalidierungssatz nicht getrennt werden muss
Angesichts unausgeglichener und fehlender Datensätze ist die Modellgenauigkeit immer noch hoch
Mangel
Zufällige Wälder können bei einigen verrauschten Klassifizierungs- oder Regressionsproblemen überpassen
Random Forest hat viele Parameter und ist schwer anzupassen.
Optimierung
Zielt auf das Problem zu vieler Parameter und Schwierigkeiten bei der Parameteranpassung
Machen Sie sich zunächst mit den Parametern vertraut und passen Sie sie dann basierend auf der Rastersuche an.
Darstellung des Einflusses von Parametern auf das Modell:
Boosting: Es besteht eine starke Abhängigkeit zwischen Basislernern und einer Serialisierungsmethode, die seriell generiert werden muss.
repräsentativer Algorithmus
AdaBoost
Algorithmusidee: Trainieren Sie in jeder Runde einen schwachen Lernenden. Das Gewicht der Trainingsproben in der vorherigen Runde wird geändert und als Trainingsdaten für den schwachen Lernenden in der nächsten Runde verwendet lineare Gewichtung.
Algorithmusschritte
Schritt 1: Wählen Sie einen schwachen Lernenden (Entscheidungsbaum, KNN, logistische Regression usw.)
Schritt 2: Probengewichte initialisieren oder aktualisieren
Probengewichte initialisieren, d. h. jede Probe hat das gleiche Gewicht
Aktualisieren Sie die Probengewichte, d. h. reduzieren Sie das Gewicht korrekt klassifizierter Proben und erhöhen Sie das Gewicht falsch klassifizierter Proben.
Illustration:
Schritt 3: Trainieren Sie den derzeit schwachen Lernenden
Schritt 4: Berechnen Sie das Gewicht des aktuell schwachen Lernenden
Schritt 1: Berechnen Sie die Fehlerrate des aktuell schwachen Lernenden (das Verhältnis der Anzahl falsch klassifizierter Stichproben zur Anzahl aller Stichproben).
Schritt 2: Berechnen Sie das Gewicht des aktuell schwachen Lernenden basierend auf der Fehlerquote
Illustration:
Schritt 5: Fügen Sie den aktuellen schwachen Lernenden zum linearen Modell hinzu und bestimmen Sie, ob er qualifiziert ist
lineares Modell
Illustration:
Wie urteilen?
Genauigkeit starker Lernender
Die Anzahl der schwachen Lernenden unter den starken Lernenden
Vorteile und Nachteile
Vorteil
AdaBoost hat eine hohe Genauigkeit
AdaBoost kann verschiedene Klassifizierungsalgorithmen als schwache Klassifikatoren verwenden und ist nicht auf Entscheidungsbäume beschränkt.
Mangel
Das Parametertraining ist zeitaufwändig
Ein Datenungleichgewicht kann leicht zu Genauigkeitsverlusten führen
Die Anzahl schwacher Klassifikatoren ist nicht einfach zu bestimmen
Optimierung
Ziel ist der Trainingszeitverbrauch: Verwenden Sie den Vorwärtsverteilungsalgorithmus, um die Parameteroptimierung zu beschleunigen
Wenn die Anzahl der Klassifikatoren schwer zu bestimmen ist: Verwenden Sie eine Kreuzvalidierung, um die Bestimmung zu unterstützen
GBDT (Gradient Boosting Tree)
Boost-Baum
Regressionsverstärkender Baum: einfache Addition mehrerer schwacher Regressoren
Klassifizierungsverstärkungsbaum: Fügen Sie einfach mehrere schwache Klassifikatoren hinzu
Gradient-Boosting-Bäume: Einheitliche Klassifizierung, Regressions-Boosting-Bäume
Algorithmusidee: Verwenden Sie den CART-Regressionsbaum als schwacher Lernender, erstellen Sie eine neue Runde schwacher Lernender basierend auf dem Verlust der schwachen Lernenden und addieren Sie schließlich alle schwachen Lernenden linear.
Algorithmusschritte
Schritt 1: Wählen Sie einen schwachen Lernenden (Entscheidungsbaum, KNN, logistische Regression usw.)
Schritt 2: Erstellen Sie einen Trainingssatz (Zufälligkeit), indem Sie den negativen Gradienten der Verlustfunktion des aktuell schwachen Lernenden berechnen (Anpassungsrest) und zufällige Stichproben von Merkmalen und Stichproben aus Datensatz D erstellen
Schritt 3: Trainieren Sie den derzeit schwachen Lernenden
Schritt 4: Fügen Sie den aktuellen schwachen Lernenden zum linearen Modell hinzu und bestimmen Sie, ob er qualifiziert ist
Vorteile und Nachteile
Vorteil
Geeignet für niedrigdimensionale Daten und kann nichtlineare Daten verarbeiten
Durch die Verwendung einiger robuster Verlustfunktionen ist es sehr robust gegenüber Ausreißern
Aufgrund der Vorteile von Bagging und Boosting ist das theoretische Niveau höher als bei Random Forest und Adaboost.
Mangel
Aufgrund der Abhängigkeiten zwischen schwachen Lernenden ist es schwierig, Daten parallel zu trainieren
Höhere Datendimensionen erhöhen die Rechenkomplexität des Algorithmus.
Da der schwache Lernende ein Regressor ist, kann er nicht direkt zur Klassifizierung verwendet werden.
Optimierung
Erzielen Sie teilweise Parallelität durch selbstabtastendes SGBT
XGboost: eine effiziente Implementierung von GBDT mit neuen Regularisierungstermen und quadratischer Taylor-Erweiterungsanpassung der Verlustfunktion
LightGBM: Eine effiziente Implementierung von XGBoost, die kontinuierliche Gleitkommafunktionen in k diskrete Werte diskretisiert und ein Histogramm mit einer Breite von k erstellt, wodurch Berechnungen beschleunigt und Platzressourcen gespart werden.