Anmeldung
Anmelden

EdrawMind

Mindmap für Data-Mining- und Analysetechnologie

Mindmap-Galerie Mindmap für Data-Mining- und Analysetechnologie

Mindmap für Data-Mining- und Analysetechnologie

Ein Rechenprozess, der Methoden wie künstliche Intelligenz, maschinelles Lernen und Statistik nutzt, um aus riesigen Datenmengen nützliche, bisher unbekannte Muster oder Erkenntnisse zu extrahieren.

Bearbeitet um 2021-12-27 22:46:49

tyyii7sc@bccto.c

Aktuelle Werke Weitere Werke anzeigen>>

Mindmap für Data-Mining- und Analysetechnologie

tyyii7sc@bccto.c

Aktuelle Werke Weitere Werke anzeigen>>

Für Sie empfohlen
Gliederung

Data-Mining- und Analysetechnologie

Kapitel 1 Überblick über Data Mining

Vor dem Unterricht verstehen

Zusammenfassung

maschinelles Lernen

Arbeitsanweisungen

Datenimport

Datenvorverarbeitung

Feature-Engineering

Teilt

Trainingsmodell

Bewertungsmodell

Prognostizieren Sie neue Daten

Merkmale von Big Data

Eine Menge

Vielfältig

hohe Geschwindigkeit

Wert

1.1 Einführung in Data Mining

Definition

Hintergrund

Die Menge an Daten hat dramatisch zugenommen und neue Forschungsrichtungen hervorgebracht: datenbankbasierte Wissensentdeckung und Forschung zu entsprechenden Data-Mining-Theorien und -Technologien.

Der nächste Technologie-Hotspot nach dem Internet

Während eine große Menge an Informationen den Menschen Bequemlichkeit bringt, bringt sie auch viele Probleme mit sich.

Zu viele Informationen und schwer verdaulich

Es ist schwierig, die Authentizität von Informationen zu erkennen

Informationssicherheit ist schwer zu gewährleisten

Informationen liegen in unterschiedlicher Form vor und lassen sich nur schwer einheitlich verarbeiten

Brisante Daten, aber mangelndes Wissen

Die Entwicklung von Geschäftsdaten zu Geschäftsinformationen

Datenerfassung → Datenzugriff → Data Warehouse, Entscheidungsunterstützung → Data Mining (Bereitstellung prädiktiver Informationen)

Bühne

Datenvorverarbeitung

Bereinigen, integrieren, auswählen, transformieren

Data-Mining

Modellbewertung

Verfahren

Daten, Informationen, Wissen

Daten

„8000m“, „10000m“

Entstanden aus der Beobachtung und Messung objektiver Dinge, bezeichnen wir die untersuchten objektiven Dinge als Entitäten

Information

„8000 m ist die maximale Flughöhe für Flugzeuge“, „10000 m hoher Berg“

Wissen

„Flugzeuge können diesen Berg nicht überfliegen“

Weisheit

Hauptinhalt

Assoziationsregel-Mining

Bier und Windeln

überwachtes maschinelles Lernen

Diskrete Etikettenvorhersage – Etikettenklassifizierung

Kontinuierliche Etikettenvorhersage – numerische Vorhersage

Unüberwachtes maschinelles Lernen – Clustering (Ähnlichkeitsalgorithmus)

zurückkehren

Stellen Sie quantitative Beziehungen zwischen mehreren Variablen her

Klassifizierung von Algorithmen

überwachtes Lernen

Lernen Sie eine Funktion (Modell) aus den gegebenen Trainingsdaten. Wenn neue Daten eintreffen, kann das Ergebnis basierend auf dieser Funktion (Modell) vorhergesagt werden.

Trainingsdaten haben eine klare Identifizierung oder Ergebnisse

Regressionsalgorithmus, neuronales Netzwerk, SVM-Support-Vektor-Maschine

Regressionsalgorithmus

lineare Regression

Behandeln Sie numerische Probleme, und das endgültige Vorhersageergebnis ist eine Zahl, wie zum Beispiel: Hauspreis

logistische Regression

Gehört zu einem Klassifizierungsalgorithmus, z. B. zur Feststellung, ob es sich bei einer E-Mail um Spam handelt

Neuronale Netze

Wird auf visuelle Erkennung und Spracherkennung angewendet

SVM unterstützt den Vektormaschinenalgorithmus

Verbesserung des logistischen Regressionsalgorithmus

unbeaufsichtigtes Lernen

Trainingsdaten sind nicht speziell gekennzeichnet

Clustering-Algorithmus, Dimensionsreduktionsalgorithmus

Clustering-Algorithmus

Berechnen Sie die Entfernung in der Grundgesamtheit und teilen Sie die Daten basierend auf der Entfernung in mehrere Grundgesamtheiten auf

Algorithmus zur Dimensionsreduktion

Reduzieren Sie die Daten von hoher Dimensionalität auf niedrige Dimensionalität. Die Dimension stellt die Größe der Merkmalsmenge der Daten dar. Beispielsweise enthält der Hauspreis die vier Merkmale Länge, Breite, Fläche und Anzahl der Räume des Hauses Die Dimension besteht aus 4-dimensionalen Daten, und die obigen Informationen überschneiden sich mit den durch Fläche = Länge × Breite dargestellten Informationen. Redundante Informationen werden durch Dimensionsreduzierung entfernt.

Komprimieren Sie Daten und verbessern Sie die Effizienz des maschinellen Lernens

Unternehmensdatenanwendungen

halbüberwachtes Lernen

Wie man eine kleine Anzahl beschrifteter Proben und eine große Anzahl unbeschrifteter Proben für Trainings- und Klassifizierungsprobleme verwendet

Bildidentifikation

Verstärkungslernen

Lernsubjekte fällen ihre Urteile auf der Grundlage von Rückmeldungen aus ihrer beobachteten Umgebung

Robotersteuerung

1.2 Grundlegende Prozesse und Methoden des Data Mining

grundlegende Methode

Predictive Mining

Extrapolieren Sie aktuelle Daten, um Vorhersagen zu treffen

Beschreibender Bergbau

Charakterisieren Sie die allgemeinen Merkmale der Daten in der Datenbank (Korrelation, Trend, Clustering, Anomalie...)

Data-Mining-Flussdiagramm

Wichtigste Data-Mining-Methoden in der sechsten Mittelschule (P6)

Zusammenfassende Zusammenfassung des Datensatzes

Regeln für die Datenzuordnung

Eine Möglichkeit zur Beschreibung potenzieller Verbindungen zwischen Daten, normalerweise dargestellt durch die Implikation A-B

Klassifizierung und Vorhersage

Clusterbildung

Heterogene Erkennung

Zeitreihenmodell

1.3 Anwendung von Data Mining

Geschäft

Gesundheitswesen und Medizin

Banken und Versicherungen

sozialen Medien

Werkzeug

Weka, Matlab, Java

Relevante Information

Unterthema

Kapitel 2 Datenbeschreibung und Visualisierung

2.1 Übersicht

Analysieren Sie Datenattribute und Datenwerte → Datenbeschreibung und Visualisierung

2.2 Datenobjekte und Attributtypen

Datensatz

Bestehend aus Datenobjekten

Verkaufsdatenbank: Kunden, Ladenartikel, Verkäufe Medizinische Datenbank: Patienten- und Behandlungsinformationen Universitätsdatenbank: Informationen zu Studenten, Professoren und Kursen

Datenobjekt

Ein Datenobjekt repräsentiert eine Entität

Bekannt als: Beispiel, Beispiel, Instanz, Datenpunkt, Objekt, Tupel

Attribute

ein Merkmal eines Datenobjekts

der Begriff

Datenbank: Dimension

Maschinelles Lernen: Funktionen

Statistik: Variablen

Data Mining, Datenbanken: Eigenschaften

Einstufung

Nominale Eigenschaften

Nominale Attributwerte sind einige Symbole oder Namen von Dingen, die Kategorien und Namen darstellen

Nominales Attribut: Haarfarbe, mögliche Werte: schwarz, weiß, braun Nominales Attribut: Familienstand, mögliche Werte: verheiratet, ledig, geschieden, verwitwet

Binäre Attribute (spezielle nominale Attribute)

Es gibt nur zwei Kategorien und Status

symmetrisches Binärsystem

Der Unterschied in der Datengröße ist gering Beispiel: Geschlecht – männlich, weiblich

asymmetrische Binärdatei

Die Datengröße variiert stark Beispiel: Medizinischer Test – negativ, positiv

Ordnungseigenschaften

Es gibt eine Reihenfolge, aber der Unterschied zwischen ihnen ist unbekannt. Sie wird normalerweise zur Bewertung verwendet.

Lehrertitel, militärischer Rang, Kundenzufriedenheit

Numerische Eigenschaften

Intervallskalierungseigenschaften

Sequentiell in Längeneinheiten gemessen

Eigenschaften der Verhältnisskala

Hat einen festen Nullpunkt, ist geordnet und kann Vielfache berechnen

Diskrete und kontinuierliche Attribute

2.3 Grundlegende statistische Beschreibung von Daten

Maß der zentralen Tendenz

Mittelwert, Median, Modus

Verbreitung metrischer Daten

Bereich, Quartil, Quartilbereich

Fünf-Zahlen-Zusammenfassung, Boxplots und Ausreißer

Varianz, Standardabweichung

Grafische Darstellung grundlegender Datenstatistiken

Quantildiagramm

Quantil – Quantildiagramm

Histogramm

Höhe - Menge, Häufigkeit

Streudiagramm

Entdecken Sie Zusammenhänge zwischen Attributen

2.4 Datenvisualisierung

Definition

Drücken Sie Daten effektiv durch Grafiken aus

Drei Visualisierungsmethoden

Boxplot (Boxplot)

Analysieren Sie die Streuungsunterschiede mehrerer Attributdaten

Kann die Verteilung von Daten und Ausreißer anzeigen (müssen gelöscht werden)

Histogramm

Analysieren Sie die Änderungsverteilung eines einzelnen Attributs in verschiedenen Intervallen

Streudiagramm

Zeigen Sie die Korrelationsverteilung zwischen zwei Datensätzen an

2.4.1 Pixelbasierte Visualisierung

Eine einfache Möglichkeit, eindimensionale Werte zu visualisieren, besteht darin, Pixel zu verwenden, deren Farbe den Wert dieser Dimension widerspiegelt

Geeignet für eindimensionale Werte, nicht geeignet für die Verteilung mehrdimensionaler räumlicher Daten

2.4.2 Geometrische Projektionsvisualisierung

Helfen Sie Benutzern, Projektionen mehrdimensionaler Daten zu entdecken. Die größte Herausforderung der geometrischen Projektionstechnologie besteht darin, herauszufinden, wie sich hochdimensionaler Raum in zwei Dimensionen visualisieren lässt.

Für zweidimensionale Datenpunkte wird normalerweise ein Streudiagramm des kartesischen Koordinatensystems verwendet. Im Streudiagramm können verschiedene Farben oder Formen als dritte Dimension der Daten verwendet werden.

(Wird für dreidimensionale Datensätze verwendet) Streudiagramme, Streudiagrammmatrizen und parallele Koordinatenvisualisierung (wenn die Anzahl der Dimensionen groß ist)

2.4.3 Symbolbasierte Visualisierung

Stellen Sie mehrdimensionale Datenwerte mit einer kleinen Anzahl von Symbolen dar

Zwei häufig verwendete Symbolmethoden

Tschernows Gesicht (ermöglicht die Visualisierung von bis zu 36 Dimensionen)

Zeigen Sie Datentrends auf

Elemente wie Augen, Mund und Nase des Gesichts verwenden unterschiedliche Formen, Größen, Positionen und Richtungen, um Bemaßungswerte darzustellen.

Jedes Gesicht stellt einen n-dimensionalen Datenpunkt (n ≤ 18) dar, und die Bedeutung verschiedener Gesichtsmerkmale wird durch die Identifizierung kleiner Unterschiede in den Gesichtern verstanden.

Zeichenlinienzeichnung

2.4.4 Hierarchische Visualisierung

Teilen Sie alle Dimensionen in Teilmengen (d. h. Teilräume) auf und visualisieren Sie diese Teilräume hierarchisch

Zwei häufig verwendete hierarchische Visualisierungsmethoden

X-Achsen-Y-Achsen-Teilmengenhierarchie

Zahlendiagramm

2.4.5 Visualisierung komplexer Objekte und Beziehungen

Schlagwortwolke

2.5 Messung der Datenähnlichkeit und -unähnlichkeit

Konzept

Ähnlichkeit

Misst, wie ähnlich zwei Datenobjekte sind. Je größer der Wert, desto ähnlicher sind sie. Der übliche Wertebereich ist [0,1].

Unähnlichkeit

Misst den Grad der Differenz zwischen zwei Datenobjekten. Je kleiner der Wert, desto ähnlicher sind die Daten. Die minimale Unähnlichkeit beträgt normalerweise 0.

Nähe

Bezieht sich auf Ähnlichkeit oder Unähnlichkeit

Stellt zwei Datenstrukturen bereit

Datenmatrix (Objekt – Attributmatrix)

Speichern Sie n Datenobjekte, jedes n Datenobjekt hat n Zeilen und p Attributmerkmale haben p Spalten.

Unähnlichkeitsmatrix (Objekt - Objektmatrix)

Unähnlichkeitswert, der zum Speichern von Datenobjekten verwendet wird

Normalerweise eine dreieckige Matrix

Näherungsmaß für nominale Attribute

Näherungsmaß für binäre Attribute

Unähnlichkeit in numerischen Attributen

Mehrere gängige Methoden zur Berechnung von Distanzmaßen für die Unähnlichkeit numerischer Attributobjekte

Euklidische Entfernung

Manhattan-Entfernung

Ou und Man erfüllen gleichzeitig die folgenden Eigenschaften

Minkowski-Distanz

Förderung von Ouyuman

Höchster Abstand

gibt den Maximalwert der Differenz zwischen Objekten an

Näherungsmaße für Ordinalattribute

Unähnlichkeit gemischter Attribute

Jeder Attributtyp wird in eine Gruppe unterteilt, und für jeden Typ wird eine Data-Mining-Analyse (z. B. Clusteranalyse) durchgeführt. Wenn diese Analysen die gleichen Ergebnisse liefern, funktioniert die Methode, aber in praktischen Anwendungen ist es schwierig, für jede Attributtypklassifizierung die gleichen Ergebnisse zu erhalten.

Ein besserer Ansatz: Führen Sie einfach eine einzelne Analyse durch, kombinieren Sie die verschiedenen Attribute in einer einzigen Unähnlichkeitsmatrix und transformieren Sie die Attribute in ein gemeinsames Intervall [0,0,0,1].

Beispiel

Unterthema

Kosinusähnlichkeit (einfach verstehen)

Text-Retrieval, Biological Information Mining

Dokumentvektor, Worthäufigkeitsvektor

Frequenzvektoren sind normalerweise lang und dünnbesetzt (haben viele 0-Werte)

Kapitel 7 Support Vector Machine

Klassifizierung von Support-Vektor-Maschinen

Problem der linearen binären Klassifizierung

Finden Sie die optimale Hyperebene

Kapitel 6 Klassifizierung und Vorhersage

6.1 Datenklassifizierung

kontinuierliche Variable

Größe, Gewicht

Kategorische Variablen

Ungeordnete kategoriale Variable

Geordnete Klassifizierung

Allgemeine Methoden zur Datenklassifizierung

Klassifizierung, Reihenfolge, Abstand, Verhältnis

6.2 Entscheidungsbaummodell

Entscheidungsbaum generieren

Entscheidungsbaum beschneiden

6.2.1 Wie Entscheidungsbäume funktionieren

6.3 Bayesianisches Klassifizierungsmodell

maximal a posteriori-Hypothese

Der Lernende wählt die wahrscheinlichste Hypothese h aus dem Kandidatenhypothesesatz H aus, wenn ihm die Daten D vorliegen. h wird als Maximum-Posteriori-Hypothese bezeichnet.

Es muss nach der gemeinsamen Wahrscheinlichkeit gefragt werden

Normalerweise wird davon ausgegangen, dass jedes Attribut unabhängig und identisch verteilt ist

Zuvor müssen Korrelationsberechnungen und Zusammenführungen durchgeführt werden, um die Korrelation zwischen Attributen zu minimieren.

Merkmale

Attribute können diskret oder kontinuierlich sein

Solide mathematische Grundlage und stabile Klassifizierungseffizienz

Unempfindlich gegenüber fehlenden Daten, verrauschten Daten und Ausreißern

Wenn die Attribute nicht relevant sind, ist der Klassifizierungseffekt sehr gut

6.4 Lineares Diskriminanzmodell

6.5 Logistisches Regressionsmodell

6.6 Modellbewertung und -auswahl

Kapitel 5 Assoziationsregel-Mining

5.1 Übersicht

Konzept

Das Mining von Assoziationsregeln wird verwendet, um die Korrelation zwischen Elementsätzen in der Transaktionsdatenbank zu ermitteln und alle Assoziationsregeln zu ermitteln, die die Mindestschwellenwertanforderungen an Unterstützung und Vertrauen erfüllen.

Assoziationsregeln werden verwendet, um potenziell nützliche Abhängigkeiten zwischen Datenelementen in großen Datenmengen zu finden.

häufige Itemsets

Artikelset, das ein Mindestmaß an Unterstützung und Glaubwürdigkeit erfüllt

Unterstützung

Glaubwürdigkeit

Starke Regeln

Regeln, die das Mindestmaß an Unterstützung und Vertrauen erfüllen oder übertreffen

Hauptschritte des Data Mining

Suchen Sie im Artikelsatz von Big Data nach der Häufigkeitsanzahl ≥ des häufigen Artikelsatzes

Legen Sie aus den oben erhaltenen häufigen Itemsets Assoziationsregeln fest, die die Mindestbedingungen für Unterstützung und Glaubwürdigkeit erfüllen.

5.2 Klassifizierung

5.3 Rechercheschritte

5.4 Analyse des Apriori-Algorithmus

5.6 Verallgemeinerung der Verbandsregeln (GRI)

Tiefensuche

5.7 Eingehende Untersuchung der Assoziationsregeln

Kapitel 4 Datenreduktion (Datenreduktion)

4. 1 Übersicht über die Wartung

Optimieren Sie Daten weitestgehend und behalten Sie gleichzeitig das ursprüngliche Erscheinungsbild der Daten bei

4.2 Attributauswahl und numerische Reduzierung

Bewertungskriterien für Attribute (P58)

Konsistenzmessung

Der Grad der Konsistenz zwischen zwei Attributen

Der Grad der Übereinstimmung zwischen Bildungsniveau und VIP-Niveau

Korrelationsmessung

Die Korrelation zwischen verschiedenen Attributen bezieht sich auf die Beziehung zwischen ihnen

Zusammenhang zwischen Bildungsniveau und VIP-Niveau

Je höher die Korrelation zwischen zwei Attributen ist, desto genauer lässt sich der Wert eines Attributs aus dem Wert des anderen Attributs ableiten.

Messung der Unterscheidungsfähigkeit

Die Fähigkeit eines bestimmten Attributs, Datensätze in der Datenbank zu unterscheiden

Informationsmessung

Je mehr Informationen ein Attribut enthält, desto wichtiger ist es

Die Informationsmenge wird üblicherweise anhand der „Informationsentropie“ gemessen.

Methode zur Auswahl der Attributteilmenge

Wählen Sie Schritt für Schritt weiter

Setzen Sie die Zieleigenschaft auf leer

Bei jeder Iteration wird das beste Attribut aus den verbleibenden Attributen im Originaldatensatz ausgewählt und zum Zielattributsatz hinzugefügt.

Entfernen Sie das Attribut aus dem Originaldatensatz

Wiederholen Sie diesen Vorgang, bis der Zielsatz den Anforderungen entspricht

Schritt für Schritt Rückwärtsauswahl

Ordnen Sie zunächst den ursprünglichen Attributsatz dem Nicht-Ziel-Attributsatz zu

In jeder Iteration wird das Attribut mit der schlechtesten Gesamtbewertung aus dem Zielattributsatz entfernt.

Wiederholen Sie diesen Vorgang, bis der Zielattributsatz die Anforderungen erfüllt

numerische Reduzierung

Transformieren Sie Eigenschaften in Variablen, um ihren Dynamikbereich zu reduzieren

Einfache Funktionstransformation

Standardisierung von Daten

Diskretisieren Sie Attribute und kodieren Sie sie mit ganzen Zahlen

Diskretisierung gleicher Breite, Diskretisierung gleicher Tiefe

Binärisieren Sie das Attribut, sodass es nur zwei Werte hat

Wenn es sich bei dem Attributwert um ein Signal oder ein Bild handelt, kann auch eine Komprimierungskodierung durchgeführt werden

4.3 Lineare Regression

Definition

Ist die Untersuchung der Beziehung zwischen einer einzelnen abhängigen Variablen und einer oder mehreren unabhängigen Variablen

Nützlichkeit

Vorhersage bezieht sich auf die Verwendung beobachteter Variablen zur Vorhersage abhängiger Variablen

Die Kausalanalyse behandelt die unabhängige Variable als Ursache der abhängigen Variablen.

lineare Regression

Multiple Regression

nichtlineare Regression

Modelldaten, die keine linearen Abhängigkeiten aufweisen

Verwenden Sie die Methode der polynomialen Regressionsmodellierung, führen Sie dann eine Variablentransformation durch, um das nichtlineare Modell in ein lineares Modell umzuwandeln, und lösen Sie es dann mithilfe der Methode der kleinsten Quadrate

4. 4 Hauptkomponentenanalyse (PCA-Hauptkomponentenanalyse)

Häufig verwendete Methoden zur Dimensionsreduktion hochdimensionaler Daten

Erstellen Sie eine lineare Kombination der ursprünglichen Variablen und spiegeln Sie alle oder die meisten Informationen der ursprünglichen Größe durch einige kombinierte Variablen wider.

Die kombinierte Variable ist die Hauptkomponente

Kapitel 3 Datenerfassung und Vorverarbeitung (Bereinigung, Integration, Reduktion, Transformation)

3.1 Übersicht

Merkmale der Big-Data-Erfassung

Der erste Schritt im Big-Data-Lebenszyklus

Im Vergleich zu herkömmlichen Daten sind Big-Data-Daten umfangreich, vielfältig und heterogen.

Von der Erfassung bis zur Verarbeitung müssen bei Big Data Konsistenz, Verfügbarkeit und Partitionsfehlertoleranz abgewogen werden.

Big-Data-Erfassungsmethoden (verstehen)

Protokollsammlung verteilter Systeme

Netzwerkdatenerfassung

Webcrawler, öffentliche Website-API (Anwendungsprogrammierschnittstelle)

DPI Deep Packet Inspection

DFI-Tiefen-/Dynamische Strömungsinspektion

Spezifische Systemschnittstellen-Datenerfassung

3.2 Zweck und Aufgaben der Datenvorverarbeitung

Zweck

Verbessern Sie die Datenqualität

Hauptmission

Datenreinigung

Klären Sie Datenrauschen und korrigieren Sie Inkonsistenzen

Datenintegration

Konsolidieren Sie Daten aus mehreren Datenquellen in einem konsistenten Datenspeicher, beispielsweise einem Data Warehouse

Datentransformation (z. B. Normalisierung)

Daten in kleinere Intervalle komprimieren

3.3 Datenbereinigung

Das Wesentliche ist ein Prozess der Änderung des Datenmodells

Datenbereinigungspfad (verstehen)

1. Reinigung fehlender Werte

Fehlende Werte entfernen

mittlere Unterstellung

Heißkarten-Füllmethode

Methode zum Ausfüllen der Entscheidung über die nächste Entfernung

Regressionsimputation

mehrere Imputationsmethoden

k – Methode des nächsten Nachbarn

Bayesianischer Ansatz

2. Bereinigen von Ausreißern (Ausreißer, Wildwerte)

Definition und Identifizierung von Ausreißern

Umgang mit Ausreißern

3. Bereinigung des Formatinhalts

4. Bereinigung von Logikfehlern

Duplikate entfernen

Entfernen Sie unangemessene Werte

5. Nicht erforderliche Datenbereinigung

6.Relevanzüberprüfung

3.4 Datenintegration

Konzept

Datenintegration im klassischen Sinne

Kombinieren Sie Daten aus mehreren Datenspeichern und speichern Sie sie in einem einzigen Datenspeicher, beispielsweise einem Data Warehouse

Datenintegration im Allgemeinen

ETL – Extrahieren, Transformieren, Laden (zum Ziel) Es ist ein wichtiger Teil beim Aufbau eines Data Warehouse

Der Benutzer extrahiert die erforderlichen Daten aus der Datenquelle, bereinigt die Daten und lädt sie schließlich gemäß dem vordefinierten Data Warehouse-Modell in das Data Warehouse.

Bedeutung von Modellen

Standardisieren Sie die Definition von Daten, um eine einheitliche Codierung, Klassifizierung und Organisation zu erreichen

Bei der Integration mehrerer Datenbanken kommt es häufig zu Datenredundanz

Erkennen Sie redundante Attribute

Korrelationsanalyse

Diskrete Variable

Chi-Quadrat-Test

Je größer der Wert, desto relevanter ist er

kontinuierliche Variable

Korrelationskoeffizient

Gleich 1, -1, völlig linear verknüpft

Größer als 0, positive Korrelation

Bei einem Wert von 0 besteht kein linearer Zusammenhang

Kleiner als 0, negative Korrelation

Analyse der Kovarianz

Größer als 0, positive Korrelation

gleich 0, Unabhängigkeit

Einige Daten haben eine Kovarianz von 0, sind jedoch nicht unabhängig

Kleiner als 0, negative Korrelation

Strategie zur Datenreduzierung

Dimensionsreduktion

Szenarien, die eine Reduzierung der Dimensionalität erfordern

Die Daten sind spärlich und haben große Dimensionen

Hochdimensionale Daten verwenden eine regelbasierte Klassifizierungsmethode

Verwenden Sie komplexe Modelle (z. B. Deep Learning), aber die Anzahl der Trainingssätze ist gering

Muss visualisiert werden

Typische Methode zur Dimensionsreduktion – PCA-Hauptkomponentenanalyse

einführen

Es gibt einige Korrelationen zwischen vielen Attributen in den Daten.

Können Sie eine Möglichkeit finden, mehrere verwandte Attribute zu kombinieren, um nur ein Attribut zu bilden?

Konzept

Kombinieren Sie mehrere Originalattribute mit bestimmten Korrelationen (z. B. p-Attribute) zu einem Satz unabhängiger umfassender Attribute, um die Originalattribute zu ersetzen. Normalerweise besteht die mathematische Behandlung darin, die ursprünglichen Attribute von p linear mit den umfassenden Attributen des Antragstellers zu kombinieren.

Zum Beispiel: Schülernoten, Sprache, Mathematik, Außenpolitik, Geschichte, Geographie usw. werden in zwei Attribute unterteilt: Geisteswissenschaften und Naturwissenschaften.

Datenreduktion – Stichprobenziehung

Datenkompression

Reduzieren Sie die Größe der Daten, indem Sie deren Qualität, z. B. Pixel, reduzieren

3.5 Datentransformation

Datentransformationsstrategie

Glätte, Attributkonstruktion, Aggregation, Normalisierung, Diskretisierung, Konzeptschichtung

Häufig verwendete Datentransformationsmethoden

Transformieren Sie Daten durch Normalisierung

Diskretisierung durch Binning

Diskretisierung durch Histogramm-Binning

Diskretisierung durch Clustering, Entscheidungsbäume und Korrelationsanalyse

Konzeptionelle Schichtung nominaler Daten

Diskretisierung

Methode gleicher Breite

Gleichfrequenzmethode

Clustering-Methode