Mindmap-Galerie Datenbank
Data Warehouse ist eine strategische Sammlung, die alle Arten von Datenunterstützung für den Entscheidungsprozess auf allen Ebenen des Unternehmens bietet. Diese Brain Map befasst sich mit dem Systemrahmendesign des Data Warehouse, der mehrdimensionalen Analysetechnologie und der Datenvorverarbeitungstechnologie. und die wichtigsten Punkte beim Aufbau eines Bank-Data-Warehouse. Sortieren Sie es, um die Konnotation und Konstruktionsbedeutung des Data-Warehouse zu verstehen.
Bearbeitet um 2024-01-19 15:42:49Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Projektmanagement ist der Prozess der Anwendung von Fachwissen, Fähigkeiten, Werkzeugen und Methoden auf die Projektaktivitäten, so dass das Projekt die festgelegten Anforderungen und Erwartungen im Rahmen der begrenzten Ressourcen erreichen oder übertreffen kann. Dieses Diagramm bietet einen umfassenden Überblick über die 8 Komponenten des Projektmanagementprozesses und kann als generische Vorlage verwendet werden.
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Projektmanagement ist der Prozess der Anwendung von Fachwissen, Fähigkeiten, Werkzeugen und Methoden auf die Projektaktivitäten, so dass das Projekt die festgelegten Anforderungen und Erwartungen im Rahmen der begrenzten Ressourcen erreichen oder übertreffen kann. Dieses Diagramm bietet einen umfassenden Überblick über die 8 Komponenten des Projektmanagementprozesses und kann als generische Vorlage verwendet werden.
Datenbank
Datenvorverarbeitung
Kriterien zur Bewertung der Datenqualität
Genauigkeit
Integrität
Konsistenz
Aktualität
Glaubwürdigkeit
Interpretierbarkeit
Datenvorverarbeitungstechnologie
1. Datenbereinigung
Zweck:
Beheben Sie Datenfehler und Inkonsistenzen
Formatstandardisierung, Erkennung und Verarbeitung abnormaler Daten, Korrektur von Datenfehlern, Erkennung und Entfernung doppelter Daten
Fehlende Wertbehandlung
(1) Tupel ignorieren
(2) Fehlende Werte manuell ergänzen
(3) Verwenden Sie eine gleichmäßige, konstante Füllung
(4) Füllen Sie mit dem Attribut „Durchschnitt“.
(5) Verwenden Sie den Durchschnittswert der Beispielattribute nach der Gruppierung
(6) Geben Sie den wahrscheinlichsten Wert ein
Laute Datenverarbeitung
(1) Verpackung
(2) Clustering
(3) Kombination aus Computer- und manueller Inspektion
(4) Rückkehr
2. Datenintegration
Zweck: Daten aus mehreren Datenquellen integrieren
3. Datenkuration
Zweck: Erhalten Sie einen genaueren Ausdruck der Daten
Datenkurationsstrategie
(1) Datenwürfelaggregation
(2) Dimensionsprotokoll
Wavelet-Transformation
Hauptkomponentenanalyse
(3) Datenkomprimierung
Verlustfreie Kompression
Verlustbehaftete Komprimierung
(4) Numerische Komprimierung
4. Datenänderungen
Dabei handelt es sich um eine Operation zur Standardisierung, Diskretisierung und konzeptionellen Schichtung von Daten.
Datentransformationsmethode
(1) Aggregation: Daten zusammenfassen und aggregieren
(2) Datenverallgemeinerung: der Prozess der Abstraktion von einer relativ niedrigen konzeptionellen Ebene auf eine höhere konzeptionelle Ebene
(3) Standardisierung
(4) Attributkonstruktion/Merkmalsableitung
Datenamt
Die Einrichtung eines vollständigen Data-Governance-Systems erfordert die Verbesserung der Dateninformationsverwaltungsfunktionen unter verschiedenen Aspekten wie Systemen, Standards, Überwachung und Prozessen, um die folgenden Probleme zu lösen
Datenstandards
Die Unterstützung des Datenplattformgeschäfts muss standardisiert werden
Datenkontrollsystem
Prozessspezifikationsdokument
Definition des Informationselements
Metadatenverwaltung
Führen Sie Datenauswirkungs- und Kontextanalysen durch, um Auswirkungs- und Blutsverwandtschaftsanalysen auf Datenfluss und Abhängigkeitsbeziehungen durchzuführen
Datenqualität
Anforderungen an die Datenqualität sind messbar und die Datenqualität der Datenplattform muss umfassend verwaltet werden, um definierbare Datenqualitätsprüfungen und Dimensionsanalysen sowie eine Problemverfolgung zu implementieren.
Datendienst
Bereitstellung von Service-Kommunikationskanälen für die Datenplattform für Geschäftsanwender und Anwendungsentwickler
Mehrdimensionale Data-Warehouse-Analysetechnologie
Grundlegende Konzepte des Data Warehouse
Grunddefinition: Ein Data Warehouse ist eine themenorientierte, integrierte, relativ stabile Datensammlung, die historische Veränderungen widerspiegelt und zur Entscheidungsunterstützung im Management dient.
Technische Eigenschaften des Data Warehouse
themenorientiert
Das Thema bezieht sich auf die Ziele und Anforderungen der Analyse und Entscheidungsfindung. Es wird vom Entscheidungsträger entsprechend den Arbeitsanforderungen vorgeschlagen und letztendlich umgesetzt, um dem Entscheidungsträger zu dienen.
Subjektorientiert bezieht sich auf die erforderliche Organisation des Subjekts, in dem sich die Daten im Data Warehouse befinden sollen.
Zu den für Banken geltenden Themen gehören im Allgemeinen:
Party
Interne Organisation
Produkt
Protokoll
Ereignis
Adresse
Kanal
Marketing
Finanzen
Kundenvermögen
integriert
Der Aufbau eines Data Warehouse ist in der Regel der komplexeste und kritischste Schritt.
Für die Analyse und Entscheidungsfindung sind große Datenmengen zur Analyse, zum Vergleich und zur Identifizierung erforderlich.
Es gibt viele Duplikate und Inkonsistenzen in den Daten zwischen mehreren Datenquellen. Nur durch systematische Verarbeitung und Bereinigung kann der nächste Schritt der Integration durchgeführt werden.
Relativ stabil (nichtflüchtig)
Nachdem die Daten in das Lager gelangt sind, müssen sie über einen längeren Zeitraum relativ stabil gespeichert werden. Dies ist die Grundvoraussetzung für eine korrekte Entscheidungsfindung.
Bei den meisten Datenbankvorgängen handelt es sich um Abfragen mit wenigen Änderungen und Löschungen.
Historische Veränderungen widerspiegeln (Zeitvariante)
Data-Warehouse-Minuten speichern Dateninformationen, die den historischen Zeitstatus widerspiegeln, und müssen außerdem in Phasen basierend auf bestimmten Ereignisreihenfolgen gespeichert werden.
Online-Analyse (OLAP)
1. Grundlegende Definition: Bezieht sich auf Softwaretechnologie, die mehrdimensionale Informationen verwendet, um auf Online-Daten für bestimmte Probleme zuzugreifen, diese zu analysieren und zu überprüfen
2. Grundkonzepte
(1) Dimension
(2) Dimensionsebene
(3) Dimensionselemente
(4) Messung
(5) Mehrdimensionale Datenerfassung
(6) Dateneinheit
3.Technische Merkmale
(1) Schnelligkeit
(2) Analysierbarkeit
(3) Multidimensionalität
(4) Informativ
Design des Data-Warehouse-System-Frameworks
Planung und Vorbereitung des Data Warehouse
1. Analyse der Benutzerbedürfnisse
2. Machbarkeitsanalyse
technische Machbarkeit
wirtschaftliche Machbarkeit
betriebliche Machbarkeit
3. Baukoordination und Widerstandsanalyse
4. Formulierung des Projektentwicklungsplans
(1) „Was zu tun ist“
Lösen Sie die Aufgabenteilung des Data Warehouse-Aufbaus
(2) „Wie es geht“
Aufgabenbeschreibung und Fortschrittsplanung für den Data-Warehouse-Aufbau
(3) „Was benötigt wird“
Abruf und Vermittlung der Schlüsselressourcen: Personal, Hardware, Software
Datenarchitektur des Data Warehouse
1. Datenflussrichtung
Post-Quellschicht: Laden der Quellsystemdaten
Themenschicht: Durch die Datenverarbeitung werden detaillierte historische Daten, Kundeninformationen, Kontoinformationen, Transaktionsdaten usw. thematisch gespeichert.
Zusammenfassungsebene: Fassen Sie regelmäßig nach Kontoinformationen und Kundeninformationen zusammen
Anwendungsschicht: Abschließend werden die für die Anwendungsanalyse erforderlichen Daten gebildet und gespeichert.
2. Datenmodell
Mit der Anhäufung von Data-Warehouse-Konstruktionen ist es notwendig, ein ausgereiftes Data-Warehouse-Datenmodell zu bilden, das die Merkmale erfüllt.
3. Datenstandards
Datenzuordnung
Regeln durchsetzen
4. Datenqualität
(1) Definition und Erstmessung
(2) Fehler analysieren und finden
(3) Finden Sie die Ursache des Problems
(4) Qualitätsprobleme lösen
(5) Überwachen Sie den Verbesserungsprozess
5. Datenverwaltung und -kontrolle
Einheitliches Datenverwaltungssystem-Framework
6. Richtlinie und Kapazität zur Datenaufbewahrung
Bedarf an Geschäftsanalysen
Regulierungsbedarf
Die Notwendigkeit, Kunden zusätzliche Dienstleistungen auf der Grundlage historischer Daten bereitzustellen
Datenorganisationsstruktur des Data Warehouse mit mehreren Granularitäten
Ob die Granularität angemessen ist oder nicht, wirkt sich direkt auf die Menge der im Data Warehouse gespeicherten Daten und die Arten von Abfragen aus, die das Data Warehouse verarbeiten kann.
Granularität ist ein Schlüsselmaß für den Grad der Integration in einem Data Warehouse
Je größer die Granularität, desto geringer der Detaillierungsgrad und desto höher der Grad der Vollständigkeit der Daten.
Je kleiner die Granularität, desto höher der Detaillierungsgrad der Daten und desto geringer der Grad der Vollständigkeit.
Data-Warehouse-Architektur
Bestimmen Sie die Grundfunktionalität und Erweiterungsmöglichkeiten
1. Bottom-up und Bottom-up sind Architekturen
Top-Down-Struktur:
Vorteile: Zentralisierung, Vereinheitlichung und Standardisierung
Nachteile: Es muss auf einmal fertiggestellt werden, der Zyklus ist lang und die Kosten sind hoch. Es besteht möglicherweise die Gefahr, dass es zu einem Wiederaufbau kommt
Bottom-up-Struktur: Erstellen Sie zunächst einen unabhängig entwickelten Data Mart und dann ein Data Warehouse basierend auf dieser Technologie
2. Reine Data-Warehouse-Architektur
Die Struktur ist einfach. Vom Datenquellsystem erhaltene Daten werden konvertiert und in das Data Warehouse geladen und dann über das Data Warehouse direkt der Front-End-Datenanwendung bereitgestellt.
3. Reine Data-Mart-Architektur
Es gibt kein globales Data Warehouse. Datenverarbeitungsanwendungen müssen eine Verbindung zu einem oder mehreren Data Marts herstellen, um Daten abzurufen.
Eine Zwischenform eines Data Warehouse
4. Architektur des virtuellen Data Warehouse
Die mit der Datenverarbeitungsanwendung verbundene einheitliche Datenquelle ist nur eine Zwischenschicht, die die Regeln und Mittel für den Zugriff auf und die Integration von Daten enthält und den Benutzern des Data Warehouse eine virtuelle Data Warehouse-Ansicht bietet.
Die Datenintegration findet nur dann statt, wenn ein Benutzer Abfragedaten anfordert und die Implementierungsanforderungen hoch sind
Kernpunkte beim Aufbau eines Bank-Data-Warehouse
(1) Das Data Warehouse-System muss zunächst die Anforderungen der Zentrale und der lokalen Niederlassungen an Datenspeicherung, Abfrage, Statistik, Analyse usw. erfüllen.
(2) Beim Aufbau des Data Warehouse ist es notwendig, eine einheitliche Datenquelle und eine einheitliche Architektur aufzubauen.
Achten Sie auf die Verwaltung und einheitliche Freigabe von Metadaten
Achten Sie auf die Konstruktion standardisierter Verkäuferindikatoren mit einheitlichen Standards und konsistentem Kaliber
Richten Sie einen Dateninspektionsmechanismus ein, verbessern Sie kontinuierlich die Datenqualität und stärken Sie die Datenverwaltung in allen Aspekten
(3) Angesichts des kontinuierlichen Geschäftswachstums muss der Data-Warehouse-Bauplan skalierbar sein
(4) Im Bankgeschäft gelten extrem hohe Anforderungen an die Verfügbarkeit, und das Geschäftsinformationssystem kann nicht einfach heruntergefahren werden.