Objetivo:

Manejo de valores faltantes

Procesamiento de datos ruidoso

Propósito: integrar datos de múltiples fuentes de datos

Finalidad: Obtener una expresión más precisa de los datos

Estrategia de curación de datos

Es una operación realizada para estandarizar, discretizar y estratificar conceptualmente datos.

Método de transformación de datos

estándares de datos

Gestión de metadatos

Calidad de datos

servicio de datos

El tema se refiere a los objetivos y requisitos del análisis y la toma de decisiones. Es propuesto por quien toma las decisiones de acuerdo con las necesidades del trabajo y, en última instancia, se implementa para servir a quien toma las decisiones.

Orientado al tema se refiere a la organización requerida del tema donde se deben encontrar los datos en el almacén de datos.

Los temas aplicables a los bancos generalmente incluyen

La construcción de un almacén de datos suele ser el paso más complejo y crítico.

El análisis y la toma de decisiones requieren grandes cantidades de datos para su análisis, comparación e identificación.

Hay muchas duplicaciones e inconsistencias en los datos entre múltiples fuentes de datos. Sólo mediante el procesamiento y la limpieza sistemáticos se puede llevar a cabo el siguiente paso de integración.

Una vez que los datos ingresan al almacén, deben almacenarse de manera relativamente estable durante un tiempo prolongado, que es la condición básica para garantizar una toma de decisiones correcta.

La mayoría de las operaciones de bases de datos son consultas, con pocas modificaciones y eliminaciones.

Los minutos del almacén de datos almacenan información de datos que refleja el estado del tiempo histórico y también deben almacenarse en etapas según ciertos pedidos de eventos.

(1) Dimensión

(2) Nivel de dimensión

(3) Miembros de dimensión

(4) Medición

(5) Recopilación de datos multidimensionales

(6) Unidad de datos

(1) Rapidez

(2) Analizabilidad

(3) Multidimensionalidad

(4) Informativo

viabilidad técnica

viabilidad económica

viabilidad operativa

(1) "Qué hacer"

(2) "Cómo hacerlo"

(3) "Lo que se necesita"

Capa posterior a la fuente: carga de datos del sistema fuente

Capa temática: mediante el procesamiento de datos, se almacenan datos históricos detallados, información del cliente, información de la cuenta, datos de transacciones, etc. según temas.

Capa de resumen: resuma periódicamente según la información de la cuenta y la información del cliente.

Capa de aplicación: finalmente, se forman y almacenan los datos necesarios para el análisis de la aplicación.

Con la acumulación de la construcción del almacén de datos, es necesario formar un modelo de datos de almacén de datos maduro que cumpla con las características.

mapeo de datos

hacer cumplir las reglas

(1) Definición y medición inicial

(2) Analizar y encontrar errores

(3) Encuentre la fuente del problema

(4) Resolver problemas de calidad

(5) Monitorear el proceso de mejora

Marco del sistema de gestión de datos unificado

necesidades de análisis de negocios

Necesidades regulatorias

La necesidad de proporcionar servicios adicionales a los clientes basados ​​en datos históricos.

Cuanto mayor sea la granularidad, menor será el nivel de detalle y mayor será el grado de exhaustividad de los datos.

Cuanto menor sea la granularidad, mayor será el nivel de detalle de los datos y menor el nivel de exhaustividad.

Estructura de arriba hacia abajo:

Estructura ascendente: primero cree un mercado de datos desarrollado de forma independiente y luego cree un almacén de datos basado en esta tecnología.

La estructura es simple: los datos obtenidos del sistema de origen de datos se convierten y se cargan en el almacén de datos, y luego se proporcionan directamente a la aplicación de datos de front-end a través del almacén de datos.

No existe un almacén de datos global. Las aplicaciones de procesamiento de datos necesitan conectarse a uno o más mercados de datos para llamar a los datos.

La fuente de datos unificada conectada a la aplicación de procesamiento de datos es solo una capa intermedia, que contiene las reglas y los medios para acceder e integrar los datos, y proporciona una vista del almacén de datos virtual para los usuarios del almacén de datos.