Galería de mapas mentales Proceso y métodos
El Capítulo 3 de Teoría y práctica de la ciencia de datos incluye procesamiento de datos, auditoría de datos, análisis de datos, visualización de datos, narración de datos y gestión de proyectos de ciencia de datos.
Editado a las 2023-10-15 10:50:07,Proceso y métodos
Proceso básico
Digitalización
El proceso de capturar las vidas, negocios o actividades sociales de las personas y convertirlas en datos.
Procesamiento y regularización de datos
datos limpios
Organizar datos
Dos cuestiones básicas en el procesamiento de datos
análisis exploratorio de datos
método EDA
Resistencia
residual
reexpresar
Análisis de datos y conocimientos
análisis descriptivo
Análisis predictivo
análisis normativo
Los resultados muestran
Suministro de productos de datos.
procesamiento de datos
El procesamiento de datos se refiere a una serie de actividades de procesamiento que auditan, limpian, transforman, integran, desensibilizan, reducen y etiquetan el conjunto de datos original de acuerdo con las necesidades de los cálculos de datos posteriores antes de que los datos se procesen formalmente.
Requisitos de calidad de datos, requisitos de cálculo de datos.
Limpieza de datos
Manejo de datos faltantes
Procesamiento de datos redundante
Procesamiento de datos ruidoso
Según la estrategia de agrupación del conjunto de datos original.
Método de sustitución según los datos del socio en cada casilla
transformación de datos
Suavizado
Construcción de características
recolectar
Estandarización
discretización
integración de datos
Integración de contenido
integración estructural
Integración de patrones
Redundancia de datos
Detección y eliminación de conflictos.
Desensibilización de datos
Unidireccionalidad
Sin residuos
fácil de lograr
reducción de datos
Reducción de dimensiones
reducción de valor
Anotación de datos
Anotación gramatical
Anotación semántica
Auditoría de datos
De acuerdo con las normas generales y los métodos de evaluación de la calidad de los datos, auditar el contenido de los datos y sus elementos para identificar problemas.
Valores faltantes, valores de ruido, valores inconsistentes, valores incompletos
Auditorías predefinidas
Diccionario de datos
Restricciones de integridad definidas por el usuario
información autodescriptiva sobre los datos
valor de dominio del atributo
Información asociada autocontenida de datos.
Auditoría personalizada
Reglas de definición de variables
Reglas de definición de funciones
Técnicas comunes para la auditoría de datos.
primera ley de los números
principio de pequeña probabilidad
reglas lingüísticas
teoría de la continuidad de datos
tecnología de autenticación de datos
Auditoría visual
análisis de los datos
análisis descriptivo
Centrarse en el pasado y responder a lo que ha pasado
El primer paso en el análisis de datos.
Métodos de análisis estadístico descriptivo.
análisis de diagnóstico
Concéntrate en el pasado y responde por qué sucedió.
Análisis de correlación y análisis causal.
Análisis predictivo
Centrarse en el futuro y responder lo que sucederá
Utilice análisis de clasificación y análisis de tendencias.
es la base para el análisis normativo
análisis normativo
Preste atención a los problemas de simulación y optimización, y cómo optimizar los problemas que ocurrirán.
Utilizar técnicas de investigación operativa, simulación y emulación.
Puede generar valor industrial directamente
Visualización de datos
tipo básico
visualización científica
visualización de información
análisis visual
análisis visual
visualización de información
procesamiento de datos
Análisis estadístico
razonamiento analítico
la interacción persona-ordenador
Modelo de análisis visual
Énfasis en el proceso de convertir datos en conocimiento.
Énfasis en la interacción entre análisis visual y modelado automatizado.
Enfatizar la importancia del mapeo de datos y la minería de datos.
Énfasis en la necesidad del procesamiento de datos.
Énfasis en la importancia de la interacción persona-computadora
Metodología
Base metodológica
método básico
métodos de dominio
Percepción visual y cognición visual.
percepción visual
El proceso por el cual las cosas objetivas producen reacciones directas en el cerebro humano a través de los órganos sensoriales visuales.
cognición visual
El procesamiento posterior de la información de percepción visual por parte de los individuos.
Tipos de datos desde una perspectiva visual
Datos categorizados
datos ordinales
datos de intervalo
Datos de relación
Método de selección de canal visual.
Exactitud
legibilidad
artefacto visual
Se refiere a una percepción visual falsa o inexacta producida por el usuario objetivo que es inconsistente con la intención del visualizador de datos o la realidad de los datos mismos.
Visualizar el entorno circundante de Yamashita, donde se encuentra el apóstol, puede causar artefactos visuales.
El juicio relativo del ojo humano sobre el brillo y el color puede conducir fácilmente a ilusiones visuales.
La experiencia y la experiencia del usuario objetivo pueden causar artefactos visuales.
Seis prácticas famosas en visualización de datos y sus códigos fuente.
Calcular la edad del universo.
Renderiza la luna con los colores de la Tierra.
1.300 millones de viajes en taxi en la ciudad de Nueva York
Ver el mundo a través de 17.000 itinerarios
Formato de eclipse
La experiencia Jimi Hendrix
Narración de datos
Definición: El proceso de transformar datos en historias de datos se llama narración de datos.
Fácil de recordar
Fácil de reconocer
Fácil de experimentar
Modelo de historia de datos
Necesidades del negocio
datos
Perspectivas analíticas
modelo de historia
contar historias
comportamiento de la audiencia
Términos relacionados con la narración de datos
Narración basada en datos
narración visual
Narración analítica
Narración interactiva
Contar historias con datos
narración digital
El papel de las historias de datos
atraer
explicar
Inspirar
Comprender historias de datos
Percepción de la historia de datos
La narración del narrador produce una respuesta directa en el cerebro humano a través de los órganos de los sentidos visuales.
Comprender historias de datos
El procesamiento posterior por parte de la audiencia de la información sensorial basada en historias.
Historias de datos en acción
Las acciones que realiza la audiencia después de escuchar historias de datos
Gestión de proyectos de ciencia de datos
protagonista
Patrocinador de proyecto
gerente de proyecto
cliente
científico de datos
ingeniero de datos
operador
Proceso básico
Definición de objetivos del proyecto.
Adquisición y gestión de datos.
patrones, ideas de modelos
Patrones, validación y optimización de modelos.
Visualización y documentación de resultados.
Patrones, aplicación y mantenimiento de modelos.
Errores comunes en proyectos de ciencia de datos
Analizar datos sin comprobarlos
Analizar datos sin comprenderlos
Poner el modelo en uso sin probarlo
El trabajo de análisis de ciencia de datos solo tiene objetivos y no hipótesis de investigación.
El modelo de datos no se actualiza simultáneamente con los datos y utiliza un modelo desactualizado.
Sacar conclusiones casualmente sin discutir los resultados del análisis de datos.
Falta de implicación de expertos empresariales.
Adoptar o entrenar algoritmos de modelos demasiado complejos
La existencia de sesgo de datos
No se presta suficiente atención al efecto de presentación de los resultados del proyecto de análisis de datos.
Énfasis insuficiente en la experiencia del usuario de los productos de ciencia de datos
Sobreestimar o subestimar la capacidad de comprensión del usuario objetivo.