Wondershare EdrawMind
Galería de mapas mentales Mapa mental básico de la aplicación Big Data
- 1
Mapa mental básico de la aplicación Big Data
Un mapa mental básico sobre aplicaciones de big data, incluida la computación en la nube y big data, el procesamiento de datos en tiempo real mediante sistemas distribuidos y la adquisición de datos masivos mediante la tecnología de Internet de las cosas.
Editado a las 2023-12-04 21:40:18,
- molecole che compongono le cellule
La seconda unità del corso obbligatorio di biologia ha riassunto e organizzato i punti di conoscenza, coprendo tutti i contenuti principali, il che è molto comodo da apprendere per tutti. Adatto per la revisione e l'anteprima degli esami per migliorare l'efficienza dell'apprendimento. Affrettati a ritirarlo per imparare insieme!
- Cambridge IGCS Chemistry Coursebook 2023 Capitolo 16 Riepilogo dei punti di conoscenza
Questa è una mappa mentale sull'estrazione e la corrosione del me. Il contenuto principale include: corrosione dei metalli, estrazione dei metalli e serie di reattività.
- Cambridge IGCS Chemistry Coursebook 2023 Capitolo 15 Riepilogo dei punti di conoscenza
Questa è una mappa mentale sulla reattività dei metalli. Il contenuto principale include: reazioni di spostamento dei metalli, serie di reattività dei metalli.
Mapa mental básico de la aplicación Big Data
- molecole che compongono le cellule
La seconda unità del corso obbligatorio di biologia ha riassunto e organizzato i punti di conoscenza, coprendo tutti i contenuti principali, il che è molto comodo da apprendere per tutti. Adatto per la revisione e l'anteprima degli esami per migliorare l'efficienza dell'apprendimento. Affrettati a ritirarlo per imparare insieme!
- Cambridge IGCS Chemistry Coursebook 2023 Capitolo 16 Riepilogo dei punti di conoscenza
Questa è una mappa mentale sull'estrazione e la corrosione del me. Il contenuto principale include: corrosione dei metalli, estrazione dei metalli e serie di reattività.
- Cambridge IGCS Chemistry Coursebook 2023 Capitolo 15 Riepilogo dei punti di conoscenza
Questa è una mappa mentale sulla reattività dei metalli. Il contenuto principale include: reazioni di spostamento dei metalli, serie di reattività dei metalli.
- Recomendados
- Resumen
Conceptos básicos de la aplicación de big data
La era de los datos comienza conmigo
A partir del orden de tropas de Han Xin
¿Qué tan grandes son los grandes datos?
Las unidades de datos de construcción urbana incluyen
poco
Byte
KB (kilobytes)
MB (megabyte)
GB (gigabytes)
Por encima de GB se encuentran TB, PB, EB, ZB, YB, DB y NB.
La tasa de avance de estas unidades es 1024 (2 elevado a la décima potencia)
1 byte = 8 bits
1 KB = 1024 Bytes
1MB=1024KB
1GB=1024MB
1TB=1024GB
1TB=1024GB
1 PB = 1024 TB
Intuitivamente, ¿a cuántos Bytes equivale INB?
1EB=1024PB
1ZB=1024EB
1YB=1024ZB
1DB=1024YB
1NB=1024DB
Definición de grandes datos
definición de wikipedia
Big data, también conocido como datos masivos, se refiere a la cantidad de datos involucrados que es tan grande que no puede ser interceptado, administrado, procesado y organizado en una forma que los humanos puedan interpretar por humanos o computadoras en un tiempo razonable.
Definición de institución de investigación
Big data es una colección de datos que no se pueden capturar, gestionar y procesar dentro de un cierto rango de tiempo utilizando herramientas de software convencionales. Es un conjunto de datos masivo, de alto crecimiento y de gran volumen que requiere nuevos modelos de procesamiento para tener una toma de decisiones más sólida. capacidades de potencia, descubrimiento de conocimientos y optimización de procesos.
Definición del Instituto Global McKinsey
Big data es una colección de datos tan grande que su adquisición, almacenamiento, gestión y análisis superan en gran medida las capacidades de las herramientas de software de bases de datos tradicionales. Tiene una escala de datos masiva, un flujo de datos rápido, diversos tipos de datos y una baja densidad de valor. Grandes características.
El proceso de generación de big data.
Hadoop nació en 2005
A finales de 2008, algunos investigadores informáticos de renombre en los Estados Unidos reconocieron el big data.
En 2009, el gobierno indio estableció una base de datos biométrica para la gestión de identidad, y el proyecto Earth Pulse de las Naciones Unidas ha estudiado cómo utilizar datos de teléfonos móviles y sitios de redes sociales para analizar y predecir brotes de enfermedades treponémicas.
En febrero de 2010, Kenneth Cukier publicó un informe especial de 14 páginas sobre big data en The Economist, "Data, Ubiquitous Data".
En marzo de 2012, la administración Obama publicó la "Iniciativa de Investigación y Desarrollo de Big Data" en el sitio web de la Casa Blanca. Esta iniciativa marcó que los big data se han convertido en una característica importante de los tiempos.
En abril de 2014, el Foro Económico Mundial publicó un informe global sobre tecnología de la información con el tema "Rendimientos y riesgos de Big Data".
La cantidad total de datos globales en 2017 fue de 21,6 GB. La tasa de crecimiento anual actual de los datos globales es de aproximadamente el 40%. En 2018, la industria global de big data se ha desarrollado fuertemente.
Características básicas de big data 4V
Talla grande
alta velocidad
diversificación
Baja densidad de valor.
¿De dónde provienen los grandes datos?
Clasificación de las principales fuentes de big data.
①Actividades humanas y diversos tipos de datos generados por personas que utilizan Internet (incluida Internet móvil):
(2) Los datos generados por computadoras y diversos sistemas de información informática se encuentran principalmente en forma de archivos, bases de datos, multimedia, etc.
(3) Trabajar con Li Shi. Datos recopilados por diversos dispositivos digitales, como datos meteorológicos masivos recopilados por equipos de recopilación del sistema meteorológico.
Datos, datos de vídeo masivos generados por sistemas de videovigilancia, etc.
Un símbolo de la generación de big data en la sociedad moderna.
(1) La investigación científica produce big data.
(2) La tecnología de Internet de las cosas genera big data.
(3) La creación de redes genera big data.
¿Qué pueden hacer los grandes datos?
El nodo de la nueva generación de aplicaciones de integración de tecnologías de la información reside en el procesamiento y análisis de big data.
El Internet de las cosas, el Internet móvil, las redes sociales y el comercio electrónico son las formas de aplicación de la nueva generación de tecnologías de la información. Estas aplicaciones forman y generan big data gradualmente durante su funcionamiento.
Big data se ha convertido en una nueva forma de desarrollo continuo para la industria de la información.
Con el desarrollo continuo de big data y tecnologías relacionadas, están surgiendo y desarrollándose gradualmente nuevos productos, nuevas tecnologías, nuevos formatos comerciales y nuevos servicios para el mercado de big data.
Los macrodatos se han convertido en un factor clave para mejorar la competitividad básica.
Con el desarrollo de la tecnología de la información, cada vez más industrias han entrado en el camino de la transformación y el desarrollo, y la toma de decisiones corporativas ha pasado gradualmente de estar impulsada por los negocios a estar basada en datos. El análisis de big data puede ayudar a las empresas a lanzar un marketing más eficaz y estándar. planes. Capaz de desarrollar medidas de servicio personalizadas para las empresas y más acordes con las necesidades del consumidor.
En la era del big data, los métodos de investigación científica también sufrirán los cambios correspondientes.
El impacto del big data y las tecnologías relacionadas en la investigación científica es cada vez más evidente
Los big data de Facebook retienen a los usuarios
Según el Informe Digital Global 2018, había 3.196 mil millones de usuarios de redes sociales en todo el mundo en 2018. Un aumento interanual del 13%.
Primera introducción a la plataforma de big data.
Gran recopilación de datos
Gran recopilación de datos
análisis de grandes datos
procesamiento de grandes datos
Visualización de grandes datos
Datos Guizhou, colorido Guizhou
Omisión del establecimiento de big data de Guizhou
De una hoja de papel en blanco a un modelo, la provincia de Guizhou, un punto crítico para el desarrollo, se ha embarcado en el camino del big data y ha pasado silenciosamente de ser un seguidor de la pasada era industrial a un compañero de viaje de la era del big data. Incluso el favorito.
En 2015, la provincia de Guizhou propuso la implementación de acciones estratégicas de big data a nivel provincial.
Durante la Exposición Internacional de la Industria de Big Data de China de 2018, la provincia de Guizhou firmó con éxito 199 proyectos contractuales por un monto total de 35,28 mil millones de yuanes.
Estado actual del desarrollo de big data en Guizhou
La provincia de Guizhou implementa plenamente el espíritu del XIX Congreso Nacional del Partido Comunista de China y las importantes instrucciones del Secretario General Xi Jinping a la provincia de Guizhou, China. Siguiendo el espíritu de las instrucciones, se implementarán en profundidad las acciones estratégicas de big data, se promoverá enérgicamente la construcción de la zona experimental integral de big data nacional y se acelerará la construcción del Guizhou digital.
La integración y el intercambio de datos están a la vanguardia del país.
La apertura de datos está a la vanguardia del país.
Resultados del desarrollo de big data de Guizhou
Establecer empresas estatales provinciales a gran escala en el campo del desarrollo de big data.
Creó con éxito "Truck Gang" más "Yunmanman".
El centro de datos de Apple se instaló en Guizhou.
Forme un ecosistema de la industria de big data.
Crear un "recolector de inteligencia global".
Cultivar los mejores talentos de big data.
Promovió la aplicación de macrodatos para el alivio específico de la pobreza.
Utilice big data para ayudar a aliviar la pobreza a través de la educación.
Impulsó la aplicación del big data médico.
Utilizar big data para promover la transformación y la modernización económicas.
Realizar la construcción de estándares de big data.
El desarrollo integrado de “big data más transporte”.
Computación en la nube y big data
¿Qué es la computación en la nube?
Computadoras tradicionales.
La llamada computadora es en realidad las ventanas que funcionan.
Virtualización
Para el programa de monitoreo, esta ventana no trata directamente con el hardware y todos los recursos deben ser programados por el programa de monitoreo. Asignación, por lo que esta máquina Windows es una máquina virtual, denominada vm. Este proceso de separar la máquina de hardware del sistema operativo a través del programa de monitoreo es virtualización.
Carga y equilibrio.
formación de nubes
fondo de recursos
virtual secundaria
Autogestión de usuarios.
Conéctese a la red.
Tipo de nube.
Nube privada
nube pública
nube híbrida
Infraestructura y servicios
Plataforma y servicios
Software y servicios
otros
Definición de computación en la nube.
La computación en la nube es un modelo de pago por uso que proporciona un cómodo acceso a la red bajo demanda a un conjunto de recursos informáticos configurables. Estos recursos se pueden aprovisionar rápidamente con un mínimo esfuerzo administrativo o interacción con el proveedor de servicios.
Principales proveedores de servicios de computación en la nube.
Nube Baidu
Nube de Ali
Servicio en la nube de Amazon AWS.
Computación en la nube azul de Microsoft.
Arquitectura de tecnología de computación en la nube
La arquitectura de la computación en la nube se divide en 4 capas, la capa de recursos físicos, la capa de conjunto de recursos, la capa intermedia de gestión y una
La relación entre la computación en la nube y el big data
En pocas palabras, la computación en la nube es la virtualización de recursos de hardware, mientras que big data es el procesamiento eficiente de datos masivos.
La arquitectura resumida de big data incluye tres capas de almacenamiento de datos, procesamiento de datos y análisis de datos.
Se puede decir que big data es equivalente a la eliminación de datos masivos en bases de datos. Se puede ver que el desarrollo actual de big data se ha desarrollado en una dirección similar a la experiencia de bases de datos tradicionales.
Plataforma agrícola moderna basada en computación en la nube y big data
Arquitectura del sistema de plataforma de monitoreo agrícola inteligente.
Capa perceptiva
capa de transporte
capa de datos
Capa de aplicación
capa terminal
Sistema de no maquillaje agroalimentario.
Capítulo 9 Los sistemas distribuidos procesan datos en tiempo real.
¿Qué es un sistema distribuido?
La distribución es la principal característica del sistema.
Distribución
Las posiciones espaciales de varias computadoras en un sistema distribuido se pueden distribuir aleatoriamente y no existe una distinción maestro-esclavo entre varias computadoras en el sistema.
Transparencia
Los recursos del sistema son compartidos por todas las computadoras.
unidad
Varias computadoras en el sistema pueden cooperar entre sí para completar una tarea común, o un programa puede distribuirse en otras computadoras. Corre en paralelo.
homogeneidad
Dos computadoras cualesquiera en el sistema pueden intercambiar información a través de la comunicación.
Sistemas distribuidos comunes.
SGF
HDFS
cef
Lustre
Soluciones distribuidas de uso común.
Aplicaciones y servicios distribuidos
Las aplicaciones y servicios distribuidos superponen y dividen aplicaciones y servicios, y luego implementan módulos de aplicaciones y servicios de forma distribuida.
Recursos estáticos distribuidos
La implementación distribuida de recursos estáticos del sitio web, como js, imágenes css, etc., puede reducir la presión de carga en el servidor de aplicaciones y mejorar la velocidad de acceso.
Datos distribuidos y almacenamiento
Los sitios web grandes a menudo necesitan procesar cantidades masivas de datos y una sola computadora a menudo no puede proporcionar suficiente espacio de memoria para el almacenamiento distribuido de estos datos.
Computación distribuída
Con el desarrollo de la tecnología informática, algunas aplicaciones requieren una gran potencia informática para completarse. Si se utiliza la informática centralizada, llevará mucho tiempo completarlas. De esta manera, la distribución divide la aplicación en muchas partes pequeñas y las asigna a varias computadoras para su procesamiento. Esto puede ahorrar tiempo total de computación y mejorar en gran medida la eficiencia informática.
La relación entre distribución y agrupación.
repartido
La distribución se refiere a implementar diferentes módulos de servicio en múltiples servidores diferentes, trabajar juntos a través de llamadas de destino y brindar servicios al mundo exterior.
grupo
La agrupación en clústeres se refiere a la implementación de la misma aplicación o módulo de servicio en varios servidores diferentes y se utiliza un clúster en conjunto. Los equipos equilibrados brindan servicios al mundo exterior.
En general, los sistemas distribuidos funcionan en paralelo y los clusters funcionan en serie.
Todos los nodos de un sistema distribuido pueden agruparse, pero un clúster no está necesariamente distribuido.
Introducción a la plataforma Hadoop
El origen del nombre Hadoop.
Dong Cunting, el creador del proyecto, explica cómo Hadoop obtuvo su nombre: "Mis hijos le pusieron este nombre a un elefante marrón bien alimentado".
Eventos Hadoop
La versión inicial (ahora llamada IDFS I MapRediuce) fue implementada en 2004 por Dorug Cutting fu Mike Catiarcla.
1 de diciembre de 2005: Nutch fue trasplantado al nuevo marco y Hadoop se ejecutó de manera estable en 20 nodos.
En febrero de 2006, se lanzó oficialmente el proyecto Apache Hadoop para respaldar el desarrollo independiente de MapRcduce y HDFS.
En febrero de 2006, el equipo de computación grid de Yahoo adoptó Hadoop.
La clasificación estándar de abril de 2006 (10 GB por nodo) se ejecutó en 47,9 horas en 188 nodos.
En julio de 2007, el grupo de investigación alcanzó los 900 nodos.
En abril de 2008, el grupo de investigación cargaba 10 TB de datos cada día.
Abril de 2009: obtenga clasificaciones por minuto, clasifique 500 GB en 59 segundos (en 1400 nodos) y 173 puntos
Introducción al marco HDFS
El sistema de gestión de archivos distribuido de la plataforma Hdfshadop es el más importante de ap. Uno de los componentes
Nodo de nombre.
Marzo de 2009: 17 clusters con un total de 24.000 máquinas.
Interacción entre el nodo DA AA y el nodo de nombre.
Natanode es la ejecución de tareas específicas.
Interacciones entre Danodenamenoe
Namenode reconstruirá dinámicamente la información de datos de los componentes del sistema de archivos cada vez que se inicie el sistema. En este momento, utilizará el latido para sondear el nodo de datos del nodo de datos centralizado para responder al ae con un latido. Noe envía periódicamente la información del bloque de archivos que almacena al naenode.
Marco informático Hadoop
Maprduce es el componente informático central de adopción y se utiliza para la computación paralela de datos masivos. Los pasos centrales del marco Mapreduce se dividen principalmente en dos partes, Mapear y reducir.
Lo que Hadoop aporta a la empresa
Big data no sólo es adecuado para grandes empresas, sino también para empresas de todos los tamaños.
Proporciona una base para la empresa esotérica y conocimiento interno crítico de datos externos para Big Data Hadop.
Hadop ha crecido rápidamente hasta convertirse en la solución de análisis de big data preferida para datos no estructurados.
Google y haop están indisolublemente ligados.
IBM anunció la creación de una nueva arquitectura de almacenamiento como clúster en AP. Ejecuta bases de datos DB2 o ACL para permitir que las aplicaciones admitan análisis de alto rendimiento, aplicaciones de almacenamiento de datos y computación operativa.
El gigante de las búsquedas en Internet Baidu también está considerando utilizar AP
Como infraestructura distribuida, Ap permite a los usuarios desarrollar programas distribuidos sin comprender los detalles subyacentes de la distribución.
Aplicación Hadoop para la búsqueda de empresas en Baidu
Ajustar la estrategia de mpreduce.
Mejore la eficiencia y funcionalidad de HD FS.
Modificar la estrategia de ejecución del hablativa.
Controlar el uso de recursos.
Lianjia utiliza big data para analizar las necesidades de los clientes
Dibujo de diseño de plataforma.
Moji Weather procesa 2 TB de datos de registro todos los días
Análisis de plataforma
Aproveche al máximo los datos de registro masivos acumulados en el terminal móvil.
Realizar análisis de big data sobre el uso de los usuarios y el negocio publicitario.
Utilice la tecnología de big data de Alibaba Cloud para ayudar al equipo de operaciones y al equipo de publicidad a optimizar el negocio existente en función del análisis de datos de registro.
Clima empresarial de big data
Continuaremos desarrollando el monitoreo del clima basado en tecnología madura de big data y recursos de talentos de big data.
Moji seguirá ampliando la gama de servicios de seguimiento meteorológico.
En la etapa inicial, tiene un gran impacto en el mercado.
La interactividad múltiple se ha mejorado enormemente a través de Internet móvil.
Los servicios meteorológicos comerciales serán una enorme oportunidad empresarial en China.
La tecnología IoT captura cantidades masivas de datos
IoT y grandes datos
¿Qué es el Internet de las Cosas?
El Internet de las cosas se refiere al despliegue de varios dispositivos con ciertas capacidades de detección, capacidades informáticas y capacidades de ejecución en entidades del mundo físico. Los equipos de detección de información realizan la transmisión, colaboración y procesamiento de información a través de instalaciones de red, logrando así una comunicación de área amplia o a gran escala entre personas y personas. La interconexión del intercambio de información necesita entre cosas y cosas.
¿Cómo se implementa el Internet de las Cosas?
recopilación de datos
almacenamiento de datos
Análisis estadístico
La tecnología central del Internet de las cosas.
Tecnología NB-LoT
tecnología RFID
Tecnología de sensores
Tecnología de comunicación de red
Tecnología de sistema integrado
computación en la nube
Plataforma de big data de IoT de cadena de frío
Terminal de recogida inteligente inalámbrico de cadena de frío
motor de canal de datos
Software cliente de monitoreo remoto