Selbstbeschreibende Strukturdaten

Die Komplexität von Datenstrukturbeschreibungen

Dynamische Natur der Datenstrukturbeschreibung

Extraktion von Informationsinhalten aus Webseiten

Strukturelle Verarbeitung (einschließlich lexikalischer Textsegmentierung, Wortartanalyse und Mehrdeutigkeitsverarbeitung)

Semantische Verarbeitung (Entitätsextraktion, Vokabelkorrelationsanalyse, Satzkorrelationsanalyse)

Textkonstruktion (einschließlich Vektorraummodell, Themenmodell)

Das Open-Source-Protokollerfassungssystem von Facebook

Komposition

Komposition

Es handelt sich um ein verteiltes, zuverlässiges und hochverfügbares Massenprotokoll-Erfassungs-, Aggregations- und Übertragungssystem, das von Cloudera bereitgestellt wird.

Sammelmodul

Datenverarbeitungsmodul

Datenmodul

Tiefe erste Durchquerung

Breitendurchquerung

Backlink-Count-Strategie

OPIC-Strategie

Prioritätsstrategie für große Standorte

Speicherschicht

grundlegendes Management

Anwendungsschnittstellenschicht

Zugriffsschicht

Hohe Zuverlässigkeit

Effizienz

Hohe Skalierbarkeit

Hohe Fehlertoleranz

niedrige Kosten

Was läuft auf der Linux-Plattform?

Unterstützt mehrere Programmiersprachen

Hadoop Distributed File System (HDFS)

Hadoop YARN (Yet Another Resource Negotiator) ist das Ressourcenmanagement- und Jobplanungs-Framework von Hadoop

MapReduce ist das Rechenmodell von Hadoop, das zur parallelen Berechnung großer Datensätze verwendet wird.

Hive ist eine Data-Warehouse-Infrastruktur, die eine SQL-ähnliche Abfragesprache (HiveQL) zur Verarbeitung und Analyse der in Hadoop gespeicherten Daten bereitstellt

Pig ist eine Plattform für die Datenverarbeitung im großen Maßstab und bietet eine Skriptsprache namens Pig Latin. Die lateinische Sprache von Pig ist eine Datenflusssprache, die zur Beschreibung von Datentransformationsvorgängen und Analyseprozessen verwendet werden kann.

HBase ist eine verteilte spaltenorientierte NoSQL-Datenbank, die auf Hadoops HDFS basiert. Es bietet Echtzeit-Lese- und Schreibzugriff auf große strukturierte Daten mit hoher Skalierbarkeit und Zuverlässigkeit

Spark ist eine schnelle, universelle Big-Data-Verarbeitungs-Engine, die die parallele Berechnung großer Datensätze im Speicher durchführen kann.

Sqoop ist ein Tool zur Datenübertragung zwischen Hadoop und relationalen Datenbanken. Es kann Daten aus relationalen Datenbanken zur Analyse in Hadoop importieren und Ergebnisdaten aus Hadoop in relationale Datenbanken exportieren.

Flume ist ein zuverlässiges, skalierbares Big-Data-Erfassungssystem zum Sammeln, Aggregieren und Verschieben von Daten aus verschiedenen Datenquellen (wie Protokolldateien, Sensordaten usw.) in Hadoop.

Systemprotokollanalyse

Analyse der Benutzergewohnheiten

Integrität

Fehlertoleranz

Benutzerfreundlichkeit

Kostenlos und Open Source

Unterstützt mehrere Sprachen

Topologie

Auslauf (Datenquelle)

Bolzen (Verarbeitungskomponente)

Strom

Nimbus (Masterknoten)

Supervisor (Arbeiterknoten)

ZooKeeper (verteilter Koordinierungsdienst)

Informationsflussverarbeitung

kontinuierliche Berechnung

Verteilter Remoteprozeduraufruf

Schnelligkeit

Elastische Skalierbarkeit

Verschiedene Rechenmodelle

Mehrsprachige Unterstützung

Umfassend

Der Treiber ist die Hauptkomponente der Spark-Anwendung. Das Treiberprogramm läuft in einem unabhängigen Prozess und ist für die Steuerung und Koordination der gesamten Spark-Anwendung verantwortlich.

Der Cluster-Manager ist für die Verwaltung der Ressourcenplanung und Aufgabenzuweisung von Spark-Anwendungen im Cluster verantwortlich.

Executor ist ein Prozess, der auf den Worker-Knoten im Cluster ausgeführt wird und für die Ausführung bestimmter Aufgaben verantwortlich ist.

RDD ist die Kerndatenabstraktion von Spark. Es handelt sich um eine unveränderliche Datensammlung, die partitioniert und parallel betrieben werden kann.

Der DAG-Scheduler ist dafür verantwortlich, Vorgänge in Spark-Anwendungen in gerichtete azyklische Graphen (DAGs) umzuwandeln, sie zu optimieren und zu planen.

Der Taskplaner ist für die Zuweisung von Aufgaben in der Phase an verfügbare Executoren zur Ausführung verantwortlich.

Wenn in einer Spark-Anwendung eine Datenumbildung (Shuffle) erforderlich ist, werden die Daten über das Netzwerk übertragen und zwischen verschiedenen Executoren neu verteilt.

Spark SQL ist das strukturierte Abfragemodul von Spark und bietet eine High-Level-API und eine Abfragesprache für die Verarbeitung strukturierter Daten.

Spark Streaming ist das Stream-Verarbeitungsmodul von Spark für die Echtzeitverarbeitung und -analyse von Datenströmen.

MLlib ist die Bibliothek für maschinelles Lernen von Spark, die eine Reihe von Algorithmen und Werkzeugen für maschinelles Lernen für Data Mining, prädiktive Analyse und Modelltraining bereitstellt.

GraphX ​​​​ist die Graph-Computing-Bibliothek von Spark zur Verarbeitung umfangreicher Graphdaten und Graphalgorithmen.

SparkR ist die R-Sprachschnittstelle von Spark, die es R-Sprachbenutzern ermöglicht, Spark für die Datenverarbeitung und -analyse in großem Maßstab zu verwenden.

Anwendungsszenarien für den mehrfachen Betrieb bestimmter Datensätze

Grobkörnige Aktualisierungsstatusanwendung

Die Datenmenge ist nicht besonders groß, eignet sich jedoch für Anwendungen, die eine statistische Analyse in Echtzeit erfordern.

Hadoop eignet sich für Offline-Datenverarbeitungsaufgaben in großem Maßstab und wird hauptsächlich zur Stapeldatenspeicherung und -analyse verwendet.

Spark unterstützt mehrere Datenverarbeitungsmodelle wie Stapelverarbeitung, Echtzeit-Stream-Verarbeitung, interaktive Abfrage und maschinelles Lernen.

Storm ist ein Echtzeit-Stream-Verarbeitungsframework zur Verarbeitung kontinuierlicher Datenströme

Da Hadoop Festplattenspeicher und das MapReduce-Stapelverarbeitungsmodell verwendet, eignet es sich für die Verarbeitung großer Offline-Daten, kann jedoch in Szenarien mit hohen Echtzeitanforderungen langsamer sein.

Spark verwendet In-Memory-Computing und RDD-basierte Datenabstraktion, wodurch Daten für iterative Berechnungen im Speicher gehalten werden können und sich für Datenverarbeitungsaufgaben eignen, die eine höhere Leistung und Interaktivität erfordern.

Storm konzentriert sich auf die Echtzeit-Stream-Verarbeitung, zeichnet sich durch geringe Latenz und hohen Durchsatz aus und eignet sich für die schnelle Verarbeitung und Analyse von Echtzeitdaten.

Hadoop bietet ein zuverlässiges verteiltes Dateisystem (HDFS) und ein skalierbares MapReduce-Rechenmodell, das für die Speicherung und Stapelverarbeitung großer Datenmengen geeignet ist. Es verfügt über eine gute Fehlertoleranz und Datenzuverlässigkeit

Spark bietet umfangreichere Datenverarbeitungsfunktionen und unterstützt mehrere Modelle wie Stapelverarbeitung, Echtzeit-Stream-Verarbeitung, interaktive Abfrage und maschinelles Lernen. Es bietet außerdem High-Level-APIs und Bibliotheken (wie Spark SQL, Spark Streaming und MLlib), um die Entwicklung der Verarbeitung und Analyse großer Datenmengen zu vereinfachen

Storm konzentriert sich auf die Stream-Verarbeitung in Echtzeit und bietet zuverlässige Modelle für die Nachrichtenübermittlung und Stream-Topologie-Verarbeitung. Es kann große Datenströme in Echtzeit verarbeiten und unterstützt komplexe Stream-Verarbeitungslogik

Hadoop verfügt über ein umfangreiches Ökosystem und eine große Anzahl von Tools und Komponenten wie Hive, Pig und HBase für die Datenverarbeitung und -analyse auf höherer Ebene. Es verfügt über eine ausgereifte Community und umfassenden Support

Spark verfügt außerdem über eine aktive Open-Source-Community und ein reichhaltiges Ökosystem, das eine Vielzahl von Datenverarbeitungs- und maschinellen Lernaufgaben unterstützt. Es ist eng in das Hadoop-Ökosystem integriert und kann nahtlos mit HDFS, Hive und anderen Hadoop-Komponenten zusammenarbeiten

Das Ökosystem von Storm ist relativ klein und konzentriert sich hauptsächlich auf den Bereich der Echtzeit-Stream-Verarbeitung. Es bietet einige Plugins zur Integration mit anderen Tools und Systemen wie Kafka und Cassandra

Cloud Computing ist ein dynamisch erweitertes Computermodell, das Benutzern netzwerkvirtualisierte Ressourcen als Dienste bereitstellt.

Hyperskaliert

Virtualisierung

Hohe Zuverlässigkeit

Vielseitigkeit

Hohe Skalierbarkeit

On-Demand-Dienste

extrem günstig

Bei der öffentlichen Cloud handelt es sich um eine Cloud-Computing-Infrastruktur, die von Drittanbietern (wie Amazon AWS, Microsoft Azure und Google Cloud Platform) erstellt und verwaltet wird.

Eine private Cloud ist eine Cloud-Computing-Infrastruktur, die von einer Organisation selbst erstellt und verwaltet wird, um ihre internen Geschäftsanforderungen zu erfüllen

Hybrid Cloud ist eine Kombination aus Public Cloud und Private Cloud und bietet flexiblere und vielfältigere Lösungen durch die Verbindung und Integration dieser beiden Cloud-Umgebungen. In einer Hybrid Cloud können Unternehmen Arbeitslasten und Anwendungen je nach Bedarf in öffentlichen oder privaten Clouds bereitstellen

IaaS ist das grundlegendste Servicemodell im Cloud Computing, das virtualisierte Rechenressourcen, Speicher, Netzwerk und andere Infrastruktur bereitstellt

Zu den gängigen IaaS-Anbietern gehören EC2 von Amazon AWS, der Virtual Machine Service von Microsoft Azure und die Compute Engine der Google Cloud Platform.

PaaS bietet eine Plattform zum Entwickeln, Ausführen und Verwalten von Anwendungen in einer Cloud-Umgebung

Zu den gängigen PaaS-Anbietern gehören der App Service von Microsoft Azure, die App Engine und Heroku der Google Cloud Platform usw.

SaaS ist das Servicemodell auf höchstem Niveau im Cloud Computing. Es bietet vollständig verwaltete Anwendungen, auf die Benutzer direkt über das Internet zugreifen und diese nutzen können.

Zu den gängigen SaaS-Anwendungen gehören E-Mail-Dienste (wie Gmail), Online-Office-Suites (wie Microsoft 365 und Google Workspace) und Customer-Relationship-Management-Systeme (CRM) (wie Salesforce).

Die Virtualisierungstechnologie kann Servervirtualisierung, Speichervirtualisierung, Netzwerkvirtualisierung usw. realisieren und ermöglicht Cloud-Computing-Plattformen eine elastische Zuweisung und Verwaltung von Ressourcen.

Middleware-Technologie spielt eine Rolle bei der Verbindung und Koordination verschiedener Komponenten und Dienste im Cloud Computing. Es bietet eine Reihe von Softwaretools und Diensten für die Verwaltung und Planung der Bereitstellung, Konfiguration und Ausführung von Anwendungen

Zur Middleware-Technologie gehören auch Lastausgleich, Containertechnologie, Nachrichtenwarteschlangen und Service-Orchestrierung usw., die zur Bereitstellung hoher Verfügbarkeit, Skalierbarkeit und Flexibilität in Cloud-Computing-Umgebungen eingesetzt werden.

Bei der Cloud-Speichertechnologie handelt es sich um eine Technologie zur Speicherung und Verwaltung großer Datenmengen

Entscheidungsunterstützung ist eine Methode, die Informationstechnologie und Managementwissenschaft kombiniert, um Entscheidungsträgern die Informationen, Werkzeuge und Modelle zur Verfügung zu stellen, die sie für die Entscheidungsfindung benötigen.

Es unterstützt Entscheidungsträger bei der Entscheidungsfindung durch die Analyse und Interpretation von Daten, die Bereitstellung von Entscheidungsmodellen und Algorithmen sowie die Bereitstellung von Visualisierungs- und interaktiven Schnittstellen.

strukturierte Entscheidungsfindung

unstrukturierte Entscheidungsfindung

halbstrukturierte Entscheidungsfindung

Identifizieren Sie Probleme und formulieren Sie Entscheidungsziele

Verwenden Sie die Wahrscheinlichkeit, um die Möglichkeit verschiedener Ergebnisse jedes Plans quantitativ zu beschreiben

Entscheidungsträger bewerten verschiedene Ergebnisse quantitativ

Umfassende Analyse aller Aspekte von Informationen

Datenmanagement und -integration: Sammeln, integrieren und verwalten Sie entscheidungsrelevante Daten.

Modell- und Algorithmenunterstützung: Bietet verschiedene Entscheidungsmodelle und Algorithmen für Analyse und Vorhersage.

Visualisierung und interaktive Schnittstelle: Helfen Sie Entscheidungsträgern, Daten durch visuelle Anzeige und interaktive Schnittstelle zu verstehen und zu verarbeiten.

Szenariosimulation und -optimierung: Unterstützt die Simulation und Optimierung verschiedener Entscheidungsoptionen und bewertet deren mögliche Auswirkungen.

Zusammenarbeit und Austausch: Unterstützen Sie die Zusammenarbeit und den Informationsaustausch von Entscheidungsteams und fördern Sie den kollektiven Entscheidungsprozess.

Unter Innovationsmodellen versteht man Methoden und Strategien zur Innovation und Veränderung bestehender Geschäftsmodelle. Der Schwerpunkt liegt auf der Frage, wie man dem Markt durch den kreativen Einsatz von Ressourcen, Technologie, Markteinblicken und Geschäftslogik neue Wertvorschläge unterbreitet und sich einen Wettbewerbsvorteil verschafft

Bieten Sie brandneue Produkte und Dienstleistungen an und schaffen Sie neue Industriefelder

Sein Geschäftsmodell unterscheidet sich zumindest in mehreren Elementen von anderen Unternehmen

Habe eine gute Leistung

Umsatzmodell ändern

Geschäftsmodell ändern

Ändern Sie das Branchenmodell

sich veränderndes Technologieparadigma

strategische Positionierungsinnovation

Innovation der Ressourcenfähigkeit

Ökologische Umweltinnovation für Unternehmen

Hybride Geschäftsmodellinnovation