Wondershare EdrawMind
Mindmap-Galerie Alibaba Cloud-Nachrichtenwarteschlange
Alibaba Cloud-Nachrichtenwarteschlange
Eine detaillierte Zusammenfassung von Alibaba Cloud Message Queue RocketMQ, Cloud Message RocketMQ, Cloud Message Queue RabbitMQ, Cloud Message Queue Kafka und Cloud Message Queue MQTT.
Bearbeitet um 2024-01-20 09:44:44
- Hundert Jahre Einsamkeit Charakter-Beziehungsdiagramm
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
- Hundert Jahre Einsamkeit Charakter-Beziehungsdiagramm
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
- Projektmanagement-Prozess-Vorlage
Projektmanagement ist der Prozess der Anwendung von Fachwissen, Fähigkeiten, Werkzeugen und Methoden auf die Projektaktivitäten, so dass das Projekt die festgelegten Anforderungen und Erwartungen im Rahmen der begrenzten Ressourcen erreichen oder übertreffen kann. Dieses Diagramm bietet einen umfassenden Überblick über die 8 Komponenten des Projektmanagementprozesses und kann als generische Vorlage verwendet werden.
Alibaba Cloud-Nachrichtenwarteschlange
- Hundert Jahre Einsamkeit Charakter-Beziehungsdiagramm
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
- Hundert Jahre Einsamkeit Charakter-Beziehungsdiagramm
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
- Projektmanagement-Prozess-Vorlage
Projektmanagement ist der Prozess der Anwendung von Fachwissen, Fähigkeiten, Werkzeugen und Methoden auf die Projektaktivitäten, so dass das Projekt die festgelegten Anforderungen und Erwartungen im Rahmen der begrenzten Ressourcen erreichen oder übertreffen kann. Dieses Diagramm bietet einen umfassenden Überblick über die 8 Komponenten des Projektmanagementprozesses und kann als generische Vorlage verwendet werden.
- Für Sie empfohlen
- Gliederung
Alibaba Cloud-Nachrichtenwarteschlange
Cloud-Nachrichtenwarteschlange RocketMQ
Produktplatzierung
Die RocketMQ-Version von Cloud Message Queue ist ein typisches Middleware-Produkt in einer verteilten Architektur, das asynchrone Kommunikation und ein Publish-Subscribe-Nachrichtenübertragungsmodell verwendet.
Das Produkt bietet die Vorteile einer asynchronen Kommunikation, einer einfachen Systemtopologie und einer schwachen Upstream- und Downstream-Kopplung. Es wird hauptsächlich in Szenarios zur asynchronen Entkopplung, zur Reduzierung von Verkehrsspitzen und zum Auffüllen von Tälern verwendet.
Für synchrone Verbindungen, die eine Echtzeitrückgabe der Anrufergebnisse erfordern, wird die Verwendung der RPC-Anruflösung empfohlen.
Nachrichtenwarteschlange RocketMQ-Versionsdomänenmodell
Wie in der Abbildung dargestellt, ist der Lebenszyklus von Nachrichten in der Cloud Message Queue RocketMQ-Version hauptsächlich in drei Teile unterteilt: Nachrichtenproduktion, Nachrichtenspeicherung und Nachrichtenverbrauch.
Nachrichtenproduktion
Der Produzent ist eine laufende Entität, die zum Generieren von Nachrichten in der Cloud Message Queue RocketMQ-Version verwendet wird. Er wird im Allgemeinen vor dem Geschäftsanruflink integriert. Produzenten sind leichtgewichtig, anonym und identitätslos.
Nachrichtenspeicher
Thema: Ein Gruppierungscontainer für die Nachrichtenübertragung und -speicherung in Cloud Message Queue RocketMQ. Das Thema besteht intern aus mehreren Warteschlangen. Die Speicherung und horizontale Erweiterung von Nachrichten wird tatsächlich über Warteschlangen innerhalb des Themas implementiert.
Warteschlange (MessageQueue): Der eigentliche Einheitscontainer für die Nachrichtenübertragung und -speicherung in der RocketMQ Cloud Message Queue, der den Partitionen in Kafka entspricht. Cloud Message Queue RocketMQ verwendet eine unendliche Warteschlangenstruktur mit Streaming-Eigenschaften zum Speichern von Nachrichten, und Nachrichten haben sequentielle Speichereigenschaften in der Warteschlange.
Nachricht: Die kleinste Übertragungseinheit der RocketMQ-Version von Cloud Message Queue. Nachrichten sind unveränderlich und werden nach dem ersten Senden und Abschluss der Speicherung unveränderlich.
Nachrichtenverbrauch
ConsumerGroup: Eine unabhängige Verbraucheridentitätsgruppe, die im Publish-Subscribe-Modell von Cloud Message Queue RocketMQ definiert ist und zur einheitlichen Verwaltung mehrerer unten ausgeführter Verbraucher (Verbraucher) verwendet wird. Mehrere Verbraucher derselben Verbrauchergruppe müssen ihre Verbrauchslogik und -konfiguration konsistent halten und die von der Verbrauchergruppe abonnierten Nachrichten gemeinsam teilen, um eine horizontale Erweiterung der Verbrauchsfähigkeiten zu erreichen.
Verbraucher: Die laufende Entität der RocketMQ-Version von Cloud Message Queue, die Nachrichten konsumiert. Sie ist im Allgemeinen stromabwärts der Geschäftsanrufverbindung integriert. Verbraucher müssen einer Verbrauchergruppe zugeordnet werden.
Abonnement: Regelkonfiguration für Nachrichtenfilterung, Wiederholung und Verbrauchsfortschritt im Veröffentlichungs- und Abonnementmodell von Cloud Message Queue RocketMQ. Abonnementbeziehungen werden auf der Granularität von Verbrauchergruppen verwaltet. Durch die Definition von Abonnementbeziehungen steuern Verbrauchergruppen, wie Verbraucher unter der angegebenen Verbrauchergruppe Nachrichtenfilterung, Verbrauchswiederholung, Wiederherstellung des Verbrauchsfortschritts usw. implementieren.
Einführung in Kommunikationsmethoden
Unter der Idee der verteilten Systemarchitektur werden komplexe Systeme in mehrere unabhängige Untermodule, beispielsweise Microservice-Module, aufgeteilt. Zu diesem Zeitpunkt ist es notwendig, die Fernkommunikation zwischen Submodulen zu berücksichtigen. Die typischen Kommunikationsmodi sind in die folgenden zwei Typen unterteilt: Der eine ist ein synchroner RPC-Fernaufruf und der andere ist eine asynchrone Kommunikationsmethode, die auf einem Middleware-Agenten basiert.
Synchrones RPC-Aufrufmodell
Beim synchronen RPC-Anrufmodell erfolgt die Anrufkommunikation direkt zwischen verschiedenen Systemen. Jede Anfrage wird direkt vom Anrufer an den Angerufenen gesendet. Anschließend muss der Angerufene das Antwortergebnis sofort an den Anrufer zurücksenden, um festzustellen, ob das Anrufergebnis korrekt ist erfolgreich.
Asynchrones Kommunikationsmodell
Im asynchronen Nachrichtenkommunikationsmodus sind die Subsysteme ohne starke Kopplung direkt verbunden. Der Anrufer muss die Anfrage nur in ein asynchrones Ereignis (Nachricht) umwandeln und an den Zwischenagenten senden gilt als abgeschlossen, und der verbleibende arbeitende Zwischenagent ist dafür verantwortlich, das Ereignis zuverlässig an das nachgeschaltete aufrufende System zu benachrichtigen, um sicherzustellen, dass die Aufgabenausführung abgeschlossen ist. Der Zwischenagent ist im Allgemeinen eine Nachrichten-Middleware.
Die Vorteile der asynchronen Kommunikation sind folgende:
Die Systemtopologie ist einfach
Da Anrufer und Angerufener einheitlich mit dem Zwischenagenten kommunizieren, verfügt das System über eine Sternstruktur und ist einfach zu warten und zu verwalten.
Schwache Upstream- und Downstream-Kopplung
Die Upstream- und Downstream-Systeme sind schwach gekoppelt, die Struktur ist flexibler und der Zwischenagent ist für die Pufferung und asynchrone Wiederherstellung verantwortlich. Vor- und nachgelagerte Systeme können unabhängig voneinander aktualisiert und geändert werden, ohne dass sie sich gegenseitig beeinflussen.
Kapazitätsspitzenausgleich und Talfüllung
Nachrichtenbasierte Zwischen-Proxys verfügen häufig über starke Pufferungs- und Gestaltungsfunktionen für den Datenverkehr, sodass sie den Downstream nicht überlasten, wenn geschäftliche Datenverkehrsspitzen eintreffen.
Einführung in das Nachrichtenübertragungsmodell
Die gängigen Übertragungsmodelle für Nachrichten-Middleware sind hauptsächlich das Punkt-zu-Punkt-Modell und das Publish-Subscribe-Modell.
Peer-to-Peer-Modell
Das Punkt-zu-Punkt-Modell wird auch Warteschlangenmodell genannt und weist folgende Merkmale auf:
Konsumanonymität: Die einzige Identität für die Upstream- und Downstream-Kommunikation von Nachrichten ist die Warteschlange. Downstream-Konsumenten können beim Abrufen von Nachrichten aus der Warteschlange keine unabhängigen Identitäten deklarieren.
Eins-zu-eins-Kommunikation: Aufgrund der Merkmale der Konsumanonymität verfügen diese über keine eigene unabhängige Identität, selbst wenn mehrere nachgelagerte Verbraucher vorhanden sind. Daher wird jede Nachricht in der gemeinsam genutzten Warteschlange nur von einem Verbraucher verarbeitet. Daher kann das Punkt-zu-Punkt-Modell nur eine Eins-zu-Eins-Kommunikation erreichen.
Publish-Subscribe-Modell
Das Publish-Subscribe-Modell weist die folgenden Merkmale auf:
Verbrauchsunabhängigkeit: Im Vergleich zur anonymen Verbrauchsmethode des Warteschlangenmodells verfügen alle Verbraucher im Publish-Subscribe-Modell über eine Identität, die im Allgemeinen als Abonnementgruppe bezeichnet wird (Abonnementbeziehung). Verschiedene Abonnementgruppen sind unabhängig voneinander und beeinflussen sich nicht gegenseitig .
Eins-zu-viele-Kommunikation: Basierend auf dem unabhängigen Identitätsdesign können Nachrichten innerhalb desselben Themas von mehreren Abonnementgruppen verarbeitet werden, und jede Abonnementgruppe kann die volle Menge an Nachrichten erhalten. Daher kann das Publish-Subscribe-Modell eine Eins-zu-Viele-Kommunikation erreichen.
Vergleich der Getriebemodelle
Das Punkt-zu-Punkt-Modell und das Publish-Subscribe-Modell haben jeweils ihre eigenen Vorteile. Das Punkt-zu-Punkt-Modell ist einfacher, während das Publish-Subscribe-Modell skalierbarer ist.
Das von Cloud Message Queue RocketMQ verwendete Übertragungsmodell ist ein Publish-Subscribe-Modell und weist daher auch die Merkmale eines Publish-Subscribe-Modells auf.
Cloud-Nachrichtenwarteschlange Kafka
Produktvorteile
Stellen Sie vollständig verwaltete Dienste für Open-Source-Apache Kafka bereit, um die Schwachstellen von Open-Source-Produkten zu lösen. Mit der Kafka-Version von Cloud Message Queue müssen Sie sich nur auf die Geschäftsentwicklung konzentrieren, ohne Bereitstellung, Betrieb und Wartung. Im Vergleich zu Open-Source-Apache Kafka ist die Kafka-Version von Cloud Message Queue kostengünstiger, elastischer und zuverlässiger.
Anwendungsökologie
Es verfügt über ein umfangreiches Anwendungsökosystem, das hauptsächlich die folgenden Aspekte umfasst:
Big-Data-Bereich: Website-Verhaltensanalyse, Protokollaggregation, Anwendungsüberwachung, Streaming-Datenverarbeitung, Online- und Offline-Datenanalyse und andere Bereiche.
Datenintegration: Importieren Sie Nachrichten in Offline-Data-Warehouses wie MaxCompute, OSS, RDS, Hadoop und HBase.
Datenverarbeitungsintegration: Integration mit StreamCompute, E-MapReduce, Spark, Storm und anderen Engines.
Produktarchitektur
Cloud Message Queue Kafka-Version
Systemstruktur
Hersteller
Senden Sie Nachrichten über den Push-Modus an den Kafka Broker der Cloud Message Queue Kafka-Version. Bei den gesendeten Nachrichten kann es sich um Website-Seitenbesuche, Serverprotokolle oder Systemressourceninformationen im Zusammenhang mit CPU und Speicher handeln.
Kafka-Broker
Der Server, der zum Speichern von Nachrichten verwendet wird. Kafka Broker unterstützt die horizontale Expansion. Je größer die Anzahl der Kafka-Broker-Knoten ist, desto höher ist die Durchsatzrate des Cloud Message Queue Kafka-Clusters.
Gruppe
Abonnieren und konsumieren Sie Nachrichten vom Cloud Message Queue Kafka Version Broker im Pull-Modus.
Tierpfleger
Verwalten Sie die Konfiguration des Clusters, wählen Sie Führungspartitionen und führen Sie einen Lastausgleich durch, wenn sich die Gruppe ändert.
Cloud Message Queue Kafka-Version
Das Publish/Subscribe-Modell der Cloud Message Queue Kafka-Version
Die entsprechende Beziehung zwischen Gruppe und Thema ist N:N, d. h. eine Gruppe kann mehrere Themen gleichzeitig abonnieren, und ein Thema kann auch von mehreren Gruppen gleichzeitig abonniert werden.
Obwohl ein Thema von mehreren Gruppen gleichzeitig abonniert werden kann, können die Nachrichten des Themas nur von jedem Verbraucher in derselben Gruppe konsumiert werden.
Produktvorteile
Sofort einsatzbereit
Kompatibel mit Open Source:
Cloud Message Queue Kafka Edition ist zu 100 % kompatibel mit dem Open-Source-Client Apache Kafka. Sie können den Open-Source-Client Apache Kafka direkt verwenden, um mit Cloud Message Queue Kafka Edition zu kommunizieren. Die Kafka-Version von Cloud Message Queue unterstützt derzeit die Open-Source-Versionen 0.10.x~2.6.x.
Nahtlose Migration:
Die Kafka-Version von Cloud Message Queue basiert auf dem bestehenden Open-Source-Apache-Kafka-Ökosystem und Sie können ohne Codeänderungen in die Cloud migrieren.
Keine Bedienung und Wartung, leicht zu beobachten
HouseKeeping (Zustandsprüfungskomponente): Wird zur Laufzeitprüfung der Kernverbindungen der Cloud Message Queue Kafka-Version verwendet. Es führt jede Minute einen umfassenden Scan und eine Diagnose des Clusters durch und kann Alarme für einen fehlerhaften Status ausgeben. Gleichzeitig wird täglich ein Gesamtinspektionsbericht an das Betriebs- und Wartungspersonal von Alibaba Cloud gesendet, um die Überwachung des Gesundheitszustands des Cloud Message Queue Kafka-Versionssystems zu erleichtern.
Geschäftsüberwachung und Alarmierung: Jede Verbrauchergruppe kann Überwachung und Alarmierung für die Anhäufung von Nachrichten einrichten, um Ihnen dabei zu helfen, Probleme rechtzeitig zu finden.
OpenAPI: Die Kafka-Version von Cloud Message Queue bietet Ihnen einen vollständigen Satz von OpenAPI-Verwaltungs- und -Steuerungsfunktionen zur Implementierung einer Reihe von Ressourcenverwaltungs- sowie Betriebs- und Wartungsfunktionen.
Reichhaltiges Datenökosystem
Bietet vollständig verwaltete, betriebsfreie Datenverarbeitungskomponenten, unterstützt flexible Funktionsprogrammierung und verarbeitet Daten einfach und flexibel.
Unterstützen Sie Connector, um massive Cloud-Produkte und selbst erstellte ökologische Big-Data-Produkte zu verbinden und so die Datenintegration und -berechnung einfach zu realisieren.
Erhältlich im extragroßen Format
Optimieren Sie den Kernel gründlich, um den Leistungsengpass von Partitionen mit tausend Ebenen der Open-Source-Version zu beheben und die Leistung von Partitionen mit zehntausend Ebenen ohne Verlust zu unterstützen.
Unterstützt die Erweiterung der zweiten Ebene.
Unterstützt das Schreiben von bis zu 2 GB Datenverkehr.
Hohe Verfügbarkeit
Das Messaging-Produktforschungs- und Leistungsoptimierungsteam von Alibaba Cloud hat die Schwachstellen von Open-Source-Produkten weiter optimiert, um Ihnen bessere Dienste zu bieten.
Datenpersistenz: Ein professionelles Team sorgt für eine höhere Verfügbarkeit und die Nachrichtenpersistenz wird in die Nachrichtenwarteschlange gestellt. Die Datenzuverlässigkeit ist hoch und die Dienstverfügbarkeit ist hoch.
Hohe Durchsatzfähigkeit: Selbst wenn sich große Nachrichtenmengen ansammeln, kann es immer aufrechterhalten werden
Die hohen Durchsatzfunktionen des Cloud Message Queue Kafka-Versionsclusters.
Zehntausende Themen: Unterstützt das gleichzeitige Lesen und Schreiben von Zehntausenden Themen und behält dabei stets die Gültigkeit bei
Hohe SLA-Garantie
Unterstützt Schreiboptimierungsgarantien in extremen Szenarien wie Graustufen-Upgrade, Upgrade/kalte Daten usw.
Das vollautomatische Inspektions-, Betriebs- und Wartungssystem garantiert eine Serviceverfügbarkeit von 99,9 % und eine Datenzuverlässigkeit von 99,999999 %.
Datensicherheit
Bietet Funktionen wie Authentifizierungs- und Autorisierungsmechanismen, Benutzerdezentralisierung und Sicherheitsschutz auf Unternehmensebene.
Berechtigungsverwaltung: Unterstützt Alibaba Cloud-Konten und RAM-Benutzer, Black- und Whitelists, STS und andere Funktionen vollständig und realisiert Autorisierungsdienste für Alibaba Cloud-Konten und RAM-Benutzer sowie kontoübergreifende Verbindungen zwischen Unternehmen.
Zugriffssicherheit: Basierend auf dem Alibaba Cloud-Kontosystem wird der SASL-Mechanismus zur Authentifizierung von Benutzeridentitäten verwendet, und SSL wird zur Verschlüsselung des Übertragungskanals verwendet, um sicherzustellen, dass Daten während des Übertragungsprozesses nicht gestohlen oder manipuliert werden, wodurch die Sicherheit gewährleistet wird deine Daten.
Alibaba Cloud VPC: Zusätzlich zum Zugriff auf öffentliche Netzwerke unterstützt die Kafka-Version von Cloud Message Queue auch VPC für private Netzwerke. Sie können Ihr eigenes privates Netzwerk vollständig steuern, z. B. IP-Adressbereiche auswählen, Routing-Tabellen und Gateways konfigurieren usw. Sie können Alibaba Cloud-Ressourcen wie Cloud-Server, Cloud-Datenbank-RDS-Versionen und Lastausgleich in Ihrem eigenen definierten privaten Netzwerk verwenden.
Open-Source-Engine-Optimierung
Im Vergleich zum Open-Source-Apache Kafka unterstützt die leistungsstarke Verarbeitungs-Engine Zehntausende von Themen mit hoher gleichzeitiger Lese- und Schreibgeschwindigkeit, Skalierung auf zweiter Ebene und zuverlässigem Cloud-Speicher und bietet somit eine sehr kostengünstige Wahl Überwachungs- und Alarmfunktionen, die Ihnen helfen, Probleme rechtzeitig und effektiv zu erkennen und zu beheben.
Anwendungsszenarien
Tracking der Website-Aktivitäten
Mit der Cloud Message Queue Kafka-Version des Publish/Subscribe-Modells können Sie Website-Aktivitätsdaten (z. B. Registrierung, Anmeldung, Aufladung, Zahlung, Kauf) in Echtzeit erfassen, Nachrichten zu verschiedenen Themen entsprechend den Geschäftsdatentypen veröffentlichen und dann real verwenden -Zeitliche Zustellung von Abonnementnachrichten, Verwendung des Nachrichtenflusses für die Echtzeitverarbeitung, Echtzeitüberwachung oder Laden in Offline-Data-Warehouse-Systeme wie Hadoop und MaxCompute zur Offline-Verarbeitung.
Die Kafka-Version von Cloud Message Queue bietet die folgenden Vorteile für die Verfolgung von Website-Aktivitäten:
Hoher Durchsatz: Die von Website-Benutzern generierten Verhaltensinformationen sind relativ umfangreich und erfordern zu ihrer Unterstützung einen hohen Durchsatz.
Elastische Erweiterung: Website-Aktivitäten führen zu einem Anstieg der Verhaltensdaten, und die Cloud-Plattform kann bei Bedarf schnell erweitert werden.
Big-Data-Analyse: Es kann mit Echtzeit-Datenverarbeitungs-Engines wie Storm und Spark sowie Offline-Data-Warehouse-Systemen wie Hadoop verbunden werden.
Protokollaggregation
Die Kafka-Version von Cloud Message Queue kann eine stärkere Datenpersistenz und eine kürzere End-to-End-Antwortzeit bei gleichzeitig hoher Leistung erreichen. Aufgrund dieser Eigenschaft eignet sich Cloud Message Queue Kafka als Protokollsammelzentrum. Cloud Message Queue Kafka Edition ignoriert die Details von Dateien und kann die Protokolldaten mehrerer Hosts oder Anwendungen in Nachrichtenströme von Protokollen oder Ereignissen abstrahieren und diese asynchron an den Cloud Message Queue Kafka Edition-Cluster senden, wodurch eine sehr niedrige RT erreicht wird. Der Client der Kafka-Version von Cloud Message Queue kann Nachrichten in Stapeln übermitteln und komprimieren, ohne dass es für die Produzenten zu nahezu keinem Leistungsaufwand kommt. Verbraucher können Offline-Lagerspeicher wie Hadoop und MaxCompute sowie Echtzeit-Online-Analysesysteme wie Strom und Spark verwenden, um statistische Analysen an Protokollen durchzuführen.
Die Kafka-Version von Cloud Message Queue bietet die folgenden Vorteile für die Datenaggregation:
Anwendung und Analyse entkoppeln: Bauen Sie eine Brücke zwischen dem Anwendungssystem und dem Analysesystem und entkoppeln Sie die Verbindung zwischen ihnen.
Hohe Skalierbarkeit: Es verfügt über eine hohe Skalierbarkeit, das heißt, wenn die Datenmenge zunimmt, kann es durch Hinzufügen von Knoten schnell horizontal erweitert werden.
Online- oder Offline-Analysesystem: Unterstützt Echtzeit-Online-Analysesysteme und Hadoop-ähnliche Offline-Analysesysteme.
Datenverarbeitung
In vielen Bereichen, wie z. B. der Analyse von Börsentrends, der Messung und Steuerung meteorologischer Daten sowie der Analyse des Benutzerverhaltens von Websites, ist es aufgrund der schnellen, Echtzeit- und großen Datengenerierung schwierig, diese Daten auf einheitliche Weise zu erfassen Speichern Sie sie zur Verarbeitung in einer Datenbank. Daher kann die herkömmliche Datenverarbeitungsarchitektur die Anforderungen nicht erfüllen. Im Gegensatz zur traditionellen Architektur
Das Aufkommen von Cloud-Nachrichtenwarteschlangen der Kafka-Version und Datenverarbeitungs-Engines wie Storm, Samza und Spark soll die bei der Verarbeitung dieser Art von Daten auftretenden Probleme besser lösen. Das Datenverarbeitungsmodell kann die Datenverarbeitung während des Datenflusses realisieren Prozesse in Echtzeit erfassen und verarbeiten, Berechnungen und Analysen entsprechend den Geschäftsanforderungen durchführen und schließlich die Ergebnisse speichern oder an die erforderlichen Komponenten verteilen.
Die Kafka-Version von Cloud Message Queue bietet die folgenden Vorteile für die Datenverarbeitung:
Fließende Daten: Erfassen und verarbeiten Sie Daten in Echtzeit während des Datenflusses und führen Sie Berechnungen und Analysen basierend auf den Geschäftsanforderungen durch.
Hohe Skalierbarkeit: Aufgrund der hohen Geschwindigkeit der Datengenerierung und der großen Datenmenge ist eine hohe Skalierbarkeit erforderlich.
Datenverarbeitungs-Engine: Kann mit den Open-Source-Produkten Storm, Samza, Spark, EMR, Blink, StreamCompute und anderen Alibaba Cloud-Produkten verbunden werden.
Datenübertragungsknotenpunkt
In den letzten etwa 10 Jahren sind spezielle Systeme wie KV-Speicher (HBase), Suche (Elasticsearch), Streaming-Verarbeitung (Storm, Spark, Samza) und Zeitreihendatenbanken (OpenTSDB) entstanden. Diese Systeme wurden mit einem einzigen Ziel vor Augen entwickelt und ihre Einfachheit macht es einfacher und kostengünstiger, verteilte Systeme auf Standardhardware aufzubauen. Oftmals muss derselbe Datensatz in mehrere spezialisierte Systeme eingespeist werden. Wenn beispielsweise Anwendungsprotokolle für die Offline-Protokollanalyse verwendet werden, ist die Suche nach einzelnen Protokolldatensätzen offensichtlich unpraktisch. Es ist offensichtlich unpraktisch, unabhängige Arbeitsabläufe zu erstellen, um jede Art von Daten zu sammeln und sie dann mithilfe von Cloud-Messaging zu importieren Die Queue-Version von Kafka dient als Datentransfer-Hub und die gleichen Daten können in verschiedene dedizierte Systeme importiert werden.
Die Kafka-Version von Cloud Message Queue bietet als Datenübertragungs-Hub die folgenden Vorteile:
Speicher mit hoher Kapazität: Kann Daten mit hoher Kapazität auf kommerzieller Hardware speichern, um ein horizontal skalierbares verteiltes System zu erreichen.
Eins-zu-viele-Verbrauchsmodell: Publish/Subscribe-Modell, das die mehrfache gleichzeitige Nutzung desselben Datensatzes unterstützt.
Unterstützt sowohl Echtzeit- als auch Stapelverarbeitung: Unterstützt lokale Datenpersistenz und Seitencache und kann gleichzeitig Nachrichten ohne Leistungsverlust an Echtzeit- und Stapelverbraucher übertragen.
Cloud-Nachrichtenwarteschlange RabbitMQ
Open-Source-Vergleich
Vergleicht man Cloud Message Queue RabbitMQ Edition und Open-Source-RabbitMQ unter drei Gesichtspunkten: Leistung, Stabilität und Funktionalität, bietet Cloud Message Queue RabbitMQ Edition weitere Vorteile.
Produktmerkmale
Kompatibel mit Open Source RabbitMQ, bietet vollständige Betriebs- und Wartungsunterstützung und unterstützt mehrere Nachrichtentypen.
Nutzungsbeschränkungen
Es gibt Einschränkungen für Cluster, Schnittstellenaufrufe und Zeichen. Achten Sie bei der Verwendung der Cloud Message Queuing RabbitMQ-Version darauf, die entsprechenden Grenzwerte nicht zu überschreiten, um Programmausnahmen zu vermeiden.
Produktvorteile
Flexibel und einfach zu bedienen
Sofort einsatzbereit
Vollständig kompatibel mit Standardprotokollen, vollständig kompatibel mit der RabbitMQ-Open-Source-Community und schnell in die Cloud migriert.
Vollständig verwalteter Service
Der Cloud Message Queue RabbitMQ-Versionsdienst ist ein Cloud-Messaging-Dienst, der weder Bereitstellung noch Betrieb und Wartung erfordert. Mithilfe des professionellen automatisierten Betriebs- und Wartungsteams von Alibaba Cloud werden mehrdimensionale Inspektionen der Kernverbindungen auf zweiter und minutengenauer Ebene durchgeführt, umfassende Zustandsdiagnoseberichte bereitgestellt sowie Alarme und eine zeitnahe Wiederherstellung bei fehlerhaften Zuständen durchgeführt, um die Serviceverfügbarkeit und den Geschäftsbetrieb sicherzustellen Kontinuität. .
Hohe Verfügbarkeit
Stellen Sie ein klares SLA bereit, um eine hohe Verfügbarkeit in mehreren Verfügbarkeitszonen sicherzustellen. Auch wenn der gesamte Computerraum nicht verfügbar ist, können Messaging-Dienste weiterhin normal bereitgestellt werden.
Clusterverteilte Bereitstellung, Dienstknoten sind zustandslos und haben keinen einzelnen Punkt. Selbst wenn ein einzelner Knoten nicht verfügbar ist, fordern Sie ein Failover auf andere Knoten an, um die normale Bereitstellung von Nachrichtendiensten sicherzustellen.
Funktionserweiterung
Verspätete Nachricht
Unterstützt verzögerte Nachrichten und erreicht eine Genauigkeit der zweiten Ebene und keine First-In-First-Out-Einschränkungen.
Es ist einfach und benutzerfreundlich. Sie müssen nur einen Parameter im Code festlegen, um die Schwachstellen der Open-Source-RabbitMQ-Warteschlange ohne Verzögerung zu lösen.
Hochpräzise Unterstützung, die kürzeste kann auf die zweite Ebene genau sein und die längste kann 1 Tag dauern.
Hohe Leistung, die Leistung entspricht der normaler Nachrichten.
Mehrere Kopien der Datenredundanz gewährleisten die Nachrichtenwiederherstellung.
Nachrichtenwiederholung
Wiederholungsversuche für eine Minute, bis zu 16 Wiederholungsversuche.
Nachrichten, die die maximale Anzahl an Wiederholungen überschreiten, werden in die Warteschlange für unzustellbare Nachrichten aufgenommen und können abgefragt und exportiert werden.
Dead LetterExchange
Der erweiterte Austausch für unzustellbare Nachrichten unterstützt nicht nur Nachrichten mit negativen Antworten, sondern unterstützt auch Nachrichten, bei denen ein erneuter Versuch fehlschlägt, automatisch in den Austausch für unzustellbare Nachrichten einzutreten, um sicherzustellen, dass Nachrichten nicht verloren gehen.
Super Leistung
Obergrenze der Plattformleistung
Unterstützt Millionen von Warteschlangen, die horizontale Erweiterung führt zu einem linearen Leistungswachstum und es gibt keine Parallelitätsbeschränkung für die Leistung.
Erweiterung einer einzelnen Warteschlange
Lösen Sie den Leistungsengpass der RabbitMQ-Einzelwarteschlange, unterstützen Sie die horizontale Erweiterung einer Einzelwarteschlange und haben Sie keine Parallelitätsbeschränkung für die Leistung.
Elastische Skalierung
Es verfügt über eine starke Skalierbarkeit, lineare Leistungssteigerung, elastische Erweiterung und Kontraktion entsprechend den Geschäftsanforderungen und ist für Benutzer transparent.
Massive Anhäufung
Bei einer massiven Nachrichtenanhäufung bleibt die hohe Leistung stets erhalten, ohne die normalen Dienste des Clusters zu beeinträchtigen.
Die Produzenten und Konsumenten von Nachrichten sind isoliert, um der großen Parallelität der Produzenten und dem stabilen Konsum durch die Konsumenten gerecht zu werden.
Sicher und zuverlässig
Berechtigungsgranularität
Fein abgestimmte Berechtigungskontrolle für Instanzen, Vhosts, Warteschlangen und Exchange sowie sichere Zugriffskontrolle für jede Nachrichtenanforderung.
Haupt- und Unterkonten
Umfassende Integration mit Alibaba Cloud RAM-Master- und Unterkonten, Black- und Whitelists, STS und anderen Funktionen.
Verschlüsselte Übertragung
Unterstützt das TLS-Übertragungsverschlüsselungsprotokoll.
Anwendungsszenarien
Asynchrone Entkopplung
Es kann für die Kommunikation zwischen verschiedenen Microservices verwendet werden, nachdem eine einzelne Anwendung in Microservices zerlegt wurde. Der Vorteil der Anwendungsentkopplung besteht darin, dass Iterationen verschiedener Anwendungen nicht mehr voneinander abhängen, während der Vorteil der asynchronen Kommunikation darin besteht, dass Daten nicht mehr sofort verarbeitet werden müssen. Durch asynchrone Entkopplung kann die Länge der Datenverbindung effektiv verkürzt und die Effizienz der Datenverarbeitung verbessert werden.
Peak Shaving und Valley Filling
Wenn Großveranstaltungen hohe Verkehrsimpulse mit sich bringen, kann ein unzureichender Schutz leicht zu einer Systemüberlastung oder sogar einem Absturz führen. Übermäßige Einschränkungen können zu einer großen Anzahl fehlgeschlagener Anfragen führen, was sich negativ auf die Benutzererfahrung auswirkt.
Die Cloud Message Queue RabbitMQ-Version kann Spitzen abbauen und Täler füllen. Seine hochleistungsfähigen Nachrichtenverarbeitungsfunktionen können Verkehrsimpulse ohne Überlastung bewältigen, stellen die Systemverfügbarkeit sicher und verbessern gleichzeitig die Benutzererfahrung durch schnelle und effektive Anfrage-Antwort-Technologie. Seine enorme Fähigkeit zur Nachrichtenakkumulation sorgt dafür, dass nachgelagerte Unternehmen auf einem sicheren Niveau reibungslos und stabil ablaufen und die Auswirkungen von Verkehrsspitzen vermieden werden.
Verteilte Cache-Synchronisierung
Eine große Anzahl gleichzeitiger Zugriffe auf die Datenbank kann zu langen Seitenantwortzeiten führen. Über die Cloud Message Queue RabbitMQ-Version wird ein verteilter Cache erstellt, um Echtzeitbenachrichtigungen über Datenänderungen zu unterstützen, wodurch die Seitenantwortzeit effektiv verkürzt und große Zugriffsanforderungen für Änderungen erfüllt werden.
Cloud Message Queue MQTT
Dabei handelt es sich um eine leichtgewichtige Nachrichten-Middleware, die von Alibaba Cloud für die Bereiche mobiles Internet und Internet der Dinge eingeführt wurde. Wenn zwischen Mikrodiensten im Allgemeinen herkömmliche Nachrichtenwarteschlangen-Middleware verwendet wird, realisiert die für das Internet der Dinge geeignete Cloud Message Queue MQTT-Version die Nachrichtenübermittlung zwischen dem Ende und der Cloud und die echte Verbindung von allem. In diesem Artikel werden das Nachrichtensende- und -empfangsmodell, die Produktvorteile und Anwendungsszenarien der Cloud Message Queue MQTT-Version vorgestellt.
Kernidee
Thema
: Nachrichtenthema, Nachrichtentyp der ersten Ebene, an den der Produzent Nachrichten sendet.
Hersteller
: Wird auch als Nachrichtenherausgeber bezeichnet und ist für die Erstellung und den Versand von Nachrichten an Topic verantwortlich.
Verbraucher
: Wird auch als Nachrichtenabonnent bezeichnet und ist für den Empfang und Konsum von Nachrichten vom Thema verantwortlich.
Information
: Die vom Produzenten an das Thema gesendeten und schließlich an den Konsumenten übermittelten Daten.
Regel
Die MQTT-Version von Cloud Message Queue ist eine Ressource, die Dateninteroperabilität mit anderen Alibaba Cloud-Produkten ermöglicht.
Messaging-Modell
Es umfasst hauptsächlich die folgenden zwei Modelle zum Senden und Empfangen von Nachrichten:
Interaktionsmodell zwischen Terminal und Cloud-Diensten
Die MQTT-Version von Cloud Message Queue verbindet das Terminal und die Cloud, um eine bidirektionale Kommunikation zwischen dem Gerät und der Cloud zu erreichen. Das Gerät kann über die MQTT-Version von Cloud Message Queue direkt mit Cloud-Geschäftsanwendungen kommunizieren und auch eine produktübergreifende Interoperabilität von Nachrichtendaten mit anderen Alibaba Cloud-Produkten erreichen.
Typische Anwendungsszenarien dieses Modells sind die Meldung von Statusdaten smarter Geräte oder die Erteilung von Anweisungen für Cloud-Steuerungsanwendungen.
Terminal- und Terminal-Interaktionsmodell
Dieses Modell eignet sich für die Datenkommunikation zwischen mobilen Apps oder Geräten. Im IM-Kommunikationsszenario chatten zwei Benutzer direkt über Nachrichten und im Smart-Device-Szenario steuert die App intelligente Geräte. In diesem Modell werden Nachrichtenproduzenten und -konsumenten auf Endgeräten verteilt und über das MQTT-Protokoll mit dem MQTT-Versionsprodukt der Cloud-Nachrichtenwarteschlange verbunden.
Basierend auf den beiden oben genannten Modellen zum Senden und Empfangen von Nachrichten können Entwickler, die die MQTT-Version von Cloud Message Queue verwenden, in zwei Kategorien unterteilt werden: Terminal und Cloud.
Produktvorteile
Nahtlose Migration
Kompatibel mit jedem SDK, das das MQTT 3.1.1-Protokoll und das WebSocket-Protokoll unterstützt und die meisten mobilen Entwicklungsplattformen und Sprachen abdeckt.
Hochleistung
Es unterstützt Online-Verbindungen von Dutzenden Millionen Geräten, Millionen von Parallelitätsnachrichten, Billionen von Übertragungen und ein verteiltes Architekturdesign auf Millisekundenebene, es gibt keinen Single-Point-Engpass und jede Komponente kann unbegrenzt horizontal erweitert werden.
Sicher und zuverlässig
Unterstützt die Berechtigungskontrolle auf Geräteebene, den temporären Token-Dienst und das sichere Übertragungsprotokoll TLS 1.2, um sicherzustellen, dass Benutzerdaten sicher und zuverlässig sind.
Natürliche Interoperabilität
Der Nachrichtenaustausch zwischen der Cloud Message Queue MQTT-Version und der Cloud Message Queue RocketMQ-Version ermöglicht eine bidirektionale Kommunikation zwischen dem Gerät und der Cloud und macht sie dadurch effizienter und zuverlässiger.
Anwendungsszenarien
Es verfügt über Unterstützungsfunktionen für mehrere Protokolle, mehrere Sprachen und mehrere Plattformen und wird häufig in den Bereichen mobiles Internet und Internet der Dinge eingesetzt und deckt eine Vielzahl von Anwendungsszenarien ab, z. B. mobile Live-Übertragung, Internet der Fahrzeuge, Finanzzahlungen, Intelligentes Catering und sofortiger Chat.
Nachrichtendienst MNS
Message Service MNS (Message Service) ist ein effizienter, zuverlässiger, sicherer, praktischer und elastisch skalierbarer verteilter Messaging-Dienst. Der Messaging-Dienst MNS kann Entwicklern dabei helfen, Daten und Benachrichtigungsnachrichten frei zwischen verteilten Komponenten der Anwendung zu übertragen und so ein lose gekoppeltes System aufzubauen. Der Messaging-Dienst MNS unterstützt das Warteschlangenmodell und das Themenmodell.
Warteschlangenmodell
Das Warteschlangenmodell bietet ein Eins-zu-Eins-Verbrauchsmodell mit hoher Zuverlässigkeit und hoher Parallelität, dh jede Nachricht in der Warteschlange kann nur von einem bestimmten Verbraucher konsumiert werden.
Die Warteschlange gleicht einem rotierenden Sushi-Restaurant. Im Sushi-Restaurant gibt es mehrere Sushi-Köche (Produzenten), die exquisites Sushi herstellen. Jedes Stück Sushi ist einzigartig. Kunden (Verbraucher) können das Sushi, das sie mögen, zum Essen (Verzehr) nehmen.
Produktvorteile
Einfach und leicht zu bedienen
Kein Betrieb und keine Wartung erforderlich, keine Notwendigkeit, den Messaging-Dienst selbst aufzubauen.
Einfacher Zugriff, standardmäßige HTTP-RESTful-Schnittstelle.
Unterstützung für mehrere Sprachen-SDKs, einschließlich C, Java, C#, Python, PHP, Go usw., und wird weiterhin erweitert.
Stabil und zuverlässig
Drei Kopien der Nachricht, hohe Zuverlässigkeit.
Hohe Serviceverfügbarkeit.
Der einzigartige Mechanismus sorgt für „Immer beschreibbar“.
Sicherheit
Mehrstufiger Sicherheitsschutz und Prävention von DDoS-Angriffen.
Mehrbenutzer-Isolationsmechanismus, jeder Benutzer verfügt über einen unabhängigen Namespace.
Unterstützt die Gewährung unterschiedlicher Zugriffsberechtigungen für verschiedene RAM-Benutzer.
Unterstützt HTTPS- und VPC-Zugriff.
Umfangreiche und hochskalierbare Leistung
Die Anzahl der Warteschlangen und die Warteschlangenspeicherkapazität sind hoch skalierbar.
Der Serviceumfang wird automatisch erweitert und ist für Benutzer transparent.
Bieten Sie Dienstleistungen in mehreren Regionen auf der ganzen Welt an.
Schnell und stabil
Schnell und direkt, die Verbindung mit Benutzern dauert nur 3 Sekunden.
Exklusiver Triple-Play-Kanal.
Der dedizierte Computerraum unterstützt große Kapazität und hohe Parallelität.
Die Ankunftsrate ist hoch und es ist in Echtzeit mit der Nummernportabilitätsplattform des Ministeriums für Industrie und Informationstechnologie verbunden.
Betriebs- und Wartungsgarantie auf Carrier-Niveau, Echtzeitüberwachung und automatische Umschaltung.
Intimer technischer Service
Kontinuierliche Bereicherung des Austauschs von Best-Practice-Fällen.
Unterstützung bei Arbeitsaufträgen rund um die Uhr.
Anpassbarer Vor-Ort-Support verfügbar.