Mindmap-Galerie Alibaba Cloud-Plattform für künstliche Intelligenz PAI
Die Plattform für künstliche Intelligenz PAI (Platform of Artificial Intelligence) bietet Unternehmenskunden und Entwicklern leichte, kostengünstige Cloud-native künstliche Intelligenz und deckt den gesamten Prozess von interaktiver DSW-Modellierung, visueller Drag-and-Drop-Modellierung von Designern und verteiltem DLC-Training bis hin zu EAS ab der modellhaften Online-Bereitstellung.
Bearbeitet um 2024-03-10 09:17:30Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Projektmanagement ist der Prozess der Anwendung von Fachwissen, Fähigkeiten, Werkzeugen und Methoden auf die Projektaktivitäten, so dass das Projekt die festgelegten Anforderungen und Erwartungen im Rahmen der begrenzten Ressourcen erreichen oder übertreffen kann. Dieses Diagramm bietet einen umfassenden Überblick über die 8 Komponenten des Projektmanagementprozesses und kann als generische Vorlage verwendet werden.
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Projektmanagement ist der Prozess der Anwendung von Fachwissen, Fähigkeiten, Werkzeugen und Methoden auf die Projektaktivitäten, so dass das Projekt die festgelegten Anforderungen und Erwartungen im Rahmen der begrenzten Ressourcen erreichen oder übertreffen kann. Dieses Diagramm bietet einen umfassenden Überblick über die 8 Komponenten des Projektmanagementprozesses und kann als generische Vorlage verwendet werden.
Plattform für künstliche Intelligenz PAI
Was ist die Plattform für künstliche Intelligenz PAI?
Was ist maschinelles Lernen?
Maschinelles Lernen ist ein multidisziplinäres Hauptfach, das Wissen über Wahrscheinlichkeitstheorie, statistisches Wissen, Wissen über Approximationstheorie und Wissen über komplexe Algorithmen umfasst. Es nutzt Computer als Werkzeuge und hat sich zum Ziel gesetzt, menschliche Lernmethoden in Echtzeit und in Echtzeit zu simulieren und vorhandene Inhalte in The umzuwandeln Die Wissensstruktur ist unterteilt, um die Lerneffizienz effektiv zu verbessern. Beim maschinellen Lernen werden Modellannahmen zu Forschungsproblemen getroffen, mithilfe von Computern Modellparameter aus Trainingsdaten gelernt und die Daten schließlich vorhergesagt und analysiert. Es kann in einigen der folgenden Szenarien verwendet werden.
Inhaltsgenerierung: Generieren Sie nach Bedarf themenbezogene Texte, Bilder, Videos und Audioinhalte.
Marketingszenarien: Produktempfehlungen, Nutzergruppenporträts oder gezielte Werbung.
Finanzszenarien: Vorhersage der Kreditvergabe, Kontrolle des Finanzrisikos, Vorhersage des Aktientrends oder Vorhersage des Goldpreises.
Szenarien zum Mining von Beziehungsbeziehungen in sozialen Netzwerken: Weibo-Fan-Leader-Analyse oder Analyse der sozialen Beziehungskette.
Textbasierte Szenarien: Nachrichtenklassifizierung, Schlüsselwortextraktion, Artikelzusammenfassung oder Textinhaltsanalyse.
Szenarien für die Verarbeitung unstrukturierter Daten: Bildklassifizierung oder Extraktion von Bildtextinhalten.
Verschiedene andere Vorhersageszenarien: Niederschlagsvorhersage oder Vorhersage des Ergebnisses eines Fußballspiels.
Maschinelles Lernen umfasst traditionelles maschinelles Lernen und Deep Learning und umfasst die folgenden Arten:
Überwachtes Lernen: Durch die Erstellung eines Modells wird die Zuordnung vom Eingabemerkmalsvektor zum Zielwert erreicht, beispielsweise zur Lösung von Regressions- und Klassifizierungsproblemen.
Unüberwachtes Lernen: Alle Stichproben haben keinen Zielwert und es wird erwartet, dass einige potenzielle Muster aus den Daten selbst entdeckt werden, beispielsweise die Lösung von Clustering-Problemen.
Reinforcement Learning: Das relativ komplexe System interagiert kontinuierlich mit der externen Umgebung und bestimmt sein eigenes Verhalten auf der Grundlage externer Rückmeldungen, um eine Zieloptimierung zu erreichen. Zum Beispiel AlphaGo und selbstfahrende Autos.
Was ist die Plattform für künstliche Intelligenz PAI?
Die zugrunde liegende Schicht von PAI unterstützt mehrere Computer-Frameworks:
Streaming-Computing-Framework Flink.
Basierend auf Open-Source-Versionen der tief optimierten Deep-Learning-Frameworks TensorFlow, PyTorch, Megatron und DeepSpeed.
Parameter Server, ein umfangreiches Parallel-Computing-Framework für Hunderte Milliarden Feature-Samples.
Spark, PySpark, MapReduce und andere gängige Open-Source-Frameworks der Branche.
Dienstleistungen von PAI:
Designer für visuelle Modellierung und verteiltes Training
Notizbuch interaktives AI R&D DSW (Data Science Workshop)
Verteilter Trainings-DLC (Deep Learning Containers)
Online-Vorhersage EAS (Elastic Algorithm Service)
PAI basiert auf jahrelanger Anwendungs- und Technologieakkumulation von Alibaba Cloud und der Alibaba Group und bietet die folgenden Vorteile.
Vollständiger Lebenszyklus der KI-Forschung und -Entwicklung und vollständiger Link:
Es unterstützt Datenanmerkung, Modellentwicklung, Modellschulung, Modelloptimierung, Modellbereitstellung sowie KI-Betriebs- und Wartungsverwaltung und -steuerung. Es handelt sich um eine KI-Plattform aus einer Hand.
Verfügt über 140 optimierte integrierte Algorithmuskomponenten.
Unterstützt mehrere Deep-Learning-Frameworks wie TensorFlow und PyTorch in der Branche.
Es bietet Kernfunktionen wie mehrere Modi, tiefe Integration von Big-Data-Engines, Multi-Frame-Kompatibilität und benutzerdefinierte Spiegelung.
Bietet Produkte für die KI-Entwicklung, Schulung und Bereitstellung cloudnativer Architektur.
Verschiedene Produktausgabemethoden:
Die Public Cloud unterstützt vollständiges Hosting und Semi-Management.
Unterstützt KI-Hochleistungs-Computing-Cluster und einfache Ausgabeproduktformen.
Branchenführende KI-Optimierung:
Das leistungsstarke Trainings-Framework und die Szenarien für spärliches Training unterstützen spärliche Funktionsskalen von Milliarden bis zu mehreren zehn Milliarden, eine Stichprobenskala von zehn bis zu Hunderten von Milliarden und eine verteilte inkrementelle Schulung von Tausenden von Arbeitern.
Beschleunigung des Mainstream-Framework-Modells unter Verwendung von PAI Blade zur Verbesserung des Beschleunigungsverhältnisses von mehr als einem Dutzend Mainstream-Modellen wie RestNet50 und Transformer LM.
Dieser Service kann einzeln oder in Kombination genutzt werden. Durch die Unterstützung von maschinellem Lernen aus einer Hand müssen Sie lediglich Trainingsdaten vorbereiten (in OSS oder MaxCompute speichern) und alle Modellierungsarbeiten (einschließlich Daten-Upload, Datenvorverarbeitung, Feature-Engineering, Modelltraining, Modellbewertung und Modellfreigabe in den Offline- oder Offline-Modus durchführen). Online-Umgebung) kann durch PAI erreicht werden.
Verbunden mit DataWorks unterstützt es mehrere Datenverarbeitungsmethoden wie SQL, UDF, UDAF und MR mit hoher Flexibilität.
Der experimentelle Prozess zum Generieren von Trainingsmodellen unterstützt die periodische Planung von DataWorks, und Planungsaufgaben unterscheiden zwischen Produktionsumgebungen und Entwicklungsumgebungen, wodurch eine Isolierung der Datensicherheit erreicht wird.
Merkmale
Umfangreiche Algorithmen für maschinelles Lernen
Die Algorithmen von PAI wurden durch das große Geschäft der Alibaba Group angesammelt. Sie unterstützen nicht nur grundlegende Clustering- und Regressionsalgorithmen, sondern auch komplexe Algorithmen wie Textanalyse und Merkmalsverarbeitung.
Unterstützt das Andocken an andere Alibaba Cloud-Produkte
Die von PAI trainierten Modelle werden direkt in MaxCompute gespeichert und können mit anderen Alibaba Cloud-Produkten verwendet werden.
Maschinelles Lernen aus einer Hand
PAI unterstützt den gesamten maschinellen Lernprozess vom Daten-Upload, der Datenvorverarbeitung, dem Feature-Engineering, dem Modelltraining, der Modellevaluierung bis zur Modellfreigabe.
Unterstützen Sie gängige Deep-Learning-Frameworks
PAI unterstützt gängige Frameworks für maschinelles Lernen wie TensorFlow, Caffe und MXNet.
Visuelle Modellierungsmethode
Es kapselt klassische Algorithmen für maschinelles Lernen und bietet visuelle Modellierung. Es unterstützt Drag-and-Drop zum Erstellen von Experimenten für maschinelles Lernen ohne explizite Programmierung.
Ein-Klick-Modellbereitstellungsservice
PAI unterstützt die Veröffentlichung des von Designer DSW generierten Trainingsmodells mit einem Klick als Restful-API-Schnittstelle, um eine nahtlose Verbindung vom Modell zum Unternehmen zu erreichen.
Ausgezeichneter technischer Support
Sollten während der Nutzung Probleme auftreten, wenden Sie sich bitte an Ihren Geschäftsführer oder wenden Sie sich an die zuständige Schnittstelle
Produktarchitektur
1. Die Produktarchitektur von PAI
2. Die Geschäftsarchitektur von PAI ist in die folgenden vier Schichten unterteilt:
Grundlegende Ressourcenschicht (Rechnerressourcen und Infrastruktur):
Die Infrastruktur umfasst CPU, GPU, Hochgeschwindigkeits-RDMA-Netzwerk, Containerdienst ACK usw.
Zu den Rechenressourcen gehören Cloud-native Ressourcen (Lingjun-Rechenressourcen und allgemeine Rechenressourcen) und Big-Data-Engine-Ressourcen (MaxCompute und Flink).
Plattform-Tool-Schicht (Lingjun Intelligent Computing Service & Artificial Intelligence Framework):
Framework für künstliche Intelligenz: einschließlich Alink, TensorFlow, PyTorch, Megatron, DeepSpeed und RLHF sowie anderer intelligenter Frameworks, die zur Ausführung verteilter Rechenaufgaben verwendet werden.
Optimierungs- und Beschleunigungs-Framework: einschließlich DatasetAcc-Datensatzbeschleunigung, TorchAcc-Trainingsbeschleunigung, EPL-Parallel-Trainings-Framework, Blade-Inferenzbeschleunigung, automatisches fehlertolerantes AIMaster-Training und asynchrone Trainings-Snapshots der zweiten Ebene von EasyCkpt usw.
Im Anschluss an den gesamten maschinellen Lernprozess bietet PAI Produkte für die Phasen Datenvorbereitung, Modellentwicklung und -schulung sowie Modellbereitstellung an:
1. Datenvorbereitung: PAI bietet Annotationsdienste zur Unterstützung der Datenannotation und Datensatzverwaltung in einer Vielzahl von Szenarien.
2. Modellentwicklung und -training: PAI bietet visuelle Modellierung (Designer), interaktive Modellierung (DSW), verteiltes Training (DLC) und Feature-Plattform (FeatureStore), um unterschiedliche Modellierungsanforderungen zu erfüllen.
3. Modellbereitstellung: PAI bietet einen Modell-Onlinedienst (EAS), der Sie bei der schnellen Bereitstellung von Modellen als Dienste unterstützt.
Anwendungsschicht (Modelldienst): Zu den unterstützten Modelldiensten gehören ModelScope, PAI-DashScope, MaaS-Plattformen von Drittanbietern und Bailian.
Geschäftsschicht (szenariobasierte Lösungen): PAI wird in verschiedenen Bereichen wie autonomem Fahren, wissenschaftlicher Forschung und intelligentem Rechnen, finanzieller Risikokontrolle und intelligenter Empfehlung eingesetzt. Das interne Suchsystem, das Empfehlungssystem und das Finanzdienstleistungssystem der Alibaba Group verlassen sich beim Data Mining alle auf PAI.
3. PAI-Produktmodule
Substantiv beschreiben Intelligentes Tagging (iTAG) Ein Tool zur Annotation von Datensätzen, das intelligente Funktionen (Black Box) integriert, kann den Annotationsarbeitsaufwand effektiv reduzieren und schnell qualitativ hochwertige Annotationsdatensätze erhalten. Visuelle Modellierung (Designer) Ein Workflow-Design-Tool für den KI-Bereich, das einen umfangreichen Satz an Algorithmuskomponenten für maschinelles Lernen kapselt. Sie benötigen keine Programmiergrundlage, Sie können das Modell per Drag & Drop trainieren. Interaktive Modellierung (DSW) Eine cloudbasierte interaktive Entwicklungs-IDE für maschinelles Lernen für KI-Entwickler, einschließlich Notebook, VSCode und Terminal. Sie können DSW basierend auf dem Image starten, indem Sie das NAS als Speicher angeben. Containerschulung (DLC) Senden Sie Trainingsaufgaben schnell an die mit dem aktuellen Arbeitsbereich verknüpften Computerressourcen (z. B. allgemeine Computerressourcen). Die übermittelten Aufgabendetails können im PAI-Aufgabenverwaltungsmodul angezeigt werden. Modell-Onlinedienst (EAS) Es unterstützt die Ein-Klick-Bereitstellung großer komplexer Modelle, die elastische Expansion und Kontraktion in Echtzeit und bietet ein vollständiges Betriebs- und Wartungsüberwachungssystem. KI-Asset-Management Bietet Verwaltungsfunktionen für zentrale KI-Assets, einschließlich Datensätze, Modelle, Codekonfigurationen usw. Szenariobasierte Lösungen Eine Sammlung vertikaler Feldlösungen basierend auf den Fähigkeiten der PAI-Plattform für Ihre direkte Anwendung.