Any scale

Au fond, Anyscale utilise Ray comme plateforme d’IA de qualité production. Le site officiel indique Le meilleur endroit pour construire et exécuter de l’IA avec Ray, et explique que Ray peut étendre le traitement, l’entraînement et l’inférence des données des notebooks à des milliers de nœuds. Anyscale assure le développement, le déploiement, l’observation et le contrôle des coûts sur le cloud.

Fonctions et capacités principales

• Prise en charge des charges de travail en apprentissage automatique et IA telles que le traitement des données Ray, l’entraînement, l’inférence, et plus encore.
• Fournit des environnements de développement cloud pouvant être utilisés via VSCode, Jupyter et Cursor.
• Prend en charge le clustering hétérogène CPU/GPU, le déploiement K8s, l’autoscaling et le fonctionnement tolérant aux pannes.
• Observabilité intégrée de la charge de travail, gestion des dépendances, alertes de surveillance et gouvernance des coûts.

Scénarios d’utilisation

Anyscale convient aux applications de grands modèles, à l’entraînement distribué, à l’inférence par lots, aux pipelines de traitement de données, au calcul multimodal et aux environnements de production nécessitant une forte utilisation du GPU. Les équipes peuvent déboguer les jobs Ray dans un environnement de développement interactif avant de les déployer sur un cluster de production plus stable.

À la hauteur de la foule

Il s’adresse principalement aux développeurs d’IA, ingénieurs ML, ingénieurs de plateforme, équipes de plateforme de données et organisations qui utilisent déjà ou se préparent à utiliser Ray. Pour les utilisateurs individuels qui n’ont qu’à simplement appeler l’API du modèle, les capacités de la plateforme Anyscale peuvent être très limitées.

Limiter les limites et les considérations

Anyscale résout les opérations de calcul et Ray d’IA distribuée sans concevoir automatiquement des modèles, la gouvernance des données ou la logique produit pour les équipes. Évaluez les coûts cloud, les ressources GPU, les permissions de données, les versions de dépendances et les limites de responsabilité opérationnelle avant de l’utiliser.

FAQ

Quelle est la relation entre Anyscale et Ray ? **

Anyscale est propulsé par l’équipe de création Ray, qui se positionne comme une plateforme pour exécuter et monter en charge les charges de travail Ray.

Est-ce adapté à l’agrégation d’API de modèles ? **

Pas principalement l’agrégation d’API. Il est meilleur pour exécuter des charges de travail en traitement de données, en entraînement, en inférence et en calcul distribué.

Dois-je connaître Ray avant d’utiliser Anyscale ?

Il est préférable de comprendre les tâches de base, les acteurs, les clusters et les concepts de charge de travail de Ray, sinon il est difficile de savoir si la configuration de la plateforme est raisonnable.