AutoTrain Advanced simplifie la gestion des versions et l'intégration CI/CD pour les projets de machine learning, offrant une solution clé en main pour l'automatisation du déploiement. Ce guide détaille l'intégration avec GitHub Actions pour orchestrer un flux de travail de déploiement automatisé.

Fonctionnalités clés d'AutoTrain Advanced pour la gestion des versions

Sélecsion et gestion des configurations de modèles

AutoTrain Advanced facilite la sélection de modèles pré-entraînés, que ce soit depuis la bibliothèque AutoTrain ou le Hub Hugging Face. Les interfaces permettent de choisir aisément les modèles et de configurer les paramètres du projet, comme illustré dans les captures d'écran relatives aux choix de modèles.

Versionnement des paramètres d'entraînement

Chaque session d'entraînement enregistre et versionne automatiquement tous les paramètres utilisés, incluant :

• Le modèle de base sélectionné.
• La configuration de la source des données.
• Les paramètres de taille de lot et de taux d'apprentissage.
• Les mappings de colonnes.

Le système propose une interface claire pour ajuster l'ensemble de ces paramètres d'entraînement.

Flux de déploiement automatisé avec GitHub Actions

Configuration du workflow GitHub Actions

Pour automatiser l'entraînement et le déploiement, créez un fichier .github/workflows/autotrain-deploy.yml à la racine de votre projet :

name: AutoTrain Model Training & Deployment
on:
 push:
   branches: [main]
 pull_request:
   branches: [main]

Déclenchement automatique de l'entraînement

Lors d'un push sur la branche principale (main), GitHub Actions initiera automatiquement le processus d'entraînement. Le composant EndpointsRunner d'AutoTrain Advanced prendra en charge la création et la gestion des points d'accès de déploiement.

Gestion des déploiements et des points d'accès

Déploiement simplifié sur les points d'accès Hugging Face

AutoTrain Advanced permet de déployer les modèles entraînés sur des points d'accès Hugging Face en un clic, assurant ainsi un service d'inférence robuste. La configuration du déploiement comprend :

• Sélection du matériel : Choix des ressources GPU adaptées à la taille du modèle.
• Configuration de l'auto-scaling : Définition du nombre minimum et maximum de réplicas.
• Routage de vérification d'état : Mise en place pour garantir la disponibilité du service.

L'interface de configuration pour le fine-tuning de grands modèles linguistiques inclut des options de sélection de modèle et de téléversement de données.

Versionnement et restauration

Chaque entraînement génère une version unique du modèle, supportant :

• Le suivi et la comparaison des versions.
• La restauration aisée à des versions antérieures.
• Le service parallèle de plusieurs versions.

Mise en œuvre pratique : Construction d'une chaîne CI/CD complète

Étape 1 : Initialisation du projet

git clone https://gitcode.com/gh_mirrors/au/autotrain-advanced
 cd autotrain-advanced
 

Étape 2 : Configuration des paramètres d'entraînement

Dans le répertoire configs/, sélectionnez un fichier de configuration aprpoprié, par exemple llm_finetuning/gpt2_sft.yml, et ajustez les paramètres selon les exigences de votre tâche.

Étape 3 : Intégration de GitHub Actions

Utilisez les fonctionnalités de création de points d'accès présentes dans src/autotrain/backends/endpoints.py pour automatiser le déploiement.

L'interface de mapping des colonnes de données garantit le format correct des données d'entraînement.

Bonnes pratiques et recommandations d'optimisation

Convention de nommage des versions de modèles

Il est conseillé d'adopter un versionnement sémantique, tel que : v1.0.0-type-modèle-jeu-de-données.

Stratégies d'optimisation des ressources

• Choisissez des spécifications matérielles appropriées à la taille du modèle.
• Configurez des stratégies d'auto-scaling raisonnables.
• Surveillez l'utilisation des points d'accès et ajustez dynamiquement les ressources.

Conclusion

La synergie entre AutoTrain Advanced et GitHub Actions offre une solution d'automatisation complète pour les projets de machine learning. De l'entraînement à la mise en production, en passant par le contrôle des versions, l'ensemble du processus est fluidifié, améliorant significativement l'efficacité du développement et la qualité des modèles.

En suivant les étapes décrites, vous pouvez aisément bâtir votre propre chaîne CI/CD pour le machine learning et bénéficier de la fiabilité et de la simplicité de l'automatisation.

Des options avancées et des réglages d'optimisation sont disponibles dans la configuration détaillée des paramètres d'entraînement.