LLaMA Factory constitue une plateforme conviviale et performante pour l'entraînement et l'affinement des grands modèles de langage (Large Language Model). Ce framework repose sur une conception modulaire qui simplifie considérablement l'accès aux techniques d'affinement de modèles.

Plateforme SCNet : https://www.scnet.cn/

Configuraton de l'environnement LLaMA Factory sur SCNet

Création de l'environnement

Après connexion, accédez à la section « Console » puis « Créer un notebook », en sélectionnant l'option « Réseau hétérogène ».

Cette option bénéficie actuellement de tarifs préférentiels incluant des crédits de calcul gratuits.

Pour l'image de développement, sélectionnez la première option : jupyterlab-llamafactory.

Lancement de LLaMA Factory

Une fois l'image démarrée, un notebook s'ouvre automatiquement. Exécutez les commandes suivantes :

%cd /root/LLaMA-Factory 
!USE_MODELSCOPE_HUB=1 MODELSCOPE_CACHE=/root/private_data/llamafactory/ HF_HOME=/root/private_data/llamafactory/ llamafactory-cli webui

Le service LLaMA Factory démarre correctement :

[2025-10-21 19:32:47,138] [INFO] [real_accelerator.py:203:get_accelerator] Setting ds_accelerator to cuda (auto detect)
INFO 10-21 19:32:50 [importing.py:53] Triton module has been replaced with a placeholder.
INFO 10-21 19:32:50 [__init__.py:240] Automatically detected platform rocm.
Visit http://ip:port for Web UI, e.g., http://127.0.0.1:7860
* Running on local URL:  http://0.0.0.0:7860

Configuration du port de redirection

La plateforme SCNet permet d'exposer publiquement les services sur des ports spécifiques. Pour le service LLaMA Factory fonctionnant sur le port 7860, la plateforme génère automatiquement une adresse de redirection publique.

L'adresse générée ressemble à ceci :

https://c-1980597850741735425.ksai.scnet.cn:58043/

Chaque utilisateur obtient un domaine et un port uniques.

Il suffit ensuite d'utiliser un navigateur local pour accéder à l'interface de LLaMA Factory.

Processus d'affinement du modèle

L'interface LLaMA Factory s'affiche comme suit :

À ce stade, vous pouvez sélectionner le modèle souhaité via l'interface graphique. Pour cet exemple, le modèle glm4 a été utilisé pour l'affinement.

Voici les traces de suivi de l'affinement :

[INFO|2025-10-21 20:01:59] trainer.py:2422 >> Total optimization steps = 186

[INFO|2025-10-21 20:01:59] trainer.py:2423 >> Number of trainable parameters = 21,176,320

[INFO|2025-10-21 20:02:14] logging.py:143 >> {'loss': 2.5381, 'learning_rate': 5.0000e-05, 'epoch': 0.02, 'throughput': 190.47}

[INFO|2025-10-21 20:02:20] logging.py:143 >> {'loss': 2.4014, 'learning_rate': 4.9996e-05, 'epoch': 0.03, 'throughput': 271.37}

[INFO|2025-10-21 20:02:25] logging.py:143 >> {'loss': 1.9824, 'learning_rate': 4.9986e-05, 'epoch': 0.05, 'throughput': 326.51}

[INFO|2025-10-21 20:02:32] logging.py:143 >> {'loss': 1.7461, 'learning_rate': 4.9968e-05, 'epoch': 0.06, 'throughput': 365.96}

[INFO|2025-10-21 20:02:37] logging.py:143 >> {'loss': 2.3477, 'learning_rate': 4.9943e-05, 'epoch': 0.08, 'throughput': 370.33}

[INFO|2025-10-21 20:02:43] logging.py:143 >> {'loss': 2.1494, 'learning_rate': 4.9911e-05, 'epoch': 0.10, 'throughput': 382.59}

[INFO|2025-10-21 20:02:48] logging.py:143 >> {'loss': 2.0664, 'learning_rate': 4.9872e-05, 'epoch': 0.11, 'throughput': 390.36}

[INFO|2025-10-21 20:02:55] logging.py:143 >> {'loss': 1.9404, 'learning_rate': 4.9825e-05, 'epoch': 0.13, 'throughput': 396.26}

[INFO|2025-10-21 20:03:00] logging.py:143 >> {'loss': 1.9365, 'learning_rate': 4.9772e-05, 'epoch': 0.14, 'throughput': 392.07}

.......

[INFO|2025-10-21 20:07:33] logging.py:143 >> {'loss': 1.4414, 'learning_rate': 3.9626e-05, 'epoch': 0.91, 'throughput': 468.26}

[INFO|2025-10-21 20:07:39] logging.py:143 >> {'loss': 1.2930, 'learning_rate': 3.9282e-05, 'epoch': 0.93, 'throughput': 465.94}

La diminution progressive de la perte (loss) confirme que l'affinement se déroule correctement.

Évaluation, chat et exportation après affinement

Cliquez sur « eval » pour lancer l'évaluation du modèle.

Utilisez « chat » pour interagir directement avec le modèle affiné via des conversations textuelles.

L'option « export » permet d'exporter le modèle affiné, par exemple vers le répertoire /root/private_data/llamafactory/saves.