Organisation du répertoire et composants principaux

Le dépôt transformer-pytorch fournit une implémentation modulaire de l'architecture Transformmer reposant sur le framework PyTorch. L'arborescence du projet est conçue pour séparer clairement la logique d'entraînement, le traitement des données et la définition du réseau :

• configs/ : Centralise les fichiers de configuration au format JSON pour les hyperparamètres.
• data/ et example/ : Stockent les corpus bruts, les jeux de données prétraités et les scripts de démonstration.
• utils/ : Regroupe les fonctions utilitaires transverses.
• models.py : Définit les blocs de construction du réseau (attention multi-tête, enocdeur, décodeur).
• embeddings.py : Gère les projections de tokens et l'encodage positionnel.
• datasets.py et dictionaries.py : Assurent le chargement des données et la gestion du vocabulaire.
• prepare_datasets.py : Script d'ingestion et de nettoyage des corpus.
• train.py, trainer.py : Orchestrations de la boucle d'apprentissage.
• predict.py, predictors.py, beam.py : Gestion de l'inférence et de la recherche par faisceau (beam search).
• evaluate.py, evaluator.py, metrics.py : Calcul des métriques de performance (BLEU, perplexité, exactitude).
• losses.py et optimizers.py : Implémentation des fonctions de coût et de l'optimiseur Noam avec échauffement (warmup).

Pipeline d'exécution et lancement de l'entraînement

Le point d'entrée principal pour initialiser le réseau et démarrer l'apprentissage est le script train.py. Ce module se charge de parser les arguments, d'instancier le modèle et de configurer les itérations. Voici la syntaxe d'invocation standard :

python train.py \
    --dataset_path ./corpus/tokenized \
    --config_dest ./cfg/experiment_01.json \
    --weights_dir ./checkpoints/exp01 \
    --log_output ./logs/exp01_run.log

Il est également possible de surcharger les hyperparamètres directement via la ligne de commande pour des ajustements rapides sans modifier le fichier de configuration :

python train.py \
    --num_epochs 50 \
    --mini_batch_size 64 \
    --lr 0.0005 \
    --warmup_steps 4000

Gestion des hyperparamètres et configuration

Les paramètres régissant l'architecture du réseau et la stratégie d'optimisation sont externalisés dans des fichiers JSON situés dans le répertoire configs/. Cette approche permet de versionner les expériences et d'assurer la reproductibilité. Voici un exemple de structure de configuration révisée :

{
    "architecture": {
        "embedding_dim": 768,
        "attention_heads": 12,
        "encoder_depth": 8,
        "ffn_hidden_size": 3072,
        "dropout_rate": 0.1
    },
    "optimization": {
        "batch_size": 64,
        "max_epochs": 150,
        "initial_lr": 0.0002,
        "weight_decay": 1e-4
    }
}

Lors du déploiement ou de l'évaluation, le chemin vers ce fichier doit être explicitement fourni afin que le pipeline charge la topologie correcte du modèle :

python evaluate.py \
    --dataset_path ./corpus/test_set \
    --config_source ./cfg/experiment_01.json \
    --weights_dir ./checkpoints/exp01