Architecture du Pipeline d'Image et Paramètres Clés pour Qwen2.5-VL-7B-Instruct-w4a16-tao-symgroup-torchao-v0.17.0

Ce document détaille le fonctionnement interne et la configuration du modèle Qwen2.5-VL-7B-Instruct-w4a16-tao-symgroup-torchao-v0.17.0, une version optimisée pour les CPU AMD EPYC utilisant une quantification 4 bits (W4A16) et TorchAO v0.17.0. Il vise à fournir une compréhension claire de ses capacités de traitement visuel et textuel.

Compréhension Visuelle et Architecture du Modèle

Conception d'Intégration Vision-Texte

Le modèle repose sur l'architecture Qwen2_5_VLForConditionalGeneration. Il intègre un encodeur visuel distinct d'un décodeur textuel pour permettre une compréhension intermodale. Le module visuel est constitué de 32 couches Transformer, traitant les images en blocs de taille 14x14 pixels. Il génère initialement des caractéristiques de 1280 dimensions, qui sont ensuite projetées à 3584 dimensions pour s'aligner avec l'espace d'entrée du décodeur textuel.

Flux de Traitement Visuel Principal

1. Entrée de l'Image : L'image est traitée par Qwen2VLImageProcessor. Ce processus inclut une normalisation basée sur une moyenne de [0.48145466, 0.4578275, 0.40821073] et un écart type de [0.26862954, 0.26130258, 0.27577711].
2. Extraction de Caractéristiques : L'encodeur visuel utilise une attention hybride. L'attention globale est appliquée aux couches 7, 15, 23 et 31 pour équilibrre l'analyse des détails locaux et la compréhension globale de l'image.
3. Intégration Modale : Des tokens spéciaux, <|vision_start|> (ID : 151652) et <|vision_end|> (ID : 151653), sont utilisés pour intégrer les caractéristiques visuelles extraites dans la séquence de tokens du texte.

Impact des Paramètres de Quantification sur les Performances Visuelles

Détails de la Configuration de Qauntification W4A16

Le modèle utilise une stratégie de quantification W4A16 (poids 4 bits, activations 16 bits) avec une approche de groupement symétrique :

• Taille de Groupe : Les poids sont groupés par 128 éléments pour optimiser le compromis entre précision et efficacité de calcul.
• Type de Cartographie : La quantification symétrique est employée pour minmiiser les erreurs dues au décalage du point zéro.
• Modules Non Quantifiés : L'encodeur visuel (model.visual) et la couche d'embedding (embed_tokens) conservent la précision BF16 pour garantir la fidélité de l'extraction des caractéristiques visuelles.

Comparaison des Performances Avant et Après Quantification

Exemple de Script de Quantification :

python woq_sym_group.py \
   --model_name Qwen/Qwen2.5-VL-7B-Instruct \
   --output_dir ./Qwen2.5-VL-7B-Instruct-w4a16-tao-symgroup-torchao-v0.17.0
   

Démarrage Rapide pour l'Inférence Visuelle

Préparation de l'Environnement

Les dépendances suivantes sont nécessaires :

torch==2.11.0
torchao==0.17.0
zentorch==2.11.0.1
vllm==0.20.2
   

Exemple d'Inférence sur Image

from vllm import LLM, SamplingParams

# Initialisation du modèle quantifié
model = LLM(
   model="amd/Qwen2.5-VL-7B-Instruct-w4a16-tao-symgroup-torchao-v0.17.0",
   dtype="bfloat16",
)

# Exemple de requête visuelle (nécessite un chemin d'image valide)
prompt = "<|vision_start|>./chemin/vers/votre/image.jpg<|vision_end|> Décris le contenu de cette image."
sampling_params = SamplingParams(temperature=0.7, max_tokens=256)

# Génération de la sortie
outputs = model.generate([prompt], sampling_params)
print(outputs[0].outputs[0].text)
   

Optimisation des Performances

Pour exploiter pleinement les performances des CPU AMD, il est recommandé de configurer OpenMP :

# Utiliser OpenMP de LLVM pour l'accélération
export LD_PRELOAD=$(find /chemin/vers/env -name "libomp.so" | head -1)
   

Limitations et Scénarios d'Application des Capacités Visuelles

Limitations Connues

• Dépendance Matérielle : Strictement limité aux CPU AMD EPYC, nécessite le pilote ZenDNN v6.0.0.
• Versionnement Strict : Nécessite PyTorch v2.11.0 et TorchAO v0.17.0.
• Résolution d'Image : La résolution optimale correspond à celle utilisée lors de l'entraînement du modèle de base (se référer à la documentation Qwen2.5-VL originale).

Cas d'Usage Recommandés

• Traitement de documents scannés et post-OCR en entreprise.
• Génération automatique de descriptions pour des images de produits.
• Analyse de contenu d'images de vidéosurveillance.
• ❌ Diagnostic d'imagerie médicale haute résolution (des modèles spécialisés sont préférables).

Conclusion et Ressources

Le modèle Qwen2.5-VL-7B-Instruct-w4a16-tao-symgroup-torchao-v0.17.0 offre une solution efficace pour l'interaction visuelle-texte sur les plateformes AMD CPU. Grâce à des techniques de quantification avancées, il parvient à réduire significativement la taille du modèle et à accélérer l'inférence tout en conservant une grande partie de la précision des tâches visuelles.

Obtention du Modèle

git clone https://gitcode.com/hf_mirrors/amd/Qwen2.5-VL-7B-Instruct-w4a16-tao-symgroup-torchao-v0.17.0
   

Consultez les fichiers LICENSE et NOTICE.txt pour plus d'informations sur la licence et les avis. Des exemples supplémentaires pour des tâches visuelles seront disponibles ultérieurement.