Pratique d'auto-configuration du miroir Qwen3.5-9B-AWQ-4bit : Méthode de vérification du service web sur le port 7860 au démarrage

1. Aperçu du miroir

Le miroir Qwen3.5-9B-AWQ-4bit est un modèle multimodal capable de comprendre les images, combinant des images téléchargées avec des invites textuelles pour produire des analyses en chinois. Ce miroir est particulièrement adopté aux tâches suivantes :

• Identification des éléments principaux d'une image
• Description de scènes
• Questions-réponses sur les images
• Aide à la compréhension OCR simple

La version actuellement utilisée est la quantifiée cyankiwi/Qwen3.5-9B-AWQ-4bit, avec le modèle stocké dans le répertoire /root/ai-models/cyankiwi/Qwen___5-9B-AWQ-4bit.

2. Caractéristiques principales du miroir

Ce miroir est préconfiguré avec plusieurs fonctionnalités pratiques :

• Interface web prête à l'emploi : Aucune configuration supplémentaire n'est nécessaire après le déploiement
• Interaction visuelle : Prise en charge du téléchargement d'images et d'invites textuelles
• Optimisation de sortie en chinois : Affichage direct des réponses finales en chinois sans processus intermédiaire
• Prévention des soumissions en double : Le bouton "Commencer l'analyse" est désactivé automatiquement après clic
• Démarrage automatique : Configuration de supervisor pour un démarrage automatique du service
• Adaptation matérielle : Déployé sur deux cartes RTX 4090 D de 24GB pour un fonctionnement stable

3. Guide de démarrage rapide

3.1 Méthodes d'accès

Le service fonctionne par défaut sur le port 7860 et est accessible via :

https://gpu-{ID-instance}-7860.web.gpu.csdn.net/

3.2 Étapes d'utilisation de base

1. Ouvrir la page web
2. Télécharger une image à analyser
3. Saisir votre question dans le champ d'invite
4. Cliquer sur le bouton "Commencer l'analyse"
5. Attendre le résultat de compréhension du modèle en chinois

3.3 Invites de test recommandées

Voici quelques exemples d'invites courants et efficaces :

• Décrivez le contenu principal de l'image.
• Résumez les informations les plus importantes de cette image.
• Lisez le texte de l'image et expliquez brièvement son contenu.
• Identifiez l'objet ou la scène principale représentée dans cette image.

4. Détail des fonctions principales

4.1 Fonction de compréhension d'image

Idéale pour identifier les éléments, couleurs, structures et contenu des images.

Exemple d'invite : Décrivez le contenu principal de cette image et résumez ses caractéristiques principales.

4.2 Fonction de questions-réponses sur images

Permet de poser des questions sur le contenu d'une image, le modèle y répondant en se basant sur la visualisation.

Exemple d'invite : Quelle est l'information la plus notable dans cette image ?

4.3 Aide à la compréhension OCR

Utile pour l'assistance à la lecture lorsque l'image contient des tableaux, captures d'écran ou textes partiels.

Exemple d'invite : Lisez le texte de l'image et synthétisez son contenu principal.

5. Configuration des paramètres avancés

Recommandations d'utilisation des paramètres :

• Pour des réponses plus stables et concises, réduire la température à 0
• Pour des réponses plus riches et variées, augmenter légèrement la température
• Pour les tâches standard de reconnaissance, résumé et interprétation d'images, les paramètres par défaut sont suffisants

6. Gestion et vérification du service

6.1 Vérification de l'état du service

# Vérifier l'état d'exécution du service
supervisorctl status qwen35-9b-awq-vl-web

# Vérifier l'état de santé du service
curl http://127.0.0.1:7860/health

# Vérifier l'écoute du port
ss -ltnp | grep 7860

# Vérifier l'utilisation du GPU
nvidia-smi

# Consulter les journaux du service
tail -100 /root/workspace/qwen35-9b-awq-vl-web.log
tail -100 /root/workspace/qwen35-9b-awq-vl-web.err.log

6.2 Redémarrage du service

# Redémarrer le service web
supervisorctl restart qwen35-9b-awq-vl-web

7. Méthode de vérification du démarrage automatique

Pour garantir que le service se réactive automatiquement après un redémarrage du système, le miroir est géré par supervisor. Voici la méthode de vérification :

1. Confirmez d'abord l'état actuel du service :

supervisorctl status qwen35-9b-awq-vl-web

2. Simulez un redémarrage du système :

reboot

3. Après le redémarrage, vérifiez à nouveau l'état du service :

supervisorctl status qwen35-9b-awq-vl-web

Si l'état affiché est "RUNNING", la configuration de démarrage automatique est réussie.

8. Conseils et astuces d'utilisation
9. Conception des invites : Pour la compréhension d'images quotidiennes, utilisez des invites directes et claires
10. Reconnaissance de texte : Si l'image contient du texte, indiquez explicitement "Veuillez d'abord lire le texte, puis résumer"
11. Contrôle de sortie : Si le résultat est trop long, réduisez légèrement le paramètre de longueur maximale
12. Cas d'utilisation : Plus adapté aux tâches de compréhension visuelle, non recommandé pour une utilisation comme chat de conversation longue
13. Exigences matérielles : Le modèle quantifié est instable sur une seule carte de 24GB, une configuration à double carte est recommandée
14. Questions fréquentes

Q: Pourquoi le bouton devient-il gris après avoir cliqué ?

R: Ceci empêche les clics répétés qui provoqueraient des conflits de demandes simultanées. Après soumission, le bouton affiche "Analyse en cours..." et redevient utilisable lorsque le résultat est retourné.

Q: Que faire si j'obtiens le message "Modèle occupé" ?

R: Cela signifie que la demande précédente est encore en traitement. Attendez quelques secondes avant de réessayer.

Q: Pourquoi la version AWQ ne fonctionne-t-elle pas de manière stable sur une seule carte comme prévu ?

R: Le modèle quantifié utilise actuellement le chemin d'inférence transformers + compressed-tensors, avec un pic de mémoire supplémentaire lors de la génération initiale. Le test sur une seule carte de 24GB provoque un OOM (Out Of Memory) pendant la génération, d'où le choix d'un déploiement à double carte pour ce miroir.

Q: Pourquoi le processus de raisonnement n'est-il pas affiché sur la page ?

R: Le miroir actuel désactive les sorties intermédiaires de raisonnement pour ne conserver que la réponse finale, rendant l'interface plus épurée.

Q: Que faire si le service n'est pas accessible ?

R: Suivez ces étapes de dépannage :

# Vérifier l'état du service
supervisorctl status qwen35-9b-awq-vl-web

# Vérifier l'état de santé
curl http://127.0.0.1:7860/health

# Si le service n'est pas en cours d'exécution, essayez de le redémarrer
supervisorctl restart qwen35-9b-awq-vl-web