Architecture Matérielle et Composants

La transformation de montures optiques standard en dispositifs de vision assistée par intelligence artificielle repose sur l'intégration de microcontrôleurs compacts. Le projet OpenGlass utilise une archietcture matérielle minimaliste mais performante pour capturer et analyser le flux visuel en temps réel.

Nomenclature des composants

• Unité de calcul : Seeed Studio XIAO ESP32-S3 Sense (intègre un capteur CMOS et un microphone MEMS).
• Alimentation : Batterie Li-Po 3.7V (modèle 502030, capacité ~250mAh).
• Châssis : Support sur mesure imprimé en 3D (filament PLA ou PETG pour la rigidité).
• Outillage : Fer à souder, pistolet à colle thermique, pinces à dénuder et multimètre.

Initialisation de l'Environnement de Développement

Le logiciel embarqué et l'application mobile communicante nécessitent un environnement Node.js récent. L'installation des dépendances peut être automatisée via les gestionniares de paquets standards.

# Validation de la version de Node.js (v18+ requise)
node --version

# Récupération du code source et navigation
git clone https://github.com/BasedHardware/OpenGlass.git ai-eyewear
cd ai-eyewear

# Installation stricte des dépendances
npm ci

Compilation et Flashage du Firmware

Le micrologiciel de l'ESP32-S3 est développé en C++ et compilé via l'écosystème Arduino. La configuration de la mémoire est critique pour le traitement des flux vidéo et l'inférence locale.

Paramètres de l'IDE Arduino

1. Installer le gestionnaire de cartes ESP32 via l'URL du fabricant dans les préférences.
2. Sélectionner la cible XIAO_ESP32S3 dans le menu des cartes.
3. Dans le menu "Outils", configurer la PSRAM sur OPI PSRAM (indispensable pour le tampon d'image).
4. Activer le mode USB CDC On Boot pour faciliter le débogage série.

Astuce de débogage : Si le téléversement échoue, maintenez le bouton BOOT enfoncé, appuyez brièvement sur RESET, puis relâchez BOOT pour forcer le microcontrôleur en mode téléchargement.

Configuration des Services d'IA et Variables d'Environnement

L'application frontale, développée avec Expo et React Native, interagit avec des modèles de langage et de vision. Les clés d'API doivent être injectées via un fichier d'environnement à la racine du projet pour sécuriser les identifiants.

# Fichier .env
# Configuration des fournisseurs de modèles
DEFAULT_VISION_PROVIDER=groq
GROQ_SECRET_KEY=gsk_your_groq_api_key_here
OPENAI_SECRET_KEY=sk-proj_your_openai_key_here

# Point de terminaison pour l'inférence locale
LOCAL_LLM_ENDPOINT=http://192.168.1.100:11434/api/generate

Optimisation des Performances et Inférence Locale

Pour réduire la latence et préserver la confidentialité des données, il est possible de déporter le traitement visuel sur un serveur local utilisant Ollama, évitant ainsi les coûts d'API cloud.

Déploiement du modèle Moondream

Moondream est un modèle de vision ultra-léger conçu pour fonctionner sur des matériels aux ressources limitées, idéal pour une intégration en périphérie de réseau.

# Initialisation du serveur Ollama en arrière-plan
ollama serve &

# Téléchargement de la version quantifiée pour économiser la VRAM
ollama pull moondream:1.8b-q4_0

# Test de l'inférence avec une image encodée en base64
curl http://localhost:11434/api/generate -d '{
  "model": "moondream:1.8b-q4_0",
  "prompt": "Identify the main objects in this frame.",
  "images": ["base64_encoded_image_data"]
}'

Réglages du capteur et du pipeline

• Résolution : Limiter la capture à QVGA (320x240 pixels) pour minimiser la charge réseau et la consommation mémoire de l'ESP32.
• Fréquence d'échantillonnage : Ajuster le taux de rafraîchissement de l'inférence à 0.5 Hz (une analyse toutes les deux secondes) pour éviter la surchauffe du microcontrôleur et porlonger l'autonomie.

Diagnostic et Résolution des Anomalies

Anomalies matérielles

• Chute de tension rapide et redémarrages : Vérifier que la PSRAM est correctement initialisée. Une mauvaise allocation force l'ESP32 à utiliser la RAM interne, provoquant des redémarrages en boucle (watchdog reset) lors de l'allocation du tampon vidéo.
• Port COM invisible : Installer les pilotes CP210x ou CH340 selon la puce USB-Série présente sur la carte de développement, et vérifier le câble USB (certains câbles ne supportent que la charge).

Anomalies logicielles

• Erreur de connexion WebSocket : S'assurer que le smartphone et le serveur local (Ollama) partagent le même sous-réseau et que le pare-feu du système hôte autorise les connexions entrantes sur le port 11434.
• Images corrompues ou artefacts verts : Réduire la vitesse d'obturation dans le code C++ ou vérifier l'intégrité physique de la nappe FPC reliant le capteur OV2640 à la carte mère.