Implementer un Transformer sur un microcontrôleur ESP32-S3
Analyse des contraintes et des optimisations pour une exécution locale
L'idée de faire fonctionner un modèle Transformer sur un module Wi-Fi à bas coût semble initialement contre-intuitive. Pourtant, une implémentation sur la puce ESP32-S3 est réalisable, avec des temps d'inférence autour de 200 ms et un modèle quantifié tenant dans moins de 10 ...
Publié le 9 juin à 23h06