Architecture et fonctionnement interne des modèles Transformer
L'architecture Transformer, introduite initialement par Vaswani et al. dans l'article "Attention is All You Need", a radicalement transformé le traitement automatique du langage naturel (NLP). Contrairement aux architectures récurrentes (RNN) ou convolutionnelles (CNN), le Transformer repose entièrement sur des mécanismes d'attention ...
Publié le 17 juillet à 22h35