Déploiement de services LLM avec le backend Triton et vLLM
Pour références, consultez la documentation officielle de Triton Inference Server et les guides de performance.
Déploiement avec le backend vLLM
Étapes d'installation
Téléchargez l'image Docker contenant le backend vLLM depuis le catalogue NVIDIA NGC.
docker run -it --name triton_vllm_container --ipc=host --network=host --entrypoint /bin/bash - ...
Publié le 17 juillet à 19h39