Présentation de Ragas

Ragas est un framework open source destiné à l'évaluation des pipelines de génération augmentée par la récupération (RAG). Ces pipelines enrichissent le contexte des modèles de langage de grande taille (LLM) en utilisant des données externes. Ragas permet de mesurer et d'améliorer les performances de ces systèmes de manière quantitative.

Démarrage rapide

Installation

Installez Ragas en exécutant la commande suivante :

pip install git+https://github.com/explodinggradients/ragas

Exemple d'utilisation

Voici un code de démonstration pour évaluer un pipeline RAG :

from datasets import Dataset
import os
from ragas import assess
from ragas.metrics import fiabilité, précision_réponse

os.environ["CLE_API_OPENAI"] = "votre-cle-api"

échantillons = {
    'requête': ['Quand a eu lieu le premier Super Bowl ?', 'Quelle équipe a remporté le plus de Super Bowls ?'],
    'réponse': ['Le premier Super Bowl s\'est déroulé le 15 janvier 1967', 'Les Patriots de la Nouvelle-Angleterre ont le plus de victoires au Super Bowl'],
    'contextes': [
        ['Le match de championnat inaugural AFL-NFL s\'est tenu le 15 janvier 1967 au Los Angeles Memorial Coliseum.'],
        ['Les Packers de Green Bay, basés à Green Bay, Wisconsin.', 'Les Packers']
    ]
}

jeu_données = Dataset.from_dict(échantillons)
assess(jeu_données, métriques=[fiabilité, précision_réponse])

Utilisations et bonnes pratiques

Scénarios d'application

• Création de jeux de données de test synthétiques.
• Évaluation sur des ensembles de données personnalisés.
• Supervision des pipelines RAG en environnement de production.

Recommandations

• Données synthétiques : Utilisez des données générées pour analyser les performances du modèle.
• Évaluations régulières : Planifiez des évaluations fréquentes pour maintenir la qualité.
• Retours utilisateurs : Intégrez les commentaires des utilistaeurs pour affiner le modèle et l'évaluation.

Intégrations écosystémiques

Ragas peut être combiné avec divers outils complémentaires :

• LlamaIndex : Pour la structuration et l'indexation des données.
• Langchain : Pour le développement et l'évaluation de modèles de langage.
• Langsmith : Pour le monitoring et le débogage en temps réel.
• Langfuse : Pour l'analyse des performances et l'optimisation.

Ces projets facilitent la construction, l'évaluation et l'amélioration continue des pipelines RAG.