Présentation du projet

Apache Giraph est un système de calcul itératif pour le traitement de graphes à grande échelle. Basé sur MapReduce d'Apache Hadoop, il résout les problèmes de traitement de graphes dans un environnement distribué. Giraph s'inspire de l'architecture Pregel de Google et offre une haute extensibilité pour des algorithmes de graphes complexes, en masquant les détails de calcul distribué et parallèle.

Démarrage rapide

Préparation de l'environnement

Avant de commencer, assurez-vous que les logiciels suivants sont installés :

• Java JDK 8 ou version ultérieure
• Apache Maven
• Apache Hadoop

Téléchargement et construction

1. Cloner le dépôt Giraph :

git clone https://github.com/apache/giraph.git
cd giraph

2. Construire le projet avec Maven :

mvn clean install -DskipTests

Exécution d'un exemple

Voici un exemple simple pour exécuter une tâche de traitement de graphe sur Giraph.

1. Préparer le fichier d'entrée graphe_exemple.txt :

1 2
1 3
2 3
3 4

2. Écrire le code du job Giraph CalculPlusCourtChemin.java :

import org.apache.giraph.graph.BasicComputation;
import org.apache.giraph.edge.Edge;
import org.apache.giraph.graph.Vertex;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.FloatWritable;
import org.apache.hadoop.io.LongWritable;

public class CalculPlusCourtChemin extends BasicComputation<LongWritable, DoubleWritable, FloatWritable, DoubleWritable> {
    @Override
    public void compute(Vertex<LongWritable, DoubleWritable, FloatWritable> vertex, Iterable<DoubleWritable> messages) {
        double distanceCourante = vertex.getValue().get();
        if (getSuperstep() == 0) {
            distanceCourante = Double.MAX_VALUE;
            vertex.setValue(new DoubleWritable(distanceCourante));
        }
        double distanceMiseAJour = distanceCourante;
        for (DoubleWritable message : messages) {
            if (message.get() < distanceMiseAJour) {
                distanceMiseAJour = message.get();
            }
        }
        if (distanceMiseAJour < distanceCourante) {
            vertex.setValue(new DoubleWritable(distanceMiseAJour));
            for (Edge<LongWritable, FloatWritable> edge : vertex.getEdges()) {
                double nouvelleDist = distanceMiseAJour + edge.getValue().get();
                sendMessage(edge.getTargetVertexId(), new DoubleWritable(nouvelleDist));
            }
        }
        vertex.voteToHalt();
    }
}

3. Compiler et exécuter le job :

mvn compile
mvn exec:java -Dexec.mainClass="CalculPlusCourtChemin" -Dexec.args="graphe_exemple.txt sortie_repertoire"

Cas d'application et bonnes pratiques

Cas d'application

Giraph est utilisé dans l'analyse de réseaux sociaux, l'aanlyse de graphes de réseaux, et les systèmes de recommandation. Par exemple, Facebook utilise Giraph pour analyser son graphe social, traitant plus d'un trillion de liens.

Bonnes pratiques

• Optimisation des entrées/sorties : Concevoir soigneusement le format des données d'entrée et le chemin de sortie pour améliorer l'efficacité.
• Traitemetn parallèle : Exploiter pleinement les capacités de traitement parallèle de Hadoop et allouer les ressources de manière rationnelle.
• Surveillance et débogage : Utiliser les outils de surveillance et les systèmes de journalisation de Hadoop pour détecter et résoudre rapidement les problèmes.

Écosystème typique

En tant que projet de la fondation Apache, Giraph s'intègre bien avec d'autres projets Apache :

• Apache Hadoop : Fournit un cadre de stockage et de calcul distribué.
• Apache HBase : Offre un stockage de données massives distribué et extensible.
• Apache Zookeeper : Fournit des services de coordination distribuée.

Ces projets combinés avec Giraph permettent de construire des systèmes puissants de traitement de données massives.