Prérequis

Pour suivre cette procédure, il est nécessaire de disposer de :

• Java JDK 1.8 (préalablement installé)
• L'archive de Hadoop, par exemple la version 2.9.2
• Les utilitaires winutils spécifiques à Windows

Configuration de l'environnement

1. Assurez-vous que la variable d'environnement JAVA_HOME pointe vers votre installation JDK. Utilisez le format court du chemin si nécessaire, par exemple : C:\PROGRA~1\Java\jdk1.8.0_161.

2. Décompressez l'archive de Hadoop dans un répertoire dédié, comme C:\hadoop\hadoop-2.9.2.

3. Remplacez les dossiers bin et etc du répertoire Hadoop par ceux fournis dans le dépôt winutils.

Édition des fichiers de configuraton

Dans le dossier etc\hadoop, modifiez les fichiers de configuration suivants.

1. core-site.xml

Ce fichier définit l'adresce du système de fichiers par défaut (HDFS).

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2. hdfs-site.xml

Ici, on configure les répertoires de stockage pour le NameNode et le DataNode, et on désactive la réplication pour un mode standalone.

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/c:/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/c:/hadoop/data/datanode</value>
    </property>
</configuration>

3. mapred-site.xml

On indique à MapReduce d'utiliser YARN comme framework de gestion des ressources.

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4. yarn-site.xml

La configuration de YARN pour permettre le service de mélange (shuffle) de MapReduce.

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

5. hadoop-env.cmd

Définissez la variable JAVA_HOME dans ce fichier. Si le chemin contient des espaces, utilisez le format court 8.3.

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_161

Initialisation et démarrage

Pour formater le système de fichiers HDFS, exécutez la commande suivante dans une invite de commande :

hdfs namenode -format

Ensuite, pour lancer tous les démons, naviguez vers le répertoire sbin de votre installation Hadoop et lancez :

start-all.cmd

Lors du démarrage de YARN, vous pourriez observer un avertissement comme : WARN util.SysInfoWindows: Expected split length of sysInfo to be 11. Got 7. Cela est souvent lié à la collecte d'informations système sous Windows et n'empêche généralement pas le fonctionnement.

Arrêt et vérification

Pour arrêter tous les services, exécutez dans le même répertorie sbin :

stop-all.cmd

Après le démarrage, vous pouvez vérifier le bon fonctionnement via les interfaces web :

• Interface ResourceManager YARN : http://localhost:8088
• Interface NameNode HDFS : http://localhost:50070