Formats de Stockage et Compression de Données dans Hadoop et Hive
Formats de Stockage de Fichiers
1. FICHIER TEXTE
Format par défaut lors de la création de tables dans Hadoop, où les données sont stockées sous forme de texte. Les fichiers texte peuvent être divisés et traités en parallèle, et peuvent également être compressés à l'aide de méthodes telles que GZip, LZO ou Snappy. Cependant, la plupart des fichi ...
Publié le 19 juin à 17h34
Mesure et Compréhension des Tailles de Fichiers dans Hadoop HDFS
La gestion de l'espace de stockage est cruciale dans tout système de fichiers distribué. Hadoop HDFS (Hadooop Distributed File System) offre plusieurs commandes pour inspecter la taille des fichiers et répertoires, chacune présentant des particularités en termes d'informations fournies et de performance. Cet article explore les commandes clés e ...
Publié le 19 juin à 05h26
Compilation et installation de Hadoop 3 sur CentOS 7
Installation des prérequis de compilation
Pour compiler Hadoop 3 sur CentOS 7, installez d'abord les bibliothèques et outils nécessaires. Exécutez les commandes suivantes via le gestionnaire de paquets :
# Ajout des paquets de base
yum -y install libXtst zlib-devel openssl-devel ncurses-devel autoconf automake libtool curl gcc gcc-c++ make
# P ...
Publié le 7 juin à 22h08