Les données météorologiques océaniques se caractérisent par leur volume massif, leur multidimensionnalité et leur exigence de temps réel. Les approches classiques de traitement de données s'avèrent insuffisantes pour répondre aux besoins de visualisation moderne. Une plateforme combinant ECharts, Python et l'écosystème Hadoop permet d'asurer un traitement distribué des volumes massifs de données tout en offrant une restitution graphique interactive et dynamique. Ce type de projet s'inscrit parfaitement dans les cas d'usage réels du Big Data et de la data visualiastion. ### Architecture du système

Couche de stockage : Le système HDFS d'Hadoop accueille les relevés bruts météo-océaniques (vitesse du vent, température, humidité, pression atmosphérique). MapReduce assure le nettoyage et l'agrégation initiale des jeux de données.

Couche de traitement : Des scripts Python exploitant PySpark ou Pandas transforment les données filtrées en structures JSON prêtes à être consommées par la couche de présentation.

Couche de présentation : Un serveur Flask expose les endpoints REST nécessaires, tandis qu'ECharts gère le rendu dynamique des graphiques côté navigateur.

Modules fonctionnels clés

1. Ingestion et persistance des données

Les relevés proviennent de sources publiques telles que l'API NOAA ou de fichiers CSV locaux, puis sont injectés dans HDFS.

from hdfs import InsecureClient

client_hdfs = InsecureClient('http://namenode:50070', user='data_admin')
with client_hdfs.write('/meteo/ocean_dataset.csv', overwrite=True) as flux:
    flux.write(donnees_transformees.encode('utf-8'))

2. Nettoyage et tarnsformation des données

PySpark élimine les valeurs aberrantes et calcule des métriques statistiques agrégées comme les moyennes journalières de température.

from pyspark.sql import SparkSession

session_spark = SparkSession.builder \
    .appName("AnalyseMeteoOcean") \
    .getOrCreate()

jeu_donnees = session_spark.read.csv(
    "hdfs:///meteo/ocean_dataset.csv",
    header=True,
    inferSchema=True
)

jeu_valide = jeu_donnees.filter(
    (jeu_donnees.temp_celsius >= -10) &
    (jeu_donnees.temp_celsius <= 50)
)

moyennes_journalieres = jeu_valide.groupBy("date_releve").avg("temp_celsius")

3. Rendu visuel interactif

ECharts affiche les données multidimensionnelles sous forme de cartes thermiques, graphiques en courbes et nuages de points animés.

const config_graphique = {
    title: {
        text: 'Évolution thermique océanique'
    },
    tooltip: {
        trigger: 'axis'
    },
    xAxis: {
        type: 'category',
        data: periodes
    },
    yAxis: {
        type: 'value',
        name: 'Température (°C)'
    },
    series: [{
        name: 'Température moyenne',
        type: 'line',
        data: valeurs_temp,
        smooth: true
    }]
};

monChart.setOption(config_graphique);