Fonctionnalités Principales

Lecture Directe des Tables

Le moteur autorise l'accès immédiat aux données Paimon via des instructions SQL standards, sans aucune phase de conversion intermédiaire :

-- Interrogation via un chemin de système de fichiers absolu
SELECT * FROM paimon_scan('/mnt/storage/analytics_db.db/user_events');

-- Interrogation utilisant la notation hiérarchique (entrepôt / base de données / table)
SELECT * FROM paimon_scan('/data/lakehouse', 'inventory_db', 'products');

Connexion aux Stockages OSS Distants

En tirant parti du mécanisme de gestion des secrets de DuckDB, il est possible d'authentifier de manière sécurisée l'accès à un service de stockage cloud (comme Alibaba Cloud OSS) pour analyser des lacs de données hébergés à distance :

-- Configuration des identifiants d'accès au stockage objet
CREATE SECRET cloud_storage_auth (
    TYPE paimon,
    key_id 'AKIA_EXAMPLE_KEY',
    secret 'wJalrXUtnFEMI/K7MDENG/bPxRfiCY_EXAMPLE',
    endpoint 'oss-eu-west-1.aliyuncs.com'
);

-- Agrégation des métriques directement depuis le lac de données distant
SELECT department, SUM(revenue) AS total_sales
FROM paimon_scan('oss://company-data-lake/warehouse', 'finance_db', 'transactions')
GROUP BY department
ORDER BY total_sales DESC;

Optimisation par Projection Pushdown

Lors de l'exécution d'une requête, l'extension applique un filtrage des colonnes (column pruning) : seuls les champs explicitement sollicités par l'instruction SQL sont chargés en mémoire. Cette approche réduit drastiquement la surcharge d'E/S, offrant des gains de performance considérables sur les tables comportant de nombreuses colonnes :

-- Le moteur ne lira que les blocs de données correspondant aux colonnes 'user_id' et 'session_duration'
SELECT user_id, session_duration 
FROM paimon_scan('oss://analytics-bucket/lake', 'telemetry_db', 'app_logs');

Montage en tant que Catalogue (ATTACH)

Un entrepôt Paimon complet peut être attaché à DuckDB sous la forme d'un catalogue relationnel. Cette fonctionnalité offre une expérience de navigation similaire à celle d'une base de données locale, facilitant l'exploration des schémas et de la structure des tables :

ATTACH 'oss://prod-bucket/data_lake' AS remote_catalog (TYPE paimon);

SHOW ALL TABLES IN remote_catalog;
DESCRIBE remote_catalog.marketing_db.campaigns;

Cas d'Usage Typiques

Requêtes Ad-hoc Légères sur Lakehouse Temps Réel

Lorsque des flux de données sont ingérés en continu vers Paimon via Apache Flink, les analystes peuvent exploiter DuckDB pour effecteur des requêtes ad-hoc directement sur le stockage objet. Cette architecture sans serveur réduit la latence de réponse de plusieurs minutes (temps de démarrage d'un cluster) à quelques secondes.

Vérification de la Qualité des Données

Au sein de pipelines d'intégration continue (CI/CD), DuckDB peut être déployé comme un outil léger pour exécuter des assertions sur les tables Paimon. Cela permet de valider rapidement l'intégrité et la conformité des données générées par les jobs Flink, sans introduire de dépendances complexes.

Exploration et Débogage

Les ingénieurs de données peuvent inspecter l'état actuel des tables Paimon directement depuis l'interface en ligne de commande lors du développement de pipelines. Cette méthode s'avère nettmeent plus rapide et réactive que l'initialisation d'un client SQL Flink complet pour identifier des anomalies de données.

Requêtes Fédérées Multi-formats

DuckDB prend nativement en charge l'analyse de formats variés tels que Parquet, CSV, JSON et Iceberg. L'ajout de l'extension Paimon permet de réaliser des jointures fédérées entre des tables Paimon distantes et d'autres sources de données locales ou distantes, sans nécessiter de duplication préalable :

-- Jointure entre une table d'événements Paimon distante et une table de dimension Parquet locale
SELECT e.event_name, e.timestamp, d.device_type
FROM paimon_scan('oss://telemetry-lake/warehouse', 'tracking_db', 'events') e
JOIN read_parquet('local_dimensions/devices.parquet') d ON e.device_id = d.id;

Guide de Démarrage Rapide

Compilation du Projet

La construction de l'extension nécessite la récupération des sous-modules liés à DuckDB et à l'implémentation C++ de Paimon :

git clone --recurse-submodules https://github.com/polardb/duckdb-paimon.git paimon-extension
cd paimon-extension
GEN=ninja make release

Exécution

Une fois la compilation terminée, lancez l'exécutable généré :

./build/release/duckdb

Interrogation des Données

Pour analyser une table stockée sur le système de fichiers local :

SELECT * FROM paimon_scan('/mnt/storage/analytics_db.db/user_events');

Pour configurer l'accès et requêter un lac de données hébergé sur un service cloud :

CREATE SECRET prod_oss (
    TYPE paimon,
    key_id 'prod_access_key',
    secret 'prod_secret_key',
    endpoint 'oss-cn-shanghai.aliyuncs.com'
);

SELECT * FROM paimon_scan('oss://production-bucket/lakehouse', 'metrics_db', 'server_logs');