LogBERT : Guide de téléchargement et d'installation

1. Présentation du projet

LogBERT est un projet open source de détection d'anomalies dans les journaux basé sur le modèle BERT. Ce projet transforme les données de journaux en données structurées et utilise le modèle BERT pour la modélisation, permettant ainsi la détection d'anomalies dans les journaux. LogBERT prend en charge plusieurs jeux de données, notamment HDFS, BGL et Thunderbird.

2. Accès au projet

Vous pouvez accéder au dépôt GitHub de LogBERT via le lien suivant pour télécharger le projet :

Dépôt GitHub LogBERT

3. Configuration de l'environnement

3.1 Exigences système

• Ubuntu 20.04
• Pilotes NVIDIA 460.73.01
• CUDA 11.2
• Python 3.8
• PyTorch 1.9.0

3.2 Étapes de configuration

Voici un exemple de configuration de l'environnement :

1. Installation des pilotes NVIDIA et CUDA :

sudo apt update
sudo apt install nvidia-driver-460
sudo apt install cuda-toolkit-11-2

2. Installation de Python 3.8 :

sudo apt update
sudo apt install python3.8 python3-pip

3. Installation de PyTorch :

pip3 install torch==1.9.0+cu111 torchvision==0.10.0+cu111 torchaudio==0.9.0 -f https://download.pytorch.org/whl/torch_stable.html

4. Méthodes d'installation

4.1 Installation avec environnement virtuel

1. Création de l'environnement virtuel :

python3 -m venv environnement
source environnement/bin/activate

2. Installation des dépandances :

pip install -r requirements.txt

3. Sortei de l'environnement virtuel :

deactivate

4.2 Installation avec Conda

1. Création de l'environnement Conda : ``` conda env create -f enviroment.yml conda activate logbert_env

### 5. Scripts de traitement des données

#### 5.1 Exemple avec le jeu de données HDFS

1. **Initialisation des données** :

cd HDFS ./initialiser.sh

2. **Traitement des données** :

python3 traiter_donnees.py

3. **Exécution de LogBERT** :

python3 logbert.py vocabulaire python3 logbert.py entrainer python3 logbert.py predire

#### 5.2 Exemples avec d'autres modèles

1. **Exécution de DeepLog** :

python3 deeplog.py vocabulaire python3 deeplog.py entrainer python3 deeplog.py predire

2. **Exécution de LogAnomaly** :

python3 loganomalie.py vocabulaire python3 loganomalie.py entrainer python3 loganomalie.py predire

3. **Exécution des modèles de référence** :

jupyter notebook references.ipynb

En suivant ces étapes, vous pourrez télécharger et installer avec succès le projet LogBERT et commencer la détection d'anomalies dans les journaux.