Principe fondamental de la vérification des liens

L’outil intégré au projet analyse automatiquement les URL présentes dans le fichier README.md. Il distingue les liens fonctionnels des problèmes courants (erreurs 4xx/5xx, redirections non désirées) en s’appuyant sur une configuration personnalisable.

Configuration initiale

Avant toute utilisation, installez les dépendances nécessaires :

# Installer Rust
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

# Installer l'outil de vérification
cargo install urlsup

Le script principal run_awesome_bot.sh contient trois catégories clés :

• DEAD_URLS : liste des liens inactifs confirmés (ex. http://andrototal.org/)
• FLAKY_URLS : liens instables ou sujets à des interruptions temporaires (ex. https://apkcombo.com/apk-downloader/)
• Paramètres de scan : acceptation des réponses 301/302, ciblage du fichier README.md

Exécution du processus de vérification

Depuis la racine du projet, lancez :

./run_awesome_bot.sh

Ou exécutez manuellement :

urlsup --allow 301,302 --white-list ${DEAD_URLS},${FLAKY_URLS} README.md

Interprétation des résultats

La sortie indique trois types de liens :

• Valides : statut HTTP 200
• Redirigés : statuts 301 ou 302 (souvent acceptabels)
• Échecs : erreurs 4xx ou 5xx

Exemple de rapport :

[ERROR] https://appanalysis.org/download.html (404 Not Found)
[WARNING] https://dexter.dexlabs.org/ (Connection timed out)

Utilisations avancées

Pour gérer des cas spécifiques :

• Personnalisation du whitelist : ajoutez de nouveaux liens morts dans DEAD_URLS
• Mise à jour par catégorie : priorisez les mises à jour selon les groupes :
  • Analyses statiques (FlowDroid, AndroGuard)
  • Frameworks dynamiques (MobSF, Frida)
  • Bases de vulnérabilités (CVE Details, Exploit-DB)

Résolution des problèmes fréquents

• Optimisation de performance : pour de longues listes, filtrez par section : urlsup --section "Static Analysis Tools" README.md
• Gestion des faux positifs : déplacez les liens intermittnets vers FLAKY_URLS

Intégration continue & extension

Le projet inclut une tâche Makefile pour automatisation dans CI/CD :

validate-links:
    ./run_awesome_bot.sh

Des améliorations possibles incluent :

• Remplacement automatique des liens par des versions archivées
• Archivage des liens périmés dans historical_links.md
• Intégration de l’API Wayback Machine pour récupérer des versions antérieures

En exécutant cette vérification hebdomadairement ou avant chaque mise à jour majeure, vous maintenez la validité de plus de 100 ressources critiques dans les domaines suivants : analyse statique, scan de vulnérabilités, outils d’inspection dynamique, etc.