Projet Moteur de Recherche (Algorithme des Textes)

Projet de Master 1 Informatique réalisé par :

• Julian CHAMBRIER (11601367)
• Ammar ALSADIK (11601920)
• Emiliano BOUSSAC (11413126)

Description du projet

Le but de ce projet est de réaliser un navigateur.

• Le dossier /src contient le code principal du navigateur.
• Le dossier /test contient le code de test pour les différentes fonctionnalités du navigateur.
  (Il est préférable d'aller dans ce dossier pour effectuer les tests. Tout y est expliqué)
• Le dossier /doc contient la documentation au projet.

Le navigateur Web utilise le framework Flask afin d'allier le python et le HTML avec un système de templates très simple d'utilisation.

Exécution

Pour exécuter le projet

1. Veuillez installer préalablement les bibliothèques nécessaires grâce aux commandes suivantes :

pip install rank_bm25
pip install unidecode
pip install bs4
pip install textdistance
pip install flask
pip install numpy

OU

pip3 install rank_bm25
pip3 install unidecode
pip3 install bs4
pip3 install textdistance
pip3 install flask
pip3 install numpy

2. Puis :

• Cloner le projet
• Démarrer un Terminal
• Aller dans le repertoire /src qui contient les fichiers
• Veuillez télécharger les pages Web à l'adresse suivante et les placer dans /src : https://lipn.univ-paris13.fr/~david/doc/pages_web.tgz
• Lancer (une fois pour toute) la commande : python3 supprimeSimilaireSRC.py (ou python supprimeSimilaireSRC.py) pour supprimer les pages trop similaires à partir de /src sinon utiliser la commande python3 supprimeSimilaireTEST.py (ou python supprimeSimilaireTEST.py) à partir de /test
• Lancer la commande : python serverWeb.py (ou python3 serverWeb.py)
  • Vérifier bien qu'aucun programme ne tourne sur le port 8090 avant de le lancer grâce à la commande : netstat -ano | find ":8090"
• Le server se lance avec le message : "Running on http://localhost:8090/" (si vous êtes en local)
  (Le lancement du serveur peut être long dû à la création de l'index inversé et le nettoyage de milliers de fichier (1 à 4 minutes))
• Ouvrer votre navigateur et entrer http://localhost:8090 ou localhost:8090
• Le navigateur JuAmEm se lance
  • (Si vous avez le message "La connexion a échoué", regarder si votre serveur Web est bien lancé dans le terminal)
• Vous pouvez effectuer des recherches sur le navigateur
  • Si une recherche VIDE est effectué, le navigateur ne lance aucune recherche
  • Si une recherche NON VIDE est effectué, le navigateur lance une recherche et renvoie ses résultats dans une seconde page
  • Si vous faites une recherche les mots proches seront pris en compte
  • 10 résultats peuvent être affiché au maximum. Si la recherche n'a pas de résultat, le message "Aucun résultat." s'affichera

Remarque : Des affichages sont disponibles sur le terminal où est lancé le serveur afin d'avoir des informations sur les étapes en cours.