Difficile d'installer lollms

[zokalinga]

Bonjour,

Je vous écris pour vous faire part des nombreuses difficultés que j'ai rencontrées en essayant d'installer et d'utiliser LoLLMs. Malgré plusieurs tentatives et méthodes différentes, je n'ai pas réussi à faire fonctionner correctement le logiciel. Voici un résumé de mes expériences :

1. Installation :

   • J'ai essayé d'installer LoLLMs via pip en utilisant la commande recommandée, mais j'ai rencontré des problèmes pour exécuter "lollms-settings".

   • J'ai tenté d'installer directement depuis le dépôt GitHub, mais cela n'a pas résolu les problèmes.

   • Même après une installation apparemment réussie, les commandes "lollms-settings" et "python -m lollms.cli.settings" n'étaient pas reconnues.

2. Configuration :

   • N'ayant pas pu exécuter "lollms-settings", je n'ai pas pu configurer correctement le logiciel.

3. Utilisation :

   • Lorsque j'ai finalement réussi à installer la dernière version et à accéder à l'interface, j'ai rencontré d'autres problèmes :

     • Aucune réponse aux requêtes de résumé de PDF.

     • Pas de fonctionnement de la transcription vocale.

     • D'autres fonctionnalités semblaient également ne pas répondre.

Ces difficultés persistent malgré mes efforts pour suivre les instructions fournies et les différentes méthodes d'installation suggérées.

Je vous serais reconnaissant si vous pouviez m'aider à comprendre pourquoi j'ai rencontré autant de problèmes et me fournir des conseils pour les résoudre. Y a-t-il des étapes spécifiques que j'aurais pu manquer ou des configurations système particulières requises ?

Je reste à votre disposition pour fournir toute information supplémentaire qui pourrait vous aider à diagnostiquer ces problèmes.

Bien à vous .

[ParisNeo]

Bonjour,

Pour installer lollms, il vaut mieux installer la webui car le lollms sur pip n'est pas du tous à jour. Je n'ai jamais eu le temps de le mettre à jour.

La seule méthode d'installation est d'utiliser l'installeur win_install.bat (ou linux_install.sh) ou l'installeur graphique sur windows car lollms a besoin d'environnement d'exécution bien spécifique. J'utilise miniconda pour gèrer ceci.

Si vous n'avez pas utilisé l'installeur, il y a probablement pas mal de trucs pas installés, donc c'est normal que ça marche pas. L'installeur installe les outils qui permettent de faire du RAG sur les données.

En plus, les modules supplémentaires comme le TTS STT etc sont configurable après l'installation en les activant dans les settings. Dans services zoo.

Cordialement

[zokalinga]

Cher Paris,
Je vous remercie sincèrement pour votre aide précieuse concernant l'installation de Lollms sur mon PC. Grâce à vos instructions détaillées, j'ai enfin réussi à le mettre en place.
Cependant, étant donné mes compétences limitées en informatique, je rencontre encore quelques difficultés à optimiser son fonctionnement. J'ai joint un fichier PDF contenant les paramètres de Lollms et j'aimerais savoir quels sont les réglages essentiels pour obtenir des performances similaires à celles présentées dans la vidéo YouTube.

Problèmes rencontrés

1. Lenteur : Lollms semble très lent à répondre.
2. Absence de réponses : Il ne répond pas aux questions que je lui pose.
   Demande d'assistance
   Pourriez-vous me conseiller sur les actions spécifiques à entreprendre pour résoudre ces problèmes ? Y a-t-il des paramètres particuliers à ajuster ou des étapes supplémentaires à suivre ?
   Je vous suis très reconnaissant pour votre patience et votre expertise. Votre aide m'est vraiment précieuse dans cette démarche d'apprentissage.
   Cordialement.
   Paramétrage Lollms.pdf

[ParisNeo]

Bonjour,

Désolé pour le retard horrible. J'étais trop occupé récemment et je n'ai pas vu votre message.
Pour que lollms fonctionne de façon optimale, il faut l'une de ces deux options:
1 - avoir un PC puissant avec un GPU d'au moins 12G de vRAM
2 - utiliser un abonnement vers l'une des APIs compatibles (open ai, mistral ai, open router, grock, et gemini de google si vous êtes hors europe)

D'abord il faut aller dans les settings et choisir un binding en fonction de ce que vous avez choisi de faire:
Si vous voulez faire de la génération en local, et que vous avez un bon PC alors choisir llama_cpp ça permet de tout faire en local (ça marche même sans internet), puis une fois instrallé, il faut choisir un modèle dans le models zoo. Il y en a plusieurs milliers de modèles et ça dépondra de la puissance de votre GPU, et le besoin que vous avez.

Si vous voulez utiliser un service chez un tier, alors il faut créer un compte chez eux, installer le binding, configurer le binding en renseignant votre clée API, puis sélectionner un modèle et vous pouvez commencez à utiliser l'outil.

[ParisNeo]

Pour le RAG, ça dépondra de votre cas:
Si vous avez un GPU, je vous conseille d'utiliser une vectorisation sémantique (dans la configuration du data management settings). Le modèle dans cette figure est multilangue et supporte français comme anglais:

Si vous avez pas de GPU et que vos documents sont en anglais et votre question est en anglais, alors vous pouvez utiliser tf-idf (c'est pas bon quand vous utiliser une langue différente entre votre modèle et votre question).

Enfin, si vous n'avez ni bon GPU ni même langue, vous pouvez utiliser un service comme celui de Open AI (payant).