Nom du projet : FreeAskInternet -- système de dialogue avec grand modèle de langage déployé localement
Adresse open source GitHub : https://github.com/nashsu/FreeAskInternet
FreeAskInternet est un outil gratuit et open source qui combine plusieurs modèles de langage avancés pour fournir des services de recherche et de génération de réponses.
Nous pouvons l'installer et l'exécuter directement en local ; il s'agit plutôt d'un agrégateur de recherche pour divers grands modèles de langage.
Selon la description open source, FreeAskInternet utilise de grands modèles de langage (LLM) pour générer des réponses sans dépendre d'une unité de traitement graphique (GPU). Après qu'un utilisateur pose une question, le système utilise SearXNG pour effectuer une recherche multi-moteurs, combine les résultats de recherche avec le modèle de langage ChatGPT3.5 et génère des réponses à partir de ces résultats de recherche. Tous les processus s'exécutent localement et ne nécessitent ni GPU ni clés API d'OpenAI ou de Google.
SearXNG est un métamoteur de recherche Internet gratuit qui agrège les résultats de divers services de recherche et bases de données. Adresse open source : https://github.com/searxng/searxng.
La page d'accueil est encore très épurée :

Interface de chat IA basée sur la recherche :

Prend en charge plusieurs grands modèles de langage et des grands modèles de langage personnalisés (comme ollama) :

En résumé, FreeAskInternet possède les fonctionnalités suivantes :
- Gratuit et open source, nous pouvons l'installer nous-mêmes en local.
- Il utilise les API de ChatGPT3.5, Qwen, Kimi, Zhipu AI, etc. Les utilisateurs n'ont pas besoin d'avoir de clés API pour ces services pour les utiliser.
- Parce qu'il utilise des API gratuites, contrairement aux grands modèles de langage qui nécessitent généralement un GPU pour fonctionner, FreeAskInternet peut fonctionner sans GPU, ce qui réduit les exigences matérielles pour les utilisateurs.
- Nous pouvons également personnaliser le grand modèle de langage, comme ollama (adresse de téléchargement : https://ollama.com/), ce qui offre aux utilisateurs plus de flexibilité et d'options de personnalisation.
- L'installation est simple. Grâce à Docker Compose, un outil populaire d'orchestration de conteneurs, les utilisateurs peuvent déployer rapidement FreeAskInternet, ce qui simplifie le processus d'installation et de configuration.
Fonctionnement de FreeAskInternet :Pour la question saisie par l'utilisateur dans l'interface, SearXNG effectue une recherche multi-moteurs. Une fois la recherche terminée, le système parcourt et collecte automatiquement le contenu des liens dans les résultats de recherche, puis transmet ce contenu au LLM (grands modèles de langage) sélectionné, tel que ChatGPT3.5, Kimi, Qwen, ZhipuAI, ou un ollama personnalisé. Ces modèles utilisent le contenu transmis comme référence pour générer du contenu et répondre à la question de l'utilisateur.
Installation et utilisation
Ce projet n'en est qu'à ses débuts, il peut donc inévitablement y avoir quelques problèmes, mais il est amplement suffisant pour un apprentissage et un usage personnels.
Avant l'installation, vous devez avoir Docker installé localement et prendre en charge docker-compose. L'installation et l'utilisation sont les suivantes :
git clone https://github.com/nashsu/FreeAskInternet.git cd ./FreeAskInternet docker-compose up -d
Après l'installation, vous pouvez ouvrir le lien http://localhost:3000 pour commencer à l'utiliser.