Projektname: FreeAskInternet -- lokal bereitgestelltes Dialogsystem für große Sprachmodelle

GitHub-Open-Source-Adresse: https://github.com/nashsu/FreeAskInternet

FreeAskInternet ist ein kostenloses und quelloffenes Tool, das mehrere fortschrittliche Sprachmodelle kombiniert, um Such- und Antwortgenerierungsdienste bereitzustellen.

Wir können es direkt lokal installieren und ausführen; es ist eher ein Suchaggregator für verschiedene große Sprachmodelle.

Laut der Open-Source-Beschreibung verwendet FreeAskInternet große Sprachmodelle (LLM), um Antworten zu generieren, ohne auf eine Grafikeinheit (GPU) angewiesen zu sein. Nachdem ein Benutzer eine Frage gestellt hat, verwendet das System SearXNG, um eine Multi-Engine-Suche durchzuführen, kombiniert die Suchergebnisse mit dem ChatGPT3.5-Sprachmodell und generiert Antworten basierend auf diesen Suchergebnissen. Alle Prozesse laufen lokal und erfordern weder eine GPU noch API-Schlüssel von OpenAI oder Google.

SearXNG ist eine kostenlose Internet-Metasuchmaschine, die Ergebnisse aus verschiedenen Suchdiensten und Datenbanken aggregiert. Open-Source-Adresse: https://github.com/searxng/searxng.

Die Startseite ist weiterhin sehr übersichtlich:

KI-Chat-Oberfläche auf Basis der Suche:

Unterstützt mehrere große Sprachmodelle und benutzerdefinierte große Sprachmodelle (wie ollama):

Zusammenfassend bietet FreeAskInternet die folgenden Funktionen:

  • Kostenlos und quelloffen, wir können es selbst lokal installieren.
  • Es verwendet APIs von ChatGPT3.5, Qwen, Kimi, Zhipu AI usw. Benutzer müssen keine API-Schlüssel für diese besitzen, um sie zu nutzen.
  • Da es kostenlose APIs verwendet, kann FreeAskInternet – anders als große Sprachmodelle, die normalerweise eine GPU zum Ausführen benötigen – ohne GPU ausgeführt werden, was die Hardwareanforderungen für Benutzer reduziert.
  • Wir können auch das große Sprachmodell anpassen, z. B. ollama (Download-Adresse: https://ollama.com/), was Benutzern mehr Flexibilität und Personalisierungsoptionen bietet.
  • Die Installation ist einfach. Über Docker Compose, ein beliebtes Tool zur Container-Orchestrierung, können Benutzer FreeAskInternet schnell bereitstellen, wodurch der Installations- und Konfigurationsprozess vereinfacht wird.

So funktioniert FreeAskInternet:Für die vom Benutzer in der Oberfläche eingegebene Frage führt SearXNG eine Multi-Engine-Suche durch. Nach Abschluss der Suche crawlt und sammelt das System automatisch die Link-Inhalte in den Suchergebnissen und übergibt diese Inhalte dann an das ausgewählte LLM (Large Language Models), wie ChatGPT3.5, Kimi, Qwen, ZhipuAI oder ein benutzerdefiniertes ollama. Diese Modelle verwenden die übergebenen Inhalte als Referenz, um Inhalte zu generieren und die Frage des Benutzers zu beantworten.

Installation und Nutzung

Dieses Projekt befindet sich in einer frühen Phase, daher kann es unvermeidlich einige Probleme geben, aber es ist für persönliches Lernen und Nutzung völlig ausreichend.

Vor der Installation müssen Sie Docker lokal installiert haben und docker-compose unterstützen. Die Installation und Verwendung sind wie folgt:

git clone https://github.com/nashsu/FreeAskInternet.git
cd ./FreeAskInternet
docker-compose up -d 

Nach der Installation können Sie den Link http://localhost:3000 öffnen, um es zu verwenden.