Nombre del proyecto: FreeAskInternet -- Sistema de diálogo de despliegue local de modelos de lenguaje grandes

Dirección de código abierto en Github: https://github.com/nashsu/FreeAskInternet

FreeAskInternet es una herramienta gratuita y de código abierto que combina múltiples modelos de lenguaje avanzados para ofrecer servicios de búsqueda y generación de respuestas.

Podemos instalarlo y ejecutarlo directamente en local; es más bien un agregador de búsqueda de varios modelos de lenguaje grandes.

Según la descripción de código abierto, FreeAskInternet utiliza modelos de lenguaje grandes (LLM) para generar respuestas, sin necesidad de depender de una unidad de procesamiento gráfico (GPU). Una vez que el usuario plantea una pregunta, el sistema utiliza SearXNG para realizar una búsqueda en múltiples motores, combina los resultados de búsqueda con el modelo de lenguaje ChatGPT3.5 y genera respuestas basadas en estos resultados de búsqueda. Todo el proceso se ejecuta localmente, sin necesidad de GPU ni de claves API de OpenAI o Google.

SearXNG es un metabuscador de Internet gratuito que agrega resultados de diversos servicios de búsqueda y bases de datos. Dirección de código abierto: https://github.com/searxng/searxng.

La página principal es bastante sencilla:

Interfaz de chat de inteligencia artificial basada en búsqueda:

Admite múltiples modelos de lenguaje grandes y modelos de lenguaje grandes personalizados (como ollama):

En resumen, FreeAskInternet tiene las siguientes características:

  • Es gratuito y de código abierto; podemos instalarlo localmente nosotros mismos.
  • Utiliza APIs como ChatGPT3.5, Qwen, Kimi, Zhipu AI, etc. Los usuarios no necesitan tener claves de estas API para usarlas.
  • Debido al uso de API gratuitas, a diferencia de los modelos de lenguaje grandes que normalmente requieren GPU para ejecutarse, FreeAskInternet no necesita GPU para funcionar, lo que reduce los requisitos de hardware para los usuarios.
  • También podemos personalizar modelos de lenguaje grandes, como ollama (dirección de descarga: https://ollama.com/), lo que brinda a los usuarios más flexibilidad y opciones de personalización.
  • La instalación es sencilla. Mediante Docker Compose, una popular herramienta de orquestación de contenedores, los usuarios pueden implementar rápidamente FreeAskInternet, simplificando el proceso de instalación y configuración.

Principio de funcionamiento de FreeAskInternet:Las preguntas ingresadas por el usuario en la interfaz son sometidas a una búsqueda en múltiples motores por SearXNG. Una vez completada la búsqueda, el sistema rastrea y recopila automáticamente el contenido de los enlaces en los resultados de búsqueda, y luego transmite este contenido al LLM seleccionado (Large Language Models: modelos de lenguaje grandes), como ChatGPT3.5, Kimi, Qwen, ZhipuAI o ollama personalizado. Estos modelos utilizan el contenido transmitido como referencia para generar contenido y responder a las preguntas del usuario.

Instalación y uso

Este proyecto se encuentra en una etapa temprana, por lo que inevitablemente tiene algunos problemas, pero es más que suficiente para el aprendizaje personal.

Antes de la instalación, necesitas tener docker instalado localmente y que sea compatible con docker-compose. La instalación y el uso son los siguientes:

git clone https://github.com/nashsu/FreeAskInternet.git
cd ./FreeAskInternet
docker-compose up -d 

Una vez completada la instalación, puedes abrir el enlace http://localhost:3000 para comenzar a usarlo.