プロジェクト名: FreeAskInternet -- ローカルデプロイする大規模言語モデルの対話システム

Github オープンソースアドレス: https://github.com/nashsu/FreeAskInternet

FreeAskInternet は無料のオープンソースツールで、複数の先進的な言語モデルを組み合わせて検索と回答生成のサービスを提供します。

私たちは直接ローカルにインストールして実行でき、さまざまな大規模言語モデルの検索アグリゲーターのようなものです。

オープンソースの説明によると、FreeAskInternet は大規模言語モデル(LLM)を使用して回答を生成し、グラフィックス処理ユニット(GPU)に依存する必要はありません。ユーザーが質問をすると、システムは SearXNG を利用してマルチエンジン検索を行い、検索結果と ChatGPT3.5 言語モデルを組み合わせ、これらの検索結果に基づいて回答を生成します。すべてのプロセスはローカルで実行され、GPU や OpenAI・Google の API キーは必要ありません。

SearXNG は無料のインターネットメタ検索エンジンで、さまざまな検索サービスやデータベースからの結果を集約します。オープンソースアドレス:https://github.com/searxng/searxng。

ホームページはとてもシンプルです:

検索ベースの AI チャットインターフェース:

複数の大規模言語モデルとカスタム大規模言語モデル(例:ollama)をサポート:

まとめると、FreeAskInternet の特徴は次のとおりです:

  • 無料・オープンソースで、ローカルに自分でインストールして完了できます。
  • ChatGPT3.5、Qwen、Kimi、Zhipu AI などの API を使用しており、ユーザーはこれらの API のキーを所有していなくても利用できます。
  • 無料の API を使用しているため、通常 GPU を必要とする大規模言語モデルとは異なり、FreeAskInternet は GPU なしで実行でき、ユーザーのハードウェア要件を低減します。
  • 大規模言語モデルをカスタマイズすることもできます。例:ollama(ダウンロードアドレス:https://ollama.com/)。これにより、ユーザーにより多くの柔軟性とパーソナライズオプションが提供されます。
  • インストールは簡単です。Docker Compose という人気のコンテナオーケストレーションツールを使用して、ユーザーは FreeAskInternet を迅速にデプロイでき、インストールと設定のプロセスが簡素化されます。

FreeAskInternet の動作原理:ユーザーがインターフェースに入力した質問に対して、SearXNG がマルチエンジン検索を行います。検索が完了すると、システムは自動的に検索結果内のリンクコンテンツをクロールして収集し、それらのコンテンツを選択した LLM(Large Language Models:大規模言語モデル)に渡します。例:ChatGPT3.5、Kimi、Qwen、ZhipuAI またはカスタムの ollama。これらのモデルは渡されたコンテンツを参照として利用し、コンテンツを生成してユーザーの質問に回答します。

インストールと使用方法

このプロジェクトは初期段階にあるため、いくつかの問題が避けられませんが、個人の学習用途には完全に十分です。

インストール前に、ローカルに Docker がインストールされ、docker-compose をサポートしている必要があります。インストールと使用方法は次のとおりです:

git clone https://github.com/nashsu/FreeAskInternet.git
cd ./FreeAskInternet
docker-compose up -d 

インストールが完了すると、リンク http://localhost:3000 を開いて使用を開始できます。