プロジェクト名: FreeAskInternet -- ローカルデプロイする大規模言語モデルの対話システム
Github オープンソースアドレス: https://github.com/nashsu/FreeAskInternet
FreeAskInternet は無料のオープンソースツールで、複数の先進的な言語モデルを組み合わせて検索と回答生成のサービスを提供します。
私たちは直接ローカルにインストールして実行でき、さまざまな大規模言語モデルの検索アグリゲーターのようなものです。
オープンソースの説明によると、FreeAskInternet は大規模言語モデル(LLM)を使用して回答を生成し、グラフィックス処理ユニット(GPU)に依存する必要はありません。ユーザーが質問をすると、システムは SearXNG を利用してマルチエンジン検索を行い、検索結果と ChatGPT3.5 言語モデルを組み合わせ、これらの検索結果に基づいて回答を生成します。すべてのプロセスはローカルで実行され、GPU や OpenAI・Google の API キーは必要ありません。
SearXNG は無料のインターネットメタ検索エンジンで、さまざまな検索サービスやデータベースからの結果を集約します。オープンソースアドレス:https://github.com/searxng/searxng。
ホームページはとてもシンプルです:

検索ベースの AI チャットインターフェース:

複数の大規模言語モデルとカスタム大規模言語モデル(例:ollama)をサポート:

まとめると、FreeAskInternet の特徴は次のとおりです:
- 無料・オープンソースで、ローカルに自分でインストールして完了できます。
- ChatGPT3.5、Qwen、Kimi、Zhipu AI などの API を使用しており、ユーザーはこれらの API のキーを所有していなくても利用できます。
- 無料の API を使用しているため、通常 GPU を必要とする大規模言語モデルとは異なり、FreeAskInternet は GPU なしで実行でき、ユーザーのハードウェア要件を低減します。
- 大規模言語モデルをカスタマイズすることもできます。例:ollama(ダウンロードアドレス:https://ollama.com/)。これにより、ユーザーにより多くの柔軟性とパーソナライズオプションが提供されます。
- インストールは簡単です。Docker Compose という人気のコンテナオーケストレーションツールを使用して、ユーザーは FreeAskInternet を迅速にデプロイでき、インストールと設定のプロセスが簡素化されます。
FreeAskInternet の動作原理:ユーザーがインターフェースに入力した質問に対して、SearXNG がマルチエンジン検索を行います。検索が完了すると、システムは自動的に検索結果内のリンクコンテンツをクロールして収集し、それらのコンテンツを選択した LLM(Large Language Models:大規模言語モデル)に渡します。例:ChatGPT3.5、Kimi、Qwen、ZhipuAI またはカスタムの ollama。これらのモデルは渡されたコンテンツを参照として利用し、コンテンツを生成してユーザーの質問に回答します。
インストールと使用方法
このプロジェクトは初期段階にあるため、いくつかの問題が避けられませんが、個人の学習用途には完全に十分です。
インストール前に、ローカルに Docker がインストールされ、docker-compose をサポートしている必要があります。インストールと使用方法は次のとおりです:
git clone https://github.com/nashsu/FreeAskInternet.git cd ./FreeAskInternet docker-compose up -d
インストールが完了すると、リンク http://localhost:3000 を開いて使用を開始できます。