現在、オープンソースの大規模モデルの分野では、Llama3 が間違いなく最強です！Meta は今回、8B と 70B という 2 つのパフォーマンスの強力な大規模モデルを無料で公開しました。さらに、400B も近日中にリリースされます。これは GPT-4 と対戦できる存在です！今日は、3 つのローカルデプロイ方法を紹介します。簡単でわかりやすく、初心者に非常に適しています！
1. GPT4All: 低構成のユーザーに適しており、CPU/GPU で実行できます【ダウンロード】
2. LMstudio: 8B/70B など、複数のモデルのダウンロードをサポートしています【ダウンロード】
注意：海外にいない場合、モデルをダウンロードできない場合は、後で Llama 3 の大規模モデルをクラウドストレージにアップロードします【ダウンロード】後で更新します.....
3. Ollama: マルチプラットフォームをサポート！Windows / Mac / Linux で実行できます【ダウンロード】
そして、Windows で WSL 機能を開きます
Docker Desktop をインストール：【ここをクリックして進む】
その後、ローカルで webUI をインストールします
- CPU で実行する場合：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
- GPU で実行する場合：
docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama