banner
Darling

Darling

github
email

本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 | 3种方案

image

目前在开源大模型领域,Llama3 无疑是最强的!这次 Meta 不仅免费公布了 8B 和 70B 两个性能强悍的大模型,400B 也即将发布,这是可以和 GPT-4 对打的存在!今天我们就来介绍 3 各本地部署方法,简单易懂,非常适合新手

1. GPT4All :  适合低配置用户,可以在 CPU/GPU 上跑 【点击下载
image

2.LMstudio ,支持下载多模型 8B/70B 等,模型选择更多!【点击下载
image

提醒:如果你不在海外,实在下载不了模型,稍后会把 Llama 3 大模型上传到网盘 【点击下载】稍后更新…..

3.Ollama,支持多平台!Windows / Mac /Linux 都可以运行 【点击下载
image

并在 Windows 上打开 WSL  功能

安装 Docker Desktop :【点击前往

然后本地安装 webUI

  • 在 CPU 下运行:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

  • 支持 GPU 运行:
    docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
加载中...
此文章数据所有权由区块链加密技术和智能合约保障仅归创作者所有。