1.安装Ollama
1.访问Ollama官网并下载
2.安装 OllamaSetup.exe,右下角出现 小羊驼 图标 代表安装成功
3.回到 Ollama 官网,选择右上角的 Models
4.比如选择deepseek-r1 模型
5.点进去查看对应的模型安装指令
6.WIN+R cmd 将刚刚复制的粘贴进去
ollama run deepseek-r1
7.测试
至此,大模型本地部署已经ok,至于响应速度,就看各位电脑的配置了。
但是,目前方式存在一些弊端,比如不能保存对话,无法联系上下文。用户体验太差。我们接着安装一个可视化界面open-webui
安装docker desktop && open-webui
1.docker官网下载Docker desktop
2.打开github open-webui
3.往下翻找到该代码并复制
正常个人电脑部署的话用下面第一条指令即可
# 如果ollama在你电脑本地,则使用以下指令
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
# 如果ollama在其它服务器上,则使用下面指令(OLLAMA_BASE_URL 为服务器地址)
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
# 要运行支持Nvidia GPU的Open web,使用以下命令
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
4.Win + R cmd 输入刚才复制的代码(其中端口根据需求自行修改),回车。注:此过程比较慢
5.返回docker 会发现 container列表 多出一个 刚才端口的容器,运行并去浏览器访问刚才的端口即可
6.访问ok
7.切换模型
注:按照上述操作只会有deepseek-r1模型 可以重复第一个大步骤中的 4,5,6 步骤,多下载几个模型,就可以切换模型了
8.还有其他可视化聊天界面供参考,比如lobe-chat
下面描述一下 lobe-chat 如何接入本地ollama部署的模型(个人觉得这个界面更好看)
1)拉取镜像
docker pull lobehub/lobe-chat
拉取成功
2)创建容器并运行
docker run -d -p 3210:3210 -e OPENAI_API_KEY=sk-xxxx -e OPENAI_PROXY_URL=https://api-proxy.com/v1 -e ACCESS_CODE=lobe66 --name lobe-chat lobehub/lobe-chat
注:
OPENAI_API_KEY=sk-xxxx 可以随便填
OPENAI_PROXY_URL=https://api-proxy.com/v1 可以随便填
因为我们用的是本地的ollama 模型,不会用到他们的api(使用api是要花钱的)
3)运行成功,访问 http://localhost:3210
4)点击右上角的菜单设置本地模型,我们可以先用以下指令查看本地安装了什么模型
ollama list
我们看到有 deepseek-r1 模型,我们就在lobe-chat里面配置这个模型
5)添加 deepseek-r1模型,语言模型->Ollama->模型列表,选择deepseek-r1,没有的话手动添加
6)返回聊天界面切换配置好的模型
7)测试
有什么问题,请在评论区留言吧!