美烦资源网

专注技术文章分享,涵盖编程教程、IT 资源与前沿资讯

本地部署deepseek-r1模型(技术分享)

1.安装Ollama

1.访问Ollama官网并下载

2.安装 OllamaSetup.exe,右下角出现 小羊驼 图标 代表安装成功

3.回到 Ollama 官网,选择右上角的 Models

4.比如选择deepseek-r1 模型

5.点进去查看对应的模型安装指令

6.WIN+R cmd 将刚刚复制的粘贴进去

ollama run deepseek-r1

7.测试

至此,大模型本地部署已经ok,至于响应速度,就看各位电脑的配置了。

但是,目前方式存在一些弊端,比如不能保存对话,无法联系上下文。用户体验太差。我们接着安装一个可视化界面open-webui

安装docker desktop && open-webui

1.docker官网下载Docker desktop

2.打开github open-webui

3.往下翻找到该代码并复制

正常个人电脑部署的话用下面第一条指令即可

# 如果ollama在你电脑本地,则使用以下指令
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

# 如果ollama在其它服务器上,则使用下面指令(OLLAMA_BASE_URL 为服务器地址)
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

# 要运行支持Nvidia GPU的Open web,使用以下命令
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

4.Win + R cmd 输入刚才复制的代码(其中端口根据需求自行修改),回车。注:此过程比较慢

5.返回docker 会发现 container列表 多出一个 刚才端口的容器,运行并去浏览器访问刚才的端口即可

6.访问ok

7.切换模型

注:按照上述操作只会有deepseek-r1模型 可以重复第一个大步骤中的 4,5,6 步骤,多下载几个模型,就可以切换模型了

8.还有其他可视化聊天界面供参考,比如lobe-chat

下面描述一下 lobe-chat 如何接入本地ollama部署的模型(个人觉得这个界面更好看)

1)拉取镜像

docker pull lobehub/lobe-chat

拉取成功

2)创建容器并运行

docker run -d -p 3210:3210 -e OPENAI_API_KEY=sk-xxxx -e OPENAI_PROXY_URL=https://api-proxy.com/v1 -e ACCESS_CODE=lobe66 --name lobe-chat lobehub/lobe-chat

注:

OPENAI_API_KEY=sk-xxxx 可以随便填

OPENAI_PROXY_URL=https://api-proxy.com/v1 可以随便填

因为我们用的是本地的ollama 模型,不会用到他们的api(使用api是要花钱的)

3)运行成功,访问 http://localhost:3210

4)点击右上角的菜单设置本地模型,我们可以先用以下指令查看本地安装了什么模型

ollama list

我们看到有 deepseek-r1 模型,我们就在lobe-chat里面配置这个模型

5)添加 deepseek-r1模型,语言模型->Ollama->模型列表,选择deepseek-r1,没有的话手动添加

6)返回聊天界面切换配置好的模型

7)测试

有什么问题,请在评论区留言吧!

#deepseek# #技术分享#

控制面板
您好,欢迎到访网站!
  查看权限
网站分类
最新留言