想必 DeepSeek 已经被人所熟知,本文就介绍下如何本地部署。
1、下载 Ollama
https://ollama.com/download
快速开始
https://ollama.readthedocs.io/quickstart/
安装示例:
https://cloud.tencent.com/developer/article/2493853
2、配置安装目录
安装在指定目录(Windows 下):
OllamaSetup.exe /DIR=E:\Ollama
复制模型文件
C:\Users\Administrator\.ollama\models
到 E:\Ollama\models
增加环境变量 OLLAMA_MODELS,值为 E:\Ollama\models。
# 允许外网访问 OLLAMA_HOST=0.0.0.0 OLLAMA_ORIGINS=* # 控制模型在内存中的保留时间,减少重复加载开销(默认 24h) OLLAMA_KEEP_ALIVE # 并行处理请求数,提升高并发场景下的吞吐量(默认 2个) OLLAMA_NUM_PARALLEL # 启用调试日志,排查服务异常(1 开启) OLLAMA_DEBUG # 扩展显存不足时,利用RAM/VRAM混合加载大模型(需手动计算显存值)默认 81920000000(80GB) OLLAMA_GPU_OVERHEAD
3、确定要使用的模型
https://ollama.com/search
4、Linux 安装配置安装目录
在 安装脚本中
将
OLLAMA_INSTALL_DIR=$(dirname ${BINDIR})
替换为:
# OLLAMA_INSTALL_DIR=$(dirname ${BINDIR}) OLLAMA_INSTALL_DIR="/www/Ollama"
设置安装位置
vi ~/.bashrc # 增加以下 export PATH=/www/Ollama:$PATH export OLLAMA_MODELS=/www/Ollama/models
5、使用 DeepSeek-R1
查看地址:https://ollama.com/library/deepseek-r1
如:
ollama run deepseek-r1:1.5b ollama run deepseek-r1:7b
6、常用命令
显示所有模型
ollama list
删除模型
ollama rm
显示当前运行的模型
ollama ps
停止模型
ollama stop
7、前端工具
DeepSeek R1 默认使用的端口是:11434
参考: