LM Studio 本地部署DeepSeek 模型
以 DeepSeek R1 模型为例，结合 LM Studio 工具，记录从模型下载到本地部署的全流程，包括防火墙配置、模型选择与参数调优。
DeepSeek 模型简介
DeepSeek凭借 DeepSeek R1 在全网刷屏，去年12月末发布的 DeepSeek V3 在科技圈就已经引起不少的震动，其通过优化算法和训练策略，大幅降低了训练成本，同时保持了高性能。
近期刷屏的 DeepSeek R1 则是深度求索的最新力作。这款模型在推理速度上有了显著提升，支持 多轮对话、代码生成、长文本理解（最高 128K Token 上下文窗口），在数学推理和逻辑分析任务中表现尤为突出。R1的核心优势在于其更低的训练成本和更高的实用性。
本文将以 DeepSeek R1 模型为例，结合 LM Studio 工具，记录从模型下载到本地部署的全流程。
LM Studio 工具配置
本文使用 LM Studio 来本地部署。LM Studio 是一款专为简化大语言模型（LLM）本地化部署而设计的开源工具，由开发者社区积极维护迭代。
首先下载安装 LM Studio：https://lmstudio.ai/
LM Studio 官方说明是不会上传用户数据，但它是闭源软件。为了确保模型是本地运行、数据不会上传互联网，需要为 LM Studio 配置入站和出站规则，从 Windows 防火墙层面隔绝 LM Studio 与互联网的连接。
新建入站规则
为 LM Studio 安装路径下以下程序新建规则：
D:\LM Studio\LM Studio.exeD:\LM Studio\resources\elevate.exeC:\Users\Administrator\.lmstudio\bin\lms.exe
新建出站规则
出战规则与入站规则配置一致，分别给三个程序新建三个规则即可。
模型选择与获取
模型选择建议
- 没有GPU：1.5B Q8推理 或者 8B Q4推理
- 4G GPU：8B Q4推理
- 8G GPU：32B Q4推理 或者 8B Q4推理
- 16G GPU：32B Q4推理 或者 32B Q8推理
- 24G GPU：32B Q8推理 或者 70B Q2推理
推荐使用 GGUF（兼容 CPU/GPU）或 GPTQ（GPU 专用）：
- GGUF：适用于 CPU 推理或低显存 GPU，支持逐层加载，灵活性高
- GPTQ：通过 4-bit 量化压缩模型，显存占用减少 60%，适合 RTX 3090/4090 等高性能 GPU
下载模型
这里使用 32B Q8 GGUF 格式。可在 huggingface 国内镜像站 https://hf-mirror.com/ 下载，在官网搜索框内搜索 deepseek R1 32b GGUF，选择下载量最多的模型，点击 Files and versions，选择 DeepSeek-R1-Distill-Qwen-32B-Q8_0.gguf 下载。
本地模型加载
首先找到 C 盘用户 Administrator 文件夹下 .lmstudio 文件夹，然后找到 models 文件夹。
models 文件夹这时有可能是空文件夹，没有关系，新建一个文件夹，比如下载了 32B Q8 和 Q4 的模型，就新建一个 deepseek_R1_32B_Q8 的文件夹和一个 deepseek_R1_32B_Q4 文件夹。
然后在模型文件夹中再新建一个文件夹，就以下载的模型文件名命名：DeepSeek-R1-Distill-Qwen-32B-Q8_0。
然后将下载好的模型文件 DeepSeek-R1-Distill-Qwen-32B-Q8_0.gguf 复制到该文件夹下即可。
模型测试
完成上述步骤后，运行 LM Studio 软件，选择左侧开发者图标，点击选择要加载的模型，即可看到所下载好的模型。
然后便可对一些参数进行调整：
- 上下文长度（Context Length）：模型在处理文本时一次能考虑的上下文长度。较长的上下文有助于模型更好地理解文本，但会增加计算负担和内存占用。一般设置为 4000 多。
- GPU 负载（GPU Load）：GPU 在模型推理中的使用率。根据自己的 GPU 显存大小调整，可在任务管理器中查看专用 GPU 内存占用进行调整，同时注意共享 GPU 内存不要占用过高。
- CPU 线程池大小（CPU Thread Pool Size）：CPU 用于并行处理任务的线程数量。通常设置为 CPU 核心数的 1-2 倍。
调整好参数后点击 Remember setting 和加载模型，等待模型加载完成即可。
文章来源
本文内容整理自以下原始出处：
原文作者：2401_82469710（CSDN）