DeepSeek本地部署，小白也能搞定！

DeepSeek 是国内顶尖 AI 团队「深度求索」开发的多模态大模型，具备数学推理、代码生成等深度能力，堪称”AI界的六边形战士”。

DeepSeek 身上的标签有很多，其中最具代表性的标签有以下两个：

1. 低成本（不挑硬件、开源）
2. 高性能（推理能力极强、回答准确）

怎么部署本地大模型？

在本地部署 DeepSeek 只需要以下三步：

1. 安装 Ollama。
2. 部署 DeepSeek。
3. 使用 DeepSeek：这里我们使用 ChatBox 客户端操作 DeepSeek（此步骤非必须）。

Ollama、DeepSeek 和 ChatBox 之间的关系如下：

• Ollama 是“大管家”，负责把 DeepSeek 安装到你的电脑上。
• DeepSeek 是“超级大脑”，住在 Ollama 搭建好的环境里，帮你做各种事情。
• ChatBox 是“聊天工具”，让你更方便地和 DeepSeek 交流。

安装Ollama

Ollama 是一个开源的大型语言模型服务工具。它的主要作用是帮助用户快速在本地运行大模型，简化了在 Docker 容器内部署和管理大语言模型（LLM）的过程。

PS：Ollama 就是大模型届的“Docker”。

Ollama 优点如下：

• 易于使用：即使是没有经验的用户也能轻松上手，无需开发即可直接与模型进行交互。
• 轻量级：代码简洁，运行时占用资源少，能够在本地高效运行，不需要大量的计算资源。
• 可扩展：支持多种模型架构，并易于添加新模型或更新现有模型，还支持热加载模型文件，无需重新启动即可切换不同的模型，具有较高的灵活性。
• 预构建模型库：包含一系列预先训练好的大型语言模型，可用于各种任务，如文本生成、翻译、问答等，方便在本地运行大型语言模型。

Ollama 官网：https://ollama.com/

下载并安装Ollama

下载地址：https://ollama.com/

用户根据自己的操作系统选择对应的安装包，然后安装 Ollama 软件即可。

安装完成之后，你的电脑上就会有这样一个 Ollama 应用

点击应用就会运行 Ollama，此时在你电脑状态栏就可以看到 Ollama 的小图标，测试 Ollama 有没有安装成功，使用命令窗口输入“ollama -v”指令，能够正常响应并显示 Ollama 版本号就说明安装成功了

部署DeepSeek

Ollama 支持大模型列表：https://ollama.com/library

DeepSeek版本介绍

Ollama 支持大模型列表：https://ollama.com/library

选择 DeepSeek 大模型版本，如下表格所示：

模型参数规模	典型用途	CPU 建议	GPU 建议	内存建议 (RAM)	磁盘空间建议	适用场景
1.5b (15亿)	小型推理、轻量级任务	4核以上 (Intel i5 / AMD Ryzen 5)	可选，入门级 GPU (如 NVIDIA GTX 1650, 4GB 显存)	8GB	10GB 以上 SSD	小型 NLP 任务、文本生成、简单分类
7b (70亿)	中等推理、通用任务	6核以上 (Intel i7 / AMD Ryzen 7)	中端 GPU (如 NVIDIA RTX 3060, 12GB 显存)	16GB	20GB 以上 SSD	中等规模 NLP、对话系统、文本分析
14b (140亿)	中大型推理、复杂任务	8核以上 (Intel i9 / AMD Ryzen 9)	高端 GPU (如 NVIDIA RTX 3090, 24GB 显存)	32GB	50GB 以上 SSD	复杂 NLP、多轮对话、知识问答
32b (320亿)	大型推理、高性能任务	12核以上 (Intel Xeon / AMD Threadripper)	高性能 GPU (如 NVIDIA A100, 40GB 显存)	64GB	100GB 以上 SSD	大规模 NLP、多模态任务、研究用途
70b (700亿)	超大规模推理、研究任务	16核以上 (服务器级 CPU)	多 GPU 并行 (如 2x NVIDIA A100, 80GB 显存)	128GB	200GB 以上 SSD	超大规模模型、研究、企业级应用
671b (6710亿)	超大规模训练、企业级任务	服务器级 CPU (如 AMD EPYC / Intel Xeon)	多 GPU 集群 (如 8x NVIDIA A100, 320GB 显存)	256GB 或更高	1TB 以上 NVMe SSD	超大规模训练、企业级 AI 平台