26 lines
1.2 KiB
Markdown
26 lines
1.2 KiB
Markdown
【用不到2000美元在本地运行671B参数的全量Deepseek-R1模型】
|
||
这套系统核心是一台AMD EPYC服务器，能达到3.5-4.25 tokens/秒的推理速度。关键配置如下：
|
||
- CPU： AMD EPYC 7702（64核）或7V13/7C13
|
||
- 主板： MZ32-AR0（支持高达1TB内存）
|
||
- 内存： 512GB DDR4 ECC
|
||
- 存储： 1TB NVMe固态硬盘
|
||
- 散热： 420mm水冷
|
||
- 功耗： 空载60W，满载260W
|
||
|
||
部署步骤其实不算太复杂：
|
||
1. 安装Ubuntu 24.04服务器版
|
||
2. 配置Ollama环境
|
||
3. 部署OpenWebUI界面
|
||
4. 下载模型并调优参数
|
||
|
||
特别提醒几点：
|
||
- 这个配置可以跑完整版模型，而不是精简版
|
||
- 内存建议512GB起步，想跑更长上下文需要更多
|
||
- 可以同时运行其他小型AI模型
|
||
- 性价比极高，适合个人或小团队使用
|
||
|
||
虽然配置和部署需要一定动手能力，但对于想要探索大模型本地部署的朋友来说，绝对值得尝试。等于用笔记本的价格，就能拥有一台AI超级计算机了。
|
||
|
||
AMD 表示用 RX 7900 XTX 跑 DeepSeek R1 的蒸馏模型比 RTX 4090 快，并手把手地给出了部署的详细操作步骤。
|
||
|
||
参考：community.amd.com/t5/ai/experience-the-deepseek-r1-distilled-reasoning-models-on-amd/ba-p/740593 |