1.2 KiB
1.2 KiB
【用不到2000美元在本地运行671B参数的全量Deepseek-R1模型】 这套系统核心是一台AMD EPYC服务器，能达到3.5-4.25 tokens/秒的推理速度。关键配置如下：
- CPU： AMD EPYC 7702（64核）或7V13/7C13
- 主板： MZ32-AR0（支持高达1TB内存）
- 内存： 512GB DDR4 ECC
- 存储： 1TB NVMe固态硬盘
- 散热： 420mm水冷
- 功耗： 空载60W，满载260W
部署步骤其实不算太复杂：
- 安装Ubuntu 24.04服务器版
- 配置Ollama环境
- 部署OpenWebUI界面
- 下载模型并调优参数
特别提醒几点：
- 这个配置可以跑完整版模型，而不是精简版
- 内存建议512GB起步，想跑更长上下文需要更多
- 可以同时运行其他小型AI模型
- 性价比极高，适合个人或小团队使用
虽然配置和部署需要一定动手能力，但对于想要探索大模型本地部署的朋友来说，绝对值得尝试。等于用笔记本的价格，就能拥有一台AI超级计算机了。
AMD 表示用 RX 7900 XTX 跑 DeepSeek R1 的蒸馏模型比 RTX 4090 快，并手把手地给出了部署的详细操作步骤。
参考：community.amd.com/t5/ai/experience-the-deepseek-r1-distilled-reasoning-models-on-amd/ba-p/740593