【用不到2000美元在本地运行671B参数的全量Deepseek-R1模型】 这套系统核心是一台AMD EPYC服务器,能达到3.5-4.25 tokens/秒的推理速度。关键配置如下: - CPU: AMD EPYC 7702(64核)或7V13/7C13 - 主板: MZ32-AR0(支持高达1TB内存) - 内存: 512GB DDR4 ECC - 存储: 1TB NVMe固态硬盘 - 散热: 420mm水冷 - 功耗: 空载60W,满载260W 部署步骤其实不算太复杂: 1. 安装Ubuntu 24.04服务器版 2. 配置Ollama环境 3. 部署OpenWebUI界面 4. 下载模型并调优参数 特别提醒几点: - 这个配置可以跑完整版模型,而不是精简版 - 内存建议512GB起步,想跑更长上下文需要更多 - 可以同时运行其他小型AI模型 - 性价比极高,适合个人或小团队使用 虽然配置和部署需要一定动手能力,但对于想要探索大模型本地部署的朋友来说,绝对值得尝试。等于用笔记本的价格,就能拥有一台AI超级计算机了。 AMD 表示用 RX 7900 XTX 跑 DeepSeek R1 的蒸馏模型比 RTX 4090 快,并手把手地给出了部署的详细操作步骤。 参考:community.amd.com/t5/ai/experience-the-deepseek-r1-distilled-reasoning-models-on-amd/ba-p/740593