DGX Spark 硬件下三大推理引擎实测对比：Ollama、vLLM、DS4

很多业内人士会认为，单台英伟达 DGX™ Spark 硬件无法承载 2840 亿参数大模型。但我们已在单台 DGX Spark 上成功部署 DeepSeek V4（284B）—— 以往业内大多依靠两台 DGX Spark 集群才能跑通该模型。

但问题是，你真的有必要这么部署吗？一个更务实的核心问题摆在面前：搭建大语言模型（LLM）业务，该选用哪一款推理引擎？

为此我们开展完整基准测试，基于真实业务负载，从生成质量、推理速度、并发承载能力、显存占用四大维度，横向对比 Ollama、vLLM、DwarfStar 三款推理引擎，产出量化实测数据。

Ollama /vLLM/ DwarfStar（DS4）核心定位区分

本次测试面向基于 Hermes 框架的 AI 智能体推理场景，选型建议聚焦单人通用研发场景。三款引擎适配三类完全不同的业务需求：

1.Ollama
绝大多数用户的通用首选。可加载超大参数量模型，原生串行处理单条请求，几乎兼容市面上所有主流大模型。短板是并发承载性能弱；但如果仅单人、单模型交互，该缺陷完全感知不到。

2.vLLM
面向规模化多租户业务设计。核心优势是高并发批处理，可同时调度海量请求，高负载下性能扩容优势极强。单人使用时优势不明显，且单台硬件无法加载参数量最大的一批模型；但面向多用户在线推理服务场景，是最优选择。

3.DwarfStar（DS4）
单模型专用定制引擎，专为 284B 超大模型打造，另外两款引擎均无法承载该规模模型，原生算力上限极高。但代价是高度专一，仅支持运行 DeepSeek V4 Flash 单一模型。

DGX Spark 上的 Ollama：单人研发场景主流推理引擎

针对单人开发者，Ollama 是默认最优选择。数分钟即可完成安装，兼容几乎全部大模型，能够加载本机硬件上限级别的超大模型，包括 vLLM 无法在单台硬件上部署的 122B 级旗舰模型。

1. Ollama 在 DGX Spark 硬件上的优势
   支持加载本机上限级大模型，本机最高可流畅运行 120B~122B 参数量模型；
   单流推理速度领先：Gemma-4-26B 实测约 64 词元 / 秒，vLLM 同模型仅 30 词元 / 秒；
   大模型单流可用速度稳定：122B 模型约 25 词元 / 秒，120B 模型约 20 词元 / 秒；
   零部署门槛，安装流程极简，任意权重文件均可直接加载运行；
   在全套测试样本中，输出内容质量与另外两款引擎持平。
2. Ollama 在 DGX Spark 硬件上的短板
   出厂默认配置仅支持串行单请求处理；
   调优方案（设置OLLAMA_NUM_PARALLEL=4 + 开启 8 比特 KV 缓存）可将整机总吞吐提升至约 122 词元 / 秒，但性能会触及天花板，无法继续扩容；
   单人使用不会同时发起十条并发请求，因此串行短板对绝大多数用户无感知；
   调优限制说明：NP=4 搭配 8 比特缓存提速仅适用于 MoE 混合专家架构 Transformer 模型；基于 Mamba 架构的模型（如 Nemotron）无法获得并发性能提升；参数量最大的一批模型会受显存约束，强制锁定 NP=1。

DGX Spark 上的 vLLM：多并发推理规模化场景专用引擎

vLLM 底层架构专为并发场景设计。单条请求速度表现普通，Gemma-4-26B 仅 30 词元 / 秒，但核心杀手锏是批量并行处理海量请求。

1. vLLM 在 DGX Spark 硬件上的优势
   整机并发吞吐业界顶尖：10 路以上并发请求时，总吞吐可突破 300 词元 / 秒；
   并行 AI 智能体、多用户在线推理服务场景首选；
   MoE 混合专家架构适配度极佳：Gemma-4-26B 在同等输出质量下，推理速度数倍于 70B 稠密模型。
2. vLLM 在 DGX Spark 硬件上的短板
   无法加载参数量最大的一类模型：完整分片 122B 模型会触发显存加载上限；仅极小分片模式可勉强运行 120B 级模型；
   仅串行发请求的单人场景，批处理优势无法发挥；
   部署复杂度高于 Ollama，需要适配 DGX Spark 专属启动参数（例如 NVFP4 精度模型必须指定 Marlin 矩阵计算后端）。

DS4（DwarfStar）：单台 DGX Spark 运行 284B 超大模型专用引擎

DS4 由 antirez 开发，是高度定制化推理引擎，唯一适配模型为 2840 亿参数 DeepSeek V4 Flash。源码编译耗时不足一分钟；量化后的 DeepSeek V4 Flash 权重约 87GB，可近乎填满本机 119GB 显存（剩余少量预留空间）。

1. DS4 在 DGX Spark 硬件上的优势
   全套测试样本输出质量全场最优，在 15 项质量评测中拿到满分；
   源码编译部署仅需不到一分钟；
   解码速度约 15 词元 / 秒，满足单人交互使用需求。
2. DS4 在 DGX Spark 硬件上的短板
   模型兼容性为 0，仅能运行 DeepSeek V4 Flash；
   无批量并发能力，仅支持单人串行交互；
   受整机内存限制，上下文窗口上限仅 32K；模型运行会占用几乎全部系统内存。

该引擎并非日常通用工具，但它证明了这台硬件的算力上限远超行业固有认知：依托 MoE 混合专家架构、单次推理仅激活少量参数的特性，单台设备可承载超大规模参数量模型。

避免 DGX Spark 整机无响应的运维方案

大量 DGX Spark 使用者都会遇到同一故障：加载超出显存容量的模型时，设备直接崩溃、整机失去响应，只能通过强制断电硬重启恢复。

DGX Spark 的统一内存需要预留空间供操作系统、后台服务运行。我们部署内存监控守护进程，在触及内存阈值前主动干预；同时为每个容器设置硬性内存上限，触发内存溢出时内核直接终止异常进程，而非整机宕机。

AI 智能体调度框架下的模型选型指南

如果你正在为 AI 智能体开发选型，需要兼顾工具调用、长上下文、推理速度，以下是实测筛选后的推荐清单；我们判定 30 词元 / 秒是 LLM 业务流畅运行的基准速度。

硬件选型核心逻辑（DGX Spark）
模型参数量与推理速度、内存占用呈取舍关系；MoE 混合专家架构最适配英伟达 DGX Spark 硬件架构。

超大模型（70B~284B）：推理能力最强，但速度最慢（6~25 词元 / 秒），显存占用极高；
中型 MoE 模型（26B~34B）：综合最优平衡点，速度可观（30~75 词元 / 秒）、推理能力充足、内存预留空间充足；
小型模型（≤13B）：推理速度最快（80 词元 / 秒以上），但逻辑与专业能力存在明显短板。

推荐选用模型
Qwen3.5-122B（MoE 混合专家）：综合质量顶尖，Ollama 可流畅加载，支持 64K 上下文与工具调用，通用场景旗舰首选；
Gemma-4-26B（MoE 混合专家）：推理速度快、能力均衡、工具调用稳定，硬件资源利用率最优；
Qwen3-Coder-80B（MoE 混合专家）：代码生成、高频工具调用场景表现突出；
Nemotron-120B（Mamba-MoE 混合架构）：15 项质量评测满分，搭配 qwen3_coder 解析器可完美支持工具调用；vLLM 下并发表现优秀，依托 MTP 前瞻解码，单流速度约 26 词元 / 秒，调试完成后综合实力极强。

谨慎选用 / 不推荐模型
DeepSeek V4 Flash（DS4 专属）：推理能力最强，但 DGX Spark 整机内存不足以支撑智能体框架所需 64K 上下文窗口，且仅能使用 DS4 单一引擎；
DiffusionGemma：输出长度固定 256 词元，数学、逻辑、知识问答能力显著偏弱，仅适合演示，无法作为智能体后端；
Llama-3.3-70B：输出质量优秀，但速度慢、整机功耗发热高；Llama-3.1-8B：速度快，但工具调用能力薄弱。

选型核心规律
适配智能体业务的最优解为支持工具调用、长上下文窗口的 MoE 混合专家模型，绝大多数用户可选择 Ollama 搭配 Qwen3.5-122B 或 Gemma-4-26B。补充速度逻辑：推理速度由单次激活参数规模决定；稠密 70B 模型需激活全部参数，速度仅约 6 词元 / 秒；120B 级 MoE 模型单次仅激活少量参数，速度可达 20~26 词元 / 秒。

Gemma-4 26B 三款引擎横向对照表

常见问答 FAQ

单台英伟达 DGX Spark 最大可运行多大参数量模型？

Ollama 环境下可稳定流畅运行 120B~122B 模型；借助 DS4 引擎可加载 284B DeepSeek V4 Flash。真正的硬件瓶颈是统一内存容量与模型权重分片方式，而非硬件原始算力。

DGX Spark 该选 vLLM 还是 Ollama？

单人通用研发选 Ollama：支持更大模型、单请求速度更快、兼容全部权重；并行智能体、多用户在线推理选 vLLM：批处理机制让整机总吞吐突破 300 词元 / 秒。

DGX Spark 推理速度能达到多少词元每秒？

速度由模型单次激活参数量决定，整机性能瓶颈为显存带宽：26B MoE 模型 30~64 词元 / 秒；120B 级 MoE 模型 15~26 词元 / 秒；稠密 70B 模型仅 6 词元 / 秒。单次推理激活参数越少，速度越快。

如何防止 DGX Spark 整机崩溃宕机？

系统预留内存给操作系统后台进程，部署内存监控守护程序，进程触碰内存阈值即主动终止，避免内存溢出导致整机卡死，无需强制断电重启。

为什么小参数量模型有时速度反超大模型？

DGX Spark 整机性能瓶颈为显存带宽。MoE 混合专家模型单次推理仅激活数百亿参数（如 Gemma-4-26B-A4B），远快于需要激活全部参数的稠密 70B 模型。模型总参数量的影响，远不及单次激活参数规模。

总结：不同场景下引擎与模型选型建议

经过完整实测，选型逻辑十分清晰：

绝大多数单人通用研发：选用 Ollama 搭配 MoE 混合专家模型。追求极致输出质量选 Qwen3.5-122B；追求高速推理选 Gemma-4-26B。可加载超大模型、单请求速度领先，并发短板对单人无影响。
运行并行智能体、搭建多用户推理服务：选用 vLLM。批处理并发能力可将单台 DGX Spark 改造为小型推理服务器，适配中小团队业务。
需要单设备承载行业顶级超大参数量模型、且仅固定使用一款模型：选用 DS4。单人桌面即可部署 284B 旗舰模型。

本次测试的核心结论，也是理解这台硬件的关键：在 DGX Spark 平台，内存是一切性能的核心约束，核心取决于两点：推理引擎的内存调度机制、模型单次推理激活的参数量规模。

若您有意采购单台或多台 DGX Spark 等英伟达硬件，可联系联泰集群销售工程师咨询方案。联泰集群为英伟达官方解决方案合作伙伴，可提供多机集群配套交换机、网络一体化配置，匹配各类部署架构，欢迎随时咨询！