NVIDIA Nemotron 3.5 Bolt E4B 4GB 本地小模型

2026 年 10 月 23 日发布的开源小模型：目标是让 4GB 显存级别也能跑会话型智能体，官方称平均质量比上一代高约 40%、输出 token 比同类最多少约 80%

官方来源

本页整理自 NVIDIA 官方技术报告，基准成绩为厂商自测数据。

功能特点

✓ 基于 Gemma 4 E4B 做 Nemotron 后训练，官方称在关键会话智能体基准上平均质量比上一代 Nemotron 3 Nano 4B 高约 40%
✓ 在目标工作负载里只需约 4GB 内存即可运行，给语音、视觉等相邻模型留下显存余量
✓ 64k 上下文，支持 35 种语言，底座模型预训练覆盖 140 多种语言
✓ 三个开关最实用：多轮工具调用、会话模式（输出更短更适合朗读）、可配置推理（要快要准自己权衡）
✓ 可跑在 GeForce RTX、Jetson、RTX Spark 与 DGX Spark 上，官方演示是 Jetson Orin Nano 8GB 驱动的 Reachy Mini 机器人

使用步骤

先去 Hugging Face 拉 nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB 权重，确认你的硬件属于 RTX、Jetson 或 Spark 系列
按目标场景选模式：设备助手与陪聊打开会话模式，要走流程干活就打开多轮工具调用
给推理强度设上限，实时语音场景必须限制思考长度，否则首字延迟会毁掉对话感
接自己一套评测集复测，官方基准只能当参考，你的业务数据才是验收标准

常见问题

Nemotron 3.5 Bolt E4B 4GB 是什么？

NVIDIA 于 2026 年 10 月 23 日发布的开源小语言模型（技术报告：https://research.nvidia.com/labs/nemotron/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB ）。官方定位是在会话型智能体上按「每 GB 内存的智能与速度」优化，用来驱动语音与设备助手、互动角色，以及机器人与 IoT 界面。

4GB 是什么概念？真的能跑吗？

官方原话是 designed to pack conversational agent intelligence into as little as ~4GB in its target workloads，也就是在目标工作负载下约 4GB 即可，并特意为「同一条流水线里的其他应用或模型」留出余量。它不是把整机内存压到 4GB，而是指模型本身的占用能让出空间给语音识别、视觉理解这些相邻环节。

跟上一代和同类小模型比强在哪？

技术报告给出的对照是：Brevity Bench 82.5（Nemotron 3 Nano 4B 73.6、Qwen 3.5 4B 75.3、Gemma 4 E4B 80.0），MultiChallenge 53.1（对比 35.3、51.8、42.1），RoleBench 67.0（对比 12.0、53.7、49.9），RoleMRC 80.6。官方还称输出 token 比同类最多少约 80%。这些数字都是厂商自测，建议用自己的对话数据复验。

上下文和语言支持多少？

官方写的是 64k 上下文——用来塞对话历史、指令、工具定义、检索结果和应用状态；语言上支持 35 种，底座模型预训练覆盖 140 多种语言。对本地设备助手来说，64k 通常够用，但要注意上下文越长首字延迟越高。

适合哪些产品，不适合哪些？

官方点名的三类是设备与语音助手、虚拟与互动角色（游戏 NPC、陪伴角色）、嵌入与工业智能体（机器人、重型机械人机界面、工业 IoT）。反过来说，它被定位成快速会话型模型，需要长时间深度推理的复杂任务不该指望它；同一个指标下官方也把云端大模型（如 Gemini 3.8 Flash、Claude Sonnet 5.5）列为参考对照。