Evergreen 工具站
|
← 返回AI工具

Jan 本地离线AI助手

一个开源的 ChatGPT 替代品，官方定位是 100% 离线跑在你自己的电脑上：底层用 llama.cpp 在本机做推理，数据不出本机；需要时也能接云端模型，还能起一个 OpenAI 兼容的本地接口，让别的软件复用你本地的模型

工具界面

交互式工具即将上线

功能特点

  • ✓ 100% 离线运行：官方称其为开源的 ChatGPT 替代方案，聊天与推理都在本机完成，断网也能用
  • ✓ 底层基于 llama.cpp，可在普通电脑上跑量化的开源模型，不强制要求独立显卡
  • ✓ 本地文档问答（LocalDocs）：把资料喂给助手后基于你自己的文件提问，内容留在本机
  • ✓ 支持自定义助手：给不同任务配不同的系统提示词，做成各自的专用助手
  • ✓ 可连接云端模型（如 GPT、Claude 等 API）：本地与云端的模型在同一个界面里切换；同时提供 OpenAI 兼容的本地接口，方便其他工具接入

使用步骤

  1. 打开官方仓库 https://github.com/janhq/jan 或官网 https://jan.ai 下载对应系统的安装包（Windows、macOS、Linux）
  2. 首次启动后，在模型管理页挑选并下载一个合适的开源模型，等待下载完成
  3. 新建对话直接开聊；需要基于资料问答时，把文件加入 LocalDocs 后再提问
  4. 如需给其他软件调用，在本机开启 OpenAI 兼容接口，再把该地址填进第三方工具（如编辑器插件等）

常见问题

Jan 是什么？

Jan 是一个开源的 ChatGPT 替代品，官方仓库为 https://github.com/janhq/jan ，官方仓库描述是 runs 100% offline on your computer（在你的电脑上 100% 离线运行）。它用 llama.cpp 在本机做推理，聊天记录与文件都留在本地，适合对隐私敏感或想省下订阅费的场景。

它需要联网吗？

按官方说明，Jan 可以 100% 离线运行，模型下载完成后断网也能聊天。它也支持连接云端模型 API（如 GPT、Claude 等），那部分自然需要联网；也就是说联网与否取决于你用的是本地模型还是云端模型。

我的电脑能跑得动吗？

因为底层是 llama.cpp，它可以在没有独立显卡的普通电脑上运行量化后的模型，显存或内存越小就选参数更少、量化更狠的版本。具体选择取决于你的硬件与任务需求：优先试小模型，跑得顺再往上加。

能把公司资料喂给它问答吗？

Jan 提供本地文档问答功能（LocalDocs）：把文件加入后，助手会基于你自己的资料回答，且官方强调数据不外流。对保密要求高的团队，用它做内部知识问答是相对稳妥的路径。

能不能给别的软件当接口用？

可以。Jan 在本机提供 OpenAI 兼容的接口（默认地址通常是 http://localhost:1337 ），把该地址填进支持自定义 OpenAI 端点的第三方软件，就能让它们用上你本地的模型，省下 API 费用。