Jan：本地运行大模型的桌面应用

Jan 是一款开源桌面应用，让用户在本地运行大语言模型。项目在 GitHub 上拿到了 42,980 个 Star。

很多人想在本地跑大模型，但配置环境门槛不低。Jan 把这件事做成了桌面应用的体验，下载安装后打开就能用，不需要手动折腾 CUDA 版本和 Python 环境。

Jan 支持从 HuggingFace 下载多种开源模型，包括 Llama、Gemma、Qwen 等系列。也可以接入 OpenAI、Anthropic、Mistral、Groq 等云端 API，在同一个界面里切换使用。

主要功能

• 本地模型运行：模型在本机推理，对话数据不经过外部服务器
• 云端模型接入：支持 GPT、Claude、Mistral、Groq 等多种服务
• 自定义助手：可以针对不同任务创建专用的 AI 助手
• OpenAI 兼容 API：本地启动 localhost:1337 服务，其他应用可以直接调用
• MCP 协议支持：提供 Agent 能力的扩展接口
• 隐私优先：用户可以选择完全本地运行，所有数据留在自己设备上

系统要求

macOS 13.6 及以上，8GB 内存可跑 3B 参数的模型，16GB 跑 7B，32GB 跑 13B。Windows 10 及以上，支持 NVIDIA、AMD、Intel Arc 显卡加速。Linux 主流发行版均可运行，同样支持 GPU 加速。

安装方式

Windows、macOS、Linux 都有对应的安装包，也可以通过 Microsoft Store 和 Flathub 安装。从官网或 Releases 页面下载即可。

从源码构建需要 Node.js 20.0.0 以上、Yarn 4.5.3 以上和 Rust 环境。克隆仓库后执行 make dev 一条命令就能完成依赖安装、组件构建和应用启动。make build 用于生产构建，make test 跑测试和 lint。

Jan 基于 Tauri 框架开发，底层推理引擎使用 Llama.cpp，项目采用 Apache 2.0 协议开源。

Llama.cpp，项目采用 Apache 2.0 协议开源。