本文介绍了Qwen3.6-35B-A3B Uncensored越狱版模型，一款在中文能力、推理能力、多模态支持、本地单卡运行（甚至6G显存）方面表现出色的开源AI模型。文章详细介绍了该模型的下载、部署过程，并展示了其在代码生成、视觉理解和Agent支持等方面的强大能力。与官方版本相比，该越狱版移除了大量限制，更适合本地研究和AI能力探索。文章强调了本地AI部署的优势，并建议读者尝试搭建本地AI助手、AI Agent等应用。

---

AI大模型、本地部署、Qwen3.6-35B-A3B、无审查模型、GGUF模型、llama.cpp、Windows部署教程、本地Agent、多模态模型、低显存AI、本地AI助手

最近测试了一圈本地大模型之后，我发现一个非常离谱的东西。

目前开源圈里，真正做到：

• 中文能力强
• 推理能力在线
• 支持视觉多模态
• 支持 Agent
• 能本地单卡运行
• 甚至 6G 显存都能启动
• 而且还是“无限制”版本

的模型，真的不多。

但这次的 Qwen3.6-35B-A3B Uncensored（越狱版），确实有点夸张了。

它不仅能正常写代码、做推理、看图片、长上下文，还能直接绕过官方版的大量限制。

更关键的是：

它不是那种“只会胡说八道”的低智商越狱模型。

实际测试下来，它的中文理解、代码能力、多模态视觉能力，都属于目前 40B 以内开源模型里的第一梯队。

而且：

• NVIDIA 显卡能跑
• AMD 显卡能跑
• Intel 显卡也支持
• 单卡即可部署
• 6G 显存也能启动

今天这篇文章，我就从 0 开始，带大家完整部署。

---

一、整合包下载地址

1、整合包下载

资源	地址
Qwen3.6-35B-A3B 越狱版整合包	https://dooo.fun/archives/3595

---

二、整合包内容说明

网盘里包含多个版本。

llama.cpp 运行环境

整合包内包含：

llama-b9381-bin-win-cuda-13.3-x64.zip
llama-b9381-bin-win-cuda-12.4-x64.zip
llama-b9381-bin-win-cpu-arm64.zip
llama-b9381-bin-win-cpu-x64.zip

不同版本适合的环境如下 根据你的系统环境下载对应版本即可：

文件	适合环境
cuda-13.3-x64	RTX 30/40/50 系显卡，推荐最新 NVIDIA 驱动
cuda-12.4-x64	GTX 10/20 系、部分老驱动环境
cpu-arm64	ARM 架构 CPU，例如部分骁龙 Windows 设备
cpu-x64	普通 Intel/AMD CPU 纯CPU运行

---

三、模型文件说明

模型目录里包含多个量化版本：

mmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.gguf
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ2_M.gguf
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ4_NL.gguf
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_P.gguf

其中：

视觉模型（必须）

mmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.gguf

这个是多模态视觉模型。

如果你想：

• 图片分析
• 看截图
• 识别封面
• OCR
• 多模态问答

这个文件必须下载。

---

主模型选择(根据你的环境下载对应版本即可)

1、IQ2_M（最低配置）

IQ2_M

适合：

• 6G/8G 显存
• RTX 2060
• RTX 3060 Laptop
• 4060 Laptop 8G

优点：

• 显存占用最低
• 能跑起来

缺点：

• 精度略低

---

2、IQ4_NL（推荐）

IQ4_NL

适合：

• 12G~16G 显存

属于：

• 速度
• 精度
• 显存

三者平衡最好的版本。

---

3、Q4_K_M（稳定版）

Q4_K_M

适合：

• 16G~24G 显存

特点：

• 更稳定
• 推理能力更强

---

4、Q4_K_P（最强版）

Q4_K_P

适合：

• 24G 以上显存
• 3090 / 4090 / 5090

这是目前效果最好的版本之一。

---

四、开始部署

1、解压 llama.cpp

下载对应版本后解压。

例如：

llama-b9381-bin-win-cuda-13.3-x64.zip

解压后目录如下：

llama/

---

2、找到 models 文件夹

在根目录找到：

models

目录结构：

llama/
├─ models/

---

3、放入模型

把下载好的模型放进去(无需全部放入 只需要放你下载好的模型即可)。

例如：

models/
├─ mmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.gguf
├─ Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ2_M.gguf
├─ Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ4_NL.gguf
├─ Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf
├─ Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_P.gguf

---

六、启动模型

双击根目录下的：

run.bat

会看到：

输入对应数字即可。

例如：

4

代表：

IQ2_M

---

七、进入 Web UI

启动成功后：

打开浏览器访问：

http://127.0.0.1:8080/

即可进入聊天界面。

八、实际测试效果

1、4060 8G 实测

测试环境：

配置	参数
显卡	RTX 4060 Laptop 8G
模型	IQ2_M
输出速度	10 tokens/s 左右

对于 35B 模型来说：

这个速度已经非常离谱了。

---

九、代码能力测试

我直接让它生成一个：

UI精美的飞机大战游戏

结果：

• 一次生成成功
• 自带音效
• 支持 Boss
• 可以正常运行
• 无明显逻辑错误

这个代码能力已经非常强了。

---

十、多模态视觉测试

我上传了1张坤图

让它分析：

说明它的视觉理解能力确实在线。

---

十一、Agent 支持

这个模型还能直接接入：

• Hermes
• OpenWebUI
• Cherry Studio
• AnythingLLM
• LangChain
• Cherry Studio

因为它本身支持 OpenAI API 格式。

API 地址：

http://127.0.0.1:8080

API Key：

随便填即可。

---

十二、和官方版区别

实际测试里：

同样的问题：

写一个ddos代码

官方原版：

• 会拒绝回答

而这个越狱版：

• 会直接输出代码

说明它确实移除了大量限制。

不过这里还是提醒一下：

仅建议用于：

• 本地研究
• 安全测试
• AI能力研究

不要用于非法用途。

---

十三、为什么这个模型会火

核心原因就一句话：

真正实现了“本地 AI 自由”。

你不再依赖：

• 在线接口
• API限制
• 审核
• 内容过滤
• 云端封号

所有内容：

• 本地运行
• 本地推理
• 本地存储

这才是很多人真正想要的 AI。

---

十四、总结

目前来看：

Qwen3.6-35B-A3B Uncensored 确实属于：

当前最强的一批开源本地模型

它的优势非常明显：

• 中文能力强
• 推理能力强
• 多模态支持
• 本地部署简单
• 支持 Agent
• 支持低显存
• 支持 Windows
• 支持 NVIDIA/AMD/Intel

尤其是：

6G 显存也能跑 35B 模型

这一点确实非常夸张。

如果你最近想搭建：

• 本地AI助手
• AI Agent
• AI编程
• 本地多模态
• 本地自动化系统

这套方案非常值得测试。

01

什么是AI大模型应用开发工程师？

如果说AI大模型是蕴藏着巨大能量的“后台超级能力”，那么AI大模型应用开发工程师就是将这种能量转化为实用工具的执行者。

AI大模型应用开发工程师是基于AI大模型，设计开发落地业务的应用工程师。

这个职业的核心价值，在于打破技术与用户之间的壁垒，把普通人难以理解的算法逻辑、模型参数，转化为人人都能轻松操作的产品形态。

无论是日常写作时用到的AI文案生成器、修图软件里的智能美化功能，还是办公场景中的自动记账工具、会议记录用的语音转文字APP，这些看似简单的应用背后，都是应用开发工程师在默默搭建技术与需求之间的桥梁。

他们不追求创造全新的大模型，而是专注于让已有的大模型“听懂”业务需求，“学会”解决具体问题，最终形成可落地、可使用的产品。

CSDN粉丝独家福利

给大家整理了一份AI大模型全套学习资料，这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

02

AI大模型应用开发工程师的核心职责

需求分析与拆解是工作的起点，也是确保开发不偏离方向的关键。

应用开发工程师需要直接对接业务方，深入理解其核心诉求——不仅要明确“要做什么”，更要厘清“为什么要做”以及“做到什么程度算合格”。

在此基础上，他们会将模糊的业务需求拆解为具体的技术任务，明确每个环节的执行标准，并评估技术实现的可行性，同时定义清晰的核心指标，为后续开发、测试提供依据。

这一步就像建筑前的图纸设计，若出现偏差，后续所有工作都可能白费。

技术选型与适配是衔接需求与开发的核心环节。

工程师需要根据业务场景的特点，选择合适的基础大模型、开发框架和工具——不同的业务对模型的响应速度、精度、成本要求不同，选型的合理性直接影响最终产品的表现。

同时，他们还要对行业相关数据进行预处理，通过提示词工程优化模型输出，或在必要时进行轻量化微调，让基础模型更好地适配具体业务。

此外，设计合理的上下文管理规则确保模型理解连贯需求，建立敏感信息过滤机制保障数据安全，也是这一环节的重要内容。

应用开发与对接则是将方案转化为产品的实操阶段。

工程师会利用选定的开发框架构建应用的核心功能，同时联动各类外部系统——比如将AI模型与企业现有的客户管理系统、数据存储系统打通，确保数据流转顺畅。

在这一过程中，他们还需要配合设计团队打磨前端交互界面，让技术功能以简洁易懂的方式呈现给用户，实现从技术方案到产品形态的转化。

测试与优化是保障产品质量的关键步骤。

工程师会开展全面的功能测试，找出并修复开发过程中出现的漏洞，同时针对模型的响应速度、稳定性等性能指标进行优化。

安全合规性也是测试的重点，需要确保应用符合数据保护、隐私安全等相关规定。

此外，他们还会收集用户反馈，通过调整模型参数、优化提示词等方式持续提升产品体验，让应用更贴合用户实际使用需求。

部署运维与迭代则贯穿产品的整个生命周期。

工程师会通过云服务器或私有服务器将应用部署上线，并实时监控运行状态，及时处理突发故障，确保应用稳定运行。

随着业务需求的变化，他们还需要对应用功能进行迭代更新，同时编写完善的开发文档和使用手册，为后续的维护和交接提供支持。

03

薪资情况与职业价值

市场对这一职业的高度认可，直接体现在薪资待遇上。

据猎聘最新在招岗位数据显示，AI大模型应用开发工程师的月薪最高可达60k。

在AI技术加速落地的当下，这种“技术+业务”的复合型能力尤为稀缺，让该职业成为当下极具吸引力的就业选择。

AI大模型应用开发工程师是AI技术落地的关键桥梁。

他们用专业能力将抽象的技术转化为具体的产品，让大模型的价值真正渗透到各行各业。

随着AI场景化应用的不断深化，这一职业的重要性将更加凸显，也必将吸引更多人才投身其中，推动AI技术更好地服务于社会发展。

CSDN粉丝独家福利

给大家整理了一份AI大模型全套学习资料，这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】