本地LLM破甲大模型！Gemma-3-4b-it-abliterated 轻量级本地部署LMSTUDIO指南！

注意:本模型为abliterated为无限制版本，输出结果可能稍有不适请停止使用！！

本教程仅作为技术研究讨论，请勿将上述内容用于非法用途！！！

请遵守国家法律法规和公序良俗！！！

---

先容我简单介绍一下模型命名qwq

1. Q4表示INT4，Q8表示INT8 Q代表了位数，数字越大模型精度越高（需要资源就越多
2. K：整数部分位数
3. S/M/L 为简单，中等，复杂
4. 4b 8b 为参数数量
5. qwen2 llama gemma2 是模型架构
6. 下面是英文原图……

什么是 LMStudio？

LMStudio 是一个开源的桌面应用程序，旨在简化 LLM 模型的部署过程。 说白了就是白说了：

• 模型下载: 支持从 Hugging Face(有可能需要代理)等平台直接下载各种主流 LLM 模型。
• 易于使用的界面: 提供直观的界面，方便你选择模型、调整参数。(说白了集成了一个前端UI)
• 多种后端支持: 支持本地的 CPU 和 GPU 运行，甚至可以通过 Web UI 进行访问。(可能需要打开CORS)
• 在线模式和离线模式: 随时随地运行，没有网络连接也能正常工作。(哈哈，自带UI不支持联网搜索)

LMStudio 部署步骤

1. 下载 LMStudio: 前往 lmstudio 下载适合你操作系统的 LMStudio 安装包。
2. 安装软件: 按照提示进行安装，通常只需点击下一步即可。(默认即可，当然路径可改WWW)
3. 启动 LMStudio: 安装完成后，双击图标即可启动 LMStudio。
4. 选择模型:
   • 点击左侧的“Models”标签页。
   • 你会看到一个搜索框，输入你想要下载的模型名称 (如：Gemma，QWEN，Deepseek蒸馏模型等)。
   • 选择你的模型，点击“Download”按钮开始下载。 LMStudio 会自动下载模型及其依赖项。

注意事项

• 如需联网搜索需配合（例如:Chatbox）等软件进行。

• 外部导入模型存放处路径必须包含作者以及文件名称层级的文件夹（例如:G:\models\Alibaba-Qwen\Qwen2.5-7B-Instruct-abliterated-v2.Q4_K_S/模型文件)

• 远程访问可能需要打开在“网络中提供服务”以及“启动CORS”

如需图片识别功能请使用带”VL”标识的可启用视觉功能模型（可以上传图片ね~)

运行结果展示 速度可达 72.16 tok/sec ！轻量化日常对话可胜任

可接入VPET虚拟桌宠（教程已经发布接入桌宠对话互动）

也可以接入AI视频字幕（ Video Captioner ）

哈哈，第一次写文字教程，一直写到凌晨两点。还有不足多多谅解QWQ…

下篇接入VPET:

下篇 本地LLM破甲大模型！接入桌宠（VPET）对话互动！（第二弹）

安卓本地大模型可以用MNN：

【安卓/AI】手机本地AI大模型！！！Android MNN Chat V 0.7

---

软件下载：

---

---

模型下载：

---

---

---

游戏推荐

—花火轮盘赌PC/安卓（补档）— –奴隶少女希尔薇– –主播女孩重度依赖– –百货商场物语–

–吉里吉里– –安卓运行 JAVA 版 MC – 公园少女与格斗大叔

---

往期资源

–无广看番神器kazumi– MC光影 —PSP 模拟器— —自动签到— –下载器ADM– 迅雷12 去广不限速 舒爽版

–最强文件搜索– –网络 抓包– –画图生图！krita––3D 扫描建模– –AI字幕！ -安卓 RAR 高级版-

---

其他教程

—本地LLM破甲大模型！Gemma-3-4b-it-abliterated 轻量级本地部署LMSTUDIO指南！—

—–本地LLM破甲大模型！接入桌宠（VPET）对话互动！（第二弹）—–

【安装教程篇 | 带图文】 解决Windows安装软件 无法验证此应用包的发布者证书。(0x800B010A)