2026 年 7 月，PrismML 发布了 Bonsai 系列的最新成员——Bonsai 27B。这是一款基于 Qwen3.6 27B 的多模态大模型，提供三元（Ternary）和 1-bit 两个低比特版本。其中 1-bit 版本体积仅 3.9 GB，首次让 27B 级别的模型在 iPhone 17 Pro 上本地运行成为可能。

这不是又一个”4-bit 量化版”的故事，而是把比特数压到极限后，仍然能保留 90% 全精度能力的工程突破。本文从背景、量化策略、架构、性能到端侧落地，逐层拆解 Bonsai 27B 的实现路径。

一、为什么 27B 一直跑不到手机上？

在聊 Bonsai 27B 之前，先看看它要解决的问题有多棘手。

一个标准的 27B 参数模型在 FP16 精度下占用约 54 GB 显存。即便采用当前主流的 INT4 量化，体积仍会降到 18 GB 左右——对手机（典型可用内存预算 4–8 GB）来说是天堑，对多数轻薄本也不算友好。

更关键的是，过去两三年端侧大模型的主流做法是”剪枝 + INT4 + KV 缓存优化”组合拳。这些方法把 7B–8B 模型压到 4–5 GB 已经接近极限，但要触及 27B 这一档，几乎不可能。

Bonsai 的思路不同：直接把权重压到 1.125 有效比特/权重（1-bit）或 1.71 有效比特/权重（三元），同时让低比特表示贯穿整个网络——语言层、嵌入、注意力、MLP、语言模型头，端到端没有”高精度逃生通道”。

二、量化策略：三元与 1-bit 的工程权衡

2.1 三元（Ternary）版本

权重取值为 {-1, 0, +1}，配合 FP16 分组缩放（group-wise scaling），实现 1.71 有效比特/权重。整个模型约 5.9 GB，定位是”质量优先”：可在日常笔记本上跑完完整的推理、工具调用与智能体循环。

2.2 1-bit 版本

权重进一步压缩到 {-1, +1}，同样配合 FP16 分组缩放，1.125 有效比特/权重，体积仅 3.9 GB。这是首次让 27B 模型在 iPhone 17 Pro 的内存预算内运行，留出 1 GB 左右的运行空间。

两者都保留了完整的 262K token 上下文窗口，并支持推测解码（speculative decoding）以进一步加速推理。

2.3 多模态：视觉塔用紧凑 4-bit

值得强调的是，两个低比特版本都是多模态模型。视觉塔以 4-bit 形式提供，输入端不仅能处理文本，还能吃下截图、文档、摄像头图像。这让端侧 Agent 工作流第一次具备了真正的视觉理解能力。

三、架构与端到端低比特内核

低比特模型最大的难点不是”压缩权重”，而是让低比特算子在主流硬件上跑得快。

Bonsai 团队针对混合注意力架构构建了定制低位内核：

• • MLX 后端：在 Apple Silicon（Mac、iPhone、iPad）上原生运行，Metal 后端优化到位
• • CUDA 后端：在 NVIDIA GPU（特别是 RTX 5090）上提供低位算子实现
• • 注意力机制、MLP 等算子都重写过，去掉了对高精度中间结果的依赖

这是为什么 1-bit 模型仍然能在 iPhone 17 Pro 上跑到对话级延迟——如果直接拿通用的 INT8/INT4 kernel 跑 1-bit 权重，要么需要解包成更高精度（白白损失体积优势），要么算子本身就要重写。

四、性能数据：90% 的能力如何保留？

4.1 基准测试结果

在 15 项公开基准测试上：

• • 三元 Bonsai 27B 保留全精度基线 95% 的能力
• • 1-bit Bonsai 27B 保留 90%

特别值得注意的是数学与编码这两类对数值精度最敏感的子任务——1-bit 版本几乎无损。这意味着量化并不是简单地把”无关紧要的精度”砍掉，而是对模型有用的信号做了高效保留。

4.2 智能密度：每 GB 算多少能力？

PrismML 引入了一个“智能密度（intelligence per GB）”指标，定义为「基准得分 / 模型体积（GB）」。这个数字可以直接横向对比不同模型：

• • 1-bit Bonsai 27B：0.53 / GB
• • 全精度基线：约 0.05 / GB
• • 现有最佳低位替代方案：约 0.20 / GB

也就是说，1-bit Bonsai 27B 的智能密度是全精度基线的 10 倍以上，是当前最佳低位方案的 2.7 倍。这个数字才是 Bonsai 真正的杀手锏——不是”在手机上跑起来”，而是”在同等体积下提供数倍能力”。

4.3 推理速度

• • NVIDIA RTX 5090：1-bit 模式 163 tok/s，三元模式 134 tok/s
• • Apple M5 Max：1-bit 模式 87 tok/s，三元模式 58 tok/s

1-bit 模式比三元更快，主要原因是位宽更窄时低位内核的访存与算力利用率更高。手机场景下，1-bit 版本自然也是首选。

五、端侧部署实践

5.1 能力维度

Bonsai 27B 不只是”在手机上跑文本问答”，它同时支持：

• • 多步推理：链式思考、反思、规划
• • 结构化工具调用：按 JSON Schema 输出可执行参数
• • 视觉任务：截图理解、文档解析、摄像头输入
• • 计算机使用 Agent 循环：跨多步保持状态一致性

这一组合让”本地 Agent”第一次有了现实基础——以前只能在云端跑的复杂工作流，现在能在 iPhone 上离线完成。

5.2 落地路径

对开发者来说，部署路径有两条：

1. 1. 直接集成：MLX（Apple）或 CUDA（NVIDIA）后端 + 现成 demo（GitHub: PrismML-Eng/Bonsai-demo）
2. 2. API 试用：PrismML 提供限时免费的开发者预览 API，方便在落地前先做能力评估

许可证采用 Apache 2.0，可以商用、可二次分发、可微调——对工程团队非常友好。

5.3 注意事项

• • iOS 内存压力：3.9 GB 仅是权重占用，加上 KV cache 与运行期内存，4 GB 内存预算的设备仍可能触发 OOM。建议优先在 iPhone 17 Pro（12 GB 内存）或更新设备上验证。
• • 预热与缓存：首次加载会有数秒的解压与分片 IO 时间，建议在 App 启动早期做预热。
• • 多模态场景：视觉塔是 4-bit，加上视觉 token 的 KV cache，峰值内存可能逼近 6–7 GB，需要做流量控制。

六、行业意义：端侧大模型的”DeepSeek 时刻”

国内媒体把 Bonsai 27B 的发布称为“手机 AI 的 DeepSeek 时刻”——这个比喻很贴切：

• • DeepSeek 让顶级推理能力不再被算力垄断，证明了”高效架构 + 充足数据”可以挑战 Scaling Law 的边际收益
• • Bonsai 27B 让顶级能力不再被云端垄断，证明了”极致低比特 + 定制内核”可以把数十 GB 的模型压到消费级设备

两者的共同点：用工程效率而非算力堆叠，重塑了 AI 能力的可获得性。

短期看，1-bit / 三元量化会率先影响三类场景：

1. 1. 端侧 Agent：手机 / 耳机 / 车机上的长期运行的智能体，对延迟与离线能力要求高
2. 2. 隐私敏感行业：医疗、法律、金融的本地推理部署
3. 3. 低成本地区市场：在不依赖云端算力的前提下提供高质量 AI 服务

长期看，”每 GB 智能密度”这个指标会被反复引用——它把”模型能力”的衡量从”参数量 + 基准分”扩展到了”能力 / 体积”。后续无论是更大的模型（30B+）还是新架构（MoE、Hybrid Attention），都会被放到同一坐标轴上对比。

七、结语

Bonsai 27B 的发布，验证了一件过去看似不可能的事：27B 级别的多模态大模型，可以跑在 3.9 GB 内存里，仍然保留 90% 的能力。

它不是靠某一招神奇 trick 实现的，而是把以下几件事做到了极致：

• • 端到端低比特表示（不留下”高精度逃生通道”）
• • FP16 分组缩放保留数值精度
• • 定制低位内核（MLX + CUDA）
• • 多模态视觉塔的紧凑设计
• • 推测解码无损加速

对开发者来说，这意味着本地 Agent、离线 AI 助手、设备端隐私计算等过去”理论上可行、工程上不可行”的项目，终于有了可落地的基线模型。

下一步值得关注的是：Bonsai 团队已经暗示”更大的模型和新的架构已经在推进中”。可以预见，当 30B+ 也压到 5 GB 以内时，端侧 AI 的能力边界会再次被刷新。