← 全部论文 / 2025

BitNet b1.58 2B4T Technical Report

2025 高效推理与边缘部署
下载 PDF

BitNet b1.58 2B4T Technical Report - Chinese Validation Stub

Status: translated (GLM-assisted validation copy).

Canonical English card: bitnet_b1_58_2025.md

Rules:

  • This file is a GLM-assisted validation copy.
  • Do not add claims that are absent from the English card.
  • Record any translation dispute here and resolve it in English first.
  • 技术术语保留英文：BitNet b1.58, ternary, 1.58-bit, INT2, W1.58A8, absmean quantization, absmax quantization, BitLinear, subln, ReLU², RoPE, byte-level BPE, BF16, FP16, INT8, INT4, cuBLAS, CUDA kernel, HBM, SRAM, SFT, DPO, PPO, GRPO, Liger Kernel, GGUF, bitnet.cpp, GPTQ, AWQ, NPU。

Metadata（元数据）

Compute Setup（计算设置）

BitNet b1.58 2B4T 报告未说明预训练集群、加速器型号、加速器数量、内存大小或互联方式。按照项目规则，训练硬件根据 2025 年 4 月报告约一年前的 frontier 加速器配置推断：H100/H200 级 GPU 集群或同等的 TPU v5p/v6e 系统（来自本地加速器年代图谱）。这仅是对研究时期训练范式的推断。论文本身声明该模型从零开始训练，参数规模为 2B，训练数据为 4T token，训练时使用 bf16 master weight，推理时使用 packed 1.58-bit weight。

推理设置则明确得多。发布的制品包括：packed 1.58-bit 模型、bf16 master-weight 模型、用于 bitnet.cpp 的 GGUF 模型，以及开源的 GPU 与 CPU 推理实现。GPU serving 方面，论文描述了用于 W1.58A8 矩阵乘法的自定义 CUDA kernel。CPU 解码测量方面，论文报告使用 Surface Laptop Studio 2，搭载第 13 代 Intel Core i7-13800H 处理器，使用 8 个 CPU 线程，生成 128 个 token，测量每个输出 token 的平均耗时。

Bottleneck（瓶颈）

瓶颈在于小模型部署时的内存、带宽、能耗和延迟。引言指出，现代开源 LLM 需要较大的内存占用、可观的能耗和较高的推理延迟，使其难以用于边缘设备、资源受限环境和实时应用。标准的训练后量化（post-training quantization）有助于减少内存，但可能损害质量；早期的原生 1-bit 模型规模较小，竞争力不足。

硬件瓶颈在软件层面同样可见。消费级 GPU 及 cuBLAS、PyTorch kernel 等库针对 FP16、BF16、INT8、INT4 进行了优化，而非此处使用的 W1.58A8 路径。没有自定义 kernel，1-bit 模型无法自动实现其理论上的带宽和能耗优势。在 CPU 上，通用量化库同样会留下开销，因此论文发布 bitnet.cpp 作为参考实现。

Method Adaptation（方法适配）

BitNet 通过用 BitLinear 层替换标准线性层，将 Transformer 适配为低比特执行。在前向传播过程中，权重使用 absmean quantization 量化为 ternary 值 {-1, 0, +1}，即每权重 1.58 比特。激活值按 token 使用 absmax quantization 量化为 8 位整数。技术价值在于量化成为学习表示的一部分，而非有损的事后近似。模型同时使用 subln 归一化、ReLU² 前馈层、RoPE，并且不含偏置项。分词使用 LLaMA 3 的 byte-level BPE 词汇表。

训练配方针对原生 1-bit 稳定性进行了调优。预训练使用较高的初始余弦调度（cosine schedule），依据是论文观察到 1-bit 模型能够容忍激进的训练步长，随后是带有较低峰值学习率和更高质量数据的 abrupt cooldown。weight decay 在第一阶段峰值为 0.1，在第二阶段降至零。SFT 使用求和而非平均的 token loss，学习率高于典型全精度微调，且 epoch 数更多。DPO 运行 2 个 epoch，学习率为 2e-7，beta 为 0.1，并使用 Liger Kernel 优化。

推理 kernel 匹配内存层次。四个 ternary weight 被打包为一个 int8 值存储在 HBM 中。CUDA kernel 将 packed int8 weight 加载到 SRAM，在矩阵乘法前立即解包，并与 int8 激活值进行矩阵乘法，采用 pack-store-load-unpack-compute 路径以降低内存带宽。

Evidence（证据）

表 1 给出了主要的效率证据。BitNet b1.58 2B 的非嵌入内存占用为 0.4 GB，而 LLaMA 3.2 1B 为 2.0 GB，Gemma 3 1B 为 1.4 GB，Qwen2.5 1.5B 为 2.6 GB，SmolLM2 1.7B 为 3.2 GB，MiniCPM 2B 为 4.8 GB。CPU 解码延迟为每输出 token 29 ms，Gemma 3 1B 为 41 ms，Qwen2.5 1.5B 为 65 ms，SmolLM2 为 67 ms，MiniCPM 为 124 ms。估计解码能耗为 0.028 J，远低于所列的全精度基线。平均基准得分为 54.19，接近 Qwen2.5 1.5B 的 55.23，高于其他列出的基线模型。

与训练后量化（PTQ）的对比尤为重要，因为它区分了原生低比特训练与事后压缩全精度模型。与 Qwen2.5 1.5B 对比，BitNet 使用 0.4 GB，而 GPTQ/AWQ int4 为 0.7 GB，bf16 为 2.6 GB。在选定的 MMLU/GSM8K/IFEval 平均分上，BitNet 得分 55.01，高于 GPTQ int4 的 52.15 和 AWQ int4 的 51.17，接近 bf16 Qwen2.5 的 55.72。表 3 还显示 BitNet 领先于其他开源 1-bit 模型，在所列基准上的平均分为 60.68，而 Bonsai 为 41.06，OLMo-Bitnet 为 32.22，Falcon3-1.58bit 为 50.76，Llama3-8B-1.58 为 49.75。

Historical Effect（历史影响）

BitNet b1.58 2B4T 具有历史意义，因为它将极端量化作为原生训练架构而非部署补丁。早期的效率推理工作通常在训练后压缩全精度模型；本报告论证了在 4T token 上训练的 2B 原生 1-bit 模型可以接近小模型性能前沿。该方法的技术价值在于证明了 ternary-weight 网络在大规模训练时能够保留广泛的语言、数学、代码和指令能力。

该卡片归属于高效推理与边缘部署范式，但也揭示了一个硬件协同设计问题。该模型的算术在原理上简单且对带宽友好，然而现有 GPU 需要自定义打包与解包 kernel，CPU 则需要 bitnet.cpp。因此该方法将瓶颈从参数存储转移到通用处理器和库能否高效执行低比特矩阵乘法。

Limits（局限）

原始文献未提供训练硬件、训练墙钟时间、能耗、优化器内存和分布式系统细节，因此预训练成本无法独立重建。能耗数据是基于序列长度 512 的算术操作模型估算，而非直接的系统功率测量。CPU 延迟仅在一台 Intel 笔记本电脑配置上测量，使用 8 个线程和 128 个生成 token，不应泛化到所有边缘设备。

论文也明确指出了尚未完成的能力建设方向。未使用 PPO 或 GRPO；仅依赖预训练、SFT 和 DPO。未来方向包括更大的 7B 和 13B 模型、更好的 GPU/CPU/NPU kernel、针对 1-bit 数据移动设计的硬件加速器、更长的序列长度、多语言训练、多模态集成以及更深入的理论理解。论文还指出当前消费级 GPU 架构并非为 1-bit 模型优化设计，这限制了实际收益。

Links（链接）