三星 LittleBit 刷屏「13B 模型压进 1GB」：方法是真的，但它是一年前的论文代码，0.1 比特时困惑度从 5.47 涨到 15.92，还不能拿来在本地跑

这件事意味着什么

【要点】

10 月 8 日起，X 上一条「三星开源方法，把 13B 大模型压到 1GB 以内」的帖子获得约 4300 赞、近 20 万浏览，两天内相关讨论约 575 帖，至今每小时仍有十几帖，不少转发写着「本地 AI 要变天了」。

这项技术来自三星研究院的 LittleBit：先把每个权重矩阵做低秩分解，再把分解出的因子二值化成 ±1，用行、列和每个秩方向上的缩放系数补回精度，从而做到每个权重平均 1 比特以下，最低 0.1 比特。按论文数字，Llama2-13B 可压到 0.9GB 以下。

【可核验】

代码仓库：https://github.com/SamsungLabs/LittleBit

论文：https://arxiv.org/abs/2506.13771（NeurIPS 2025），后续 LittleBit-2：https://arxiv.org/abs/2603.00042（ICML 2026）

仓库 2025 年 11 月建立，5 月加入 LittleBit-2，10 月 9 日只修了一个解包函数的 bug。许可证是 CC BY-NC 4.0，不允许商用。

论文表 1：Llama2-7B 原版困惑度 5.47（越低越好），压到 1 比特是 9.08，压到 0.1 比特是 15.92。

【我们的判断】

1. 这不是新发布，而是一篇旧论文借着本地模型热潮重新走红。真正的进展在学术层面：此前的方法在 0.5 比特以下基本崩掉，LittleBit 证明「先分解再二值化」能把可用区间推到 0.1 比特。

2.「13B 进 1GB」和「13B 的能力进 1GB」是两回事。困惑度从 5.47 涨到 15.92，意味着压完的模型明显变笨，适合拿来研究压缩极限，不适合替代你现在用的 4 比特本地模型。

3. 离「在手机上跑」还差一整条工程链：它要做量化感知训练（重新训练 5 个轮次），仓库没有 llama.cpp、MLX 或 Ollama 的导出，论文里的 11.6 倍加速也只是算子层面的理论值。加上不可商用的许可证，短期内能用上的主要是研究者。值得盯的是之后有没有人把它做进主流推理框架。