🚨 内存危机刚刚结束,而一种算法把它终结了
2025年10月,OpenAI飞往Seoul。
他们与Samsung和SK Hynix签署了协议。
用于900,000片内存晶圆。每月。
这占全球DRAM供应的40%。
只为一家公司保留。
DDR5 RAM kits从$120 到$490 几乎一夜之间就变了。
笔记本电脑变得更贵了。
手机出货时配的内存更少。
PC组装商支付的价格是前一年的4倍。
分析师称这20年来是最严重的内存危机。
随后Google发布了一篇研究论文。
这就是为什么这很重要。
你使用的每个AI聊天机器人都有一个“工作记忆”。
它叫KV cache。
当你在对话时,这就是模型如何记住你的内容。
它以16-bit精度存储。
就像把每个词都用巨大的粗体字来写。
它很准确,但也非常庞大。
随着AI上下文窗口扩展到100万tokens,这段记忆也迅速膨胀。
数据中心为了跟上需求,开始囤积RAM。
Google的团队提出了一个不同的问题。
它真的需要那么大吗?
答案是否定的。
他们开发了TurboQuant。
他们使用极坐标数学和Johnson-Lindenstrauss transform,把这段记忆从16位压缩到3位。
无需重新训练。
零精度损失。
内存减少6倍。
查看原文