无 GPU 也能跑：在 13 年前的至强处理器上以每秒 5 个 Token 的速度运行 Gemma 2 26B
Hacker News 摘要原标题：Running Gemma 4 26B at 5 tokens/sec on a 13-year-old Xeon with no GPU
这篇文章介绍了一项技术实践：在没有任何显卡（GPU）的情况下，让一台拥有 13 年历史的老旧服务器以每秒 5 个 Token 的速度运行谷歌的 Gemma 4 26B 大模型。
硬件背景
作者在地下室运行着一台老旧的 HP StoreVirtual 存储服务器。这台机器生产于 2013 年，搭载了两颗英特尔至强 E5-2690 v2 处理器（Ivy Bridge 架构）。它没有配备任何现代 GPU，仅支持 AVX 指令集，不支持更现代的 AVX2 和 FMA3 指令集。这种硬件在现代 AI 领域通常被认为已经过时，无法处理大规模参数模型。
核心挑战
作者尝试运行的是谷歌 Gemma 4 的 26B-A4B 模型。这是一个拥有 260 亿参数的混合专家（MoE）开源模型。
在技术实现过程中，作者遇到了一个关键障碍。他参考了 Hacker News 上一篇关于在 10 年老旧至强处理器上运行 AI 的文章，但该文章使用的硬件是 2016 年的 Broadwell 架构，支持 AVX2。而作者的 Ivy Bridge 架构缺少运行高效计算内核所需的指令集，导致程序启动时崩溃，或者输出毫无意义的乱码。
AI 辅助的调试与修复
作者虽然不是专业的 C++ 程序员，但他通过部署在服务器本地的 Claude 模型进行辅助，完成了对底层代码的修复。修复过程不仅是简单的报错处理，还涉及对高性能 C++ 代码的深度重构。
1. 诊断问题：Claude 指出，原本的计算分支假设硬件支持 AVX2。当这些指令缺失时，某些计算图节点会失效，导致模型输出的是内存中的随机数据。
2. 编写补丁：Claude 协助作者重写了热点路径的代码。在检测到非 AVX2 环境时，程序会退回到普通的标量循环或 SSE 数学运算。
3. 修复运行时漏洞：针对混合专家模型的特定计算算子（如 Fused Up Gate），作者在图中手动增加了拆分逻辑，确保在没有专门硬件加速内核的情况下，依然能正确完成矩阵乘法。
运行结果
经过优化和修复，这台造价不到 300 美元的二手服务器成功运行了 Gemma 4 26B。具体性能指标如下：
• 解码速度：约 5.2 Token/秒，达到了人类正常的阅读速度。
• 提示词处理速度：约 16 Token/秒。
• 量化方案：使用了 Q8_0 量化。
作者已将相关补丁提交至 ik_llama.cpp 项目的 GitHub 仓库。
技术要点总结
要在这种老旧硬件上成功复现该结果，需要注意以下几点：
• 编译选项：在编译 ik_llama.cpp 时，必须关闭 GGML_USE_IQK_MULMAT 选项，以避免调用不存在的 AVX2 指令。
• 禁用特定标记：运行脚本时必须去掉 --run-time-repack 参数，因为该功能会将权重重新排列为仅支持 AVX2 的布局，会导致输出乱码。
• 混合专家模型优化：虽然回退到标量计算会损失一定性能，但由于这类 CPU 的瓶颈在于内存带宽，两步走的矩阵乘法在实际体感上并没有比集成内核慢太多。
思考与意义
作者认为，“擅长 AI”不应仅仅意味着支付订阅费用，而应是了解模型原理，并有能力让它在非标准化或非理想的硬件上运行。通过这种方式，原本被淘汰的“工业垃圾”可以变身为廉价的本地 AI 算力节点，用于处理不追求时效的任务或作为云端 API 失效时的备选方案。作者所在的 Neomind 公司也以此展示了他们在处理老旧代码和复杂系统维护方面的专业能力。