Show HN: 在任何搭载苹果芯片的 Mac 上仅需 2 GB 内存运行 Gemma 2 26B 的开源引擎
Hacker News 摘要原标题：Show HN: Open-source engine running Gemma 4 26B in 2 GB RAM on any M-series Mac
这是一个名为 TurboFieldfare 的开源项目，其核心功能是让 Gemma 4 26B-A4B 大模型在任何搭载苹果芯片的 Mac 电脑上，仅占用约 2 GB 运行内存即可运行，即使是只有 8 GB 内存的入门机型也能流畅使用。
项目核心原理
传统的模型推理通常需要将整个模型加载到内存中，对于 Gemma 4 26B 来说，这需要约 14.3 GB 空间。TurboFieldfare 采用了一种自定义的 Swift 和 Metal 运行时，它并不加载全部模型，而是仅将 1.35 GB 的核心权重和 FP16 KV 缓存保留在内存中。对于该模型特有的专家网络部分，它会根据每个生成的 Token 需求，实时从固态硬盘中流式读取所需的专家权重。这种设计让 8 GB 内存的苹果笔记本也能运行 260 亿参数的大模型。
性能表现
根据不同机型的实测数据，其生成速度如下：
• 在 8 GB 内存的 M2 MacBook Air 上，解码速度为每秒 5.1 到 6.3 个 Token。
• 在 24 GB 内存的 M5 Pro 上，解码速度可达每秒 31 到 35 个 Token。
主要组成部分
该项目提供了六种不同的产品形式：
• TurboFieldfare：包含运行时和 Metal 内核的 Swift 库。
• TurboFieldfareMac：带有图形界面的原生 Mac 应用，支持模型安装和对话生成。
• TurboFieldfareDecodeService：供 Mac 应用调用的本地模型解码服务。
• TurboFieldfareCLI：命令行交互工具，支持指令对话和文本补全。
• TurboFieldfareServer：兼容 OpenAI 接口标准的本地服务器，支持函数调用。
• TurboFieldfareRepack：流式模型安装器，可验证并下载模型。
运行环境要求
• 硬件：搭载苹果芯片的 Mac，已在 8 GB M2 机型上验证。
• 操作系统：macOS 26 及以上版本，支持 Metal 4。
• 开发工具：Xcode 26 和 Swift 6.2 或更新版本。
• 存储空间：约 14.3 GB 的可用空间用于安装模型。
• 网络：首次安装模型时需要互联网连接。
安装与使用流程
1. 通过 GitHub 克隆代码仓库并使用 swift build 命令进行编译。
2. 启动应用后，选择下载模型。安装器会直接从 Hugging Face 获取数据并重新打包为项目专用的 .gturbo 格式，这避免了在磁盘上存储两份模型文件。
3. 加载模型后，用户可以在对话框输入提示词。应用会自动处理 Gemma 的聊天格式，并支持调整温度、Top-K、Top-P 等采样参数。
技术细节与特点
• 模型量化：采用了 4-bit 量化权重，路由器部分使用 8-bit 量化。
• 推理引擎：拥有自定义的 Metal 内核，用于优化量化矩阵乘法、注意力机制、混合专家模型、归一化以及采样等操作。
• 预填充优化：采用分块预填充技术，每块最多 128 个 Token，从而提高首个 Token 的响应速度。
• 内存管理：对专家缓存进行有限的 LFU 算法管理，通过并行读取固态硬盘数据来填补缓存缺失。
• 功能限制：目前仅支持文本推理，不支持图像、音频或视频输入。
未来计划
开发者 Andrey Mikhaylov 表示，未来计划构建 iPhone 和 iPad 应用，以测量该引擎在移动端硬件上的推理速度和内存表现。此外，还将针对更多机型进行基准测试，特别是 16 GB 内存的 M4 Mac mini。
该项目采用 Apache 2.0 开源协议，不包含模型权重。权重由安装程序从第三方源独立下载，并受其自身的许可条款约束。