MicroLLM 实验室——在浏览器中体验 7 款微型 LLM
Hacker News 摘要原标题：MicroLLM Lab – Try 7 tiny LLM's in the browser
这是一个基于浏览器的端侧 AI 实验室项目（MicroLLM lab），支持通过 WebGPU 硬件加速在浏览器内直接运行、评测和对比小型语言模型（SLM）。整个过程完全在本地设备运行，具有百分之百的隐私性，无需服务端成本，也不需要注册账号。
小型语言模型的优势
相比耗费高昂成本且存在网络延迟的前沿大模型（如 GPT-4、Claude），25M 到 360M 参数的小型模型可以作为超快、高效的边缘计算层，具备以下优势：
• 边缘计算与隐私保护：完全在手机或笔记本电脑上运行，提示词和用户数据绝不会离开设备。
• 快速分流与任务路由：在数毫秒内对查询进行分类、过滤垃圾信息以及提取意图，以此判断是否需要调用昂贵的云端大模型。
• 零云端成本：借助客户端 GPU 实现无限并发，无任何 API 账单。
• 超低延迟：首个 Token 生成时间（TTFT）低于 10 毫秒，适用于即时自动补全和实时智能体。
核心技术概念
• 小型语言模型（SLM）：参数量约为 25M 至 360M 的紧凑型神经网络模型，专为高效的边缘智能和特定任务设计。
• Q4（4 位量化）：将模型权重从 16 位浮点数压缩至每个参数 4 位，减少 75% 的内存占用。这使得 100M 以上参数的模型仅占用约 50 到 84 MB 的浏览器内存，同时几乎不损失生成质量。
• WebGPU：新一代 W3C 标准接口，可在浏览器中直接调用本地 GPU 硬件（如苹果 Metal、DirectX 12、Vulkan）执行计算着色器。
使用步骤
1. 加载模型：在模型列表中点击“Load”，模型将直接缓存到浏览器的私有 IndexedDB 中，无需将文件下载到本地硬盘。
2. 端侧对话：选择已加载的模型，在对话面板测试提示词，并实时查看每秒生成的 Token 数量（tok/s）。
3. 基准测试与对比：切换到评测标签页，进行客观的速度与准确率测试，并生成可分享的性能证书。
硬件加速与性能表现
• WebGPU 加速：模型直接在 GPU 上运行，速度可达 100 至 300+ tok/s。支持 Chrome 113+、Edge 113+、Brave 以及开启了 WebGPU 的火狐浏览器，需在浏览器设置中开启硬件加速。
• CPU 降级模式（WASM）：若未检测到 WebGPU，系统会自动降级至基于 CPU 的 WASM 运行，生成速度约为 8 至 20 tok/s。
实验室支持的模型列表
该平台共包含 7 款经过 Q4 量化的小型模型：
• PetitGPT research-v1：参数量 125M，体积 74.4 MB，采用 Apache-2.0 协议。由 GitHub 用户 yangqi0 在单张 RTX 4090 上训练，采用类 Llama 架构，是性能对比的基准模型。
• SmolLM2 135M Instruct：参数量 135M，体积 80.3 MB，采用 Apache-2.0 协议，由 Hugging Face 团队研发。
• L20-Edu 135M：参数量 135M，体积 80.3 MB，采用 Apache-2.0 协议。
• SmolLM2 360M Instruct：参数量 362M，体积 215.9 MB，采用 Apache-2.0 协议，由 Hugging Face 团队研发。
• MiniMind2：参数量 104M，体积 62.1 MB，采用 Apache-2.0 协议。
• MiniMind2 Small：参数量 25.8M，体积 15.4 MB，采用 Apache-2.0 协议。
• GPT-2 124M：参数量 124M，体积 77.1 MB，采用 MIT 协议，基于 OpenAI 架构设计。
功能与运行状态监控
平台提供对话、基准测试、对比与证书生成、自定义评估等功能。界面底部的运行时状态栏可实时监测当前后端、模型名称、生成速率、首 Token 延迟、总耗时、JavaScript 堆内存占用、GPU 缓冲区以及 IndexedDB 缓存占用情况。
该项目受 yangqi0/petitgpt 启发开发，支持完整离线运行包下载（约 589 MB 至 591 MB），部署时需通过 HTTP 协议提供服务，不能直接以本地文件协议打开。