magnitudedev/magnitude

Magnitude 是一款开源本地 LLM 推理服务器，专为 AI 代理（Agent）设计，能自动识别你的硬件、推荐并运行最适合的本地模型，完全离线、私有、无 token 费用。

• 硬件感知 + 智能推荐：自动 profiling 你的 CPU/GPU/内存，推荐量化模型并给出 tok/s 预估。
• 无缝集成代理：直接接入现有 AI 工具（如 Claude Code、Cline、Pi、OpenCode 等），无需手动切换。
• 高效运行：支持 speculative decoding、并发、按需加载/卸载模型，内存紧张时自动管理。
• 完全离线：模型下载后无需联网；支持 Hugging Face GGUF 自定义模型。
• 零维护：后台运行，代理只需一句指令即可切换模型。

为什么更好：传统方案如 Ollama 靠代理“猜”硬件参数，Magnitude 提供预计算推荐 + 代理专用调优（one-shot onboarding）。

安装与自动 setup（推荐方式）：

npm i -g @magnitudedev/cli
magnitude setup          # 或 magnitude docs onboarding

代理会接收指令，自动：

1. Profiling 硬件。
2. 推荐模型（带 tok/s）。
3. 下载、微调、写入 harness 配置。
4. 切换到本地模型运行。

手动模式（交互式）：

magnitude setup           # 直接浏览推荐列表并选择

查询模型：

magnitude models          # 列出目录

自定义外部模型（下载后直接用）：

• 从 Hugging Face 下载 GGUF 模型。
• 代理即可接入，无需在 Magnitude 目录内。

集成举例（Claude Code / Cline 示例）：

# 在 Claude Code 终端运行
magnitude docs onboarding
# 回复代理指令：切换到本地模型（如 Qwen2.5-7B 或 Llama-3.2-3B）
# 之后对话完全走本地，无 cloud 依赖

• 语言：TypeScript（75.7%），部分 Rust。
• 支持平台：macOS、Linux（Windows via WSL）。
• 模型兼容：GGUF 为主，自动处理 quantization、speculative decoding 等。
• 许可证：Apache 2.0（可自由修改）。

• vs Ollama：Ollama 适合手动，Magnitude 专为“Agent 驱动”优化，agent 能一步完成全部配置。
• 隐私/成本：零 cloud 依赖，免费。
• 社区：2.8k stars、199 forks，活跃更新（最近 4 小时有发布）。

• GitHub：https://github.com/magnitudedev/magnitude
• 文档：https://docs.magnitude.dev
• Discord：https://discord.gg/EHt48pPWdC

安装后 5 分钟即可体验，代理立刻享受“本地最佳模型”能力。需要具体硬件适配或某个代理的配置示例，随时告诉我！

Generated by RSStT. The copyright belongs to the original author.

Source