Inkling：我们的开源权重模型
Hacker News 摘要原标题：Inkling: Our Open-Weights Model
Thinking Machines 发布了名为 Inkling 的开源权重模型。这是一款从零开始训练的混合专家（MoE）架构模型，旨在构建能够扩展人类意志和判断力的 AI。
模型概览
Inkling 拥有 9750 亿总参数，其中 410 亿为活跃参数。它支持高达 100 万 token 的上下文窗口。该模型在包含文本、图像、音频和视频的 45 万亿 token 数据集上进行了预训练。
除了标准版，Thinking Machines 还发布了 Inkling-Small 的预览版。这是一个更轻量化的模型，拥有 120 亿活跃参数，在保持低成本和低延迟的同时，展现出了强劲的性能。
核心能力
Inkling 并非只针对特定领域优化，而是一个通用的基础模型。它的主要特点包括：
• 多模态推理：原生支持文本、图像和音频，能够平衡推理成本与性能。
• 可控思维量：开发者可以调整模型的思考强度（Effort），从而在 token 效率与解决复杂问题的能力之间取得平衡。
• Agent 协作与代码能力：在 Agent 代码生成和工具使用方面表现出色。它能够单次生成功能完备的网页应用，甚至可以通过 40 轮的反馈迭代开发出带服务器和排行榜的多人在线游戏。
• 风格统一的产出：能够根据指令生成排版精美、风格统一的多页 PDF 文档。
技术架构与训练
Inkling 的设计注重长上下文性能与推理效率：
• 架构设计：采用类似 DeepSeek-V3 的混合专家设计。每层包含 256 个路由专家和 2 个共享专家，每个 token 激活 6 个专家。
• 位置编码：放弃了常用的 RoPE，改用相对位置嵌入，认为其在长序列外推方面表现更好。
• 训练策略：使用 Muon 优化大型矩阵权重，Adam 优化其他参数。在 NVIDIA GB300 NVL72 系统上完成训练。
• 大规模强化学习（RL）：通过超过 3000 万次异步强化学习迭代来塑造模型行为。在强化学习过程中，模型的思维链（CoT）呈现出一种自动简化的趋势，去掉多余的语法修饰，变得更加精炼。
认识论与安全性
Thinking Machines 强调了模型的信任度：
• 校准性：模型经过专门训练，能够对自己的答案表达出准确的自信度，这使其在预测和预报任务中非常有用。
• 双重评分机制：在强化学习中使用规则评分器和事实评分器。事实评分器会通过 Agent 联网搜索来验证每一个事实陈述，从而在提高帮助性的同时减少幻觉。
• 安全性：在 FORTRESS 等安全基准测试中，Inkling 对有害请求的拒绝率表现优异，且误拒率较低。它被训练为能够直接回答可能受到审查的话题。
多模态实现
Inkling 采用无编码器（Encoder-free）架构。音频信号被转化为离散的频谱图，图像则被切分为 40x40 像素的块，两者都通过轻量级嵌入层与文本 token 共同处理。这使得模型能够直接听懂语音指令、描述视觉内容，并结合 Python 工具进行深度的视觉推理。
获取与部署
Inkling 现已在 Tinker 平台上线，提供微调服务和集成了 Agent 联网搜索功能的 Playground 演示。
• 开源权重：完整权重已托管在 Hugging Face，包括原始格式和适用于 NVIDIA Blackwell 系统的 NVFP4 量化版本。
• 生态支持：支持通过 Together、Fireworks、Databricks、Modal 等 API 接入。推理工具方面支持 vLLM、SGLang、llama.cpp 和 transformers。