Harness 税：运行底座对代码智能体究竟有多大影响？
Hacker News 摘要原标题：HarnessTax: How Much Does the Harness Matter for Coding Agents?
这项由加州大学伯克利分校（UC Berkeley）与 Arena 合作的研究，探讨了 Harness（智能体运行底座/脚手架框架）对代码智能体（Coding Agents）性能与成本的具体影响。
在代码智能体中，Harness 负责管理模型的工具调用、上下文管理以及任务执行流程。该研究在 SWE-bench Lite 和 Terminal-Bench 2.0 两个开源基准上，评估了由 7 个模型和 3 个 Harness（Claude Code、Codex CLI、开源极简框架 Pi）组合而成的 21 个“模型-Harness”配对。
研究得出了三个核心发现：
1. Harness 对任务成功率影响极小，但会显著增加成本（Harness 税）
• 在测试的基准上，同一模型搭配不同 Harness 时，任务成功率的差异非常小（SWE-bench Lite 上在正负 2% 以内，Terminal-Bench 2.0 上在正负 5% 以内）。
• 但各 Harness 带来的成本差异极大，同一模型在不同 Harness 下的成本可相差高达 5 倍。
• 例如，Claude Fable 5 在 Claude Code 下的成功率为 97.8%，在 Pi 和 Codex 下均为 96.7%；然而 Claude Code 的单次运行成本约为 1.33 美元，是 Pi（0.67 美元）的两倍。
• 在所有共有模型中，按成本比率的几何平均值计算，Claude Code 的成本在 SWE-bench Lite 上大约是 Pi 的 2.0 倍、Codex 的 1.6 倍；在 Terminal-Bench 2.0 上是 Pi 的 1.5 倍。
• 这种在输出质量几乎相同的情况下仅仅因为 Harness 差异而多支付的开销，被称为“Harness 税”（Harness Tax）。
2. 简单的开源 Harness 同样具备强大的竞争力
• 开源且极简的 Harness Pi 仅提供了 4 个基本工具（读、写、编辑和 bash），却在两个基准测试中均达到了帕累托前沿（Pareto frontier，即在同等成本下达到最高成功率，或在同等成功率下成本最低）。
• 分析表明，“Harness 税”往往从第一次模型调用就已经产生。例如，Claude Code 初始调用时的平均上下文长度是 Pi 的 10 倍以上，包含更冗长的系统指令和更庞杂的工具定义模式（Schema），从而推高了开销。
• 在执行轮数相似的情况下（如 Fable 5 在 Pi 和 Claude Code 下平均均为 15 轮左右），较复杂的 Harness 单轮花费更高。
• 这证明研究人员无需依赖昂贵的专有闭源 Harness 或与模型联合微调的 Harness，使用轻量开源 Harness 也能达到顶尖效果。
3. 模型在第三方 Harness 下的表现可能优于“自家”原生 Harness
• 模型供应商通常会宣称其模型专门针对自家的编码环境进行了优化（例如 OpenAI 针对 Codex 优化模型）。
• 然而实验显示，在来自 Anthropic 和 OpenAI 的 6 个模型跨两个基准的 12 次对比中，有 9 次由第三方 Harness 取得了最高实测成功率。
• 例如在 Terminal-Bench 2.0 上，GPT-5.6 Sol 搭配 Pi 时的成功率达到 83.3%，成本为 0.42 美元；而搭配 OpenAI 自家的 Codex 时成功率为 78.9%，成本却达到 0.76 美元。
• 这表明模型的能力具备很强的通用性和兼容性，可以顺利迁移到其他 Harness 架构中。
总结与未来展望
• 对于日常开发任务，代码智能体主要充当模型能力的接口，随着大模型自身能力越来越强，复杂的脚手架机制可能不再必要，通用编码智能体应优先考虑成本效率与可靠性。
• 对于处于模型能力边界的复杂难题（如科学发现等），提供探索、评估与反馈机制的结构化 Harness 仍然有其价值。
• 未来的发展方向是评估真实开发场景中的 Harness 表现，并探索能够根据任务动态自适应调整的智能 Harness，让用户无需手动做出繁琐的配置权衡。