研究：自生成的智能体技能毫无用处
Hacker News 摘要原标题：Study: Self-generated Agent Skills are useless
核心概念与研究背景
Agent Skills（智能体技能）是一种结构化的程序性知识包，用于在推理阶段增强大语言模型（LLM）智能体的能力。尽管这类技术已被广泛采用，但目前仍缺乏标准化的方法来衡量这些技能是否真正有效。
为此，研究团队推出了 SkillsBench，这是一个专门用于评估智能体技能在不同任务中表现的基准测试。
实验设计与规模
SkillsBench 包含了跨越 11 个领域的 86 个任务。每个任务都配备了精心策划的技能库（Curated Skills）以及确定性的验证器。研究人员在三种条件下对任务进行了评估：
• 无技能状态：智能体不携带任何额外技能。
• 人工策划技能状态：使用经过筛选和优化的技能包。
• 自生成技能状态：由模型自己生成技能。
该研究测试了 7 种不同的“智能体-模型”配置，总计运行了 7,308 条执行轨迹。
主要研究结果
1. 人工策划技能的显著提升
使用人工策划的技能后，任务的平均通过率提升了 16.2 个百分点。然而，这种提升在不同领域之间存在巨大差异。例如，在医疗保健领域，通过率大幅提升了 51.9 个百分点；而在软件工程领域，仅提升了 4.5 个百分点。值得注意的是，在 84 个测试任务中，有 16 个任务在使用技能后反而出现了负面效果。
2. 自生成技能基本无效
研究发现，模型自生成的技能在平均水平上没有任何益处。这表明，虽然大语言模型可以从消费程序性知识中获益，但它们目前还无法可靠地自行编写这些知识。
3. 技能结构的优化
实验数据表明，包含 2 到 3 个模块的精简型技能包比内容详尽的文档表现更好。
4. 小模型实现越级挑战
研究显示，配备了合适技能的小型模型，其表现可以达到甚至超过不具备技能的大型模型。
结论与意义
该研究通过 SkillsBench 揭示了智能体技能在实际应用中的复杂性。虽然高质量的技能包能大幅增强 AI 的任务处理能力，但单纯依赖模型自主生成技能并不可靠。这为未来如何构建更高效的 AI 智能体提供了明确的方向：重点应放在高质量、精炼的人工策划技能上，而非盲目增加文档长度或依赖模型的自我进化。