AI写代码省的时间，全赔在调试上？Claude官方：让AI自己测、自己改

想象一下这个场景：

你用Claude Code快速搭建了一个小应用，还给它接入了AI客服功能。

原本指望它能自动回答用户诸如“怎么登录”“会员服务有哪些内容”这类基础问题，好让自己轻松一些。

结果，客服确实能对话了，但你却成了它的全职教练：

回答不准确时，你得赶紧补充提示词；解释过于冗长时，你又得添加限制条件。

更让人头疼的是，每次修改提示词，你都得把常见问题重新问一遍，生怕它顾此失彼，刚修复一个问题，却把原本答对的又搞砸了。

于是，用AI写代码节省的时间，又大量消耗在反复的人工调试上。

针对这种反复调试的困扰，9月28日，Anthropic官方发布了一份优化指南。

这份指南的核心思路很简单：反复测试、修改这类工作，Claude也能胜任。

让它多承担一些，你就能少当几回辛苦的测试员，把更多精力用于监督AI：

给它设定规则，明确什么是“做得好”，再检查它是否真的做到了。

把“别乱说”转化为具体考题

要让AI有方向地改进错误，首先得把“怎样才算正确”说清楚。

平时我们总希望AI客服“靠谱一些”，但这太模糊了。

如果能将要求落实到用户实际遇到的问题上，标准就清晰多了。

比如：

• 用户找不到导出按钮时，它能否提供准确的点击路径？
• 用户问到尚未开发的功能时，它会不会一本正经地编造答案？
• 遇到退款问题，它能否按明确规则处理，不确定时不胡乱承诺？

官方提供的第一个入口是：/claude-api build-eval。

简单来说，它能帮你把这些具体要求变成测试题，为接入Claude的小应用建立一套可反复运行的验收题库。

你可以把平时让AI频繁出错的问题交给它，但题库不能只收录“出错案例”，那些最常见、最普通的问题同样需要覆盖。

否则，偏题、难题堆得再多，也可能无法准确衡量普通用户的日常体验。

题目选好后，还要把“如何评分”说清楚。

“专业”“智能”“友好”这些要求颗粒度太粗，需要落到更具体的衡量标准上。

比如哪些信息必须说明，哪些错误不能犯，做到什么程度才算合格。

官方邮箱分类示例：测试样例需由用户确认。

Claude会帮你拟定相应的评分规则，而你需要确认按这套规则拿到高分的答案，是否真正解决了用户的问题。

有些结果可以直接用程序检查，比如是否遗漏关键字段；遇到一些有多种合理答案的开放性问题，也可以让模型按明确规则打分。

但评分器本身也要先过关。

拿几份已经评过分的结果，对照自己的判断，看看有没有“答对了却扣分”“没解决问题却给过关”的情况。

确认评分可靠后，再定期抽查。

对于开发者来说：这一步最大的好处在于，你终于能把那句“怎么又答错了”的反复抱怨，变成一套可持续运行的自动化检查。

以后每次修改提示词，就能再跑一遍，看看这次修复了哪里，有没有把别处改坏。

自己改自己测，改差了就撤回

题库建好后，接下来是第二个官方入口：/claude-api hillclimb。

hillclimb可以理解为“爬坡”，让AI逐步尝试优化，看看是否有进步。

但这个目标同样要定得具体，还要说明允许它改什么。

比如，让客服回答更准确，允许它修改提示词；或者在保持回答质量的前提下，尝试节省API费用，允许它调整模型配置。

接到任务后，Claude会查看用于迭代的那些错题，每轮提出一处修改，再重新跑评估：

在既定目标下确有改善，才保留修改；改完后反而退步了，就撤回。

按官方文档，这两个入口都要求Claude Code v2.1.259及以上。

提示词、技能文件、工具说明和模型配置等，都可以成为优化对象，但具体改哪些，要由你划定范围。

你可能会担心：AI会不会变成应试教育的“做题家”？也就是只针对你给的那几道题死记硬背，换个问法又开始胡言乱语？

官方也确实考虑到了这一点。

这套流程会单独留出一部分题，作为不提前公开的“验收考题”。

负责提出修改的模型看不到这些题的内容。每轮改完后，再用它们测试，看看效果是否真的变好了，还是只对练过的题管用。

如果练过的题分数涨了，“验收考题”的成绩却没提高，就可能出现了“过拟合”：越来越会做熟题，换一批题却没进步。

遇到这种情况，Claude会撤回本轮修改；如果改完后表现反而变差，也会回退。

每轮修改后复测，根据结果保留或撤回。

这能帮助发现“只会做熟题”的问题，但不代表从此高枕无忧。

题库本身覆盖不到的真实问题，仍然可能让它翻车。

官方客服案例：成本降至约1/5

Anthropic用一个内部客服评测展示了效果。

在14张未参与指导修改的留出测试工单上，最终配置的决策准确率从78.6%升至90.5%，提高了11.9个百分点，模型调用成本降到了原来的约1/5。

调整模型、思考强度与提示词，改善准确率和成本。图中为迭代集成绩。

不过，这是一组特定配置、特定小样本下的结果，并不意味着接上这套流程，你的应用也能省八成。

这里比较的模型调用成本，也不能当成整个项目的总成本。

但这对于自己掏腰包付API费用的个人开发者来说，仍然很有吸引力。

毕竟便宜的模型如果老是答非所问，逼得用户反复追问，最后还要你人工介入，未必划算。

而简单问题如果也用昂贵的配置，顺带生成一大段不必要的解释，同样可能花冤枉钱。

现在，你可以把回答质量和调用成本放在一起测试，让AI在满足质量要求的前提下，尝试更省钱的方案。

不过，优化本身也要消耗模型调用费用。

先定好愿意掏多少实验费，再决定让AI跑几轮，才更踏实。华体会体育提醒，合理规划预算有助于避免超支。

把时间还给真正重要的事情

当这套自动化流程跑起来后，你就有机会少做一些重复的提示词修补，把精力放回产品本身。

首先，是洞察用户。

你觉得理所当然的操作，第一次打开应用的人可能连入口都找不到。你要做的，是把这些真实发生的困惑补充进题库，AI的下一次优化才会更接地气。

其次，是把控标准。

回答再客气，没解决问题，能算过关吗？意思明明相同，只是换了种说法，评分器会不会误判？

评分标准本身要是有漏洞，AI忙活半天，可能只是分数涨了，用户的问题却还在。

邮件分类评测：左侧查看各题得分，右侧回看模型输入与回答，核查评分是否合理。

最后，是做权衡。

回答精简会不会漏掉必要步骤？追求便宜会不会牺牲准确度？这些关乎用户体验的关键取舍，依然需要你来拍板。

给应用接入AI，初衷是为了省心。

如果最后演变成你全天候陪着它改答案，就本末倒置了。

当Claude能多接手一些重复调试，普通开发者就能多花时间打磨自己的小工具、小应用，让那些搁置的想法重新往前走。

参考资料：

https://claude.dev/blog/automating-eval-design-and-hillclimbing/?utm_source=chatgpt.com

本文来自微信公众号，作者：ASI启示录，编辑：元宇，36氪经授权发布。