治理项目Harness 基建的答疑
问题
来自网络
1. 知识库到底有没有用?
大量 Markdown 文档写完就再也没人维护。代码已经迭代了好几个版本,知识库还停留在过去。AI 读得越认真,可能错得越离谱。
2. Skill 到底有没有用?
项目里沉淀了几百个 Skill,却没有完善的埋点和评测体系。不知道哪些被频繁调用,哪些真正提升了效率,哪些甚至在拖后腿。
只知道 Skill 越来越多,却不知道整体能力有没有变强。
3. 门禁到底靠不靠谱?
很多工程规范还停留在 Rules、Markdown 和 Prompt 层面,依赖模型自觉遵守。
换一个模型、换一个 Harness,可能就失效了。原本应该由工程工具保障的确定性约束,反而交给了概率性的模型。
4. Harness 的健康度怎么衡量?
模型能力不断升级,势必会逐渐内化过去需要依靠 Rules、Skills 才能完成的能力。
那么,之前辛辛苦苦沉淀的东西,现在到底是正收益、负收益,还是毫无作用?
没有基线,没有对照实验,也没有持续评测。我们甚至不知道什么时候该做加法,什么时候该做减法。
5. 最佳实践在哪里?
每个人都有自己的 AI Coding 工作流,各用各的 Harness,各写各的 Rules、Skills。
建议方案
我们正在用概率性系统去承担原本应该由确定性工程体系保障的职责,却几乎没有建立对应的治理与度量机制。
1. 知识库的真实价值正在被高估
Markdown 知识库的问题不在于“写了没人看”,而在于它默认假设了“文档是真相的唯一来源”。当代码已经迭代了几个版本,知识库还停留在过去时,AI 读得越认真,幻觉越系统化——它不是在犯错,而是在忠实地执行过时的世界模型。
真正有用的知识库,不应该是“写完就放着”的静态文档,而应该是:
- 与代码强绑定(通过 AST、符号、测试用例自动生成/校验)
- 有明确的“过期策略”和责任人
- 能被 Evals 验证(“AI 基于这份文档生成的代码,是否通过现有测试?”)
否则它就是负资产。
2. Skill 的数量陷阱
“沉淀了几百个 Skill”这件事本身,已经暴露了问题。Skill 的价值不在于存在,而在于:
- 被调用的频率
- 调用后对任务成功率的提升幅度
- 对上下文窗口和推理成本的边际影响
- 是否在模型能力升级后仍保持正向贡献
没有埋点、没有对照实验、没有持续评测,Skill 就只是“看起来很工程化”的技术债。模型越强,那些曾经必要的 Skill 越可能变成噪音。
3. 门禁的确定性崩塌
这是目前最危险的一点。
把工程规范寄托在 Rules、Markdown 和 Prompt 上,本质上是把确定性约束交给了概率模型。换一个模型、换一个 temperature、换一个 Harness 实现,约束就可能失效。
真正可靠的门禁,应该尽可能下沉到:
- 静态分析 / AST 规则
- 测试与契约
- CI 中的可执行检查
- 工具层的硬性拦截(而不是“提醒模型注意”)
Prompt 和 Rules 只能作为补充性软约束,不能作为核心保障。
4. Harness 健康度:目前几乎是真空
模型能力在快速内化过去需要外部 Rules/Skills 才能完成的能力。这意味着:
- 昨天的正收益,可能变成今天的负收益(上下文噪音、维护成本、错误引导)
- 没有基线、没有对照、没有持续评测,就无法判断“该加还是该减”
一个健康的 Harness,应该能回答这些问题:
- 去掉某个 Skill / Rule 后,关键任务的成功率、成本、延迟发生了什么变化?
- 模型升级后,哪些外部能力已经可以被安全移除?
- 当前上下文组织方式,对模型理解项目边界的贡献有多大?
没有这些数据,Harness 就只是在积累“看起来很专业”的复杂度。
5. 最佳实践的虚空
每个人都有自己的工作流,是正常的;但当这些工作流无法被验证、无法被复用、无法随模型演进时,它们就只是个人经验,而不是工程能力。
“古法 AI Coding 技巧”正在快速贬值,因为模型本身已经吸收了大量过去需要人工设计的行为模式。
关于“Harness 架构师”
你提出的这个角色,我认为是成立的,而且很可能是下一阶段真正稀缺的能力。
传统架构师关注的是:
- 系统如何运行
- 模块如何解耦
- 性能与稳定性如何保障
Harness 架构师关注的是另一套问题:
- 上下文如何被组织,才能让模型正确理解项目边界与意图
- Tools / Rules / Skills 的边界如何设计,避免能力 overlapping 和互相干扰
- 确定性约束如何尽可能下沉到工具与 CI,而不是依赖模型自觉
- 可观测性与 Evals如何建立,让每一项基建的收益可被证明
- 能力生命周期管理:什么时候该做加法,什么时候该做减法,以及如何安全地做减法
最核心的一点你已经点到了:
好的 Harness 架构师,不是能沉淀多少个 Skill、写多少行 Rules,而是知道哪些东西根本不需要存在。
模型越强,Harness 未必应该越重。真正的工程化,是用更少的外部约束,换取更稳定、可验证、可演进的 AI 参与方式。
AI Coding 的下半场,确实不再是“谁更会写 Prompt / 谁沉淀了更多 Skill”,而是:
谁能把 AI 的参与,变成可度量、可治理、可随模型能力演进的工程系统。
这才是从“使用 AI”走向“工程化管理 AI”的关键跃迁。
文章摘自:https://www.cnblogs.com/wintersun/p/23639047
