鱼皮AI导航
鱼皮AI导航
  • 主页
  • 社区
  • AI工具
  • AI知识库
  • AI提示词
  • MCP
  • Skills
  • AI学习资源
  • AI资讯
  • GitHub开源
登录/注册
站长:程序员鱼皮 老鱼简历 商务合作 增值电信业务经营许可证
2026 鱼皮AI导航 | 沪ICP备19026706号-6
5
3
4

人工智能前沿部署工程师(FDE) · 概 览 与 方 法 论

杰克说逻辑
杰克说逻辑
2026-10-23 16:11
阅读 577
杰克说逻辑
2026-10-23 16:11
阅读 577

​

01 概览与方法论

  • 能用自己的话说清 FDE 的本质——不是传统的"售前支持"或"实施顾问",而是前置到客户一线、以工程手段直接交付解决方案,并将一线实践反哺为可复用能力的技术角色
  • 能用「项目结束后留下了什么」这张表判断一个团队是不是真 FDE,识别伪 FDE、传话式、考核错位三个坑
  • 能区分 Echo(判断该做什么)与 Delta(把它做出来)的能力画像与考核差异,说明为什么 AI 让 Delta 变便宜而 Echo 更稀缺

某能源集团客户要上 AI 智能问答,项目组进场三周:第一周调研需求,第二周搭系统、灌数据,第三周联调演示。验收那天客户很满意,问答准确率不错,大家都觉得"交付成功"。但项目组撤离一个月后,客户新来了一批业务数据没人会处理,Prompt 微调找不到人,原来跑通的流程因为没有文档接手不了。客户开始问:"这个系统,到底是谁的?"

这个场景暴露一个核心问题:项目做完了,但什么也没留下。 系统是临时的,数据是散的,知识在工程师的脑子里。

FDE(Forward Deployed Engineer,前沿部署工程师)这个角色,就是来解决这个问题的。它不是传统的"售前支持"或"实施顾问",而是一类前置到客户一线、以工程手段直接交付解决方案的技术角色:在交付的同时完成学习,把一次性项目变成可复用的能力沉淀。

我们把概念钉死:FDE 到底是什么、怎么判断真假、有哪些坑要避。方法后面再讲,先认清角色。

1.1 FDE 的本质定义

先看一个常见的误解。

很多团队把 FDE 理解成"售前支持"或"实施顾问"的高级版——要么在客户现场讲方案、做演示,要么按需求文档配置系统、跑流程,然后交付走人。这个理解停留在"讲方案、做交付"层面,漏掉了 FDE 最关键的两个动作:前置到一线用工程手段直接解决问题,以及把一线实践反哺为可复用能力。

FDE 的本质定义可以这样概括:

  1. 行业知识——客户的业务术语、决策逻辑、领域规则
  2. 系统接口——数据在哪、API 怎么调、权限怎么走
  3. 流程规则——什么场景该走什么路径、异常怎么处理

交付是"做完一个项目",FDE 是"做完一个项目 + 沉淀一套能力"。

举个具体的例子。客户要做一个合同审查的 AI Agent。普通实施团队的做法是:了解客户的审查规则,把这些规则写进 Prompt,跑通,交付。FDE 的做法是:在跑通的同时,把"合同审查规则的通用模式"抽象出来(比如"主体审查、条款审查、风险评级"三段式),沉淀成平台上的一个 Skill 模板,下次别的客户做合同审查,不用从零开始,改改参数就能用。

这就是"一线实践反哺"的含义:每一次交付,都在给平台"喂"经验,让平台越来越聪明。

为什么是现在:三项成本同时下降 为什么现在才火?FDE 不是新概念,业界早在 2005 年就开始实践,但过去十几年只有极少数公司跑通。近两年重新升温,核心是 AI 同时降低了三项成本,让过去「不划算」的重交付模式变得可行:

知识蒸馏成本 ↓

▼
js
复制代码
现场发现的问题可以直接写脚本、搭原型、生成测试用例,不必排队等后方开发。

定制开发成本 ↓

▼
js
复制代码
从「写需求→排期→开发→上线」变成「抽象语义→生成原型→现场验证」。

复合人才成本 ↓

▼
js
复制代码
AI 补齐部分工程能力,让更多一线人员具备跨业务与技术边界工作的可能。

用法:FDE 工作的三步闭环 FDE 的工作方式可以用一个闭环来描述,每一步都同时完成"交付"和"学习"两件事:

image.png

这三步不是线性的"做完一步走下一步",而是一个闭环:验证交付时发现的新问题,会反过来让你重新读懂现场,沉淀新的知识。

image.png

这也是区分 FDE 和高端实施顾问的关键动作:实施顾问交付"能跑的系统",FDE 交付"有评测证据支撑的可用系统"。评测集本身同样是平台资产——一个场景的冻结样本与失败样本,就是下一个同类场景冷启动的 Benchmark(验收标准怎么定,详见第 7 章「交付:做成且验得动」;评测门槛与上线要求,详见第 10 章「安全治理与护栏」)。

示例:一个 FDE 的典型工作片段 想象你是 FDE,在一家三甲医院客户现场部署 AI 辅助诊断 Agent。

你做了这些事:

  • 交付层面:配好了 Agent 的 Prompt,接入了医院的 HIS 系统(数据接口),用 200 份脱敏历史病例的冻结样本集跑出分科室准确率与边界行为报告,客户基于评测证据验收通过。
  • 沉淀层面:
  • 行业知识:整理了"影像科、心内科、神经科"三个科室的诊断术语映射表,沉淀到平台的知识库
  • 系统接口:把 HIS 系统的数据拉取逻辑封装成一个标准 Connector,下次别的医院接 HIS 可以直接用
  • 流程规则:总结出"门诊场景 Agent 输出建议必须附带置信度,低于 0.7 需人工复核"的规则,写成平台配置项

交付完,客户拿到了能跑的系统;平台拿到了三个科室的诊断知识、一个 HIS Connector、一套置信度规则。双方都在赚钱。

1.2 真假 FDE 的试金石

概念:「项目结束后留下了什么」判断法 FDE 这个概念现在很火,不少团队给自己贴上 FDE 的标签,但到底是不是真 FDE?我们用一张表来判断。

核心判断标准只有一个:项目结束后,除了客户那套能跑的系统,还留下了什么?

如果你项目做完了,留下的是:

image.png

最硬判据:单位价值对应的现场投入是否持续下降 除了上面的判断表,还有一条最硬的判据可以直接验证 FDE 模式是否跑通:

▼
js
复制代码
最硬的判据: 如果部署第一个客户需要 10 人月,部署第十个同类客户 仍然 需要 10 人月,说明模式没有跑通。可规模化 FDE 的标志是—— 单位价值对应的现场投入持续下降 。

三个前提条件决定试金石能否通过:客户是否值得深耕(需求真实、业务参与)、项目能否沉淀资产(流程有共性、数据可复制)、公司有没有机制复用(头部经验能传递到中腰部)。三项都不满足,就是高端外包。

用法:试金石的三个检查项 把上面那张表细化,你可以用三个检查项来快速判断一个团队是不是真 FDE:

image.png

示例:用试金石判断三个团队 看三个团队,都刚做完一个制造业客户的 AI 质检项目:

团队 A:交付了一套能跑的质检 Agent,验收文档 80 页,客户满意。平台没有新增任何能力。下个制造客户来了,团队说"我们重新调研"。 → 试金石判断:假 FDE(能力沉淀 = 0,可复用性 = 0)

团队 B:交付了质检 Agent,同时把"制造业质检的通用流程"抽象成一个 Skill 模板放到了平台上,把客户现场学到的"缺陷分类规则"沉淀成了知识包。下个制造客户来了,直接复用了 60% 的工作量。 → 试金石判断:真 FDE(能力沉淀 ✓,可复用性 ✓)

团队 C:交付了质检 Agent,团队里的小王个人掌握了制造业质检的所有 know-how,但小王没把这些知识写进平台。下个客户来了,小王调走了,团队两眼一抹黑。 → 试金石判断:半 FDE(知识在个人脑子里,平台没沉淀)

团队 C 的情况最值得警惕——看起来像 FDE(有人掌握了深度知识),但知识载体错了。FDE 沉淀的终点是平台,不是个人。 人走了能力就没了,那不是 FDE,那是"有个聪明的员工"。

1.3 Echo 与 Delta:两种能力侧

概念:判断力与执行力的分工 在 FDE 的工作中,有两种能力侧需要区分清楚。借用一个直觉性的命名:Echo(回声)和 Delta(增量)。

▼
js
复制代码
Echo:判断"该做什么"的能力。读懂客户现场,识别真实需求,判断技术路径,做出决策。它本质是判断力 + 领域理解。 Delta:把判断"做出来"的能力。写代码、配系统、调接口、跑测试,把方案落地成可运行的东西。它本质是执行力 + 工程能力。

用一个类比来理解。客户说"我想用 AI 做合同审查"。Echo 能力回答的是:"审查什么条款?风险标准是什么?该用 RAG 还是 Agent?走哪个数据源?验收标准怎么定?"Delta 能力回答的是:"好,我来把 Prompt 写好、把知识库接上、把流程跑通。"

Echo 是"判断方向",Delta 是"跑通路径"。 两者缺一不可,但它们的稀缺程度正在发生变化。

image.png

用法:能力画像与考核差异 Echo 和 Delta 不仅是能力分类,也对应不同的考核方式。如果你用考核 Delta 的方式去考核 Echo,或者反过来,都会出问题。

image.png

示例:一个项目中的 Echo 与 Delta 还是用前面的合同审查项目来说明。

Echo 部分(判断该做什么):

  • 客户说"合同审查",但 FDE 通过调研发现,客户真正痛点是"标准合同模板不统一,法务审了三遍还有漏"。真正的需求不是"AI 审合同",而是"把合同标准化 + AI 做合规检查"。
  • 判断技术路径:用 RAG 接入历史合同库做相似检索 + Agent 做条款合规检查,而不是纯 Prompt。
  • 定义验收标准:合规检查准确率 ≥ 90%,审查时间从 2 小时降到 15 分钟。

Delta 部分(把它做出来):

  • 写 Agent 的 Prompt
  • 配 RAG 知识库,接入历史合同
  • 调通文档解析接口
  • 跑测试、修 Bug、交付

你会看到,Echo 部分的产出是"判断和决策",它决定了项目的方向对不对。Delta 部分的产出是"能跑的系统",它决定了项目能不能交付。

为什么 AI 让 Delta 变便宜、Echo 更稀缺 这是理解 FDE 价值的一个关键洞察。

过去,Delta 能力(编码、配置、集成)是稀缺的——会写代码的工程师贵,不会写代码就没法交付。但现在 AI 编码辅助工具(如代码生成、自动配置、低代码平台)正在大幅降低 Delta 的门槛。一个懂业务的人借助 AI 工具,可以完成过去需要一个开发工程师才能做的事。

但 Echo 能力(判断什么对客户有价值、选什么技术路径、怎么定义验收标准)AI 替代不了。因为:

  1. 判断需要"现场感"——你得在客户现场,看到他们皱眉、犹豫、说"这个其实不是我们要的",才能修正方向。AI 看不到这些。
  2. 判断需要"领域经验"——你得见过 10 个制造客户,才知道第 11 个客户的"特殊需求"其实是通用模式的变体。AI 的训练数据里没有这种长尾的交付经验。
  3. 判断需要"价值权衡"——客户预算有限,做 Agent 还是做 RAG?先上哪个模块?这些权衡需要理解客户的业务优先级。AI 不会替你做这种决策。 所以结论是:AI 时代,Delta 变便宜了,Echo 更稀缺了。 FDE 的核心价值正在从"我能把系统搭起来"转向"我能判断该搭什么、怎么搭、搭到什么程度算成功"。

这也意味着,FDE 团队的人才结构会变化:不需要每个人都是硬核工程师,但需要有人在"判断侧"足够强。

1.4 三个陷阱

概念:FDE 最容易踩的三个坑 知道了 FDE 是什么,还得知道什么"不是 FDE"。以下三个陷阱是最常见的"伪 FDE"模式,每个都看起来像 FDE,但实质上没有完成"学习沉淀"这个核心动作。

陷阱一:伪 FDE——"我们也是前沿部署" 陷阱描述:团队贴了 FDE 标签,人也派到客户现场了,但工作方式还是传统的"需求调研 → 系统配置 → 交付走人",没有任何沉淀动作。

识别信号:

image.png

本质原因:把 FDE 理解成了"位置"(在前线),而不是"机制"(在前线学习并沉淀)。人在前线,但工作模式没变。

陷阱二:传话式 FDE——"我来传话,后面团队来做" 陷阱描述:FDE 到客户现场做了调研,把需求"传"给后方的开发团队,后方团队做完再"传"回来给客户验收。FDE 变成了"传话筒"。

为什么是陷阱:

传话式 FDE 的问题在于"信息损耗"。就像玩传话游戏,第一个人说"帮我买杯咖啡,要少冰",传到第五个人变成了"他要个杯子"。在 AI 项目里,这种损耗尤其严重:

  • 客户说"我要智能问答",FDE 传话"客户要 QA 系统",后方做成"关键词匹配的 FAQ"——客户拿到一看"这不是我要的"。
  • 中间多了一层传话,需求失真率指数级上升。
  • 后方团队不懂现场,做出来的东西和客户真实场景脱节。 本质原因:把 FDE 理解成了"前端销售 + 后端开发"的分工模式,但 FDE 的核心价值是"判断和执行在同一处完成"——在客户现场直接做判断、直接出方案,而不是传话。

陷阱三:考核错位——"用交付速度考核 FDE" 陷阱描述:管理层用传统项目交付的指标考核 FDE——交付周期、客户满意度、Bug 率——但完全没有考核"沉淀了多少能力"。

为什么是陷阱:

考核决定行为。如果考核只看"做得多快",FDE 自然会牺牲沉淀时间来赶交付——反正沉淀没人考核,干嘛花时间做?结果就是:每个项目都按时交付,客户也满意,但平台能力原地踏步,一年做了 20 个项目,平台还是那个平台。

正确的考核维度应该包含:

image.png

本质原因:管理层仍然把 FDE 当"交付团队"考核,没有认识到 FDE 的核心产出除了"客户系统",还有"平台能力增量"。

1.5 组织归属:FDE 团队该放哪个部门

概念:组织定位决定行为模式 FDE 团队放在哪个部门,不是个行政问题,而是个机制问题。放错了地方,考核和协作方式就不对,FDE 的"学习沉淀"动作就会被挤压。

▼
js
复制代码
组织归属决定 FDE 的命运: 放在销售体系容易被当作签单赠品,沉淀动力弱;放在交付体系容易固化成项目制团队;放在产品体系有利于沉淀但可能远离一线。 更合理的是矩阵制 ——行政上与产品保持强连接确保经验回流,业务上与销售、客户成功协作确保贴近客户,考核上既看客户价值也看知识产出。

用法:三种模式的权衡 展开看每种模式适合什么情况:

模式一:放交付/实施部门

适合:客户数量多、交付压力大的阶段。FDE 团队和交付团队一起调度,响应速度快。

问题:交付部门的天然 KPI 是"交付周期"和"客户满意度",沉淀能力这种"重要但不紧急"的事会被无限挤压。一年下来,交付了很多项目,但平台能力没增长。

模式二:放产品/研发部门

适合:平台需要大量补充行业能力、快速沉淀 Skill 和知识包的阶段。FDE 团队和产品团队一起,把现场经验直接变成产品能力。

问题:研发部门离客户远,FDE 去客户现场的动力不足,容易变成"在办公室设计通用能力"——设计出来的东西到了客户现场发现不适用。

模式三:独立 FDE 团队(双线汇报)

适合:FDE 机制成熟、管理层理解"交付 + 沉淀"双目标的阶段。FDE 团队同时向"客户成功/交付"和"产品/研发"两个方向汇报,考核也包含交付指标和沉淀指标。

问题:管理复杂度高。两个婆婆管一个媳妇,如果没有明确的优先级机制,FDE 团队会左右为难。

示例:一个成功的组织设计 某腾讯云生态伙伴的 FDE 团队是这样设计的:

  • FDE 团队独立建制,不隶属于交付部门或研发部门
  • 考核指标:50% 看客户交付(交付周期、验收通过率、客户满意度),50% 看能力沉淀(新增 Skill 数、知识包复用率、平台能力增量)
  • 每个 FDE 项目同时有"交付负责人"和"沉淀负责人"两个角色(可以是一个人兼任,但两个职责都要履行)
  • 每月做一次"沉淀回顾":把本月交付项目中的可复用经验提炼到平台

这个设计的关键是"两个 50%"。如果你把沉淀设成 10%,那大家还是会全副精力扑在交付上。只有当沉淀和交付在考核里同等重要,FDE 才会真正"在交付的同时完成学习"。

1.6 本文小结

  • FDE 的本质是一线交付型技术角色:不是传统的"售前支持"或"实施顾问",而是前置到客户一线、以工程手段直接交付解决方案,并将一线实践(行业知识、系统接口、流程规则)反哺为可复用能力。
  • 试金石是一张表:项目结束后,除了客户那套系统,还留下了什么?有平台能力增量 = 真 FDE;只有项目文档 = 普通;只有个人经验 = 半 FDE(最容易被忽视的坑)。
  • Echo 与 Delta 是两种能力侧:Echo 判断该做什么(更稀缺),Delta 把它做出来(AI 让它变便宜)。不需要每个人都是全栈,但两种能力都要有人覆盖。
  • 三个陷阱要避开:伪 FDE(在前线但不沉淀)、传话式 FDE(判断和执行隔了一层传话)、考核错位(只考核交付不考核沉淀)。
  • 验证交付的分水岭是评测:演示跑通 ≠ 验收证据,冻结样本集的统计结果才是客户付费买的"能用";评测集本身也是可沉淀的平台资产。
  • 组织归属看考核:放哪个部门不是关键,考核维度同时包含"交付"和"沉淀"才是关键。两个 50% 比一个 90% + 一个 10% 更健康。 ​
AI
5
4
分享
操作
评论
相关内容
0个评论
全部评论
点击登录,快来和大家讨论吧~
表情
图片

目录

🔥 热门文章
1
手把手教你设计一个成熟的 Agent Harness
2500
2
我用 REA 逆向了付费颜色 APP,结果很意外!
570
3
离谱,DeepSeek 崩了 5 小时,大家却喊:梁圣恩情还不完??
420
4
DeepSeek 全新模型发布,性价比最高的一集!
380
5
B 站上 DeepSeek 闹鱼灾了,我发起《大肥鱼清除计划》!
370
6
自己学习ai,直接买cursor 的套餐,还是买gpt 或者claude 的套餐?
360
7
又一个国产版 Codex 神器,也来卷办公了!
330
8
AI 越强,被它拒绝的代价就越大 我有时候会想:AI 越来越厉害之后,有些事情,会不会反而越来越难做? 这个想法看起来有点矛盾。AI 明明在降低门槛,让不会写代码的人做出软件,让不会画画的人生成图片,让一个人完成过去需要整支团队才能完成的工作。但今天用 Codex 的时候,AI 拒绝帮我编写 SQL 注入的请求体,而那还是我有源码、在本地跑测试的情况。那么,往后是否只会更难? 我们假设某一天,AI 说:「这个请求违规,我不能帮助你。」到那个时候,你还有多少能力,能绕过它,把事情做完? 这里的「违规」需要打个引号。平台的规则、模型的判断、法律的要求,以及一件事实际有没有造成伤害,彼此之间并不总是画得上等号。一个请求可能确实危险,也可能只是缺少上下文被误判,或者恰好落在某家公司的限制范围里。 无论是哪种情况,随着我们越来越依赖 AI,这句拒绝都可能变得越来越贵。 今天,一个程序员让 AI 帮忙写代码,AI 拒绝了,他大概率还有别的办法:查文档、找开源项目、问同行,或者自己写。麻烦一点,慢一点,但路还在。 可如果十年之后,大部分程序都由 AI 完成,情况就不一样了。 很多人从接触编程的第一天起,就习惯了描述需求、等待生成、运行结果、继续迭代。他们能做出相当复杂的产品,却未必经历过独立处理底层问题的训练。平时,这种能力结构完全够用,效率甚至更高。只有 AI 拒绝的时候,他们才会发现:平常被省掉的那段学习过程,恰好是此刻最需要的东西。 到那时,一次拒绝的成本,可能就从「今晚多花两个小时」,变成「先花半年学会这门技术」。 拿 SQL 注入举个稍显极端的例子:往后,连真正理解这类攻击如何发生、能够独立构造测试的人,会不会也越来越少? 这里也包括那些有正当需求的人。一个开发者想检查自己的旧系统,一个经过授权的安全研究员想复现漏洞,假如 AI 识别到危险模式就拒绝,而使用者又只熟悉「让 AI 帮我检查」,这项原本可以独立完成的工作,就这样卡住了。 但是安全专家不会因此消失,但这类技能可能越来越集中在少数人手里。你仍然可以找专家,只是要付出更多的钱、更多的时间,以及更高的沟通成本。 类似的困境,未必只发生在网络安全领域。 你想从一个停止维护的软件里取回自己的数据,需要解析它的旧文件格式。AI 判断这涉及规避保护措施,拒绝继续。你拥有这些数据,却没有能力把它们读出来。 你买了一台设备,厂商停止提供服务。你想修改程序让它继续运转,过程中需要处理某种访问限制。AI 不愿协助,而你所掌握的维修方式,早已只剩下「把报错发给 AI」。 你想给常用的网站写一个辅助工具,减少重复操作。平台将此归入自动化限制,AI 也据此拒绝。过去会写脚本的人可以自己判断、自己处理;未来的使用者,可能连从哪里开始都不知道。 这些例子有一个共同点:当工具同时承担了「执行工作」和「传授知识」的角色,它的拒绝就不只是挡住了一次任务,也挡住了获得这种能力的机会。 更麻烦的是,这种依赖往往是我们主动选择的,而且每一步都很合理。 既然 AI 几秒钟就能做好,为什么还要花几个月学习?既然公司可以采购成熟的 AI 服务,为什么还要养一支负责基础工作的团队?既然市场上已经很少有人手写这些东西,学校为什么还要花大量时间教? 对个人、公司和学校来说,这些选择都有现实依据。但叠加起来,整个社会保留的独立能力就可能越来越少。等到某项能力突然受到限制,我们才发现,备用方案早已在追求效率的过程中被一点点削掉了。 所以,「AI 越强,做事越便宜」可能只描述了未来的一半。 另一半是:被允许的事情越来越便宜,被拒绝的事情依然需要人工完成,却要面对更少的人才、更高的报价,以及越来越难获得的知识。两边的成本差距,会越拉越大。 有人会说,可以换一个模型,或者用本地模型。这确实是重要的选项。只要工具之间还有充分竞争,开放模型还足够可用,限制就未必能形成真正的门槛。 但备用方案也需要维护。它需要硬件、知识、软件生态,以及一群仍然理解这些系统的人。如果大多数人已经习惯了最方便的商业服务,那么「理论上还有别的办法」和「普通人实际用得起、用得明白」,之间仍然可能隔着很远。 我担心的,正是这段距离。 我不指望 AI 对任何请求都照单全收。对明显会伤害他人的行为设置限制,有充分的理由。但我们也需要关心:限制由谁定义,误判有没有申诉渠道,用户能不能换工具,以及脱离这个工具之后,还剩下多少独立行动的能力。 保留这些能力,平时看起来甚至有点低效,明明可以自动生成,还要理解原理;明明可以一键完成,还要知道手动怎么做。 但这些看似多余的知识,会在工具拒绝、失效、涨价或改变规则的那一刻,成为真正的选择权。 AI 越强,我们可能越需要留意它说「不」的那一刻。 因为那句话的分量,最终取决于:它拒绝之后,我们还能做什么。
310
9
day3-如何写出一个高质量的 Skill(组内分享) 高质量 Skill 不是“一个调得很顺的巨型 Prompt”,而是一个可验证、可回归、可维护的能力包。 先定义“什么算好”,再实现“怎么做好”。评估体系先于 Skill 本身成型。 下面用“故障诊断 Markdown 转 YAML”作为例子,但方法是通用的。 --- 一、先想清楚:Skill 到底是什么 一个 Skill 至少包含四部分: 部分 作用 接口 输入什么、输出什么、边界在哪 流程 分几步做,每步的产物是什么 规则 硬约束、经验规则、失败模式 降级策略 不确定时怎么办,而不是硬编一个看似合理的结果 高质量 Skill 的共同点:职责单一、接口清晰、规则可定位、输出可验证。 反例:把几十条经验全塞进一个主 Prompt,改一条规则要重调整个 Prompt,评估时也不知道是哪条规则退化。 --- 二、核心方法:先建评估,再写 Skill 不要先写转换器再补测试。正确顺序是: 1. 定义输出契约:什么算合法、什么算合格; 2. 建金标准集:一小批人工认可“可放行”的样本; 3. 先写评估 Skill:让它在金标准集上跑出基线; 4. 再迭代生成 Skill:每次修改跑同一套评估,无退化且目标维度提升才算正向。 这就是评估驱动开发:评估是 Skill 的单元测试,金标准集是回归锚点。 --- 三、评估 Skill:三层门禁,逐层递进 前一层不过,后一层不跑。每层留可追溯证据。 第 1 层:确定性硬门禁 用解析器、Schema、校验器完成,不消耗模型成本。 · 输出可解析; · 必填字段齐全,类型/枚举合法; · 引用目标存在,无悬空引用、无不可达节点; · 关键路径至少有一条能到达预期出口。 不通过直接打回。 第 2 层:语义断言 用脚本 + 结构遍历检查“逻辑对不对”,仍然保持确定性。 通用检查项: · 覆盖率:源材料里的关键步骤、分支、条件,输出里是否都有对应? · 完整性:每个判断节点是否都有明确出口?有没有死胡同? · 可达性:每条路径是否都能到达预期终点?有没有无出口循环? · 顺序与依赖:有先后依赖的操作,是否保留了顺序?有没有被拍平成无序列表? 例子:故障诊断转换中,检查“每个判断项是否有是/否/异常出口”“每条路径是否能到根因”。 第 3 层:LLM-as-Judge 只处理解析器表达不了的维度:忠实度、完整性、可执行性。 但 Judge 会漂移,不能单独放行,必须建立在第 1、2 层之上。Judge 的 Prompt、rubric、模型版本都要版本化,换模型必须用金标准集重新校准。 通用 Judge 维度: 维度 问什么 忠实度 输出是否忠实源材料意图?有没有自行发明内容? 完整性 关键步骤、条件、证据是否保留?隐式知识有没有被压成空话? 收敛性 输出是否仍指向原目标,而不是发散? 可执行性 下游不依赖源材料能否直接使用? --- 四、金标准集:回归测试的锚点 不需要一开始就标注几百份。用已认可的样本当种子,扩到 15~30 份,覆盖失败模式而非随机抽样: · 完整正例:典型流程; · 边界/异常分支:异常路径、循环、前置失败回退; · 已知易错模式:实际踩过的坑; · 留出集:不参与调优,只用于最终验收,防过拟合。 金标准不需要完美,只需要当前标准下认可可放行。 回归指标:关键路径用 pass^k(k 次全过),稳定性用 pass@k。 --- 五、工程约束:让批量产出可重放 · 幂等:同输入 + 同 Skill 版本 + 同规则 → 输出一致,否则无法判断变好是 Skill 改了还是随机波动; · 隔离不阻断:单份失败进隔离队列,记录失败层和原因,不阻塞其余; · 版本绑定:规则、rubric、金标准集进 Git;每份报告绑定“源版本 + 生成 Skill 版本 + 评估 Skill 版本 + Judge 模型版本”; · 抽样人工复核:Judge 临界样本 + 易错模式,人工抽检结果反过来校准 rubric。 --- 六、Skill 本身怎么写 · SKILL.md 控制篇幅,写清:输入约定、输出契约、分步流程、硬规则、降级策略; · 经验规则放 references/ 或 rules/,按失败模式分类,不要全塞进主 Prompt; · 不确定时标 needs_review: true,不要硬编看似合理的结果; · 迭代由评估报告驱动:报告告诉你哪层挂了、哪类失败模式,你改对应规则文件,而不是漫无目的调 Prompt。 --- 七、落地顺序(不要反过来) 1. 固化输出契约:Schema + 结构约束; 2. 建金标准集:从已认可的 + 最易出错的样本开始; 3. 先写评估 Skill:跑出基线报告; 4. 再迭代生成 Skill:每次修改对比逐项通过率,无退化且目标提升才算正向; 5. 批量运行 + 隔离回放:失败进队列,结束后人工抽检; 6. 评估 Skill 自身版本化:换 Judge 模型必须重新校准。 --- 八、给组员的三条硬要求 1. 不许凭感觉说“变好了”:每次修改必须附评估报告对比,逐项通过率说话。 2. 不许跳过确定性门禁直接看 Judge 分数:前两层挂了,Judge 分数没有意义。 3. 不许把规则堆进主 Prompt:规则按失败模式分文件,评估报告要能定位到具体文件。 --- 一句话收尾 生成 Skill 决定“能不能做”,评估 Skill 决定“敢不敢用”。 先让评估体系站稳,再让生成器迭代。这样交付的不是一堆“看起来还行”的产出,而是一套可证明、可回归、可交接的 Skill 质量体系。
300
10
什么是LLM
300
🔥热门工具
朱雀AI检测朱雀AI检测
朱雀AI检测助手朱雀AI检测助手
LovartLovart
老鱼简历老鱼简历
WritePass官网WritePass官网
面多多面多多
CursorCursor
星月写作星月写作
零感AI零感AI
墨得问题墨得问题