鱼皮AI导航
鱼皮AI导航
  • 主页
  • 社区
  • AI工具
  • AI知识库
  • AI提示词
  • MCP
  • Skills
  • AI学习资源
  • AI资讯
  • GitHub开源
登录/注册
站长:程序员鱼皮 老鱼简历 商务合作 增值电信业务经营许可证
2026 鱼皮AI导航 | 沪ICP备19026706号-6
9
3
4

面试官问我:AI Agent的Skills架构怎么设计?

科叼
科叼
2026-06-11 17:31
阅读 1326
科叼
2026-06-11 17:31
阅读 1326

上周去面一家做AI Agent平台的创业公司,B轮,团队60人,技术栈是Python + FastAPI + Redis + PostgreSQL。我做了三年后端,最近半年在搞LLM应用,自己搭过RAG pipeline,也玩过Claude Code和OpenClaw。

一面是技术负责人,看起来三十出头,T恤上印着"Skill Issue"——我后来才知道这是个梗。 面试官:你用过Claude Code或者OpenClaw吗?对Agent的Skill机制怎么理解? 我:用过。我的理解是,Skill本质上是一个结构化的知识包,解决的是上下文稀缺性的问题。传统做法是把所有知识塞进System Prompt,但塞太多模型会糊。Skill通过"渐进式披露"解决这个矛盾——第一层只加载元数据(name和description),让模型知道有哪些能力;第二层在任务匹配时才加载SKILL.md正文;第三层是scripts和references,只有主动引用时才进上下文。三层结构,按需加载,模型只为正在做的事付token。

面试官:那如果用户同时触发了三个Skill,上下文会爆炸吗?你怎么处理优先级? 我:这确实是实际会遇到的问题。我的做法是——第一,SKILL.md正文控制在5000 token以内,三个同时加载最多15000 token,在大多数模型的上下文窗口里还能承受。第二,设置优先级权重,元数据里的description本身就是天然的优先级信号——模型会根据任务相关性自动排序。第三,如果确实超出预算,就做"Skill裁剪":只保留被引用Skill的元数据层,把指令层压缩成摘要,资源层延迟加载。 面试官(追问1):你说到Skill裁剪,那如果你裁掉了一个关键Skill的指令层,模型执行出错怎么办?有没有回退机制?

我:好问题。我的方案是加一个"执行验证"环节——模型执行Skill后,先输出一个执行计划,人工确认或者用小模型做快速校验,通过后再真正执行。如果校验不通过,就重新加载完整Skill上下文重跑。代价是多一步确认,但安全性上了一个台阶。实际上我在自己的项目里就是这么做的,测试下来大概5%的执行需要回退,但这些5%恰好是最容易出问题的场景。

(顺手推几个技术大厂的机会,前、后端or测试,感兴趣就试试 )

面试官(追问2):最后一个问题,如果让你设计一个面向企业的Skill市场——企业可以购买或订阅第三方Skill——你会怎么考虑安全和质量? 我:三个层面。第一,沙箱隔离——每个Skill执行时必须在独立的沙箱里,不能直接访问主进程的文件系统和网络。类似浏览器里iframe的隔离模型。第二,权限声明——Skill必须在元数据里显式声明它需要的外部访问权限(域名、端口、文件路径),加载前给用户确认。第三,质量审核——平台做两轮扫描,一轮静态分析代码和配置,一轮动态运行测试用例。类似于App Store的审核流程,但更自动化。我之前在做一个内部工具市场的时候用过类似机制,效果还行,上线三个月没有出现一次安全事故。

面试完我出去等了五分钟,HR过来问我:"二面还约吗?" 我说约。

回来复盘,我觉得答得最扎实的是第三个追问。前面两个偏向理论,第三个我拿出了实际经验。面试官问问题的方式也让我觉得这个团队是认真在做Agent基础设施的,不是那种PPT画饼的。

AI
9
4
分享
操作
评论
相关内容
0个评论
全部评论
点击登录,快来和大家讨论吧~
表情
图片
🔥 热门文章
1
离谱,DeepSeek 崩了 5 小时,大家却喊:梁圣恩情还不完??
450
2
B 站上 DeepSeek 闹鱼灾了,我发起《大肥鱼清除计划》!
410
3
DeepSeek 全新模型发布,性价比最高的一集!
410
4
自己学习ai,直接买cursor 的套餐,还是买gpt 或者claude 的套餐?
370
5
又一个国产版 Codex 神器,也来卷办公了!
340
6
Vibe Coding 实战:从零构建现代专业级 AI 搜索引擎
330
7
day3-如何写出一个高质量的 Skill(组内分享) 高质量 Skill 不是“一个调得很顺的巨型 Prompt”,而是一个可验证、可回归、可维护的能力包。 先定义“什么算好”,再实现“怎么做好”。评估体系先于 Skill 本身成型。 下面用“故障诊断 Markdown 转 YAML”作为例子,但方法是通用的。 --- 一、先想清楚:Skill 到底是什么 一个 Skill 至少包含四部分: 部分 作用 接口 输入什么、输出什么、边界在哪 流程 分几步做,每步的产物是什么 规则 硬约束、经验规则、失败模式 降级策略 不确定时怎么办,而不是硬编一个看似合理的结果 高质量 Skill 的共同点:职责单一、接口清晰、规则可定位、输出可验证。 反例:把几十条经验全塞进一个主 Prompt,改一条规则要重调整个 Prompt,评估时也不知道是哪条规则退化。 --- 二、核心方法:先建评估,再写 Skill 不要先写转换器再补测试。正确顺序是: 1. 定义输出契约:什么算合法、什么算合格; 2. 建金标准集:一小批人工认可“可放行”的样本; 3. 先写评估 Skill:让它在金标准集上跑出基线; 4. 再迭代生成 Skill:每次修改跑同一套评估,无退化且目标维度提升才算正向。 这就是评估驱动开发:评估是 Skill 的单元测试,金标准集是回归锚点。 --- 三、评估 Skill:三层门禁,逐层递进 前一层不过,后一层不跑。每层留可追溯证据。 第 1 层:确定性硬门禁 用解析器、Schema、校验器完成,不消耗模型成本。 · 输出可解析; · 必填字段齐全,类型/枚举合法; · 引用目标存在,无悬空引用、无不可达节点; · 关键路径至少有一条能到达预期出口。 不通过直接打回。 第 2 层:语义断言 用脚本 + 结构遍历检查“逻辑对不对”,仍然保持确定性。 通用检查项: · 覆盖率:源材料里的关键步骤、分支、条件,输出里是否都有对应? · 完整性:每个判断节点是否都有明确出口?有没有死胡同? · 可达性:每条路径是否都能到达预期终点?有没有无出口循环? · 顺序与依赖:有先后依赖的操作,是否保留了顺序?有没有被拍平成无序列表? 例子:故障诊断转换中,检查“每个判断项是否有是/否/异常出口”“每条路径是否能到根因”。 第 3 层:LLM-as-Judge 只处理解析器表达不了的维度:忠实度、完整性、可执行性。 但 Judge 会漂移,不能单独放行,必须建立在第 1、2 层之上。Judge 的 Prompt、rubric、模型版本都要版本化,换模型必须用金标准集重新校准。 通用 Judge 维度: 维度 问什么 忠实度 输出是否忠实源材料意图?有没有自行发明内容? 完整性 关键步骤、条件、证据是否保留?隐式知识有没有被压成空话? 收敛性 输出是否仍指向原目标,而不是发散? 可执行性 下游不依赖源材料能否直接使用? --- 四、金标准集:回归测试的锚点 不需要一开始就标注几百份。用已认可的样本当种子,扩到 15~30 份,覆盖失败模式而非随机抽样: · 完整正例:典型流程; · 边界/异常分支:异常路径、循环、前置失败回退; · 已知易错模式:实际踩过的坑; · 留出集:不参与调优,只用于最终验收,防过拟合。 金标准不需要完美,只需要当前标准下认可可放行。 回归指标:关键路径用 pass^k(k 次全过),稳定性用 pass@k。 --- 五、工程约束:让批量产出可重放 · 幂等:同输入 + 同 Skill 版本 + 同规则 → 输出一致,否则无法判断变好是 Skill 改了还是随机波动; · 隔离不阻断:单份失败进隔离队列,记录失败层和原因,不阻塞其余; · 版本绑定:规则、rubric、金标准集进 Git;每份报告绑定“源版本 + 生成 Skill 版本 + 评估 Skill 版本 + Judge 模型版本”; · 抽样人工复核:Judge 临界样本 + 易错模式,人工抽检结果反过来校准 rubric。 --- 六、Skill 本身怎么写 · SKILL.md 控制篇幅,写清:输入约定、输出契约、分步流程、硬规则、降级策略; · 经验规则放 references/ 或 rules/,按失败模式分类,不要全塞进主 Prompt; · 不确定时标 needs_review: true,不要硬编看似合理的结果; · 迭代由评估报告驱动:报告告诉你哪层挂了、哪类失败模式,你改对应规则文件,而不是漫无目的调 Prompt。 --- 七、落地顺序(不要反过来) 1. 固化输出契约:Schema + 结构约束; 2. 建金标准集:从已认可的 + 最易出错的样本开始; 3. 先写评估 Skill:跑出基线报告; 4. 再迭代生成 Skill:每次修改对比逐项通过率,无退化且目标提升才算正向; 5. 批量运行 + 隔离回放:失败进队列,结束后人工抽检; 6. 评估 Skill 自身版本化:换 Judge 模型必须重新校准。 --- 八、给组员的三条硬要求 1. 不许凭感觉说“变好了”:每次修改必须附评估报告对比,逐项通过率说话。 2. 不许跳过确定性门禁直接看 Judge 分数:前两层挂了,Judge 分数没有意义。 3. 不许把规则堆进主 Prompt:规则按失败模式分文件,评估报告要能定位到具体文件。 --- 一句话收尾 生成 Skill 决定“能不能做”,评估 Skill 决定“敢不敢用”。 先让评估体系站稳,再让生成器迭代。这样交付的不是一堆“看起来还行”的产出,而是一套可证明、可回归、可交接的 Skill 质量体系。
320
8
我的第一个出海产品!7 天 2 万
310
9
WorkBuddy 本地 API 桥 + dsh 插件:把你的 WorkBuddy 额度,变成手边随手可用的模型
310
10
什么是LLM
300
🔥热门工具
朱雀AI检测朱雀AI检测
朱雀AI检测助手朱雀AI检测助手
LovartLovart
老鱼简历老鱼简历
WritePass官网WritePass官网
面多多面多多
CursorCursor
星月写作星月写作
零感AI零感AI
墨得问题墨得问题