鱼皮AI导航
鱼皮AI导航
  • 主页
  • 社区
  • AI工具
  • AI知识库
  • AI提示词
  • MCP
  • Skills
  • AI学习资源
  • AI资讯
  • GitHub开源
登录/注册
站长:程序员鱼皮 老鱼简历 商务合作 增值电信业务经营许可证
2026 鱼皮AI导航 | 沪ICP备19026706号-6
8
3
1

DeepSeek 全新模型发布,性价比最高的一集!

程序员鱼皮
程序员鱼皮
2026-10-19 17:58
阅读 1330
程序员鱼皮
2026-10-19 17:58
阅读 1330

大家好,我是程序员鱼皮。

10 月 17 日周六下午,DeepSeek 又更新了。

距离上个月 V4.1 Flash 正式发布才一个多月,这次发布的版本号是 DeepSeek-V4.1-Flash-1017。网页端、APP 和 API 全部同步切换,价格一分没涨,权重也照样开源了。

虽然官方说这只是一次小版本更新,但跑分涨得非常猛。

AI 编程基准 DeepSWE 从上一版的 74.2 涨到了 77.0,超过了 Claude Opus 5 的 74.0;考察终端编程能力的 Terminal-Bench 4.0 从 31.2 涨到了 42.3,一口气涨了 11 分!

官方跑分

不过纵览这张表里的 11 项测试基准,DeepSeek 对 Claude Opus 5 是 4 胜 7 负,HLE、Terminal-Bench、ProgramBench 这些项目 Opus 5 还是明显领先的。

真正值得关注的是下面这张性能和成本对比图。

性能成本图

1017 版本在 MAX 推理档位下,DeepSWE 每个任务的平均费用只要 1 块多,旧版 V4.1 Flash 在同一档位要 3 块多。

能力更强了,花的钱反而少了一半多!

夸夸大肥鱼:

这也是 DeepSeek 这次敢说「性能和费用的帕累托改进」的底气。

帕累托改进这个词听着很高级,其实就是说 有的变好了,而且没有一样变差。放到这次更新上,就是能力更强了、任务跑得更快了、花的钱还更少了,用户不需要做任何取舍。

除了模型本身,这次 DeepSeek 还重点宣传了 2 点。

一是官方主打的「许愿式编程」。DeepSeek 说新模型用基于自反馈的强化学习训练,从零构建完整项目的能力提升了很多,尤其是游戏开发和 3D 建模,官方演示了故宫 3D 建模、网页赛车游戏、用 Godot 复刻《传送门 2》等案例,提示词都很短。

二是开放了自研的 Search 和 Fetch 搜索接口,价格都是 5 元 / 千次。而且在 DeepSeek Harness、Claude Code、Codex 里用 DeepSeek API 时调用的服务端搜索,11 月 1 日之前还是免费的。

OK,接下来咱们实战测试一波。

测试方法

这次 DeepSeek 特别说明了新模型针对自家的 DeepSeek Harness(下面简称 DSH)做了专项优化,所以我直接用 DSH 的 Web 端来测。

DeepSeek Harness 是 DeepSeek 官方开源的 AI 编程工具,你可以把它理解成国产版的 Codex。

如果你还没用过 DSH,可以看看我免费开源的 《AI 编程零基础入门教程》,里面有 DSH 从安装、实战到插件开发的保姆级教程。

开源指路:https://github.com/liyupi/ai-guide

鱼皮的 AI 编程教程

首先打开终端,运行下面这行命令,安装最新版本的 DSH:

▼
bash
复制代码
npx @deepseek-ai/dsh@next web

升级之后,模型列表里的 DeepSeek-V4.1-Flash 后面会多一个 1017 的小标签。我用的是默认的 Max 推理档位、标准模式,访问权限全部放开。

模型选择

我在 DSH 里开了 4 个会话同时跑 4 个项目,每个会话一个独立的项目目录,全程不进行人工干预。

测试的项目分别为:

  1. 3D 程序化城市生成器(跟旧版 V4.1 Flash 同题对比)
  2. 3D 地铁跑酷网页游戏
  3. 3D 天坛祈年殿
  4. 接入 DeepSeek 新搜索接口的 AI 搜索引擎

下面挨个儿来看。

1、3D 程序化城市生成器

第一个项目是我上个月测旧版 DeepSeek V4.1 Flash 时用过的原题,让 AI 做一个程序化 3D 城市生成器,至少包含重庆、上海、西安、深圳、江南五种城市风格,切换风格之后建筑形态、色调和地形要有明显差异。

为了能公平对比,提示词跟上次一字不差。编辑器布局和参数维度怎么设计我一个字都没提,让 AI 自己去搜 OpenAI 官方那版的产品设计,在此基础上做中国版。

Case 1 提示词

上次旧版 V4.1 Flash 跑这道题,前后用了 102 分钟、250 步。

这次新版扣掉中途断线的等待时间,用了大约 61 分钟、207 步,快了将近 40%!

来看成品,AI 给项目取名叫「城脉」,朱砂印章配宋体标题,右边是完整的城市营造控制台。默认打开就是重庆的黄昏,两江交汇、依山层叠的高楼、跨江大桥和轻轨线路都做出来了,标注里还写着李子坝轻轨穿楼、解放碑。

新版重庆

放大看细节,楼宇的灯光窗格、台地上的吊脚楼、穿过楼群的轻轨都清晰可见。

新版重庆近景

再对比一下上个月旧版 DeepSeek 做的重庆。

旧版 V4.1 Flash 重庆

旧版的重庆是一大片方方正正的盒子楼,周围还飘着很多白色的小棍子,一看就是渲染出了问题。新版不光有了黄昏的氛围光,山体、台地、立交和楼群的层次也丰富了很多。

切换到上海,上海中心、东方明珠、外滩沿江的石头建筑都有,江面上还有游船。

新版上海

不足之处也很明显,东方明珠做得太小了,淹没在楼群里,不认真找压根儿看不到,而且渲染也有明显的 Bug。

这一点旧版反而做得更好,粉色的东方明珠一眼就能认出来,只不过也很丑就对了……

旧版 V4.1 Flash 上海

进步最大的是西安。

上次我吐槽旧版的西安「很难一眼认出是古都」,旧版虽然也围了一圈城墙,但城里全是穿模的白色碎片,看不出是哪座城市。

旧版 V4.1 Flash 西安

这次新版做出了方方正正的明城墙、城门楼、钟楼、大雁塔和护城河,城内是低矮的合院,城外是现代楼宇,新旧层叠的感觉一下就出来了。

新版西安

深圳是紫黑天空 + 霓虹灯牌的赛博风,江南则是粉墙黛瓦、水巷、石拱桥和乌篷船,跟其他几座城市的反差非常明显。

新版深圳

新版江南

同一段提示词,新版做出来的已经是能认出城市的作品了,旧版更像是一堆方块加上满屏的穿模碎片。

进步明显!

2、3D 地铁跑酷

第二个项目开始测「许愿式编程」。

我只用了几句话描述需求,让 AI 做一个 3D 版的地铁跑酷网页游戏,主角是背着电脑包赶末班地铁的程序员,躲避列车和路障、收集金币,越跑越快。除了要求「不使用任何外部素材」之外,技术栈和玩法细节全部放开,交给 AI 自己搞。

Case 2 提示词

AI 给游戏取名《末班车》,开始界面看起来有模有样的,不过话说这个主角是施工队的大哥么?为啥程序员要带个黄色的头盔啊!

开始界面

开局之后是三车道的隧道跑酷,左上角是金币数,中间是里程和时速,可以正常进行游戏,而且会越跑越快。

游戏开局

如果主角不小心撞车了,会弹出一个车票风格的结算界面,「代码还在,再赶一班」,这个文案有点儿意思。

结算车票

不过问题也有不少,比如障碍物太稀疏了,玩起来压力不够;二是主角形象塑造的一般;三是游戏过程中控制台一直在报音频参数的错误,虽然不影响玩,但说明 AI 的自测没覆盖到这一块。

整体来看,几句话就能做出一个画面还不错、流程完整的 3D 小游戏,说是许愿式编程倒也没问题。

3、3D 天坛祈年殿

第三个项目对标官方演示的故宫 3D 建模,我让 AI 用纯代码还原天坛祈年殿,三重檐、蓝色琉璃瓦、汉白玉三层圆台基这些特征都要有,支持旋转视角和日夜切换,并且要求它先联网查资料。

Case 3 提示词

这里我简单介绍一下 AI 的执行过程。

AI 先用 DSH 内置的联网搜索查了北京市公园管理中心和天坛公园的官方资料,发现中英文资料里的直径数据对不上,又多查了几轮才确认用哪组尺寸。

查完数据,AI 还去下载了几张祈年殿的实拍照片,专门裁出屋顶部分放大,对照着看瓦垄和檐口的细节,最后才开始写代码。

来看成品,这个效果真心不错!

祈年殿日景

整个画面全部都是靠代码画出来的,没有用任何外部模型和贴图。

切换到「三重檐」视角,可以看清每一层的琉璃瓦垄和檐下彩画:

三重檐

切换到夜景,殿内亮起暖光,跟深蓝色的屋顶形成对比,很有氛围感。

祈年殿夜景

右上角还有一个「建筑档案」面板,可以看到更多信息和数据:

建筑档案

单看这个案例,目前我还真挑不出明显的毛病。

4、AI 搜索引擎

前面 3 个都偏前端和 3D 开发,最后一个项目我测试一下 AI 的全栈编程能力,顺便验证 DeepSeek 这次新开放的搜索接口。

我让 AI 开发一个类似秘塔 AI 搜索和 Perplexity 的 AI 搜索引擎,后端先调用 Search 接口搜全网,再用 Fetch 接口抓取网页正文,最后交给 deepseek-flash 整理成带引用角标的回答,还要支持流式输出和连续追问。

这两个接口 10 月 17 日才刚发布,所以我要求 AI 先去查官方文档再开发:

Case 4 提示词

AI 先抓取了 DeepSeek 官方的「网页搜索与抓取」文档,把接口地址、请求字段、返回字段都摸清楚了才动手。

最后交付的项目叫《问渠》,取自「问渠那得清如许,为有源头活水来」,很有诗意~

首页的设计非常有质感,标语也很贴切,就是没用的废话有点多,看着有点烧心:

问渠首页

我问了一个需要靠实时搜索来回答的问题,比如:DeepSeek V4.1 Flash 1017 这次更新了什么?

右侧的「溯源实况」面板会实时展示 AI 拆出了哪几条检索方式、搜到了多少条结果、正在读哪几个网页,过程完全透明。

搜索过程

用了 13 秒,回答就生成好了,内容和官方公布的数据完全对得上,跑分还整理成了表格。

回答结果

鼠标悬停在引用角标上,会显示来源网页的标题,点击就能跳转到原文。

引用角标

我又追问了一句:那它的 API 价格和调用方式有变化吗?

这次只用 4.4 秒就答完了,明确给出了「没有变化」的结论,还补充了旧模型名会自动路由到新模型。

连续追问

从查文档到全栈开发,再到流式输出、引用跳转、连续追问,这个项目我没找到明显的 Bug,完成度很高。

顺便说一下这个搜索接口本身的体验。我自己直接调了几次,Search 接口单次只要 0.4 秒左右,发布第二天我测的时候,相关新闻就已经收录了,每条结果还带有相关性打分和权威度分级。

接口实测

但 Fetch 接口有个小问题,返回的 Markdown 正文里,#、.、| 这些符号全部被加上了反斜杠转义,喂给模型读问题不大,如果你想直接渲染到页面上,就得自己先处理一遍。

另外,DSH 最新版本已经支持直接调用这两个接口,不过默认是关闭的,需要自己去网页搜索设置里手动开启。

我的感受

4 个项目全部跑完,我觉得这次的 DeepSeek V4.1 Flash 1017 是一次实打实的升级,尤其是 3D 和前端审美,比上个月的旧版强了不止一个档次。

最直观的就是城市生成器这个 Case。同样的提示词,旧版做出来的还是一堆方块加满屏的穿模碎片,新版已经能做出钟楼、大雁塔、李子坝轻轨穿楼这种一眼能认出的地标了,而且耗时从 102 分钟缩短到了 61 分钟。

我看了下其他博主的测评,跟我的感受一致,而且根据 Arena 的 WebDev 代码竞技场,10 月 18 日更新后,1017 拿到了 1670 分,是开源模型第一、总榜第 12。上个月的旧版只有 1619 分,总榜排在第 25 名。

WebDev 排行榜

不过官方说的「输出更短」,我倒是没有很明显的感受。

城市生成器这个测试中,新版的输出 Token 是 45.6 万,比旧版的 22.7 万还多了一倍。一方面可能是因为上次旧版用的是 high 档,这次 DSH 默认是 Max 档;另一方面是新版 DeepSeek 更多地通过截图检查效果,光这一个项目就看了 72 次截图,改了一轮又一轮。

城市生成器会话统计

这跟社区里有人反馈的「新版很难自我满足」是一致的。

还有开发者用同一套 Bug 修复测试做了对比,同样是 1017,配上 DSH 比配上 Claude Code 平均高 2 到 3 分,但成本多了 80%,原因也是子 Agent 和输出 Token 更多。

说白了,DSH + Max 档就是用更多的 Token 换更好的效果,好处是交付质量高,代价是 Token 用得多。

再说说大家关心的成本,我这几个测试总共花了多少 Money 呢?

单个项目的 Token 消耗在 3500 万到 7400 万之间,4 个项目加起来有 2.4 亿多,好在缓存命中率都在 99.7% 以上,绝大部分都是按缓存价计费的。

打开 DeepSeek 开放平台的用量面板一看,4 个项目加上我自己调接口的测试,一共才花了 12.81 元,平均每个项目 3 块钱左右!

消费面板

上个月旧版 V4.1 Flash 平均每个项目要 5 块钱左右,这次项目更复杂、Token 用得更多,单个项目反而更便宜了,非常香!

可惜的是,DeepSeek 还不出订阅套餐!

对于 AI 编程重度用户来说,选择用 Coding 套餐的 GLM-5.3-Flash,价格可能比 DeepSeek 更有竞争力。

总之,我对这次 DeepSeek 的更新是很满意的,虽然无法跟国外闭源模型抗衡,但又快又便宜,能让更多普通人用上 AI 编程、AI 办公,这就很有意义了。可以期待一波 DeepSeek 的下一个正式版本,我觉得应该会挺牛掰的。

AI
编程
程序员
AI编程
DeepSeek
8
1
分享
操作
评论
相关内容
0个评论
全部评论
点击登录,快来和大家讨论吧~
表情
图片

目录

🔥 热门文章
1
手把手教你设计一个成熟的 Agent Harness
2500
2
我用 REA 逆向了付费颜色 APP,结果很意外!
570
3
离谱,DeepSeek 崩了 5 小时,大家却喊:梁圣恩情还不完??
420
4
DeepSeek 全新模型发布,性价比最高的一集!
380
5
B 站上 DeepSeek 闹鱼灾了,我发起《大肥鱼清除计划》!
370
6
自己学习ai,直接买cursor 的套餐,还是买gpt 或者claude 的套餐?
360
7
又一个国产版 Codex 神器,也来卷办公了!
330
8
AI 越强,被它拒绝的代价就越大 我有时候会想:AI 越来越厉害之后,有些事情,会不会反而越来越难做? 这个想法看起来有点矛盾。AI 明明在降低门槛,让不会写代码的人做出软件,让不会画画的人生成图片,让一个人完成过去需要整支团队才能完成的工作。但今天用 Codex 的时候,AI 拒绝帮我编写 SQL 注入的请求体,而那还是我有源码、在本地跑测试的情况。那么,往后是否只会更难? 我们假设某一天,AI 说:「这个请求违规,我不能帮助你。」到那个时候,你还有多少能力,能绕过它,把事情做完? 这里的「违规」需要打个引号。平台的规则、模型的判断、法律的要求,以及一件事实际有没有造成伤害,彼此之间并不总是画得上等号。一个请求可能确实危险,也可能只是缺少上下文被误判,或者恰好落在某家公司的限制范围里。 无论是哪种情况,随着我们越来越依赖 AI,这句拒绝都可能变得越来越贵。 今天,一个程序员让 AI 帮忙写代码,AI 拒绝了,他大概率还有别的办法:查文档、找开源项目、问同行,或者自己写。麻烦一点,慢一点,但路还在。 可如果十年之后,大部分程序都由 AI 完成,情况就不一样了。 很多人从接触编程的第一天起,就习惯了描述需求、等待生成、运行结果、继续迭代。他们能做出相当复杂的产品,却未必经历过独立处理底层问题的训练。平时,这种能力结构完全够用,效率甚至更高。只有 AI 拒绝的时候,他们才会发现:平常被省掉的那段学习过程,恰好是此刻最需要的东西。 到那时,一次拒绝的成本,可能就从「今晚多花两个小时」,变成「先花半年学会这门技术」。 拿 SQL 注入举个稍显极端的例子:往后,连真正理解这类攻击如何发生、能够独立构造测试的人,会不会也越来越少? 这里也包括那些有正当需求的人。一个开发者想检查自己的旧系统,一个经过授权的安全研究员想复现漏洞,假如 AI 识别到危险模式就拒绝,而使用者又只熟悉「让 AI 帮我检查」,这项原本可以独立完成的工作,就这样卡住了。 但是安全专家不会因此消失,但这类技能可能越来越集中在少数人手里。你仍然可以找专家,只是要付出更多的钱、更多的时间,以及更高的沟通成本。 类似的困境,未必只发生在网络安全领域。 你想从一个停止维护的软件里取回自己的数据,需要解析它的旧文件格式。AI 判断这涉及规避保护措施,拒绝继续。你拥有这些数据,却没有能力把它们读出来。 你买了一台设备,厂商停止提供服务。你想修改程序让它继续运转,过程中需要处理某种访问限制。AI 不愿协助,而你所掌握的维修方式,早已只剩下「把报错发给 AI」。 你想给常用的网站写一个辅助工具,减少重复操作。平台将此归入自动化限制,AI 也据此拒绝。过去会写脚本的人可以自己判断、自己处理;未来的使用者,可能连从哪里开始都不知道。 这些例子有一个共同点:当工具同时承担了「执行工作」和「传授知识」的角色,它的拒绝就不只是挡住了一次任务,也挡住了获得这种能力的机会。 更麻烦的是,这种依赖往往是我们主动选择的,而且每一步都很合理。 既然 AI 几秒钟就能做好,为什么还要花几个月学习?既然公司可以采购成熟的 AI 服务,为什么还要养一支负责基础工作的团队?既然市场上已经很少有人手写这些东西,学校为什么还要花大量时间教? 对个人、公司和学校来说,这些选择都有现实依据。但叠加起来,整个社会保留的独立能力就可能越来越少。等到某项能力突然受到限制,我们才发现,备用方案早已在追求效率的过程中被一点点削掉了。 所以,「AI 越强,做事越便宜」可能只描述了未来的一半。 另一半是:被允许的事情越来越便宜,被拒绝的事情依然需要人工完成,却要面对更少的人才、更高的报价,以及越来越难获得的知识。两边的成本差距,会越拉越大。 有人会说,可以换一个模型,或者用本地模型。这确实是重要的选项。只要工具之间还有充分竞争,开放模型还足够可用,限制就未必能形成真正的门槛。 但备用方案也需要维护。它需要硬件、知识、软件生态,以及一群仍然理解这些系统的人。如果大多数人已经习惯了最方便的商业服务,那么「理论上还有别的办法」和「普通人实际用得起、用得明白」,之间仍然可能隔着很远。 我担心的,正是这段距离。 我不指望 AI 对任何请求都照单全收。对明显会伤害他人的行为设置限制,有充分的理由。但我们也需要关心:限制由谁定义,误判有没有申诉渠道,用户能不能换工具,以及脱离这个工具之后,还剩下多少独立行动的能力。 保留这些能力,平时看起来甚至有点低效,明明可以自动生成,还要理解原理;明明可以一键完成,还要知道手动怎么做。 但这些看似多余的知识,会在工具拒绝、失效、涨价或改变规则的那一刻,成为真正的选择权。 AI 越强,我们可能越需要留意它说「不」的那一刻。 因为那句话的分量,最终取决于:它拒绝之后,我们还能做什么。
310
9
day3-如何写出一个高质量的 Skill(组内分享) 高质量 Skill 不是“一个调得很顺的巨型 Prompt”,而是一个可验证、可回归、可维护的能力包。 先定义“什么算好”,再实现“怎么做好”。评估体系先于 Skill 本身成型。 下面用“故障诊断 Markdown 转 YAML”作为例子,但方法是通用的。 --- 一、先想清楚:Skill 到底是什么 一个 Skill 至少包含四部分: 部分 作用 接口 输入什么、输出什么、边界在哪 流程 分几步做,每步的产物是什么 规则 硬约束、经验规则、失败模式 降级策略 不确定时怎么办,而不是硬编一个看似合理的结果 高质量 Skill 的共同点:职责单一、接口清晰、规则可定位、输出可验证。 反例:把几十条经验全塞进一个主 Prompt,改一条规则要重调整个 Prompt,评估时也不知道是哪条规则退化。 --- 二、核心方法:先建评估,再写 Skill 不要先写转换器再补测试。正确顺序是: 1. 定义输出契约:什么算合法、什么算合格; 2. 建金标准集:一小批人工认可“可放行”的样本; 3. 先写评估 Skill:让它在金标准集上跑出基线; 4. 再迭代生成 Skill:每次修改跑同一套评估,无退化且目标维度提升才算正向。 这就是评估驱动开发:评估是 Skill 的单元测试,金标准集是回归锚点。 --- 三、评估 Skill:三层门禁,逐层递进 前一层不过,后一层不跑。每层留可追溯证据。 第 1 层:确定性硬门禁 用解析器、Schema、校验器完成,不消耗模型成本。 · 输出可解析; · 必填字段齐全,类型/枚举合法; · 引用目标存在,无悬空引用、无不可达节点; · 关键路径至少有一条能到达预期出口。 不通过直接打回。 第 2 层:语义断言 用脚本 + 结构遍历检查“逻辑对不对”,仍然保持确定性。 通用检查项: · 覆盖率:源材料里的关键步骤、分支、条件,输出里是否都有对应? · 完整性:每个判断节点是否都有明确出口?有没有死胡同? · 可达性:每条路径是否都能到达预期终点?有没有无出口循环? · 顺序与依赖:有先后依赖的操作,是否保留了顺序?有没有被拍平成无序列表? 例子:故障诊断转换中,检查“每个判断项是否有是/否/异常出口”“每条路径是否能到根因”。 第 3 层:LLM-as-Judge 只处理解析器表达不了的维度:忠实度、完整性、可执行性。 但 Judge 会漂移,不能单独放行,必须建立在第 1、2 层之上。Judge 的 Prompt、rubric、模型版本都要版本化,换模型必须用金标准集重新校准。 通用 Judge 维度: 维度 问什么 忠实度 输出是否忠实源材料意图?有没有自行发明内容? 完整性 关键步骤、条件、证据是否保留?隐式知识有没有被压成空话? 收敛性 输出是否仍指向原目标,而不是发散? 可执行性 下游不依赖源材料能否直接使用? --- 四、金标准集:回归测试的锚点 不需要一开始就标注几百份。用已认可的样本当种子,扩到 15~30 份,覆盖失败模式而非随机抽样: · 完整正例:典型流程; · 边界/异常分支:异常路径、循环、前置失败回退; · 已知易错模式:实际踩过的坑; · 留出集:不参与调优,只用于最终验收,防过拟合。 金标准不需要完美,只需要当前标准下认可可放行。 回归指标:关键路径用 pass^k(k 次全过),稳定性用 pass@k。 --- 五、工程约束:让批量产出可重放 · 幂等:同输入 + 同 Skill 版本 + 同规则 → 输出一致,否则无法判断变好是 Skill 改了还是随机波动; · 隔离不阻断:单份失败进隔离队列,记录失败层和原因,不阻塞其余; · 版本绑定:规则、rubric、金标准集进 Git;每份报告绑定“源版本 + 生成 Skill 版本 + 评估 Skill 版本 + Judge 模型版本”; · 抽样人工复核:Judge 临界样本 + 易错模式,人工抽检结果反过来校准 rubric。 --- 六、Skill 本身怎么写 · SKILL.md 控制篇幅,写清:输入约定、输出契约、分步流程、硬规则、降级策略; · 经验规则放 references/ 或 rules/,按失败模式分类,不要全塞进主 Prompt; · 不确定时标 needs_review: true,不要硬编看似合理的结果; · 迭代由评估报告驱动:报告告诉你哪层挂了、哪类失败模式,你改对应规则文件,而不是漫无目的调 Prompt。 --- 七、落地顺序(不要反过来) 1. 固化输出契约:Schema + 结构约束; 2. 建金标准集:从已认可的 + 最易出错的样本开始; 3. 先写评估 Skill:跑出基线报告; 4. 再迭代生成 Skill:每次修改对比逐项通过率,无退化且目标提升才算正向; 5. 批量运行 + 隔离回放:失败进队列,结束后人工抽检; 6. 评估 Skill 自身版本化:换 Judge 模型必须重新校准。 --- 八、给组员的三条硬要求 1. 不许凭感觉说“变好了”:每次修改必须附评估报告对比,逐项通过率说话。 2. 不许跳过确定性门禁直接看 Judge 分数:前两层挂了,Judge 分数没有意义。 3. 不许把规则堆进主 Prompt:规则按失败模式分文件,评估报告要能定位到具体文件。 --- 一句话收尾 生成 Skill 决定“能不能做”,评估 Skill 决定“敢不敢用”。 先让评估体系站稳,再让生成器迭代。这样交付的不是一堆“看起来还行”的产出,而是一套可证明、可回归、可交接的 Skill 质量体系。
300
10
WorkBuddy 本地 API 桥 + dsh 插件:把你的 WorkBuddy 额度,变成手边随手可用的模型
290
🔥热门工具
朱雀AI检测朱雀AI检测
朱雀AI检测助手朱雀AI检测助手
LovartLovart
老鱼简历老鱼简历
WritePass官网WritePass官网
面多多面多多
CursorCursor
星月写作星月写作
零感AI零感AI
墨得问题墨得问题