剪藏#剪藏#晨念AI分享

Claude悄悄史诗级更新Skill-creator!我把自己的Skill优化了一遍,效果惊人

2026 年 5 月 10 日1 分钟
分享Twitter / XTelegram微博
Claude悄悄史诗级更新Skill-creator!我把自己的Skill优化了一遍,效果惊人 封面

大家好,我是晨念。

这是晨念死磕AI的第37篇实战笔记。

你是不是也有过这样的经历:用Skill-creator搓了一个Skill,自我感觉良好,但实际跑起来——该触发的时候不触发,不该触发的时候瞎触发。

然后你就懵了。

到底哪里出了问题?触发条件写得对不对?质量到底行不行?

以前这个问题真的无解。Skills生成完就是个黑盒,你根本没法评估。但现在,Claude悄悄更新了Skill-creator,一口气加了4个新能力,把评估体系全补上了。

说实话,这次真的可以说是史诗级升级。

废话不多说,晨念先给你拆解这次更新的4大核心能力,然后带你看一个真实的优化案例——晨念就是用这套评估体系,把自己的写作系统Skill从4.4分优化到了4.7分。

关于我的写作系统,可以去看一下我们过去的这一篇文章:Claude封号封怕了?我用OpenCode白嫖GLM-4.7设计出一套skills,25分钟产出一篇文章

Notion image

一、这次更新到底强在哪?

1. 评估系统

以前造完一个Skill,你只能"感觉"它好不好用。现在不用猜了——跑完评估,直接给你一份体检报告。

告诉你:这个Skill到底行不行,哪里有问题,触发率多少。

2. 基准测试

通过率、耗时、token用量,全部量化。

有Skill vs 没Skill,跑一遍对比,数据摆在那儿,一眼见真章。

3. 多代理并行测试

这个太香了。

以前测试是按顺序跑,一个跑完跑下一个。但问题是,前一个任务积累的上下文,会污染后一个结果。

你以为Skill立了大功,其实是对话历史帮了忙。

现在的评估,每个代理都在完全干净的环境里独立运行,有自己的token计数和时间指标。互相之间零交叉,结果更干净。

4. 描述调优

触发条件写得不精准?Skill打架怎么办?

描述调优功能会自动帮你改Skill描述,该触发的触发,不该触发的别乱触发。

二、怎么更新?

一句命令搞定。

把这段话发给你的Agent(Claude Code、OpenClaw、OpenCode都行):

Notion image

JAVASCRIPT
https://github.com/anthropics/skills/tree/main/skills/skill-creator,这个skills更新了,帮我更新到最新版本

等个几秒,更新完成。

三、实战案例:晨念写作系统Skill优化全记录

光说不练假把式。晨念用这套评估体系,把自己的写作系统Skill完整优化了一遍。

这个案例很有代表性,因为它展示了评估体系的真正价值——不是发现问题就完了,而是发现问题→诊断原因→对比方案→落地修改→验证效果,形成完整闭环。

3.1 初始评估:发现问题

晨念写作系统Skill本身设计得不错,整体架构评分4.5分:

流程设计 ⭐⭐⭐⭐⭐ 7阶段流水线逻辑清晰
风格分离 ⭐⭐⭐⭐⭐ 双风格引擎设计精妙
反AI机制 ⭐⭐⭐⭐⭐ Kill List + 多维度检测
状态管理 ⭐⭐⭐⭐ 支持断点恢复,但有问题

问题出在哪?

评估报告直接指出了三个待改进项:

  1. SKILL.md与Python脚本衔接断裂:SKILL.md要求每步调用python scripts/state_manager.py,但实际执行中Agent需要手动调用bash工具,未实现自动化状态流转。

  2. 看板更新机制依赖人工:要求"每完成一步,重新输出更新后的看板",但这依赖Agent自觉执行,无强制校验。

  3. 质量评分阈值硬编码check_kill_list.py的评分逻辑写死了,无法根据不同场景调整严格度。

💡 听晨念一句劝:评估报告最值钱的地方,不是告诉你"有问题",而是精准定位"问题在哪"。以前你可能猜半天,现在一目了然。

3.2 问题诊断:深挖根因

问题1最严重,晨念深挖了一下。

表面问题:Agent执行负担重,每步都要调用脚本,6次调用下来,容易遗漏,状态追踪不连贯。

深层原因:SKILL.md的协议设计有问题。它把"状态持久化"当成MANDATORY(必须执行),但实际上:

  • 大多数写作任务是短时完成的,不需要断点恢复

  • 持久化状态只在异常中断时才有价值

  • 强制每步调用,反而增加了Agent负担

3.3 方案对比:选择最优解

晨念列了两个方案:

持久化 ✅ 支持 ❌ 不支持
断点恢复 ✅ 支持 ❌ 不支持
Agent执行可靠性 ⚠️ 依赖Agent记得调用 ✅ 内置保证
外部可观测性 ✅ state.json可被工具读取 ❌ 只在对话中可见

最终选择:混合策略

核心洞察:大多数写作任务是短时完成的,不需要断点恢复。持久化状态只在异常中断时才有价值。

策略

  1. 简化默认流程:用看板作为主要状态追踪

  2. 保留脚本作为可选增强:仅步骤0和步骤6调用

  3. 移除中间步骤的脚本调用:减少Agent负担

3.4 具体修改:落地执行

修改前(协议过于严格):

JAVASCRIPT
【状态管理协议】
!!! CRITICAL: 严禁使用 TaskCreate 等外部工具打断内部思维链 !!! 1. 状态持久化 (MANDATORY): - 初始化时调用: python scripts/state_manager.py init ...
   - 每步完成后调用: python scripts/state_manager.py update ...

修改后(分层明确):

JAVASCRIPT
【状态管理协议】
!!! CRITICAL: 状态追踪必须执行,但脚本调用为可选增强 !!! 1. 必须执行:看板追踪 (MANDATORY)
   - 步骤0:输出初始看板
   - 每步完成:更新看板 [ ] → [x] 2. 可选增强:持久化脚本 (RECOMMENDED)
   - 步骤0 开始时调用:python scripts/state_manager.py init ...
   - 步骤6 完成后调用:python scripts/state_manager.py complete 3. 断点恢复 (INTERRUPTION ONLY): - 仅当对话中断需要恢复时调用

💡 听晨念一句劝:修改协议的时候,关键词很重要。MANDATORY、RECOMMENDED、ON ERROR——这三个层级让Agent一眼就知道什么是必须做的,什么是锦上添花的。

3.5 优化后评估:效果验证

跑完评估,效果立竿见影:

流程设计 ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ 不变
状态管理 ⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ +1
Agent执行可靠性 ⭐⭐⭐ ⭐⭐⭐⭐⭐ +2
实现复杂度 ⭐⭐⭐ ⭐⭐⭐⭐ +1
总体评分 4.4/5 4.7/5 +0.3

Agent负担降低67%:从6次脚本调用降到2次。

3.6 这个案例说明了什么?

  1. 评估不是终点,是起点:发现问题只是第一步,诊断、对比、修改、验证,这才是完整闭环。

  2. 数据驱动决策:方案A和方案B各有利弊,但有了量化指标,选择就清晰了。

  3. 持续优化是常态:优化完不是结束,评估报告还指出了"版本号未更新"、"阈值硬编码"等问题,下次继续改。

四、你的Skill是哪种类型?

评估前先分清楚类型。

第一种:能力提升型

教Claude做它本来不擅长的事。

比如官方的前端设计Skill、文档创建Skill,里面写了大量技巧,是你光靠Prompt根本拿不到的效果。

怎么评估:用A/B测试对比,有Skill和没Skill各跑一次。结果差不多,这个Skill就可以退休了。

第二种:编码偏好型

告诉Claude按你的规矩来。

Claude本身每一步都能做,但你的Skill把这些步骤按你团队的流程串起来了。

比如会议纪要整理Skill,按公司固定格式,自动把录音转成带行动项的文档。

怎么评估:测的是有没有老老实实按流程走?有没有漏步骤?有没有自作主张改顺序?

五、最后说两句

以前造完一个Skill,说实话全是黑盒,根本不知道该怎么评估。

现在舒服多了——评估跑一遍,数据摆出来,好不好用,一眼就见真章。

晨念这次把自己的写作系统Skill优化了一遍,从发现问题到验证效果,完整走了一遍评估体系的流程。这套方法论,你可以直接套用到自己的Skill上。

真的,所有的Skills,都值得重新优化和评估一遍。

原文地址: https://mp.weixin.qq.com/s?__biz=MjM5MjA0MzQ2MA==&mid=2247485011&idx=1&sn=8b8cc08c9ceb4ba15b7e16ba901a820e&chksm=a76ae34d64b8b8aedb4e2245a1c09767d003732852939c956586b688b48511a1bc02856ad920&mpshare=1&scene=1&srcid=0510sM4dWFx134c659xV9yvC&sharer_shareinfo=2db4c3a454a46016c20e9101675f6017&sharer_shareinfo_first=2db4c3a454a46016c20e9101675f6017#rd

相关文章