任务技能(Skills)
AI Evals Skills
找出 AI 回答里的常见错误,并建立能复查的评测。
内容介绍
少装一点整理 · 依据项目公开文档
适合已有 AI 应用和输出记录、想检查结果质量的人。技能指导人工审阅、错误归类和编写评测,也提供整理审阅界面的步骤。需要自己的输出样本和人工判断,部分工具使用 Python;本仓库的使用不要求购买课程,技能也不能代替对具体回答的核查。
开始使用
接入条件尚未核对,请查看项目安装说明。
查看安装与使用说明 ↗依据公开文档整理,未逐一安装实测。
可以怎么用
- 审阅真实 AI 输出样本
- 归类错误并找出重复问题
- 编写和验证评测规则
官方项目与文档
项目说明译文
指导 AI 编程助手为具体产品构建 AI 效果评估的技能
用途相近的插件
优先匹配当前插件的主要用途,再参考共同用途和收藏数;接入方法可能不同。
- Cloudflare Security Audit — 按步骤检查代码中的安全问题,让不同 AI 助手交叉核对证据,再区分已确认的问题和待查线索。
- Claude-Red — 按测试场景选择安全技能,用于获得授权的安全评估、训练和报告整理。
- Sentry Agent Plugin — 让 AI 结合真实错误记录,帮助接入应用监控、排查线上问题和设置告警。