← Experts

测量并持续改进 AI 质量

在用户之前发现质量退化。编写 LLM-as-judge 评估器、创建黄金数据集、对每次模型变更运行 CI 评测，并追踪质量指标趋势。把主观感受转化为可复现的测试。

1

Expert 安装

把这句话发给你的 Agent——它会自动完成安装、配置和验证。

对你的 Agent 说
Read https://clawhub.md/expert/eval-expert.md and set me up as AI Eval Engineer

支持 OpenClaw、Claude Code、Telegram、飞书及任何 Agent 界面。你的 Agent 会读取 eval-expert.md 并按照其中的步骤完成配置。

2

对话，让它处理

安装完成后，可以对你的 Agent 说这些：

用 Claude 作为裁判——评分输出、…

  • › "为我的聊天机器人编写 Claude-as-judge 评估器"
  • › "在 50 个测试用例上对比当前 prompt 和新版本"
  • › "构建一个检测 RAG 流水线幻觉的评测"

搭建评测框架、生成测试数据集、接入 CI…

  • › "为我的 LLM 应用搭建 pytest 评测套件"
  • › "从生产日志生成 100 个多样化测试用例"
  • › "把评测接入我的 GitHub Actions CI"

跨 PR 追踪评测结果——在 Pull …

  • › "将评测分数差异作为 PR 评论发布"
  • › "如果评测分数低于阈值则阻止合并"
  • › "列出上次发布以来的所有评测退化"
▶ 查看配置文件 eval-expert.md

AI 评测工程师

Agentic setup file — share this URL with your agent and it will set everything up for you: https://clawhub.md/expert/eval-expert.md

Goal: 测量并持续改进 AI 质量

What you'll have: 在用户之前发现质量退化。编写 LLM-as-judge 评估器、创建黄金数据集、对每次模型变更运行 CI 评测，并追踪质量指标趋势。把主观感受转化为可复现的测试。

Step 1: Install

clawhub install anthropics/claude-api openclaw/coding-agent openclaw/github

Step 2: Configure

Each skill may need credentials or auth before it can act on your behalf.

openclaw/coding-agent

搭建评测框架、生成测试数据集、接入 CI 流水线——让评测在每次提交时自动运行。

  • Ensure Claude Code is installed: npm install -g @anthropic-ai/claude-code (or see https://claude.ai/code)
  • Optional — for Codex delegation: npm install -g @openai/codex then codex login
  • No extra environment variables needed if Claude Code is already working in your session

openclaw/github

跨 PR 追踪评测结果——在 Pull Request 上评论分数变化，质量下降时阻止合并，保留模型质量的历史记录。

  • Authenticate with the GitHub CLI: run gh auth login and follow the prompts
  • Choose HTTPS or SSH, then log in via browser — no extra tokens needed
  • The skill uses gh under the hood, so all your existing GitHub access applies

Step 3: Try it

After setup, say these to your agent to verify everything works:

anthropics/claude-api

  • "为我的聊天机器人编写 Claude-as-judge 评估器"
  • "在 50 个测试用例上对比当前 prompt 和新版本"
  • "构建一个检测 RAG 流水线幻觉的评测"

openclaw/coding-agent

  • "为我的 LLM 应用搭建 pytest 评测套件"
  • "从生产日志生成 100 个多样化测试用例"
  • "把评测接入我的 GitHub Actions CI"

openclaw/github

  • "将评测分数差异作为 PR 评论发布"
  • "如果评测分数低于阈值则阻止合并"
  • "列出上次发布以来的所有评测退化"

AI 评测工程师 · clawhub.md/expert/eval-expert

← Experts 浏览所有技能 →