# Agent 评估与评测

> 所属：阶段五 · 进阶技术
> 目标：掌握五大核心指标、LLM-as-judge、Ragas、LangSmith/Langfuse，构建回归测试闭环。

---

## 📌 学习目的

掌握五大核心指标、LLM-as-judge、Ragas、LangSmith/Langfuse，构建回归测试闭环。

## ✅ 学习要求（前置条件）

已完成阶段三任意 Agent 综合实战。

## 📚 主要学习内容

- 五大指标：任务成功率 / 工具调用准确率 / 步骤数 / 幻觉率 / 平均耗时
- 自建评测集：输入 + 期望要点（工具名 / 关键词 / 来源）
- LLM-as-judge 三原则：裁判强 / 标准固定 / 抽人复核
- Ragas：faithfulness / answer_relevancy / context_precision / context_recall
- Bad-case 闭环：归类 → 修法 → 重跑 → 指标回升

## 📖 对应 docs

- 目录：[`docs/05-阶段五-进阶技术/`](../../docs/05-阶段五-进阶技术/)（按目录名里的 `第 X 篇` 对应）
- 在 docs 目录里找到对应的小点 markdown 文件阅读详细理论。

## 🛠️ 建议练习

- [ ] 造一个 5 条用例的评测集并跑出五大指标
- [ ] 用 Ragas 评估一个 RAG Agent 的检索质量
- [ ] 接入 LangSmith 或 Langfuse 查看 trace 全链路

## 🏁 完成后达成标准

- [ ] 能造评测集并跑出五大指标
- [ ] 能用 Ragas 拆解「检索 vs 生成」的锅
- [ ] 能用 Bad-case 闭环驱动迭代

---

## 🚀 运行提示

```bash
# 激活根目录的虚拟环境
cd /Users/jack/source/Demo/py/demo_python_agent
source .venv/bin/activate   # 或直接用 uv run ...

# 进入本章目录
cd code/005_phase5_advanced/04_agent_evaluation

# 跑你的练习文件
uv run python your_exercise.py
```