Agent 评估与评测
所属：阶段五 · 进阶技术 目标：掌握五大核心指标、LLM-as-judge、Ragas、LangSmith/Langfuse，构建回归测试闭环。
📌 学习目的
掌握五大核心指标、LLM-as-judge、Ragas、LangSmith/Langfuse，构建回归测试闭环。
✅ 学习要求（前置条件）
已完成阶段三任意 Agent 综合实战。
📚 主要学习内容
- 五大指标：任务成功率 / 工具调用准确率 / 步骤数 / 幻觉率 / 平均耗时
- 自建评测集：输入 + 期望要点（工具名 / 关键词 / 来源）
- LLM-as-judge 三原则：裁判强 / 标准固定 / 抽人复核
- Ragas：faithfulness / answer_relevancy / context_precision / context_recall
- Bad-case 闭环：归类 → 修法 → 重跑 → 指标回升
📖 对应 docs
- 目录：
docs/05-阶段五-进阶技术/（按目录名里的第 X 篇对应） - 在 docs 目录里找到对应的小点 markdown 文件阅读详细理论。
🛠️ 建议练习
- 造一个 5 条用例的评测集并跑出五大指标
- 用 Ragas 评估一个 RAG Agent 的检索质量
- 接入 LangSmith 或 Langfuse 查看 trace 全链路
🏁 完成后达成标准
- 能造评测集并跑出五大指标
- 能用 Ragas 拆解「检索 vs 生成」的锅
- 能用 Bad-case 闭环驱动迭代
🚀 运行提示
# 激活根目录的虚拟环境
cd /Users/jack/source/Demo/py/demo_python_agent
source .venv/bin/activate # 或直接用 uv run ...
# 进入本章目录
cd code/005_phase5_advanced/04_agent_evaluation
# 跑你的练习文件
uv run python your_exercise.py