python-agent/code/005_phase5_advanced/04_agent_evaluation/README.md

Agent 评估与评测

所属：阶段五 · 进阶技术 目标：掌握五大核心指标、LLM-as-judge、Ragas、LangSmith/Langfuse，构建回归测试闭环。

---

📌 学习目的

掌握五大核心指标、LLM-as-judge、Ragas、LangSmith/Langfuse，构建回归测试闭环。

✅ 学习要求（前置条件）

已完成阶段三任意 Agent 综合实战。

📚 主要学习内容

• 五大指标：任务成功率 / 工具调用准确率 / 步骤数 / 幻觉率 / 平均耗时
• 自建评测集：输入 + 期望要点（工具名 / 关键词 / 来源）
• LLM-as-judge 三原则：裁判强 / 标准固定 / 抽人复核
• Ragas：faithfulness / answer_relevancy / context_precision / context_recall
• Bad-case 闭环：归类 → 修法 → 重跑 → 指标回升

📖 对应 docs

• 目录：docs/05-阶段五-进阶技术/（按目录名里的 第 X 篇 对应）
• 在 docs 目录里找到对应的小点 markdown 文件阅读详细理论。

🛠️ 建议练习

• 造一个 5 条用例的评测集并跑出五大指标
• 用 Ragas 评估一个 RAG Agent 的检索质量
• 接入 LangSmith 或 Langfuse 查看 trace 全链路

🏁 完成后达成标准

• 能造评测集并跑出五大指标
• 能用 Ragas 拆解「检索 vs 生成」的锅
• 能用 Bad-case 闭环驱动迭代

---

🚀 运行提示

# 激活根目录的虚拟环境
cd /Users/jack/source/Demo/py/demo_python_agent
source .venv/bin/activate   # 或直接用 uv run ...

# 进入本章目录
cd code/005_phase5_advanced/04_agent_evaluation

# 跑你的练习文件
uv run python your_exercise.py