增加每章节 README 文件

2026-09-22 15:57:59 +08:00
parent 8e86665096
commit 9445061c76
49 changed files with 3815 additions and 6 deletions
@@ -0,0 +1,55 @@
+# Agent 评估与评测
+
+> 所属：阶段五 · 进阶技术
+> 目标：掌握五大核心指标、LLM-as-judge、Ragas、LangSmith/Langfuse，构建回归测试闭环。
+
+---
+
+## 📌 学习目的
+
+掌握五大核心指标、LLM-as-judge、Ragas、LangSmith/Langfuse，构建回归测试闭环。
+
+## ✅ 学习要求（前置条件）
+
+已完成阶段三任意 Agent 综合实战。
+
+## 📚 主要学习内容
+
+- 五大指标：任务成功率 / 工具调用准确率 / 步骤数 / 幻觉率 / 平均耗时
+- 自建评测集：输入 + 期望要点（工具名 / 关键词 / 来源）
+- LLM-as-judge 三原则：裁判强 / 标准固定 / 抽人复核
+- Ragas：faithfulness / answer_relevancy / context_precision / context_recall
+- Bad-case 闭环：归类 → 修法 → 重跑 → 指标回升
+
+## 📖 对应 docs
+
+- 目录：[`docs/05-阶段五-进阶技术/`](../../docs/05-阶段五-进阶技术/)（按目录名里的 `第 X 篇` 对应）
+- 在 docs 目录里找到对应的小点 markdown 文件阅读详细理论。
+
+## 🛠️ 建议练习
+
+- [ ] 造一个 5 条用例的评测集并跑出五大指标
+- [ ] 用 Ragas 评估一个 RAG Agent 的检索质量
+- [ ] 接入 LangSmith 或 Langfuse 查看 trace 全链路
+
+## 🏁 完成后达成标准
+
+- [ ] 能造评测集并跑出五大指标
+- [ ] 能用 Ragas 拆解「检索 vs 生成」的锅
+- [ ] 能用 Bad-case 闭环驱动迭代
+
+---
+
+## 🚀 运行提示
+
+```bash
+# 激活根目录的虚拟环境
+cd /Users/jack/source/Demo/py/demo_python_agent
+source .venv/bin/activate   # 或直接用 uv run ...
+
+# 进入本章目录
+cd code/005_phase5_advanced/04_agent_evaluation
+
+# 跑你的练习文件
+uv run python your_exercise.py
+```