llm-evaluation

LLM Evaluation - 大语言模型评估框架

技能概述

LLM Evaluation 提供全面的 LLM 应用评估方案，涵盖自动化指标、人工反馈和基准测试，帮助系统性测试大模型性能、验证提示词改进，并在生产环境中建立质量保证体系。

适用场景

1. 模型与提示词对比

当你需要比较不同 LLM 模型的表现，或者优化提示词后想验证改进效果时，本技能提供标准化的评估方法。通过 A/B 测试和多种评估指标，可以客观衡量改动带来的影响，避免主观判断。

2. 生产环境质量保证

在 LLM 应用上线前进行系统性测试，部署后持续监控性能。通过回归测试及时发现性能退化，建立评估基线跟踪长期表现，为生产系统的稳定性提供数据支撑。

3. 评估体系建设

为 AI 应用构建完整的评估框架，包括自动化指标计算、人工评估流程和 LLM-as-Judge 方案。适用于翻译、摘要、检索增强（RAG）、对话等各类 LLM 应用场景。

核心功能

1. 自动化指标评估

支持文本生成、分类和检索三大类别的标准指标。文本生成包括 BLEU、ROUGE、METEOR、BERTScore 和 Perplexity；分类任务提供准确率、精确率、召回率和 F1 分数；检索任务涵盖 MRR、NDCG、Precision@K 等。可快速批量评估，适合迭代开发。

2. LLM-as-Judge 评估

使用更强的 LLM 作为裁判来评估模型输出，支持单点评分、成对比较和参考文本对比等多种模式。适用于难以用传统指标衡量的场景，如回答质量、安全性和帮助性等维度。

3. 完整评估框架

包含 A/B 测试统计分析、回归检测、人工评估标注和基准测试运行等完整工具链。提供评估结果的可视化和趋势跟踪，便于集成到 CI/CD 流程中实现持续评估。

常见问题

LLM 评估有哪些常用指标？

常用指标取决于应用类型：文本生成任务常用 BLEU（翻译）、ROUGE（摘要）、BERTScore（语义相似度）；分类任务关注准确率、F1 分数和混淆矩阵；检索系统则看 MRR、NDCG 和 Precision@K。本技能支持所有这些指标的开箱即用计算。

如何选择自动评估还是人工评估？

自动化评估速度快、成本低、可重复，适合开发迭代和回归检测。人工评估更准确，能捕捉细微质量差异，适合关键决策和最终验证。最佳实践是两者结合：用自动化指标日常监控，定期进行人工评估校准，并在重要改动后做人工复核。

LLM-as-Judge 评估可靠吗？

LLM-as-Judge 的可靠性取决于裁判模型的选择和评估设计。使用更强的模型（如 GPT-5）评估较弱输出通常效果较好，成对比较比单点评分更稳定。建议与传统指标和人工评估交叉验证，建立置信度。对于高风险场景，仍需人工把关。