Evaluators (评估器)

建议编辑

评估器	描述
AnswerExactMatchEvaluator	使用 ground truth 标签评估 Haystack 管道预测的答案。它逐个字符检查预测的答案是否与 ground truth 答案完全匹配。
ContextRelevanceEvaluator	使用 LLM 评估是否可以从提供的上下文中推断出生成的答案。
DeepEvalEvaluator	使用 DeepEval 评估生成式管道。
DocumentMAPEvaluator	使用 ground truth 标签评估 Haystack 管道检索到的文档。它检查检索到的文档列表在多大程度上仅包含 ground truth 标签中指定的相关文档，或者也包含不相关的文档。
DocumentMRREvaluator	使用 ground truth 标签评估 Haystack 管道检索到的文档。它检查 ground truth 文档在检索到的文档列表中的排名。
DocumentNDCGEvaluator	使用 ground truth 标签评估 Haystack 管道检索到的文档。它检查 ground truth 文档在检索到的文档列表中的排名。此度量称为归一化折扣累积增益 (NDCG)。
DocumentRecallEvaluator	使用 ground truth 标签评估 Haystack 管道检索到的文档。它检查检索到了多少 ground truth 文档。
FaithfulnessEvaluator	使用 LLM 评估是否可以从提供的上下文中推断出生成的答案。不需要 ground truth 标签。
LLMEvaluator	使用包含用户定义的指令和示例的提示来评估输入。
RagasEvaluator	使用 Ragas 框架评估检索增强生成管道。
SASEvaluator	使用 ground truth 标签评估 Haystack 管道预测的答案。它使用微调的语言模型检查预测答案与 ground truth 答案之间的语义相似度。

更新于大约 1 年前