LLM Universe推荐系统评估：NDCG与MAP指标实践指南

羿恒新Odette

518人浏览 · 2025-11-18 03:32:57

羿恒新Odette · 2025-11-18 03:32:57 发布

LLM Universe推荐系统评估：NDCG与MAP指标实践指南

【免费下载链接】llm-universe 本项目是一个面向小白开发者的大模型应用开发教程，在线阅读地址：https://datawhalechina.github.io/llm-universe/ 项目地址: https://gitcode.com/datawhalechina/llm-universe

在LLM Universe大模型应用开发中，推荐系统的评估是确保应用效果的关键环节。NDCG（Normalized Discounted Cumulative Gain）和MAP（Mean Average Precision）作为信息检索和推荐系统中最核心的评估指标，能够准确衡量排序质量。本文将详细介绍这两个指标的计算原理和实践应用。

为什么要使用NDCG和MAP指标？

在LLM Universe的检索增强生成（RAG）应用中，检索模块的性能直接影响最终生成质量。传统的准确率和召回率无法充分评估排序效果，而NDCG和MAP能够：

考虑排序位置：越靠前的相关文档权重越高
多级相关性：支持相关程度的分级评估
标准化比较：提供0-1之间的标准化分数

NDCG指标详解与计算

折扣累计增益（DCG）

DCG衡量排序列表的累积增益，对靠前位置的相关文档给予更高权重：

def calculate_dcg(relevance_scores):
    dcg = 0
    for i, score in enumerate(relevance_scores):
        dcg += score / math.log2(i + 2)  # i+2因为索引从0开始
    return dcg

理想折扣累计增益（IDCG）

IDCG是完美排序下的DCG值，作为标准化基准：

def calculate_idcg(relevance_scores):
    # 按相关性降序排列
    ideal_scores = sorted(relevance_scores, reverse=True)
    return calculate_dcg(ideal_scores)

NDCG最终计算

NDCG通过DCG与IDCG的比值实现标准化：

def calculate_ndcg(relevance_scores):
    dcg = calculate_dcg(relevance_scores)
    idcg = calculate_idcg(relevance_scores)
    return dcg / idcg if idcg > 0 else 0

MAP指标原理与实现

平均精度（AP）

平均精度计算单个查询的精度值：

def calculate_ap(relevance_list):
    relevant_count = 0
    precision_sum = 0
    for i, is_relevant in enumerate(relevance_list):
        if is_relevant:
            relevant_count += 1
            precision_sum += relevant_count / (i + 1)
    return precision_sum / relevant_count if relevant_count > 0 else 0

均值平均精度（MAP）

MAP是所有查询AP值的平均值：

def calculate_map(all_relevance_lists):
    ap_sum = 0
    for relevance_list in all_relevance_lists:
        ap_sum += calculate_ap(relevance_list)
    return ap_sum / len(all_relevance_lists)