机器学习实战：如何用Python快速检测MCAR缺失数据（附Little's Test代码）

数据清洗是每个数据科学项目里最磨人、也最容易被低估的环节。我见过不少团队，模型选得天花乱坠，调参调得废寝忘食，最后效果却差强人意，回头一查，问题往往出在最基础的数据质量上——尤其是缺失值。缺失值处理不好，就像地基没打牢，上面盖什么楼都容易歪。

在众多缺失值类型中，完全随机缺失（MCAR） 算是一个“理想型”。如果数据真的符合MCAR，那处理起来会省心很多，因为缺失是纯随机的，不包含任何隐藏信息或偏差，简单删除通常不会引入系统性错误。但问题是，现实中的数据有多少是真正的MCAR？很多时候，我们只是“假设”它是，然后草草处理了事。这种盲目性，恰恰是很多项目后期翻车的隐患。

所以，今天我们不谈那些泛泛的理论，直接切入一个实战问题：如何用Python快速、严谨地检验你的数据是否真的符合MCAR假设？ 我会带你一步步实现经典的 Little‘s MCAR Test，并分享一些我在实际项目中总结的、超越单一检验的综合性诊断策略。目标很明确：给你一套即拿即用的工具箱，让你在数据预处理阶段，就能对缺失值的性质有一个清晰、量化的判断，从而做出更明智的处理决策。

1. 理解MCAR：不仅仅是“随机”那么简单

在开始写代码之前，我们必须把概念夯实在。很多人把“随机缺失”和“完全随机缺失”混为一谈，这是第一个要避开的坑。

MCAR 的定义非常严格：数据点缺失的概率，与数据集中任何其他观测到的变量无关，也与其自身的潜在值无关。换句话说，缺失就像天上随机掉下来的雨点，砸到谁纯看运气，跟这个人的身高、体重、收入统统没关系。

举个例子：

  • 符合MCAR的可能场景：一份电子问卷，因为网络传输故障，随机丢失了几份提交记录。故障的发生与填写者的年龄、性别、答案内容都无关。
  • 不符合MCAR的常见场景：一份关于个人收入的调查，高收入群体可能出于隐私顾虑更倾向于不填写收入栏。这时，缺失的概率就与“收入”这个变量自身的值有关了，这就属于更复杂的MNAR（非随机缺失）。

为什么区分这个如此重要？因为处理方法的有效性直接依赖于缺失机制。如果数据是MCAR，你直接删除含有缺失值的行（Listwise Deletion），得到的完整数据子集可以看作是原数据集的一个无偏随机子样本，后续分析结果通常是无偏的。但如果是MAR（随机缺失）或MNAR，简单删除就会导致样本选择性偏差，让你的分析结论偏离真相。

为了更直观地对比，我们来看一下三种主要缺失机制的核心区别：

缺失机制英文全称核心定义对分析的影响处理难度
完全随机缺失Missing Completely at Random缺失与任何已观测或未观测变量均无关最小，删除缺失值通常不会引入偏差低
随机缺失Missing at Random缺失仅与已观测到的其他变量有关，与自身未观测值无关中等，需借助其他观测变量进行建模插补中
非随机缺失Missing Not at Random缺失与变量自身的未观测值有关严重，可能导致根本性偏差，需要专门模型高

注意：在实际项目中，纯粹的MCAR非常罕见。我们进行检验的目的，往往不是为了“证明”它是MCAR，而是为了“评估”它偏离MCAR假设的程度，从而判断简单删除法的风险有多大。

2. 搭建你的Python检测环境

工欲善其事，必先利其器。我们的检测流程会用到几个核心库，它们都是Python数据科学生态里的“老熟人”了。

首先，确保你的环境里已经安装了这些包。打开你的终端或Anaconda Prompt，执行以下命令：

pip install pandas numpy scipy scikit-learn matplotlib seaborn

接下来，在Jupyter Notebook或Python脚本中，导入我们需要的模块：

import pandas as pd
import numpy as np
import scipy.stats as stats
from scipy.stats import chi2
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.experimental import enable_iterative_imputer
from sklearn.impute import IterativeImputer

# 设置绘图风格，让图表更好看
plt.style.use('seaborn-v0_8-darkgrid')
sns.set_palette("husl")

这里特别说明一下 enable_iterative_imputer 和 IterativeImputer。我们稍后会在一种高级诊断方法中用到它们，它们属于scikit-learn的实验性功能，所以需要先显式启用。

3. 核心实战：手把手实现Little‘s MCAR检验

Little‘s MCAR Test是统计学上专门用于检验MCAR假设的一种方法。它的原假设（H0）就是“数据是MCAR”。如果检验结果p值很大（比如大于0.05），我们就没有足够证据拒绝H0，可以暂时认为数据符合MCAR；如果p值很小，则拒绝H0，认为数据不是MCAR。

其基本思想是：比较观测到的缺失模式（哪些变量一起缺失）的频数，与在MCAR假设下期望得到的频数是否有显著差异。本质上，它是一种基于列联表的卡方检验。

下面，我将一个完整的、带有详细注释的Little‘s Test函数拆解给你。你可以直接把它复制到你的工具库中。

def littles_mcar_test(dataframe):
    """
    对输入的DataFrame执行Little's MCAR检验。
    
    参数:
    dataframe (pd.DataFrame): 待检验的数据框，可能包含NaN值。
    
    返回:
    dict: 包含检验统计量、p值、自由度以及是否接受MCAR假设的字典。
    """
    
    # 1. 数据准备：创建一个缺失指示矩阵
    # 如果值缺失，标记为1，否则为0
    missing_indicator = dataframe.isnull().astype(int)
    
    # 计算总观测数
    n = len(dataframe)
    
    # 2. 计算每个变量的缺失比例（均值）
    # missing_indicator.mean() 得到的是每个变量缺失的百分比
    p = missing_indicator.mean().values  # 形状 (m,)，m是变量数
    
    # 3. 计算所有变量都观测到的比例（即完整案例的比例）
    # 一行中所有值都为0，表示该行没有缺失
    complete_cases = (missing_indicator.sum(axis=1) == 0)
    proportion_complete = complete_cases.mean()
    
    # 4. 计算期望的协方差矩阵（在MCAR假设下）
    # 如果数据是MCAR，缺失指示变量之间的协方差矩阵应该有特定结构
    # 这里我们计算观测到的协方差矩阵
    S_observed = missing_indicator.cov().values
    
    # 在MCAR下，理论上的协方差矩阵是对角矩阵，非对角线元素为0
    # 对角线元素是 p_i * (1 - p_i)，其中p_i是第i个变量的缺失比例
    m = len(p)
    S_expected = np.diag(p * (1 - p))
    
    # 5. 计算检验统计量（卡方统计量）
    # Little's test的统计量公式简化版：n * (prop_complete_obs - prop_complete_exp)^2 / ... 的矩阵形式
    # 更通用的计算方式是：n * trace( (S_observed - S_expected) * inv(S_expected) )
    # 但S_expected可能奇异（如果某个变量完全缺失或完全不缺失），需要广义逆
    try:
        # 使用伪逆来避免奇异矩阵问题
        S_expected_pinv = np.linalg.pinv(S_expected)
        diff = S_observed - S_expected
        # 计算矩阵的迹：sum(diag(A @ B))
        chi2_stat = n * np.trace(diff @ S_expected_pinv)
    except np.linalg.LinAlgError:
        # 如果数值计算有问题，返回一个指示
        return {
            'chi_square': None,
            'p_value': None,
            'df': None,
            'is_mcar': 'Calculation failed',
            'message': 'Matrix inversion error in Little\'s test calculation.'
        }
    
    # 6. 计算自由度
    # 自由度的计算是： m*(m+1)/2 - m，其中m是变量数
    # 这源于比较两个协方差矩阵的独立参数数量
    df = m * (m - 1) // 2
    
    # 7. 计算p值
    p_value = 1 - chi2.cdf(chi2_stat, df)
    
    # 8. 根据p值判断（通常以0.05为阈值）
    is_mcar = p_value > 0.05
    
    return {
        'chi_square': chi2_stat,
        'p_value': p_value,
        'df': df,
        'is_mcar': is_mcar,
        'proportion_complete_cases': proportion_complete
    }

函数使用示例： 假设我们有一个名为 df 的DataFrame，里面包含了一些缺失值。

# 假设df是你的数据
test_result = littles_mcar_test(df)

print(f"卡方统计量: {test_result['chi_square']:.4f}")
print(f"自由度: {test_result['df']}")
print(f"P值: {test_result['p_value']:.4f}")
print(f"根据Little's Test，数据是否为MCAR? {test_result['is_mcar']}")
print(f"完整案例的比例: {test_result['proportion_complete_cases']:.2%}")

解读结果：

  • P值 > 0.05：无法拒绝MCAR的原假设。但这并不等于“证明”了数据就是MCAR，只是说在这个检验下没有发现显著违背MCAR的证据。你仍然需要结合其他方法综合判断。
  • P值 <= 0.05：拒绝MCAR原假设。数据缺失很可能不是完全随机的，你需要警惕简单删除法，并考虑MAR或MNAR的插补策略。

4. 超越单一检验：构建你的综合性诊断工作流

Little‘s Test是一个很好的起点，但绝不是终点。在真实项目中，我从不只依赖一个统计检验下结论。一个稳健的诊断工作流应该像医生会诊，从多个角度检查“病人”。

4.1 可视化诊断：用眼睛发现模式

人眼对模式非常敏感，可视化能帮你发现统计检验可能忽略的细节。

缺失模式热图：这是看缺失值在数据集中分布情况最直观的方法。如果缺失是纯随机的，热图上的黑点（代表缺失）应该像散落的芝麻，没有明显的行或列聚集。

plt.figure(figsize=(12, 8))
# 创建缺失指示矩阵，缺失为True（白色），非缺失为False（深色）
missing_matrix = df.isnull()
# 使用seaborn的热图，调整颜色映射，让缺失更醒目
sns.heatmap(missing_matrix, cbar=False, cmap=['#2E86AB', '#F24236'])
plt.title('Missing Data Pattern Heatmap')
plt.xlabel('Variables')
plt.ylabel('Observations')
plt.show()

如果热图中出现整行的空白（表示该行所有数据都缺失）或整列的深色条纹（表示该变量大量缺失），这显然不是随机模式。

缺失相关性矩阵：检查不同变量的缺失是否有关联。如果变量A缺失时，变量B也经常缺失，那这很可能不是MCAR。

# 计算缺失指示变量之间的相关性
missing_corr = df.isnull().corr()

plt.figure(figsize=(10, 8))
sns.heatmap(missing_corr, annot=True, fmt='.2f', cmap='coolwarm', center=0,
            square=True, linewidths=.5, cbar_kws={"shrink": .8})
plt.title('Correlation Matrix of Missingness (Missing Indicator Correlation)')
plt.show()

在这个相关矩阵里，远离0的数值（特别是正值）都值得警惕，它表明某些变量的缺失是“结伴而行”的。

4.2 统计比较：量化组间差异

这是检验MAR（随机缺失）线索的强力方法。思路是：根据某个变量是否缺失，将样本分成两组，然后比较其他变量在这两组间的分布是否有显著差异。

def test_group_differences(df, target_var):
    """
    比较目标变量缺失组与非缺失组在其他变量上的差异。
    
    参数:
    df: 原始DataFrame
    target_var: 作为分组依据的变量名（检查它是否缺失）
    """
    # 创建分组：目标变量缺失 vs 不缺失
    group_missing = df[df[target_var].isnull()].drop(columns=[target_var])
    group_not_missing = df[df[target_var].notnull()].drop(columns=[target_var])
    
    print(f"分组比较 - 依据变量: '{target_var}'")
    print(f"  缺失组样本量: {len(group_missing)}")
    print(f"  非缺失组样本量: {len(group_not_missing)}")
    print("-" * 40)
    
    results = []
    # 遍历其他所有数值型变量进行比较
    for col in df.select_dtypes(include=[np.number]).columns:
        if col == target_var:
            continue
        # 使用T检验比较均值（假设方差不等）
        t_stat, p_val = stats.ttest_ind(group_missing[col].dropna(),
                                         group_not_missing[col].dropna(),
                                         equal_var=False, nan_policy='omit')
        results.append({
            'variable': col,
            't_statistic': t_stat,
            'p_value': p_val,
            'mean_missing': group_missing[col].mean(),
            'mean_not_missing': group_not_missing[col].mean()
        })
    
    # 创建一个结果DataFrame，并按p值排序
    results_df = pd.DataFrame(results).sort_values('p_value')
    
    # 标记出p值显著（<0.05）的变量
    results_df['significant'] = results_df['p_value'] < 0.05
    
    return results_df

# 示例：检查‘income’变量的缺失是否与其他变量有关
income_missing_test = test_group_differences(df, 'income')
print(income_missing_test.head(10))  # 查看差异最显著的10个变量

如果发现很多变量的组间差异都很显著，那就强烈暗示缺失不是完全随机的，而是与数据集中的其他信息有关（即MAR）。

4.3 高级模式诊断：基于模型的探索

对于更复杂的情况，我们可以借助一点机器学习的思想来探索缺失模式。一个有趣的思路是：尝试用其他变量来预测某个变量是否缺失。如果预测效果不错，那就说明缺失是有规律可循的，不是MCAR。

这里我们可以构建一个简单的逻辑回归模型作为探测工具：

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import roc_auc_score

def predict_missingness(df, target_col):
    """
    尝试用其他变量预测目标变量是否缺失。
    返回AUC分数，分数越高，预测越准，越不可能是MCAR。
    """
    # 准备数据：X是其他变量，y是目标变量是否缺失（1表示缺失）
    X = df.drop(columns=[target_col]).select_dtypes(include=[np.number])
    y = df[target_col].isnull().astype(int)
    
    # 如果缺失或非缺失的样本太少，跳过
    if y.sum() < 10 or (len(y) - y.sum()) < 10:
        print(f"变量 '{target_col}' 缺失或非缺失样本数太少，跳过建模。")
        return None
    
    # 划分训练测试集
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42, stratify=y)
    
    # 用简单插补填充X中的缺失值（为了模型能运行）
    imputer = IterativeImputer(max_iter=10, random_state=42)
    X_train_imp = imputer.fit_transform(X_train)
    X_test_imp = imputer.transform(X_test)
    
    # 训练逻辑回归模型
    model = LogisticRegression(max_iter=1000, class_weight='balanced', random_state=42)
    model.fit(X_train_imp, y_train)
    
    # 预测并计算AUC
    y_pred_proba = model.predict_proba(X_test_imp)[:, 1]
    auc = roc_auc_score(y_test, y_pred_proba)
    
    return auc

# 对数据集中缺失率适中的数值变量进行探索
missing_rates = df.isnull().mean()
candidate_cols = missing_rates[(missing_rates > 0.05) & (missing_rates < 0.5)].index.tolist()

print("探索用其他变量预测缺失的可能性（AUC）:")
for col in candidate_cols[:5]:  # 先试前5个
    auc_score = predict_missingness(df, col)
    if auc_score:
        print(f"  变量 '{col}': AUC = {auc_score:.3f}")
        if auc_score > 0.7:  # AUC大于0.7通常认为有较好的预测能力
            print(f"    **警告**: 变量 '{col}' 的缺失可能被其他变量预测，不符合MCAR。")

这个方法的优势在于，它不仅能给出一个“是否相关”的信号，还能通过AUC指标量化这种关系的强度，为你后续选择插补模型（比如MICE）提供直接依据。

5. 从诊断到决策：制定你的缺失值处理策略

完成了一系列诊断之后，你手头应该有了关于数据缺失性质的多份“体检报告”。现在，如何根据这些报告制定处理策略呢？我通常遵循以下决策路径：

  1. Little‘s Test P值大 + 可视化无模式 + 组间无差异：这是最接近MCAR的理想情况。如果缺失比例很低（如<5%），直接删除（Listwise Deletion） 是快速且安全的选择。如果缺失比例稍高，可以考虑简单插补（如中位数、众数），但要注意简单插补会低估方差。

  2. Little‘s Test P值小，但组间差异分析显示缺失仅与其他观测变量有关（MAR）：这是最常见的情况。这时应避免直接删除，而采用基于模型的插补方法。我的首选是 MICE，它在Python中可以通过 IterativeImputer 方便地实现。它通过链式方程，利用变量间的关系进行多轮插补，能很好地处理MAR数据。

    # 使用MICE（多重插补链式方程）进行插补的示例
from sklearn.experimental import enable_iterative_imputer
from sklearn.impute import IterativeImputer

imputer = IterativeImputer(max_iter=10, random_state=42)
df_imputed = pd.DataFrame(imputer.fit_transform(df), columns=df.columns)

  3. 有强烈迹象表明缺失与变量自身值有关（MNAR）：这是最棘手的情况。例如，收入越高的人越不愿意报告收入。这时，标准插补方法可能失效。你需要：

    • 收集更多信息：能否通过其他渠道补全数据？
    • 使用专门模型：如选择模型或模式混合模型，这些模型显式地对缺失机制进行建模。在Python中，你可以探索 statsmodels 的一些高级功能，或者求助于像 R 语言的 mice 包（通过 rpy2 调用）。
    • 进行敏感性分析：用不同的假设（比如，假设缺失的高收入者是收入分布的前10%还是后10%）进行多次分析，看你的核心结论是否稳健。

  4. 无论何种机制，如果某个变量缺失率极高（如>50%）：认真考虑直接删除该变量。保留一个信息量极少、需要大量猜测的变量，其带来的噪音很可能超过收益。

最后，也是最重要的一点：完整记录你的诊断过程和决策依据。在项目报告或代码注释中，说明你检查了哪些内容、看到了什么结果、因此选择了哪种处理方法。数据预处理的可追溯性，是专业数据科学家与业余爱好者的关键区别之一。

在我的经验里，花在严谨诊断缺失机制上的时间，最终都会在模型稳定性和结果可信度上得到回报。与其在模型调参上绞尽脑汁去弥补数据本身的缺陷，不如从一开始就把地基打牢。希望这套从理论到代码的完整工具箱，能让你下次面对缺失数据时，多一份从容，少一点猜测。

# 机器学习
Logo
乐奇 Rokid 开放社区

更多推荐

在 Rokid AI Glasses 上做背单词应用：AIUI拍照听写的实现

分享在 Rokid AI Glasses 上用 AIUI 开发背单词应用的实践：从镜腿单击拍照、图片编码和多模态识别，到切题时的异步任务处理、语音调度与学习进度保存，结合关键代码和界面动图说明实现过程。

avatar 乐奇 Rokid 开放社区
cover

极刻觅镜 | AI眼镜周报｜智能眼镜周报：销售高增长、标准落地与新品密集发布

avatar 乐奇 Rokid 开放社区
cover

深圳十大 AI 智能眼镜 FPC 厂家盘点（2026 供应商选型参考）

avatar 乐奇 Rokid 开放社区